Qualité de données
Qualité de données
Embedded Files
Version préliminaire
Projet
Projet
Projet exploratoire visant à expérimenter Soda et à spécialiser OpenRefine pour le traitement de données alimentaires.
On fera l'analyse des exigences avec les développeurs. On réalisera ensuite un prototype fonctionnel.
Projet préparatoire à un stage d'été.
Technologies
Technologies
Technos envisagées pour le projet: DuckDB Stack, Soda Core, OpenRefine.
On utilisera l'IA pour réviser ou générer le code, les tests et la documentation.
Travaux
Travaux
DuckDB
Extraire les produits alimentaires canadiens de Open Food Facts
Charger les produits dans DuckDB
Valider l'utilité de dlt et dbt pour le projet
Soda
Intégrer Soda et DuckDB
Convertir en SodaCL les quality checks Open Food Facts
Valider l'utilité de Soda pour le projet
OpenRefine
Extraire des lots de produits de DuckDB
Charger les produits dans OpenRefine
Explorer et nettoyer les données
Identifier les ajouts à faire à OpenRefine
En réaliser quelques uns
Notes
Notes
On veut améliorer OpenRefine, mais on évitera de le modifier.
On fera du développement périphérique comme des fonctions GREL, une extension ou un service de réconciliation.
Prise en main
Prise en main
Louis Bastarache et Julie Faure-Lacroix vont accompagner l'équipe de projet.
Les équipes OpenRefine et Open Food Facts seront impliquées au besoin.
Modalités
Modalités
Nous cherchons des gens qui s'intéressent à l'alimentation.
Les étudiants participeront au choix des outils et des technologies de développement.
On tiendra quelques ateliers de travail en début de session pour bien définir le projet.
Nous proposons ensuite un suivi de 30 minutes par semaine.
On utilisera Slack ou Discord pour les communications.
Discussion
Discussion
Discutons du projet sur le canal #refine
Page updated
Google Sites
Report abuse