Développeur(euse) principal(e) en données

Votre rôle

Livraison de solutions et ingénierie des données

• Prendre en charge et livrer de bout en bout les changements d'ingénierie des données à travers les flux Source-to-Raw (S2R), Raw-to-Integrated (R2I), Integrated-to-Curated (I2C) et autres flux connexes.
• Concevoir, développer, réviser, tester et optimiser les pipelines Azure Data Factory, les transformations SQL, les Azure Functions, les ensembles de données curés'ainsi que les processus d'orchestration associés.
• Diagnostiquer et résoudre les pipelines en échec ou à exécution prolongée, les problèmes de données sources, les enjeux de dépendances, les doublons, les problèmes de conception de clés, les échecs de rafraîchissement et les défauts de configuration spécifiques aux environnements.
• Agir comme point d'escalade technique principal pour les incidents et problèmes de production liés à la plateforme Orb en réalisant les analyses de causes racines, en mettant en œuvre les correctifs, en validant les résultats et en coordonnant les suivis avec les analystes, les équipes AQ, les ingénieurs de plateforme et les équipes responsables des systèmes sources.
• Préparer et réviser les plans de déploiement; coordonner les demandes de fusion (pull requests), les revues de code, les promotions entre environnements, les mises en production, les plans de retour arrière (rollback) et les validations post-déploiement.
• Surveiller les opérations de la plateforme à l'aide des journaux Azure et applicatifs, identifier les tendances d'utilisation ou de performance et recommander des améliorations aux calendriers d'exécution, aux dépendances, au traitement par lots, aux mécanismes de reprise et aux stratégies de chargement.
• Appliquer de façon rigoureuse les exigences liées à la classification des données, à leur sensibilité, aux contrôles d'accès'et à la gouvernance pour tous les actifs de données.
• Soutenir les décisions liées à la modélisation des données et à la qualité des données, notamment pour les clés primaires, les clés d'affaires, les règles de mappage, les métadonnées source-cible, les logiques de rapprochement et la gestion des doublons.
• Collaborer étroitement avec les analystes de données, architectes de données, analystes AQ, responsables de produit, partenaires d'affaires et équipes techniques afin de clarifier les besoins et les transformer en solutions d'ingénierie fiables.
• Fournir du mentorat technique, des commentaires lors des revues de code, du soutien au dépannage et du transfert de connaissances auprès des ingénieurs et analystes au Canada, au Royaume-Uni et en Inde.
• Maintenir une documentation technique de haute qualité comprenant les spécifications de mappage, les plans de déploiement, les registres de changements, les preuves opérationnelles et la documentation de transition au soutien.
• Contribuer à l'évolution de la plateforme Orb, notamment par la standardisation des modèles d'ingénierie, l'automatisation, l'amélioration de la maintenabilité et la migration vers Microsoft Fabric.

Ingénierie des pipelines

• Concevoir et refondre des pipelines Azure Data Factory (ADF) ainsi que des composants SQL ou Azure Functions pour l'intégration de données provenant d'API REST, de fichiers, de systèmes ERP, RH, financiers, de gestion de projets, d'approvisionnement et d'autres sources d'entreprise.

Assurance qualité technique

• Réviser les demandes de fusion (pull requests), valider la conformité aux normes d'ingénierie, confirmer les essais unitaires et identifier les défauts avant la mise en production.

Gestion des mises en production et opérations

• Coordonner les activités de déploiement dans les environnements DEV, UAT, préproduction et production.
• Actualiser ou réexécuter les pipelines au besoin.
• Effectuer les vérifications techniques.
• Soutenir les activités de reprise contrôlée.

Conception des données

• Contribuer aux mappages source-cible, à la gestion des métadonnées, aux clés, aux classifications de sensibilité, aux modèles de données intégrés'et curés'ainsi qu'aux règles de rapprochement.

Résolution d'incidents

• Enquêter sur les chargements échoués, les délais d'attente, les limites d'API, les doublons, les données manquantes, les erreurs de configuration et les écarts entre environnements.

Soutien et développement de l'équipe

• Lever les obstacles rencontrés par les analystes et les ingénieurs, expliquer le fonctionnement de la plateforme, fournir des conseils pratiques et assurer la continuité entre les différentes équipes mondiales.