Job Description

PURPOSE

As a Data Engineer, you will be responsible for designing, implementing, and maintaining data pipelines that support data migration, analytics, business intelligence functions, and integration with Microsoft Dynamics 365 (D365) applications. You will work closely with analysts and business stakeholders to ensure that data flows seamlessly through the organization and is ready for analysis.

KEY RESPONSIBILITIES AND ACCOUNTABILITIES

The responsibilities of this position include, but are not limited to the following:

Data Engineering & Integration:

o Design, develop, and maintain ETL (Extract, Transform, Load) pipelines to ensure smooth, efficient processing of large datasets, including data integration from Microsoft Dynamics 365 (D365) and other systems.

o Build and optimize data architectures, including data lakes, data warehouses, and data marts, with specific attention to integrating data from D365.

o Ensure data consistency, quality, and availability for analytics use cases and business reporting, particularly focusing on D365-related datasets.

o Collaborate with cross-functional teams to define data requirements and help implement data solutions, particularly with regards to integrating and analyzing data from D365.

o Data Infrastructure:

o Develop scalable data solutions to handle high-volume, high-velocity data processing, including D365-related data.

o Implement and manage cloud-based data environments (Azure, GCP, AWS) and ensure their security, scalability, and reliability.

o Optimize data storage, retrieval, and processing for performance and cost efficiency, particularly for D365 integration scenarios.

o Data Governance & Security:

o Establish data governance practices to ensure data quality, integrity, and security, especially regarding sensitive data from D365.

o Maintain compliance with data privacy regulations (such as GDPR) and best practices when dealing with data from D365 and other integrated systems.

o Collaboration & Communication:

o Work closely with data analysts, business analysts, and product managers to ensure that data infrastructure meets business needs, particularly as it relates to D365 data.

o Communicate data-related issues and updates clearly to both technical and non-technical stakeholders, with a focus on data from D365.

TECHNICAL/PROFESSIONAL COMPETENCIES

Bachelor's degree (or equivalent) in Computer Science, Engineering, Mathematics, or a related field. Proven experience as a Data Engineer, with a strong understanding of data engineering principles. Proficiency in programming languages like Python, Hadoop, SQL, Java, and/or Scala. o Experience with ETL frameworks and data processing tools such as Apache Spark, Hadoop, or similar. Experience with Microsoft Dynamics 365 (D365) integration, data management, and data pipeline development. Strong understanding of cloud platforms (Azure, GCP, AWS) and cloud-based data storage solutions (e.g., Redshift, BigQuery, etc.). Knowledge of database technologies (SQL and NoSQL). Familiarity with version control tools (e.g., Git) and agile development processes.

PREFERRED QUALIFICATIONS

Experience with data orchestration tools. Familiarity with D365 APIs and connectors for data extraction and integration. Experience with data containerization and cloud infrastructure automation. Knowledge of data pipeline testing, monitoring, and debugging practices. Familiarity with data security, encryption, and privacy best practices
Participate in technical meetings and discussions with internal and external teams. Collaborate on complex data architectures and cloud integrations requiring strong English proficiency to ensure effective communication and project success.

Data Protection Policy: https://corp.kitco.com/data-protection.html
_____________________________________________________________

OBJECTIF DU POSTE

L'ingenieur(e) de donnees est responsable de la conception, de la mise en oeuvre et du maintien des pipelines de donnees qui soutiennent la migration, l'analyse, les fonctions d'intelligence d'affaires et l'integration avec les applications Microsoft Dynamics 365 (D365). Il/elle collabore etroitement avec les analystes et les parties prenantes de l'entreprise afin d'assurer la fluidite des flux de donnees dans toute l'organisation et leur disponibilite pour l'analyse.

RESPONSABILITES ET TACHES PRINCIPALES

Les responsabilites de ce poste comprennent, sans s'y limiter, les elements suivants :

Ingenierie et integration des donnees :

Concevoir, developper et maintenir des pipelines ETL (Extraction, Transformation, Chargement) afin d'assurer un traitement efficace de grands ensembles de donnees, incluant l'integration des donnees provenant de Microsoft Dynamics 365 (D365) et d'autres systemes. Construire et optimiser les architectures de donnees, incluant les lacs de donnees, entrepots de donnees et data marts, avec une attention particuliere a l'integration des donnees de D365. Assurer la coherence, la qualite et la disponibilite des donnees pour les besoins analytiques et les rapports d'affaires, en particulier ceux lies a D365. Collaborer avec les equipes multidisciplinaires pour definir les exigences de donnees et mettre en oeuvre des solutions adaptees, notamment pour l'integration et l'analyse des donnees D365.

Infrastructure de donnees:

Developper des solutions de donnees evolutives pour traiter des volumes importants et des flux a haute velocite, y compris les donnees liees a D365. Mettre en oeuvre et gerer des environnements de donnees infonuagiques (Azure, GCP, AWS), en assurant leur securite, leur evolutivite et leur fiabilite. Optimiser le stockage, la recuperation et le traitement des donnees pour maximiser la performance et l'efficacite des couts, notamment pour les scenarios d'integration D365.

Gouvernance et securite des donnees:

Mettre en place des pratiques de gouvernance des donnees afin d'assurer la qualite, l'integrite et la securite des donnees, particulierement celles issues de D365. Maintenir la conformite aux reglementations en matiere de confidentialite (telles que le RGPD) et aux meilleures pratiques lors du traitement des donnees provenant de D365 et d'autres systemes integres.

Collaboration et communication:

Travailler en etroite collaboration avec les analystes de donnees, les analystes d'affaires et les gestionnaires de produit afin de s'assurer que l'infrastructure de donnees repond aux besoins de l'entreprise, notamment en ce qui concerne les donnees D365. Communiquer clairement les enjeux et les mises a jour lies aux donnees, tant aux parties prenantes techniques que non techniques, avec un accent sur les donnees issues de D365.

COMPETENCES TECHNIQUES ET PROFESSIONNELLES

Baccalaureat (ou equivalent) en informatique, en ingenierie, en mathematiques ou dans un domaine connexe. Experience demontree a titre d'ingenieur(e) de donnees, avec une solide comprehension des principes d'ingenierie de donnees. Maitrise des langages de programmation tels que Python, Hadoop, SQL, Java et/ou Scala. Experience avec les cadres ETL et les outils de traitement de donnees tels que Apache Spark, Hadoop ou equivalents. Experience en integration, gestion et developpement de pipelines de donnees avec Microsoft Dynamics 365 (D365). Solide comprehension des plateformes infonuagiques (Azure, GCP, AWS) et des solutions de stockage de donnees infonuagiques (ex. Redshift, BigQuery). Connaissance des technologies de bases de donnees (SQL et NoSQL). Familiarite avec les outils de controle de version (Git) et les methodologies de developpement agile.

QUALIFICATIONS SOUHAITEES

Experience avec les outils d'orchestration de donnees. Connaissance des API et connecteurs D365 pour l'extraction et l'integration des donnees. Experience avec la conteneurisation des donnees et l'automatisation de l'infrastructure infonuagique. Connaissance des pratiques de test, de surveillance et de debogage des pipelines de donnees. Familiarite avec les meilleures pratiques en matiere de securite, chiffrement et confidentialite des donnees.
Participer a des reunions techniques et a des echanges avec des equipes internes et externes. Collaborer sur des architectures de donnees et des integrations infonuagiques complexes necessitant une bonne maitrise de l'anglais pour assurer une communication efficace et la reussite des projets.

Politique de protection des donnees : https://corp.kitco.com/fr/data-protection.html

Job Types: Full-time, Permanent

Benefits:

Dental care Extended health care Paid time off RRSP match
Work Location: Hybrid remote in Montreal, QC