Senior Data Engineer

Over de opdracht:

Onze opdrachtgever zoekt een Senior Data Engineer met ruime ervaring in het bouwen van data producten op het AWS platform volgens Data Mesh architectuur principes. Voor veel engineering collega’s bij de opdrachtgever is dit nieuwe materie, dus we zoeken iemand die niet alleen het solution design goed kan uittekenen, ontwerpen en opzetten, maar ook collega’s in meerdere teams kan meenemen in het opbouwen van de nieuwe skills die hier bij komen kijken. We hanteren hierbij het voordoen, samen doen, zelf doen principe en willen zo snel mogelijk naar de situatie dat de teams zelfstandig “data producten” kunnen realiseren en onderhouden volgens de AWS best practices en onze eigen architectuur richtlijnen. Aantoonbare ervaring met het bouwen van data producten in AWS (dus niet Azure of andere cloud partijen) is vereist en dus specifiek senior kennis van:
–    PySpark ( Python + Apache Spark ), SQL, MWAA (Apache Airflow)
–    Infrastructure as Code, i.c.m. CI/CD
 

Wat ga je doen?

 

    •    Ontwerpen en implementeren van een robuust solution design binnen de architectuurrichtlijnen van de opdrachtgever.
    •    Begeleiden en opleiden van collega’s met een solide technische achtergrond die zich willen ontwikkelen in het data engineering vakgebied.
    •    Samenwerken met de vakgroep Data Engineering en de data architect van de opdrachtgever om afstemming en kwaliteit te waarborgen.

Deze engineer moet beschikken over:

•    Ervaring in het werken volgens Data Mesh architectuur principes 
•    Ervaring in het uittekenen, ontwerpen en opzetten van solution design 
•    Ervaring met engineering in AWS in lijn met organisatie specifieke architectuur richtlijnen 
•    Zeer bekend met AWS best practices in realisatie en onderhoud
•    AWS Certified Data Engineer (certificering) 
•    Kennis kunnen overdragen aan collega’s op de werkvloer met minder ervaring (communicatief sterk + empathisch vermogen) 
•    Kennis van en ervaring met Infrastructure As Code in combinatie met CI/CD (Continuous Integration / Continuous Delivery) 
•    PySpark (Python + Apache Spark)
•    SQL
•    MWAA (Apache Airflow)