Data engineer ETL Databricks (Freelance mogelijk)

Taken en verantwoordelijkhedenWe zoeken een ETL-ontwikkelaar (Databricks) voor de ontwikkeling van data pipelines voor de toepassingen EIL/ERW naar het Dataplatform (emissie register water (ERW) en de emissie inventaris lucht (EIL) van de VMM).Het betreft een project in het kader van "(OIS-)Actie 54: IMJV: uitbreiding naar ZS (Zorgwekkende Stoffen)".De Richtlijn Industriële Emissies (RIE; Eng.: Industrial Emissions Directive, IED) is het belangrijkste Europese instrument om de potentieel negatieve impact van industriële installaties op de omgeving te beperken. De Europese milieuregelgeving heeft met deze richtlijn een directe impact op de Vlaamse milieuregelgeving. In totaal vallen momenteel in Vlaanderen ongeveer 900 industriële installaties (chemie, metallurgie, afvalverwerking…) en 900 landbouwinstallaties onder het toepassingsgebied. Een evaluatie van de effectiviteit van de RIE leidde in 2022 tot een voorstel tot herziening van de RIE. Met de herziening wil men de effectiviteit van het instrument verder verhogen en bijdragen aan de zogenaamde Europese zero pollution ambition onder de Europese Green Deal. In totaal zullen in Vlaanderen ongeveer 900 industriële installaties en 2000 landbouwinstallaties onder het toepassingsgebied van dit Europees instrument vallen.De RIE en IEPR hebben ook voor de VMM verstrekkende gevolgen op het vlak van aanpassing van de wetgeving, advisering omgevingsvergunningen en de registratie en rapportering van emissiegegevens van bedrijven.Via het IMJV-Loket (Integraal Milieu Jaarverslag) rapporteren bedrijven en landbouwers jaarlijks de emissies naar water en lucht. Zij zijn hiertoe verplicht als ze een bepaalde drempel overschrijden. Het IMJV-loket wordt beheerd en gehost bij het departement omgeving. Deze data stroomt door naar het emissie register water (ERW) en de emissie inventaris lucht (EIL) van de VMM, in deze systemen wordt voorzien in de validatie van de gerapporteerde gegevens. EIL en ERW zijn de born van een datawarehouse, waar de gevalideerde gegevens verzameld worden en ontsloten worden voor rapportering. Vanuit de datawarehouses wordt ook een datastroom opgezet naar het departement omgeving voor de Europese ePRTR rapportering (= gevalideerde IMJV resultaten).Als DWH ELT-ontwikkelaar voorzie je in de implementatie van de functionele en technische analyse voor de herwerking van de on premise datawarehouses ERW en EIL (IBM Datastage als ETL tool, Informix als onderliggende databanken Cognos als BI-tool) en de migratie van deze DWH naar het nieuwe VMM-Dataplatform (Azure, Data Factory/Databricks als ELT en Power BI als BI-tool).Als ELT-ontwikkelaar implementeer je de nieuwe datastromen voor water (ERW) en lucht (EIL) emissies naar het VMM-Dataplatform gebruikmakend van Databricks en DataFactory. Kennis van IBM Datastage, Informix en Greenplum is een pluspunt, het vergemakkelijkt de migratie van de legacy datawarehouses EIL en ERW naar code in Databricks op het nieuwe VMM-Dataplatform.Jouw profielAantoonbare ervaring met data factory in Databricks op een (Azure) Cloud DataplatformAantoonbare ervaring met datawarehouse modelleringAantoonbare ervaring met de ontwikkeling van datastromen in Databricks op een (Azure) Cloud DataplatformAantoonbare ervaring met projectgericht werken en data warehouse modellering of een aantoonbare opleiding in datawarehouse modelleringAantoonbare kennis en ervaring met het plannen, ontwerpen en bouwen van een data warehouse toepassing gebruik makend van tools zoals Cognos of Datastage.Taalvereiste: Nederlandstalig op Europees CEFR - niveau C2.Zeer goede SQL kennis (aantoonbaar)Aantoonbare kennis en ervaring van data warehousing concepten, processen en architecturen.Aantoonbare kennis en ervaring met bouwen van volgende data warehouse componenten: data integratie (ETL), rapportering & analyse (BI), databanken en metadataAantoonbare kennis en ervaring van Agile ontwikkelingsmethodiekKennis van organisatie en ervaring in opdrachten van de overheid of specifiek VMM en met de technische standaarden binnen VMM is een pluspunt.AanbodJe zal deel uitmaken van een groeiende KMO met ruimte voor initiatief en persoonlijke ontwikkeling. Wij zorgen ervoor dat je in een uitdagende maar aangename werkomgeving terecht komt met leuke collega's. Samen met jou stippelen we een carriereplan uit, met aandacht en budget voor bijkomende opleidingingen / certificaties. Je kan rekenen op een motiverend salaris, aangevuld met extralegale voordelen, inclusief bedrijfswagen (of alternatieve vergoeding).(Freelance is ook mogelijk)