Big data processing

PySpark & schaalbare transformaties

Specialist in het verwerken van grote en diverse datasets met PySpark. Ontwerpen en implementeren van schaalbare data transformaties en aggregaties voor het in-house data analytics platform. Dit zorgt voor snelle en efficiënte verwerking van meer dan 70 databronnen.

Platform Automatisering

Ansible (IaC) & Linux Beheer

Expertise in Infrastructure as Code (IaC) met Ansible voor het automatiseren van configuratiebeheer en deployments. Beheer en optimalisatie van Linux-gebaseerde data-infrastructuurcomponenten voor stabiliteit en schaalbaarheid van het dataplatform.

Containerisatie & Deployability

Docker voor Microservices Architectuu

Kennis van Docker voor het containeriseren van data-applicaties en API's. Dit waarborgt de consistentie van de omgevingen en verbetert de deployment- en schaalbaarheidsprocessen van het in-house platform.

Data Service Delivery

API Development (FastAPI) & Webhooks

Ervaring met het bouwen van FastAPI endpoints voor het ontsluiten van data en analyses als schaalbare data services. Implementatie en beheer van Webhooks voor het activeren van geautomatiseerde datatransformaties en workflows op basis van externe gebeurtenissen.

Python Development

Data Pipelines, Automatisering & Schaalbare ETL

Ervaren in Python voor Data Engineering en het bouwen van robuuste, herbruikbare data pipelines. Gebruikt voor complexe ETL/ELT-processen, automatisering en datatransformaties, met inbegrip van integratie met zowel Big Data (PySpark) als Cloud Storage (Azure). Focus op schone code, maintainability en efficiëntie in de productieomgeving.

Data Engineering: SQL/PLSQL

Geavanceerde Querying & Data Architectuur

Expert in het ontwerpen van gestructureerde databaseschema's en het optimaliseren van relationele databases. Ervaring met diverse SQL-dialekten waaronder MySQL, MariaDB, PostgreSQL, Oracle, en SQL Server. Schrijven en uitvoeren van complexe SQL-query's voor data-analyse en rapportage, met nadruk op prestaties en efficiëntie.

Cloud Data Engineering

Azure data workflows & cloud storage

Praktische ervaring met het inrichten van een end-to-end data-omgeving binnen Microsoft Azure. Expertise in het opzetten van data workflows met Python scripts en het direct laden van data in Azure Storage voor verdere analyse. Begrip van cloud-architectuurprincipes en de koppeling naar Business Intelligence (Power BI).

Business Intelligence (BI)

Data Visualisatie & Inzichten

Vaardig in het transformeren van ruwe data naar visuele inzichten met tools zoals Power BI. Ervaring in BI-tool evaluatie en het adviseren van de business over de beste oplossingen voor rapportage en besluitvorming.