Cases

De uitdaging

Binnen deze overheidsorganisatie verloopt de communicatie digitaal. Dit geldt voor zowel de samenwerking tussen samenleving en politiek als de communicatie binnen het openbaar bestuur en de eigen collega’s. Iedereen gebruikt én produceert data, veelal zonder daar bewust bij stil te staan. Toepassingen van data en technologie dragen bij aan de kwaliteitsverbetering van beleid, besluitvorming en dienstverlening. Tegelijkertijd roept datagedreven werken veel nieuwe vragen op over publieke waarden en fundamentele rechten. 

Binnen deze organisatie lopen op dit moment bij diverse onderdelen initiatieven voor de ondersteuning van datagedreven werken met een datawarehouse-(achtige) voorziening. Deze initiatieven verkeren in verschillende ontwikkelstadia. Het doel is om een cloud-gebaseerde centrale voorziening te creëren van waaruit de betreffende onderdelen van de organisatie specifiek kunnen worden bediend. 

Aan ‘project Data Lab’ de taak de nodige voorbereidingen te treffen om te komen tot een generieke datavoorziening. Deze voorbereidingen moeten voorzien in de mogelijkheid om verschillende type data te ontvangen, op te slaan en te ontsluiten naar rapportages en dashboards met de gewenste analysetools. Het belangrijkste onderdeel van het project Data Lab is het optimaal inzetten van de kennis en kunde die nodig is voor het primaire proces. Om dit doel te bereiken heeft de stuurgroep van het project Data Lab de juiste mensen, expertise, kennis en praktijkervaring nodig.  

Plan van aanpak

Inrichten van een cloud-gebaseerd dataplatform met behulp van Microsoft Azure. Met Azure richten de specialist(en) de proeftuinomgevingen op. De proeftuinomgevingen zijn omgevingen waarin verschillende specialisten (zoals data engineers, data analisten, data scientists en Power BI specialisten) samen aan de gewenste dataproducten kunnen werken. 

De proeftuinen bevatten de volgende onderdelen: 

• Data opslag services zoals Data Lake en Blob Storage om onverwerkte en verwerkte gegevens te kunnen verzamelen, bewerken en opslaan. 
• Data orkestratie tools zoals Azure Data Factory om  de data verplaatsingen snel, veilig en efficiënt uit te kunnen voeren. 
• Data analyse en -transformatie tools zoals Azure Databricks, Rstudio, Jupyter Notebook. 
• Datawarehouse oplossingen zoals Azure Synapse, - SQL Database, om één centrale plaats te creëren waar alle juiste data wordt opgeslagen. 
• Data modelleren en -visualisatie tools zoals Power BI om rapportages en dashboards te kunnen ontwikkelen en deze op grote schaal te kunnen distribueren.  

Rol RubiCrew

De RubiCrew is als data engineer in dit project betrokken. Zij zijn verantwoordelijk voor het ontwerpen en ontwikkelen van data platformen en het ophalen van de juiste business requirements. Naast het uitvoeren van technische werkzaamheden adviseren zij de stuurgroep, de key-users en de interne ICT-afdelingen over allerlei zaken zoals security, governance en integraties rondom het werken in een cloud omgeving.