Blogs
& video

Technology Officer Data Jesse Gorter ziet met eigen ogen bij klanten hoe data lakehouses fungeren als één geïntegreerde oplossing voor een veelheid aan data- en analysedoeleinden.

Hoe datavolwassen je als organisatie ook bent, je kijkt altijd vooruit. Naar een sterkere datacultuur, betere data governance of nieuwe AI-toepassingen. Onze Ideale architecturen, mesh vs. centraal, data aanbieden als een product: Jesse legt uit hoe je als grote organisatie met datagedreven initiatieven nóg meer waarde haalt uit data.

Data als rijzende ster

Medewerkers zijn de belangrijkste asset van je organisatie, was lang het adagium. “De laatste jaren hoor ik steeds vaker dat data nu evengoed een kroonjuweel is. Tien jaar geleden zag iedereen data als een secundair proces, tegenwoordig is er consensus onder grotere organisaties: data en analytics zijn cruciaal en dus primair”, signaleert Jesse.

De meeste klanten van Rubicon zijn al behoorlijk datavolwassen. Gorter: “In meer of mindere mate profiteren ze al van bekende voordelen van datagedreven werken als onderbouwde beslissingen, meer efficiëntie en een groter innovatievermogen. Technisch zijn ze weliswaar vaak ver, maar het (volledig) meekrijgen van de organisatie blijft in de regel een grote uitdaging.”

De fases ‘Wat is er gebeurd?’ en ‘Waarom is het gebeurd?’ zijn bij volledig datagedreven organisaties achter de rug. Nu zitten ze op het niveau van realtime monitoring, voorspellende analyses, automatiseringen en optimalisaties. Data is daarbij constant in dialoog met de business. Bovendien heerst er een datagedreven cultuur én een data-first mindset. “Oftewel: alle medewerkers focussen op het verzilveren van waarde uit data. En dat kan bijvoorbeeld via geavanceerde machine learning usecases zoals adequate risicobeoordelingen en gepersonaliseerde klantbelevingen”, aldus Gorter.

Meer datavolwassenheid ≠ minder uitdagingen

Meer datavolwassenheid impliceert niet dat je minder uitdagingen hebt, legt Gorter uit. “Integendeel. Iedere fase brengt andere uitdagingen met zich mee. Datavolwassen organisaties moeten bijvoorbeeld complexe data-ecosystemen beheren, datakwaliteit waarborgen op grote schaal, het gebruik van self-service BI in goede banen leiden en een cultuur van data-innovatie stimuleren. Plus: ook zij kijken natuurlijk altijd een stap vooruit. Welke mooie AI-toepassingen zorgen voor nóg meer waarde uit data?”

Modulair, flexibel en schaalbaar dataplatform

De Gartners en Forresters van deze wereld zijn het erover eens. Een echte datacultuur realiseren is de belangrijkste menselijke component van datagedreven werken; technische eis nummer één is het juiste – en dus toekomstbestendige – dataplatform. Gorter: “Voor grotere organisaties volstaat het niet meer om nóg een datawarehouse op te tuigen. Je hebt vooral een geïntegreerde oplossing nodig voor al je analysedoeleinden.”

De belangrijkste eisen voor een dataplatform zijn volgens de data-architect helder. Je platform moet modulair, flexibel en schaalbaar zijn. En mag juist niet ingericht zijn rondom één tool, zoals Power BI. “Ook moet er functionaliteit zijn voor verschillende oplossingen – denk aan self-service BI, big data rondom ongestructureerde gegevens en geo-informatie – zonder dat je aparte architecturen of platformen hoeft op te zetten voor afzonderlijke usecases. Alleen zo bouw je een toekomstbestendig dataplatform dat meebeweegt met je organisatie en dus langdurig waarde levert”, adviseert Gorter.

Eén data lakehouse, een veelheid aan usecases

Rubicon is een enthousiaste adept van het data lakehouse-principe. Zo’n platform combineert de flexibele opslag van een data lake met de beheer- en analysefunctionaliteiten voor gestructureerde data van een data warehouse. Gorter: “Een data lakehouse maakt je veel flexibeler. Van AI-toepassingen tot data streaming: je kunt er bijna alle usescases rondom data en analytics mee realiseren.”

Microsoft Fabric en Azure Databricks

De recente lancering van Microsoft Fabric is de talk of the town in de wereld van analytics. Fabric is een geïntegreerde oplossing voor data engineering, data science, machine learning, BI en data-integratie, die een trits Azure-diensten (zoals Azure Data Factory, Azure Synapse Analytics en Power BI) samenbrengt. Azure Databricks, het voor Azure geoptimaliseerde dataplatform van Databricks, draait al de nodige jaren mee.

Gorter: “Beide platformen hebben een data lakehouse-architectuur als uitgangspunt, maar het jasje waarin ze zijn gestoken verschilt een beetje. Voor zowel Fabric als Azure Databricks hebben wij blueprints en best practices ontwikkeld. De basis daarvan is medallion, maar dan hebben we het meer op maat gesneden.”

De architectuur sluit daardoor beter aan bij Rubicons visie én zorgt ervoor dat je flexibel kunt inspelen op AVG-verzoeken zoals het recht op gegevenswissing. “Een belangrijke wijziging is dat wij Delta Lake in alle lagen gebruiken, dus ook in de laag voor ruwe data. Daardoor is ook daar pseudonimisatie en anonimisatie mogelijk. Bij een verzoek om vergeten te worden kun je iemand dus ook écht vergeten, zonder dat er nog ergens een Excelletje met persoonsgegevens van de verzoeker rondzwerft in de bronzen laag”, zegt Gorter.

Data-as-a-Service (DaaS): productdenken rondom data

“Wij prijzen bij Rubicon ook het concept van Data-as-a-Service aan”, aldus Gorter. “Daarbij beschouw je je data en je dataplatform als producten. Waarde, gebruiksgemak, toegankelijkheid, functionaliteit: de ‘producten’ zijn zo ontworpen dat ze voldoen aan alle wensen en eisen van gebruikers. Ook belangrijk bij DaaS: het moet voor iedereen duidelijk zijn wie de eigenaar van data is, zodat je die eventueel kunt aanspreken.”

DaaS wordt steeds vaker vormgegeven via het concept van data mesh. Ieder domein of team binnen een organisatie zet daarbij een decentraal dataplatform op én draagt de verantwoordelijkheid voor het beheren en delen van de eigen gegevens. In een centrale catalogus wordt alle data aangeboden volgens gecentraliseerde standaarden. Gorter: “Voor kleinere en minder datavolwassen organisaties is mesh eigenlijk geen optie, je organisatie moet er vrij groot en datavolwassen voor zijn.”

Adoptie, cultuur, mindset: voorkom een lege huls

Voor DaaS geldt hetzelfde als voor datagedreven werken in het algemeen: adoptie, een datagedreven cultuur en een data-first mindset mogen nooit worden onderschat. “Je kunt nog zo je best doen om hoogwaardige data als een soort kraanwater beschikbaar te stellen,” zegt Gorter, “maar doen je medewerkers er vervolgens niks mee? Dat is het allemaal een lege huls. Neem medewerkers mee in je verhaal, enthousiasmeer ze, geef ze trainingen. En leg vooral uit wat ze met self-service BI kunnen en mogen doen.”

Sneller dataproducten leveren

Door data als een product en op een gestandaardiseerde, toegankelijke en schaalbare manier aan te bieden, kun je als organisatie de ontwikkeling van dataproducten versnellen. Power BI, maar ook bijvoorbeeld dashboarding, rapportages en analytische modellen in andere applicaties.

Let wel op dat dit in goede banen wordt geleid, waarschuwt Gorter: “Deze vorm van citizen development kan leiden tot datalekken, data-inconsistenties, onderhoudsuitdagingen en non-compliance. Zo bevat Power BI opties waarbij je data naar de VS wordt gestuurd, zoals Esri voor geo-informatie. Goede governance is dus essentieel. Stel bijvoorbeeld in dat een dataproduct vanaf een x-aantal gebruikers alleen managed mag worden opgeleverd en dus niet via citizen development.”

Data als fundering voor AI

Ook al meen je te weten wat de datavolwassenheid van je organisatie is, volgens Gorter is een data maturity assessment altijd zinvol. “Doordat sterke en zwakke punten worden geïdentificeerd, kun je een roadmap opstellen voor je volgende data-initiatieven. Heb je een robuust en toekomstbestendig data lakehouse én staat je DaaS als een huis? Dan heb je een perfecte fundering voor het ontwikkelen en implementeren van onder meer AI-modellen en -toepassingen.”

Vooral de Copilot-achtige chatbot-toepassingen die responses geven op basis van eigen data spreken tot de verbeelding. Gorter: “Het is goed om te beseffen dat deze large language-modellen geen voorspellingen kunnen doen. Wil je echt voorspellen? Dan is het beter om je datafundering te gebruiken voor het ontwikkelen van eigen machine learning-modellen. Die kunnen bijvoorbeeld voorspellen welke klanten je gaat verliezen en wat de ideale voorraadniveaus zijn gezien de verwachte vraag. Mooi meegenomen: je data scientists werken voortaan in één omgeving en worden dankzij het grote aantal automatiseringen enorm ontzorgd. En dat maakt je bedrijf weer aantrekkelijker voor data science-talenten.”

Bijpraten over data & analytics in Azure

Data Technology Officer Jesse Gorter helpt organisaties om meer waarde uit hun data te halen met behulp van Microsoft Fabric en Databricks. Een datagedreven cultuur is volgens hem vaak de grootste uitdaging. Wat de trends en ontwikkelingen op het gebied van data & analytics in Azure zijn? Jesse praat je graag bij.

Met een dataplatform van Rubicon heb je een geïntegreerde oplossing voor ál je analysedoeleinden. Business reporting, self-service BI en AI worden vanuit één platform geleverd. Wij kijken nuchter en onafhankelijk naar de beste wijze om je dataplatform te realiseren. En zorgen altijd voor een modern en vooral toekomstbestendig platform dat naadloos past bij de databehoeften van jouw organisatie. Neem contact met ons op voor meer informatie.