Cases

Doordat organisaties de potentie ontdekken, ontstaan ook mooie ambities.

Een provincie zette in korte tijd een Proof of Concept neer voor drie generatieve AI-toepassingen. De basis daarvoor is een door Rubicon ontwikkeld platform, dat medewerkers in staat stelt om veilig en compliant een Large Language Model (LLM) te gebruiken. Sinds de eerste kennismaking met AI komen medewerkers van de provincie met steeds meer mooie use cases.

Laagdrempelig en veilig potentie onderzoeken

Naast bedrijven voelen ook overheidsinstanties in de regel de urgentie om met (generatieve) AI-technologieën aan de slag te gaan. Kunstmatige intelligentie moet hen helpen om bijvoorbeeld diensten te verbeteren, data-analyses te vereenvoudigen en efficiënter te werken.

Jeffrey Paarhuis, AI Principal en Solution Architect bij Rubicon signaleert zowel bij overheden als in het bedrijfsleven nog veel terughoudendheid: “Misschien nog wel meer dan bedrijven zijn overheden bezorgd over privacy, databescherming, ethiek en technologische complexiteit. Een Proof of Concept (PoC) zoals die van deze provincie is dan ideaal. Zo kun je als organisatie namelijk laagdrempelig en veilig onderzoeken waar LLM’s goed in zijn en waar voor jou de quick wins zitten. Een PoC fungeert daardoor, als het goed is, als springplank naar grootschaligere toepassing van AI.”

Alles binnen eigen omgeving

Dankzij de AI Platform Accelerator van Rubicon kunnen (overheids)organisaties binnen een maand generatieve AI (GenAI) inzetten. De provincie, die liever anoniem blijft, heeft binnen de PoC drie LLM-gebaseerde toepassingen geïmplementeerd. Technisch en functioneel hebben die wat weg van ChatGPT. Er zijn echter enkele essentiële verschillen. Zo verlaat niets de eigen omgeving van de provincie én wordt data nooit gebruikt om het foundation-model te trainen.

Drie use cases binnen PoC

Binnen de PoC heeft de provincie drie use cases geïmplementeerd:

#1 Private chat

Medewerkers van de provincie kunnen chatten in een maatwerk applicatie, die een GPT-model als basis heeft. Alle gegevens en processen blijven dus binnen de omgeving van de provincie. Deze use case is bewust als eerste geïmplementeerd om een laagdrempelige instap te creëren. Met deze relatief eenvoudige toepassing kunnen medewerkers namelijk gemakkelijk kennismaken met de kracht van LLM’s.

De GPT-modellen van AI zijn getraind op verbluffende hoeveelheden data en werken met (honderden) miljarden parameters. De modellen zijn daardoor onder andere goed in het beantwoorden van generieke vragen van provinciemedewerkers. Wat zijn bijvoorbeeld de taken van verschillende Nederlandse overheidsinstanties op het gebied van vergunningen en ontheffingen?

Denk daarnaast ook aan prompts voor het verbeteren van de e-mailcommunicatie, het herschrijven van een tekst naar taalniveau B1, het uitleggen van een juridische tekst aan leken, en voor het zoeken van een betrouwbare bron voor bepaalde informatie via live search.

#2 Eén of enkele bestanden uploaden

De basis van deze use case is hetzelfde als #1, aangevuld met de mogelijkheid om prompts los te laten op één of enkele geüploade bestanden. Zo kunnen medewerkers de applicatie instrueren om de eisen uit een aanbestedingsdocument te halen, een onderzoeksrapport samen te vatten of een concept voor een nieuwsbrief te schrijven op basis van notulen.

#3 Grote set documenten en data

Deze use case is gelijk aan #2, met het grote verschil dat medewerkers een omvangrijke collectie documenten en gegevens (binnen een bepaalde omgeving) kunnen bevragen. De provincie gebruikt deze toepassing voor data binnen het domein personeel en organisatie (P&O). Medewerkers kunnen bijvoorbeeld vragen stellen over onderwerpen als cao, verlofdagen en verzuim. De applicatie genereert het antwoord op basis van alle informatie binnen de afgekaderde omgeving.

Deze provincie even buiten beschouwing gelaten: overheden zouden voor eenzelfde toepassing één of meerdere databronnen zoals SharePoint-omgevingen, (SQL- en NoSQL)-databases, cloudomgevingen, externe webservices en/of API’s voor publieke data (zoals Nationaal Georegister en CBS Open Data StatLine) kunnen koppelen, zodat medewerkers de data in deze bronnen kunnen bevragen. 

AI Foundation

De use cases zijn gebouwd op de AI Foundation van Rubicon, dat de basisinfrastructuur en -functionaliteit levert voor het ontwikkelen en uitvoeren van maatwerk AI-applicaties. De AI-core via Azure OpenAI is volledig cloudgebaseerd; workloads worden uitgevoerd in de eigen tenant van de klant. De user interfaces worden door Rubicon gebouwd met Angular, Googles open-source framework voor webapplicaties.

Dankzij de AI Foundation kunnen de AI-toepassingen snel worden geïmplementeerd. Andere belangrijke voordelen:

1. Gemakkelijk toevoegen, veranderen of verwijderen van oplossingen en modellen
2. Security by design
3. Data-integriteit dankzij access controls op maat en dedicated netwerken
4. Compliant met bijvoorbeeld AVG, ISO en branchespecifieke regelgeving (zoals, in het geval van de provincie, BIO, NORA en DORA)
5. Vergroten van de betrouwbaarheid van responsen met een testframework
6. Ondersteuning bij realiseren van responsible AI
7. Voorspelbare kosten.

Privacy, databescherming en compliance

Compliance met alle strenge wetten en regels binnen de publieke sector was een heel belangrijk aandachtspunt binnen de PoC, vertelt Paarhuis. “De oplossing hebben we zo geconfigureerd, net zoals bij al onze andere klanten overigens, dat alle gegevens en processen binnen de eigen Azure-tenant blijven. De provincie heeft als klant bovendien volledige controle over (de configuraties voor) databescherming, security en toegangsbeheer. Vanwege de strenge compliance-eisen hebben we in nauw overleg met de provincie bijvoorbeeld retenties ingesteld voor de chats: na zes maanden worden ze automatisch verwijderd.”

Datavolwassenheid (niet altijd) noodzakelijk

Een wijdverbreid misverstand is volgens Paarhuis dat je een datavolwassen organisatie moet zijn om met generatieve AI te werken. “Dat is handig, maar niet per se nodig. Over het algemeen geldt wel dat use cases krachtiger worden naarmate je je datahuishouding beter voor elkaar hebt. Beperkte data, bijvoorbeeld binnen één domein of zonder complete metadata, kan ook goed genoeg zijn voor bepaalde use cases. Een goed voorbeeld is de use case van de provincie voor het ontsluiten en bevragen van alle P&O-informatie: de beschikbaarheid en kwaliteit van data buiten dit domein is niet relevant.”

Steeds meer (use cases binnen) use cases

Paarhuis signaleert dat gebruikers in de regel dezelfde GenAI-ontwikkeling doormaken. “Eerst moeten ze leren waar GenAI goed in is en hoe ze het effectief en efficiënt kunnen gebruiken. Ze ontdekken bijvoorbeeld dat het niet goed is in factchecken, maar wel in samenvatten. Daarna worden mensen eigenlijk altijd enthousiast en bedenken ze nieuwe use cases en uses cases binnen use cases.”

Bij de provincie heeft Paarhuis al wat mooie ideeën langs zien komen. “Eén van de afdelingen wil bijvoorbeeld geografische gegevens, informatie over projecten en data over locaties van objecten combineren. Vermeldt een document een brug, dan zien medewerkers daar direct de locatie van. Databronnen combineren biedt hele interessante mogelijkheden. Om dit te realiseren, moet de provincie orkestratie toevoegen om verschillende systemen en soorten data te integreren. Dat zou een fraaie vervolgstap zijn.”

Mooie ambities

Paarhuis: “Dit sneeuwbaleffect voor nieuwe use cases is precies wat onze klanten en wij met een PoC willen bereiken. Doordat organisaties de potentie ontdekken, ontstaan ook mooie ambities. Zo droomt de provincie ervan om met GenAI haar dienstverlening richting burgers en bedrijven te verbeteren. Een LLM kan bijvoorbeeld helpen om alle communicatie op taalniveau B1 te krijgen.”