LegitiMaat 1.0.1

Een werkmethode voor het doen van onderzoek door derden naar het gebruik van algoritmen door een overheidsorganisatie.

MinBZK Handreiking
Vastgestelde versie

Deze versie:
https://regels.overheid.nl/publicaties/legitimaat/v1.0.1
Laatst gepubliceerde versie:
https://regels.overheid.nl/publicaties/legitimaat
Laatste werkversie:
https://minbzk.github.io/LegitiMaat/
Vorige versie:
https://regels.overheid.nl/publicaties/legitimaat/v1.0.0
Redacteurs:
(BZK)
(Hooghiemstra & Partners)
Auteurs:
Marlies van Eck
Mariette Lokin
Maike Klip
Giulia Bössenecker
Carlijn Oldeman
Robert van Doesburg
Abram Klop
Steven Gort
Doe mee:
GitHub MinBZK/LegitiMaat
Dien een melding in
Revisiehistorie
Pull requests

Dit document is ook beschikbaar in dit niet-normatieve formaat: pdf


Samenvatting

De overheid heeft veel verschillende taken. Deze taken worden bij wet toegekend aan een bestuursorgaan. Een deel van deze wettelijke taken wordt geautomatiseerd uitgevoerd met algoritmen. Denk aan het opleggen van boetes voor te hard rijden, het terugvorderen van toeslagen of het verlenen van AOW of kinderbijslag. Net als bij een meer zichtbare uitvoering van taken zoals het ophogen van dijken, is het belangrijk om te weten hoe deze processen verlopen en welke keuzen daarbij gemaakt zijn. Want ook de geautomatiseerde uitvoering van wetten is publiek handelen en moet legitiem zijn.

In opdracht van het ministerie van BZK hebben experts nu De LegitiMaat ontwikkeld. Dit is een visitatie-instrument om de geautomatiseerde uitvoering van wetten door de overheid op een gestandaardiseerde manier inzichtelijk te maken en te (laten) beoordelen. De De LegitiMaat gaat uit van drie perspectieven: juridisch, ontwikkel en accountperspectief.

Het gaat dus om algoritmen, maar ook om de context waarbinnen die worden gebruikt. Bij algoritmen wordt vaak gedacht aan Machine Learning (ML). De LegitiMaat ziet vooral op kennisgebaseerde algoritmen waarmee de wet wordt uitgevoerd en burgers een individueel besluit (in de zin van de Algemene wet bestuursrecht) ontvangen.

Het bereik van De LegitiMaat

De LegitiMaat gaat het om het gehele proces van wet tot aan individueel besluit en daarna, reactie van de ontvangers (telefoontjes, klachten, bezwaren) en de keteneffecten. Het is maatschappelijk zeer relevant dat dit proces beter inzichtelijk wordt. Daarmee verhogen we de transparantie. Met de LegitiMaat kan beoordeeld worden of de wetten, de algemene beginselen van behoorlijk bestuur en het verbod van discriminatie zijn nageleefd.

Onderdelen van de LegitiMaat

De LegitiMaat bevat een analyse van de gebruikelijke stappen die worden gezet bij overheidsorganisaties. Dit is de procesplaat.

Aan de hand van de procesplaat is er een Documentenlijst gemaakt. Dit zijn de documenten die nodig zijn voor het onderzoek.

Dan zijn vragenlijsten aan de hand van de procesplaat. Deze kunnen door de overheidsorganisatie zelf worden beantwoord.

Op basis van de verkregen informatie en antwoorden kan een visitatieteam aan de slag.

Met De LegitiMaat hebben we de praktijk, de technologie en het recht een stap dichter bij elkaar gebracht.

Meer weten?

Wij werkten zelf ook zo open mogelijk. Hoe de De LegitiMaat tot stand is gekomen vind je in deze slides. Documenten en literatuur staan op Pleio.

Voor Engelstalige informatie over The LegitiMate, kijk hier: A cool experiment in NL: The LegitiMate. Working method to judge the use of algorithms in ADM from 3 perspectives. – Automated administrative decisions and the law

Status van dit document

Dit is de definitieve versie van dit document. Wijzigingen naar aanleiding van consultaties zijn doorgevoerd.

1. De LegitiMaat

Dit onderdeel is niet normatief.

1.1 Introductie

De overheid heeft veel verschillende taken. Deze taken worden bij wet toegekend aan een bestuursorgaan. Een deel van deze wettelijke taken wordt geautomatiseerd uitgevoerd met algoritmen. Denk aan het opleggen van boetes voor te hard rijden, het terugvorderen van toeslagen of het verlenen van AOW of kinderbijslag. Net als bij een meer zichtbare uitvoering van taken zoals het ophogen van dijken, is het belangrijk om te weten hoe deze processen verlopen en welke keuzen daarbij gemaakt zijn. Want ook de geautomatiseerde uitvoering van wetten is publiek handelen en moet legitiem zijn.

Met de LegitiMaat kan de uitvoerende overheid verantwoording afleggen en kunnen anderen zich er een mening over vormen. De LegitiMaat is bedoeld om te waarderen, zodat de organisatie zich kan ontwikkelen en verbeteren. Het is een visitatie-instrument.

1.1.1 Voor wie is het bedoeld?

De LegitiMaat is een werkmethode om de geautomatiseerde uitvoering van wetten door de overheid op een gestandaardiseerde manier inzichtelijk te maken en te (laten) beoordelen. De LegitiMaat gaat uit van het vakmanschap van de medewerkers bij de bestuursorganen en van de toenemende vraag in de samenleving dat de overheid rekenschap aflegt over onzichtbare processen.

Het is bedoeld voor publieke organisaties die wetten geautomatiseerd uitvoeren en besluiten nemen in individuele gevallen. Zij kunnen inzicht te geven over bestaande processen. Ook kunnen zij een visitatie-team met beoordelaars van andere overheidsorganisaties uitnodigen om onderzoek te doen zodat de organisatie weet wat ontwikkeld kan worden of verbeterd.

Bij nieuw te ontwikkelen van ITsystemen kunnen zij direct zien wat zij moeten vastleggen om inzicht te geven.

De LegitiMaat is ook bedoeld voor beoordelaars. De juristen, auditors en collega-ontwikkelaars die inzicht nodig hebben en een waardering moeten geven over de manier waarop het bestuursorgaan wetten geautomatiseerd uitvoert.

1.1.2 Hoe kan ik een bijdrage leveren?

Op 1 juli 2022 is het prototype aangeboden aan het ministerie van BZK en gepubliceerd op GitHub. De werkmethode is werkende weg ontwikkeld, getest en aangepast. Meer informatie over het proces en de literatuur die is gebruikt staat op Pleio. We ontvangen graag verbeteringen! Neem contact op met: Marlies van Eck

1.2 Een methode om te evalueren en te leren

De LegitiMaat gaat uit van de principes van visitatie-onderzoek. Het is een visitatie-instrument. Dit betekent dat een groot deel van het onderzoek wordt neergelegd bij de expert zelf, het bestuursorgaan.

In De LegitiMaat wordt aangegeven welke documenten nodig zijn, de LegitiMaat documentenlijst en welke vragen vooraf beantwoord moeten worden, de LegitiMaat vragenlijsten.

Het visitatie-team dat vervolgens aan de slag gaat, zal interviews houden en steekproeven nemen.

De LegitiMaat is een belangrijke stap om transparant te zijn en rekenschap en verantwoording af te leggen over het gebruik van algoritmen bij geautomatiseerde uitvoering van wetten.

1.2.1 Interdisciplinair en generiek

Het is niet zinvol als iedereen vanuit zijn eigen discipline verschillende eisen stelt. Het is ook niet efficiënt als elke overheidsorganisatie zelf moet nadenken over welke vragen iemand zou kunnen hebben. De LegitiMaat is daarom een integrale methode die geschikt is voor drie disciplines voor verschillende overheidsorganisaties. Ook is de werkmethode geschikt voor herhaald gebruik bij verschillende publieke organisaties.

Met De LegitiMaat kan:

  • een jurist een uitspraak doen over de juridische rechtmatigheid en behoorlijkheid van de geautomatiseerde uitvoering,
  • een informatiekundige een uitspraak doen over de kwaliteit van de geautomatiseerde uitvoering,
  • een accountant of interne controller een uitspraak doen over de financiële rechtmatigheid van de geautomatiseerde uitvoering.

1.2.2 Relatie met andere initiatieven

Er gebeurt van alles op het terrein van algoritmen bij de overheid. Zo wordt er gewerkt aan een algoritmeregister en hanteert de overheid een open source beleid. Ook wordt steeds vaker over toezicht op algoritmen gesproken. Maar een beoordeling kan pas gegeven worden als de overheidsorganisatie eerst zelf inzicht heeft in het eigen complexe en zeer (wets)technische proces.

1.3 Hoe worden wetten geautomatiseerd uitgevoerd?

Als de overheid besluiten neemt in individuele gevallen waarbij het gaat om grote aantallen en veel vergelijkbare repeterende taken, gaat dit vaak geautomatiseerd. Hiervoor moet de wet vertaald worden en moet bepaald worden hoe de wet wordt uitgevoerd. Na gesprekken met de professionals hebben we dit proces in de volgende stappen onderscheiden.

Processen wetsuitvoering
Figuur 1 Processen wetsuitvoering

Deze procesplaat is een illustratie, geen voorschrift. Elke organisatie zal het proces op een eigen manier hebben ingericht. Dat blijft in stand. De procesplaat en de onderverdeling in De LegitiMaat, is een manier om het gesprek te voeren.

1.3.1 Geautomatiseerde besluiten of beslissingsondersteuning?

De LegitiMaat gaat over de geautomatiseerde uitvoering van wetten door de overheid. Hierbij maken we een onderscheid tussen besluiten die zonder menselijke tussenkomst worden genomen (gladde gevallen) en besluiten die gedeeltelijk met menselijke tussenkomst worden genomen (niet-gladde gevallen/uitval/uitworp). In het laatste geval fungeren de algoritmen ter ondersteuning van de beslissing. Om te bepalen welke besluiten volledig en welke deels geautomatiseerd worden genomen, wordt gebruik gemaakt van selectie- of prioriteringsmethoden. Door het toepassen van selectieregels (soms in meerdere rondes om aan te sluiten bij beschikbare capaciteit medewerkers) kan de aanvraag ter afhandeling aan een medewerker toebedeeld worden. Deze kan dan extra informatie aanvragen of extra controles verrichten en in samenwerking met de machine een besluit nemen. In het juridisch perspectief noemen we dit de voorbereidende handelingen.