AI Act Kompas

Wie een hoog-risico AI-systeem aanbiedt, begint bij artikel 9. Het risicobeheersysteem is de motor waarop de andere eisen draaien: de uitkomsten ervan bepalen welke testen je doet, welke informatie in de gebruiksaanwijzing staat, hoe het menselijk toezicht is ingericht en welke maatregelen je neemt voor nauwkeurigheid en robuustheid.

Wat de wet precies eist

Artikel 9 schrijft een continu en iteratief proces voor dat gedurende de gehele levenscyclus van het systeem wordt gepland en uitgevoerd, met regelmatige systematische toetsing en actualisering. Het proces bestaat uit vier stappen:

1. Identificatie en analyse van bekende en redelijkerwijs voorzienbare risico's die het systeem kan opleveren voor gezondheid, veiligheid of grondrechten wanneer het wordt gebruikt volgens het beoogde doel.
2. Inschatting en evaluatie van de risico's die zich kunnen voordoen bij beoogd gebruik én bij redelijkerwijs voorzienbaar misbruik.
3. Evaluatie van andere risico's op basis van de gegevens die voortkomen uit het systeem voor monitoring na het in de handel brengen.
4. Passende en gerichte risicobeheersmaatregelen om de geïdentificeerde risico's aan te pakken.

De volgorde van beheersmaatregelen

De verordening schrijft een rangorde voor die uit het productveiligheidsrecht komt. Je pakt risico's aan in deze volgorde:

1. Wegnemen of verminderen door ontwerp en ontwikkeling — het beste risico is het risico dat je er technisch uit ontwerpt.
2. Passende beperkings- en controlemaatregelen voor risico's die niet kunnen worden weggenomen.
3. Informatie verstrekken op grond van artikel 13 en, waar passend, opleiding voor de gebruiksverantwoordelijken.

Die volgorde is geen vrijblijvend advies. Een risico dat je met een ontwerpkeuze had kunnen wegnemen, mag je niet afdoen met een waarschuwing in de handleiding.

Redelijkerwijs voorzienbaar misbruik

Dit is in de praktijk het lastigste onderdeel. Het gaat niet om moedwillige sabotage, maar om gebruik dat afwijkt van het beoogde doel en dat je redelijkerwijs had kunnen zien aankomen. Een paar voorbeelden:

• Een screeningtool die bedoeld is als hulpmiddel wordt in de praktijk als eindoordeel gebruikt.
• Een model dat getraind is op Nederlandse data wordt door een filiaal in een ander land ingezet.
• Een systeem dat drie kandidaten moet aanleveren, wordt gebruikt om een top-1 te bepalen.
• Gebruikers omzeilen de menselijke controlestap omdat die te veel tijd kost.

Het beheersen hiervan doe je deels technisch (waarschuwingen, harde limieten, verplichte bevestigingsstappen) en deels via instructies en training. Vergeet niet dat de deployer op grond van artikel 26 verplicht is het systeem volgens de gebruiksaanwijzing te gebruiken — jouw instructies zijn dus juridisch relevant.

Testen als onderdeel van risicobeheer

Artikel 9 verplicht tot testen om de meest geschikte beheersmaatregelen te bepalen en om vast te stellen dat het systeem consistent presteert volgens het beoogde doel. Belangrijk daarbij:

• Testen gebeurt vóór het in de handel brengen en waar nodig gedurende het ontwikkelproces.
• Je toetst aan vooraf vastgestelde maatstaven en probabilistische drempels die passen bij het beoogde doel — leg die dus expliciet vast.
• Testen in reële omstandigheden is toegestaan onder de voorwaarden van artikel 60, bijvoorbeeld binnen een regulatory sandbox.

Hoe je dit praktisch inricht

Een werkbaar risicobeheersysteem bestaat doorgaans uit vijf onderdelen:

1. Een risicoregister per AI-systeem, met per risico: beschrijving, getroffen groep, waarschijnlijkheid, ernst, maatregelen, restrisico en eigenaar.
2. Een vast beoordelingsmoment in je ontwikkelproces — bijvoorbeeld een verplichte poort vóór productie.
3. Een testprotocol met vooraf vastgestelde metrieken, inclusief prestatie per relevante subgroep om bias zichtbaar te maken.
4. Een terugkoppellus vanuit monitoring: klachten, incidenten en afwijkende output komen terug in het register.
5. Versiebeheer en dossiervorming, want het risicobeheersysteem is onderdeel van de technische documentatie.

Aansluiting op bestaande kaders

Werk je al met een kwaliteits- of risicomanagementsysteem, dan hoef je niets dubbel te doen. De AI Act staat toe dat de AI-risicobeheerprocessen worden geïntegreerd in bestaande procedures onder sectorale wetgeving — voor financiële instellingen is dat zelfs expliciet geregeld. Wat je wel moet aantonen, is dat de AI-specifieke elementen zijn afgedekt: grondrechten, bias, misbruikscenario's, menselijk toezicht en de terugkoppeling vanuit monitoring.

Voor het organisatorische deel — beleid, verantwoordelijkheden, wijzigingsbeheer — sluit het kwaliteitsmanagementsysteem van artikel 17 hierop aan. Samen vormen ze het bewijs dat je bij een conformiteitsbeoordeling nodig hebt.

De volledige tekst staat in artikel 9 van Verordening (EU) 2024/1689.