Jouw organisatie koopt een AI-systeem in dat door de aanbieder is bedoeld voor het doorzoeken en samenvatten van interne documenten. Na verloop van tijd zet jouw organisatie datzelfde systeem ook in om sollicitaties te analyseren, kandidaten te rangschikken en recruiters te ondersteunen bij de eerste selectie. Wat nog steeds kan aanvoelen als gebruik van de technologie voor interne documenten, kan juridisch betekenen dat jouw organisatie niet langer alleen gebruiksverantwoordelijke is, maar zelf als aanbieder van een hoog-risico AI-systeem wordt aangemerkt. Let op: daarmee krijgt jouw organisatie meer verplichtingen waaraan je moet voldoen volgens de AI-verordening!
Centrale vraag: wanneer aanbieder van een hoog-risico AI-systeem?
De centrale vraag in deze blog is: wanneer verandert je juridische rol van gebruiksverantwoordelijke naar aanbieder van een hoog-risico AI-systeem? Gebruik je het systeem binnen het doel van de aanbieder[1], dan blijf je gebruiksverantwoordelijke. De AI-verordening kent vier routes waarlangs jouw organisatie als aanbieder van een hoog-risico AI-systeem kan worden aangemerkt. Drie daarvan staan in artikel 25, lid1: je zet je naam of merk op een bestaand hoog-risico AI-systeem, je brengt een substantiële wijziging aan, of je wijzigt het doel zodat een systeem dat nog geen hoog risico was, dat alsnog wordt.[2] Daarnaast kent artikel 25, lid 3 een afzonderlijke route voor fabrikanten van bepaalde producten waarin een hoog-risico AI-systeem als veiligheidscomponent is verwerkt.[3]
Leeswijzer
In de eerste paragraaf leggen we het verschil tussen aanbieder en gebruiksverantwoordelijke uit. Daarna behandelen we vier situaties waarin een organisatie als aanbieder kan worden aangemerkt. De eerste drie volgen uit artikel 25, lid 1, van de AI-verordening, opgenomen in paragraaf 2. Daarna bespreken we in paragraaf 3 de afzonderlijke route voor productfabrikanten uit artikel 25, lid 3. Tot slot leggen we uit wat dat betekent voor jouw verantwoordelijkheid als aanbieder en welke verplichtingen de oorspronkelijke aanbieder daarbij behoudt.
1. Aanbieder en gebruiksverantwoordelijke: het verschil
De aanbieder ontwikkelt een AI-systeem óf laat het ontwikkelen en brengt het in de handel óf stelt het in gebruik onder eigen naam of merk.[4] De gebruiksverantwoordelijke gebruikt het systeem onder eigen verantwoordelijkheid, binnen het doel dat de aanbieder heeft vastgesteld.[5]
Verplichtingen als gebruiksverantwoordelijke
Dat onderscheid heeft directe gevolgen voor de vraag welke verplichtingen op jouw organisatie rusten. Zolang je gebruiksverantwoordelijke bent, gebruik je het hoog-risico AI-systeem binnen het door de aanbieder vastgestelde doel. In die rol moet je het systeem gebruiken overeenkomstig de gebruiksinstructies, zorgen voor passend menselijk toezicht, relevante inputgegevens zorgvuldig beheren en, waar nodig, het gebruik monitoren en ernstige incidenten melden. Die verplichtingen zijn belangrijk, maar zij blijven beperkt tot verantwoord gebruik van een systeem dat in beginsel al door de aanbieder is beoordeeld en gedocumenteerd.[6]
Verplichtingen als aanbieder
Verschuift jouw rol naar aanbieder, dan verandert dat wezenlijk. Vanaf dat moment moet jouw organisatie zelf kunnen aantonen dat het systeem aan de eisen van de AI-verordening voldoet. Dat betekent onder meer dat je een conformiteitsbeoordeling moet (laten) uitvoeren, technische documentatie moet opstellen en bijhouden, een EU-conformiteitsverklaring moet opstellen, het systeem van CE-markering moet voorzien en een post-market monitoring-systeem moet inrichten. Ook moet je kunnen onderbouwen hoe het systeem is ontworpen, getest en beheerst, welke risico’s zijn onderkend en welke maatregelen zijn getroffen om aan de eisen van hoog-risico AI-systemen te voldoen.[7] De AI-verordening wil bij hoog-risico AI-systemen steeds één duidelijk aanspreekbare partij aanwijzen die deze verantwoordelijkheid draagt. Artikel 25 regelt in welke gevallen die verantwoordelijkheid verschuift van de oorspronkelijke aanbieder naar jouw organisatie.[8]
2. De drie situaties waarin je aanbieder wordt
2.1 Je naam of merk op het systeem
Zet je jouw naam of merk op een hoog-risico AI-systeem dat al in de handel is gebracht of in gebruik is gesteld, dan word je in beginsel aanbieder.[9] Dit geldt ook als je het systeem in technische zin niet wijzigt. Je presenteert je als afzender, en de verantwoordelijkheid hoort daarbij.
Voorbeeld: Een recruitmentbureau dat een AI-systeem inkoopt voor het analyseren van sollicitaties en het rangschikken van kandidaten, biedt dit vervolgens onder eigen naam en logo aan klanten aan via een eigen portaal. In zo’n geval verandert de techniek misschien niet, maar presenteert het bureau het systeem wel als zijn eigen oplossing.
2.2 Substantiële wijziging
Het gaat hier om een AI-systeem dat al als hoog-risico AI-systeem in de handel is gebracht of in gebruik is gesteld. Breng je daarna een substantiële wijziging aan en blijft het systeem ook na die wijziging een hoog-risico AI-systeem, dan kan jouw organisatie zelf als aanbieder worden aangemerkt.
Van een substantiële wijziging kan bijvoorbeeld sprake zijn als je trainingsdata toevoegt, drempelwaarden bijstelt, het model hertraint, aanvullend traint of een integratie bouwt waardoor uitkomsten direct doorwerken in besluitvorming. Doorslaggevend is of je daarmee buiten het kader gaat dat de aanbieder bij de conformiteitsbeoordeling had voorzien.[10]
Een substantiële wijziging is een niet-voorziene of niet-geplande verandering na het in de handel brengen of in gebruik stellen, die de overeenstemming met de hoog-risico eisen beïnvloedt, of die het doel wijzigt waarvoor het systeem is beoordeeld. Breng je zo’n wijziging aan en blijft het systeem een hoog-risico AI-systeem, dan word je aanbieder.[11]
Er is wel een grens. Aanpassingen die het systeem na ingebruikstelling maakt en die de aanbieder vooraf heeft bepaald en al heeft beoordeeld bij de conformiteitsbeoordeling, tellen in beginsel niet als substantiële wijziging.[12] Leg daarom altijd vast wat je wijzigt en toets of de oorspronkelijke aanbieder die aanpassing al had voorzien.
Voorbeeld: Een recruitmentbureau gebruikt een hoog-risico AI-systeem voor de analyse van sollicitaties en beoordeling van kandidaten. De aanbieder heeft alleen een ondersteunende score voor menselijke beoordeling voorzien in de conformiteitsbeoordeling, technische documentatie en gebruiksinstructies. Het recruitmentbureau stelt het systeem anders in. Kandidaten onder een bepaalde AI-score worden automatisch uit de procedure gefilterd. Als die automatische filtering niet was voorzien door de oorspronlijke aanbieder en daardoor sprake is van een substantiële wijziging in de zin van artikel 3, punt 23, kan de organisatie op grond van artikel 25, lid 1, onder b, zelf als aanbieder worden aangemerkt.[13]
2.3 Beoogd doel wijzigen zodat het systeem hoog-risico wordt
Een derde situatie waarin een gebruiksverantwoordelijke aanbieder wordt, speelt als hij het beoogde doel van een AI-systeem wijzigt en het systeem daardoor een hoog-risico AI-systeem wordt.[14] Het beoogde doel is het gebruik waarvoor het systeem door de oorspronkelijke aanbieder is bedoeld, zoals dat blijkt uit gebruiksinstructies, technische documentatie en verkoop- of promotiemateriaal.[15] Wijzig je dat doel en wordt het systeem daardoor een hoog-risico AI-systeem, dan word je aanbieder van dat hoog-risico AI-systeem.[16]
Voorbeeld I
Een recruitmentbureau gebruikt een AI-systeem aanvankelijk voor het doorzoeken en samenvatten van interne documenten. Vervolgens zet zij datzelfde systeem in om sollicitanten te beoordelen en te rangschikken. Daarmee wijzigt zij het doel van het systeem naar een toepassing die onder Bijlage III als hoog-risico geldt. In zo’n situatie kan de organisatie door het doel van het AI-systeem te wijzigen zelf aanbieder van een hoog-risico AI-systeem worden. [17]
Voorbeeld II
Een recruitmentbureau gebruikt ChatGPT eerst alleen om cv’s en motivatiebrieven samen te vatten voor recruiters. Daarna maakt het recruitmentbureau een custom-GPT met eigen instructies, kennisbestanden, selectiecriteria en een koppeling met het recruitmentsysteem. Die custom-GPT gebruikt het bureau vervolgens om sollicitanten te beoordelen en onder een bepaalde score automatisch af te wijzen.
Artikel 25, lid 1, onder c, noemt expliciet dat ook het beoogde doel van een general-purpose AI-systeem kan worden gewijzigd. Mogelijk gebeurt dat hier. Het gebruik verschuift namelijk van algemene tekstondersteuning naar werving en selectie. Die toepassing valt in beginsel onder Bijlage III, punt 4, onder a, AI-verordening.
Of het recruitmentbureau daarmee zelf aanbieder wordt, hangt af van het door OpenAI vastgestelde beoogde doel en de relevante gebruiksgrenzen, zoals die blijken uit de toepasselijke documentatie, voorwaarden en gebruiksinstructies. OpenAI laat in publieke documentatie zien dat GPT’s kunnen worden ingericht met eigen instructies, kennis en acties. Tegelijk maakt OpenAI in haar Usage Policies duidelijk dat haar diensten niet mogen worden gebruikt voor automatisering van high-stakes beslissingen zonder menselijke beoordeling, waarbij employment expliciet wordt genoemd. Valt dit concrete recruitmentgebruik buiten die gebruiksgrenzen, dan kan het recruitmentbureau op grond van artikel 25, lid 1, onder c, zelf als aanbieder van het hoog-risico AI-systeem worden aangemerkt.[18]
3. Afzonderlijke route voor gereguleerde producten
Naast de drie situaties kent artikel 25 een afzonderlijke route voor fabrikanten van fysieke producten. Verwerk je een hoog-risico AI-systeem als veiligheidscomponent in een product dat valt onder de harmonisatiewetgeving van Bijlage I, zoals een machine, voertuig of medisch hulpmiddel, dan geld je als aanbieder van dat AI-systeem. Dat geldt zowel als je het product samen met het AI-systeem voor het eerst op de markt brengt, als wanneer je het systeem achteraf integreert in een product dat al in de handel is.[19]
4. Jouw organisatie wordt volledig aanbieder
Als één van de bovenstaande situaties zich voordoet, is de oorspronkelijke aanbieder voor dit aangepaste systeem niet langer aanbieder in de zin van de AI-verordening. Jouw organisatie draagt het volledige aanbiederschap voor het gewijzigde systeem.[20]
Samenwerkingsplicht oorspronkelijke aanbieder
De oorspronkelijke aanbieder heeft daarbij een samenwerkingsplicht: hij moet informatie beschikbaar stellen, technische toegang verlenen en redelijke bijstand geven zodat jouw organisatie aan de verplichtingen kunt voldoen. Die plicht vervalt als de oorspronkelijke aanbieder vooraf uitdrukkelijk heeft aangegeven dat zijn systeem niet mag worden gewijzigd in een hoog-risico AI-systeem.[21]
Schriftelijke afspraken
Daarnaast moet de oorspronkelijke aanbieder van een hoog-risico AI-systeem schriftelijke afspraken maken met derden die systemen, tools, diensten, componenten of processen leveren die in dat systeem worden gebruikt of geïntegreerd.[22] Juist bij integraties, hertrainen en het gebruik van componenten van derden is dat essentieel: zonder zulke afspraken is het lastig om technische documentatie, conformiteitsbeoordeling en aantoonbare naleving goed te organiseren.
Conclusie
Gebruik je een hoog-risico AI-systeem binnen het doel van de aanbieder, dan ben je gebruiksverantwoordelijke. Zet je er je eigen naam op, breng je een substantiële wijziging aan, of wijzig je het doel zodat het systeem een hoog-risico AI-systeem wordt, dan word je aanbieder. Ook als jouw organisatie fabrikant van bepaalde producten uit Bijlage I is en een hoog-risico AI-systeem als veiligheidscomponent in het product verwerkt, wordt jouw organisatie aanbieder. Vanaf dat moment draag je het volledige aanbiederschap voor het gewijzigde systeem. Leg daarom vast wat je aanpast, toets of de wijziging was voorzien door de oorspronkelijke aanbieder en zorg dat de documentatie, technische toegang en afspraken met betrokken partijen zijn geregeld voordat je begint.
Heb je vragen over jouw rol onder de AI-verordening of wil je weten of een wijziging als substantieel kwalificeert? Lex Digitalis adviseert organisaties bij de toepassing van de AI-verordening en helpt je grip te houden op jouw verplichtingen.
========
Voetnoten
[1] Artikel 3, punt 12, AI-verordening. Artikel 3, punt 12 AI-verordening in samenhang met artikel 11, lid 1, jo. Bijlage IV, punt 1(a), en artikel 13, lid 3, onder b(i), AI-verordening.
[2] Artikel 25 lid 1 en overwegingen 83 en 84 AI-verordening.
[3] Artikel 25, lid 3, AI-verordening. Gereguleerde producten zijn producten die vallen onder de harmonisatiewetgeving opgesomd in Bijlage I, sectie A, van de AI-verordening, zoals machines, medische hulpmiddelen en voertuigen. Een AI-systeem geldt als veiligheidscomponent wanneer het een veiligheidsfunctie vervult binnen het product, of wanneer een storing of fout erin de gezondheid of veiligheid van mensen in gevaar kan brengen (artikel 3, punt 14, AI-verordening).
[4] Artikel 3, punt 3, AI-verordening (definitie aanbieder).
[5] Artikel 3, punten 4 en 12, en artikel 26 lid 1 AI-verordening (definitie gebruiksverantwoordelijke).
[6] Artikel 26 AI-verordening.
[7] Artikel 16, aanhef en onder d, f, g, h en i, artikel 43, 47, 48 en 72 AI-verordening (verplichtingen aanbieder hoog-risico systemen); overweging 81 AI-verordening.
[8] Artikel 25, lid 1, AI-verordening, in samenhang met overwegingen 83 tot en met 90, in het bijzonder overwegingen 83, 84 en 86.
[9] Artikel 25, lid 1, onder a, AI-verordening, en overweging 84. Let op de clausule dat dit geldt onverminderd contractuele afspraken waarin de verplichtingen anders zijn verdeeld.
[10] Artikel 3, punt 23, en artikel 25 lid 1 onder b, en artikel 43 lid 4, AI-verordening; zie ook overwegingen 84 en 88.
[11] Artikel 3, punt 23 en artikel 25, lid 1, onder b, AI-verordening.
[12] Artikel 43 lid 4, tweede alinea, en overweging 128 AI-verordening.
[13] Bijlage III, punt 4, onder a, juncto artikel 6, lid 2, AI-verordening kwalificeert AI-systemen die zijn bestemd voor de werving of selectie van natuurlijke personen, in het bijzonder om sollicitaties te analyseren en te filteren en kandidaten te beoordelen, als hoog-risico. Artikel 3, punt 23, definieert een substantiële wijziging als een niet voorziene of niet geplande wijziging na het in de handel brengen of in gebruik stellen, die de naleving van de eisen voor hoog-risico AI-systemen beïnvloedt of het doel wijzigt waarvoor het systeem is beoordeeld. Artikel 43, lid 4, koppelt daaraan een nieuwe conformiteitsbeoordeling. Artikel 25, lid 1, onder b, bepaalt dat degene die zo’n substantiële wijziging aanbrengt, als aanbieder van het hoog-risico AI-systeem wordt beschouwd. In dit verband zijn ook artikel 14 over menselijk toezicht en artikel 26, lid 1, over gebruik overeenkomstig de gebruiksinstructies relevant.
[14] Een hoog-risico AI-systeem in de zin van artikel 6 AI-verordening, in samenhang met Bijlage III en Bijlage I, AI-verordening.
[15] Artikel 3, punt 12 AI-verordening in samenhang met artikel 11, lid 1, jo. Bijlage IV, punt 1(a), en artikel 13, lid 3, onder b(i), AI-verordening.
[16] Artikel 25, lid 1, onder c, in samenhang met artikel 6 en Bijlage III AI-verordening.
[17] Bijlage III, punt 4, onder a, in samenhang met artikel 6, lid 2, en artikel 25, lid 1, onder c, AI-verordening. Onder Bijlage III, punt 4, onder a, vallen AI-systemen die zijn bedoeld voor de werving of selectie van natuurlijke personen, in het bijzonder om sollicitaties te analyseren en te filteren en kandidaten te beoordelen. Artikel 25, lid 1, onder c, bepaalt dat een gebruiksverantwoordelijke of andere derde als aanbieder wordt beschouwd wanneer hij het beoogde doel van een bestaand AI-systeem zodanig wijzigt dat het systeem daardoor een hoog-risico AI-systeem wordt.
[18] Artikel 3, punten 12, 63 en 66, artikel 6, lid 2, artikel 25, lid 1, onder c, en Bijlage III, punt 4, onder a, AI-verordening; Zie daarnaast OpenAI, Usage Policies, onder “Empower people”, over automatisering van high-stakes decisions zonder human review, waaronder employment:
https://openai.com/policies/usage-policies/;
Zie over custom GPT’s OpenAI Help Center, GPTs in ChatGPT: https://help.openai.com/en/articles/8554407-gpts-faq en Creating and editing GPTs: https://help.openai.com/en/articles/8554397-creating-and-editing-gpts-with-actions.
[19] Artikel 25, lid 3, onder a en b, in samenhang met artikel 3, punt 14, en Bijlage I, sectie A, AI-verordening; zie ook overweging 87 AI-verordening.
[20] Artikel 25, lid 2, eerste zin, AI-verordening en artikel 25, lid 3, AI-verordening; zie ook overwegingen 84 en 85.
[21] Artikel 25, lid 2, tweede en derde zin, AI-verordening; zie ook overweging 86.
[22] Artikel 25, lid 4, AI-verordening; zie ook overwegingen 88 tot en met 90.
