Handhaving van de bewaartermijn aan de hand van het ‘zoveel langer’-criterium met behulp van AI

Het medisch dossier; enkele bewaarkwesties – deel 3/3:

Inleiding

Dit is het laatste deel van het drieluik over enkele bewaarkwesties met betrekking tot het medisch dossier. Het heeft als onderwerp het al dan niet langer dan de standaard wettelijke bewaartermijn van 20 jaar bewaren op grond van het criterium ‘zoveel langer als redelijkerwijs uit de zorg van een goed hulpverlener voortvloeit’ (vgl. artikel 7:454 lid 3 BW) én de rol die AI daarbij uit juridisch oogpuntkan spelen.

Uit het criterium (zoveel langer als redelijkerwijs uit de zorg van een goed hulpverlener voortvloeit’) vloeit voort dat het de behandelaar is die op het einde van de bewaartermijn van een dossier nagaat of om medisch-inhoudelijke redenen[i] het betreffende dossier langer bewaard dient te worden. Het is voorstelbaar dat deze werkzaamheid, als bij het dossierbeheer van een zorginstelling, inderdaad aan de hand van genoemd criterium wordt getoetst, tijdrovend is. ‘Als’; er zijn zorginstellingen waar het ‘zoveel langer’-criterium niet in het kader van het dossierbeheer wordt gehanteerd en die medische dossiers na ommekomst van de wettelijk bewaartermijn voor onbepaalde tijd langer bewaren.[ii] Onder ander door onderbezetting en wachtlijsten slagen deze instellingen er niet in om hun behandelaren deze toets te laten verrichten.[iii] Daarnaast besteden behandelaren hun schaarse tijd liever aan de medische behandeling van de patiënt dan aan deze toch meer administratieve handeling.

Hoe helpend zou het zijn wanneer door middel van de inzet van AI per medisch dossier een specifiek op de patiënt gerichte beoordeling zou kunnen plaatsvinden met als uitkomst een oordeel inzake het al dan niet op medisch-inhoudelijke gronden langer bewaren dan de standaard bewaartermijn van 20 jaar van het dossier? En dat vervolgens op basis van deze beoordeling het dossier geautomatiseerd zou worden vernietigd dan wel langer bewaard? Idealiter zou het AI-systeem de inzet van de behandelaar in dit kader vrijwel overbodig maken en deze alleen in twijfelgevallen bij de beoordeling betrekken. In het navolgende zal ik een dergelijk AI-systeem kortheidshalve aanduiden met ‘het beoogde AI-systeem’.

In het onderstaande wordt bekeken welke juridische (on)mogelijkheden en randvoorwaarden voor de inzet van een dergelijk AI-systeem gelden. Of AI daadwerkelijk in staat is dit te kunnen, valt uiteraard buiten het bestek van dit artikel. Hierbij komen achtereenvolgens de Wgbo[iv], t.w. artikel 7:454 BW, artikel 22 AVG en de AI-verordening aan de orde.

Artikel 7:454 lid 3 BW: een toets door de arts persoonlijk vereist?

In artikel 7:454 lid 1 BW is de dossierplicht van de hulpverlener neergelegd:

De hulpverlener richt een dossier in met betrekking tot de behandeling van de patiënt. (…)

De bewaartermijn wordt geregeld in artikel 7:454 lid 3 BW:

Onverminderd het bepaalde in artikel 455 bewaart de hulpverlener het dossier gedurende twintig jaren, te rekenen vanaf het tijdstip waarop de laatste wijziging in het dossier heeft plaatsgevonden, of zoveel langer als redelijkerwijs uit de zorg van een goed hulpverlener voortvloeit.

De genoemde leden vergen letterlijk genomen handelingen van de hulpverlener persoonlijk en ook de Memorie van Toelichting uit 1989-1990 neemt de persoon van hulpverlener zelf als uitgangspunt.[v] In de praktijk wordt het inrichten van het dossier echter ook deels door de ICT-afdeling van een zorginstelling uitgevoerd. En het bewaren van medisch dossiers ligt zelfs voor het grootste gedeelte bij de ICT-afdeling.

Er lijken derhalve uit het oogpunt van (persoonlijke) zorg evenmin bezwaren te bestaan tegen het door een AI-systeem dossiers aan de hand van het ‘of zoveel langer’-criterium te laten nalopen in plaats van door de hulpverlener zelf. Uiteraard zal de correctheid van de AI-verwerking minimaal op het niveau van die van een goed hulpverlener dienen te liggen, dat wil zeggen op het niveau van een redelijk bekwaam en redelijk handelend beroepsgenoot.[vi] Dat betekent dat een bepaalde foutenmarge die bij een toets door hulpverleners zelf zou optreden toegestaan zou zijn. Maar fouten die specifiek verbonden of inherent zijn aan de gekozen AI-techniek en die de hulpverlener niet zou kunnen maken, zoals fabuleren, zouden niet mogen voorkomen. Dergelijke AI-techniek zou dus ongeschikt voor de zorg zijn.

Ten aanzien van andere onderdelen van de behandelingsovereenkomst zal de conclusie echter luiden dat het intermenselijk contact tussen patiënt en de hulpverlener onontbeerlijk is voor een goede behandeling en dat AI daar de hulpverlener dus niet kan vervangen. In de eerste plaats is het persoonlijk contact tussen hulpverlener en patiënt van belang voor het wederzijdse vertrouwen dat er, zeker bij meer ingrijpende vormen van zorg waarbij de patiënt zich op de hulpverlener moet verlaten, moet zijn. Maar het geldt ook voor de meer medisch inhoudelijke aspecten van de zorg. Hoewel AI bijvoorbeeld in staat is emoties te herkennen, is het de vraag of dit ooit het ‘niet pluis-gevoel’ van sommige hulpverleners kan vervangen.

Tegelijkertijd vloeit uit de formulering van genoemde leden voort dat de hulpverlener tucht- en mogelijk ook civielrechtelijk[vii]aansprakelijk is voor het niet goed functioneren van het AI-systeem. Dit zal hier verder buiten beschouwing blijven.

De belangrijkste documenten op het vlak van de beroepsethiek van artsen, t.w. de Artseneed en de Gedragsregels voor artsen- documenten waar hulpverlener zich in het kader van de behandeling op grond van de Wgbo aan dien te houden[viii] – bevatten op dit moment nog geen bepalingen met betrekking tot de inzet van AI in het kader van de geneeskundige behandeling.

De conclusie op basis van het voorgaande luidt dan ook dat de Wgbo, in het bijzonder artikel 7:454 lid 3 BW, geen belemmeringen bevat voor de inzet van AI ter vervanging van de hulpverlener bij het dossierbeheer aan de hand van het ‘of zoveel langer’-criterium. Daarbij geldt wel als voorwaarde dat de correctheid van de AI-verwerking minimaal het niveau te dient hebben van een redelijk bekwaam en redelijk handelend beroepsgenoot bij een dergelijke toets.

Belemmeringen én randvoorwaarden vanuit artikel 22 AVG 

Een AI-systeem dat zonder (standaard)tussenkomst van een hulpverlener dossiers aan de hand van het ’of zoveel langer’-criterium beoordeelt en selecteert voor vernietiging of voor een x-periode langer bewaren en eventueel het vernietigen of langer bewaren zelf uitvoert valt precies onder de omschrijving die artikel 22 lid 1 AVG van geautomatiseerde besluitvorming geeft:

1. De betrokkene heeft het recht niet te worden onderworpen aan een uitsluitend op geautomatiseerde verwerking, waaronder profilering, gebaseerd besluit waaraan voor hem rechtsgevolgen zijn verbonden of dat hem anderszins in aanmerkelijke mate treft.

Het verbod van artikel 22 lid 1 AVG

In de Richtsnoer inzake geautomatiseerde besluitvorming en profilering (hierna; de Richtsnoer) heeft de WP29-groep, de ‘voorganger’ van de EDPB verduidelijkt dat het hier, ondanks het gebruik van het woord ‘recht’, een verbod betreft. [ix] Degene die een AI-systeem wil gaan gebruiken dient zich, indien het verbod op het systeem van toepassing is, hieraan dus zonder meer te houden, zonder dat de betrokkene zijn recht hoeft in te roepen. De Nederlandse rechter heeft inmiddels een aantal keren de in dit Richtsnoer gegeven interpretaties impliciet dan wel expliciet overgenomen, waardoor deze deel uit zijn gaan maken van de Nederlandse rechtsorde.[x]

Dat er sprake is van een verbod heeft als oorzaak dat aan geautomatiseerde besluitvorming en profilering grote risico’s voor de betrokkenen verbonden kunnen zijn. Profilering kan bijvoorbeeld wanneer iemand ten onrechte in een bepaald profiel wordt ingedeeld tot onjuiste gevolgtrekkingen of voorspellingen ten aanzien van deze persoon leiden. Iets wat zich bij uitstek niet in het beoogde AI-systeem zou mogen voordoen, gezien de mogelijke gevolgen voor de zorgverlening en de gezondheid van de patiënt.

In het Schufa-arrest overweegt het Europese Hof van Justitie dat de drie elementen ‘besluit’, ‘uitsluitend geautomatiseerde verwerking’ en ‘rechtsgevolgen’ uit artikel 22 lid 1 AVG cumulatieve vereisten zijn voor het gelden van dit een dit verbod.[xi]

Hierna zal worden bekeken of op het beoogde AI-systeem deze drie vereisten van toepassing zijn:

‘Besluit’:

Dit begrip heeft volgens het Hof een ruime strekking.[xii] Een bepaling door het beoogd AI-systeem dat een dossier vernietigd dan wel bewaard dient te worden, waaraan vervolgens ook gevolg wordt gegeven, valt ongetwijfeld als besluit aan te merken.

‘Uitsluitend geautomatiseerde verwerking:

Bij voorbaat valt te voorspellen dat een hulpverlener soms, of afhankelijk van de precisie van het beoogde AI-systeem, wat vaker, een uitkomst ten aanzien van een specifiek dossier zal moeten controleren, maar de opzet van zo’n systeem zou juist zijn dat de hulpverlener niet meer aan het dossierbeheer aan de hand van het ‘of zoveel langer’-criterium te pas zou komen. In ieder geval niet langer op het niveau van elk individueel dossier. Mijns inziens valt een AI-systeem met een dergelijke opzet eveneens onder het bereik van artikel 22 lid 1 AVG. Ware dit anders, dan zouden alle patiënten wier dossiers het AI-systeem wel volledig geautomatiseerd zou ‘vernietigen’ of ‘langer bewaren’, geen bescherming genieten van het verbod van artikel 22 lid 1 AVG. En dat terwijl deze patiënten hoogstwaarschijnlijk de meerderheid van alle door een dergelijk AI-systeem beoordeelde patiënten zouden vormen. Een dergelijk benadering, gebaseerd op de materiële gevolgen van de inzet van AI, sluit aan bij de bredere interpretatie die het Hof van Justitie in genoemd Schufa-arrest aan het begrip ‘geautomatiseerde besluitvorming’ gaf.[xiii]

‘Geautomatiseerde verwerking, waaronder profilering’:

Dat het beoogde AI-systeem zich bij de beoordeling van profilering bedienen zou, moge ook duidelijk zijn, wanneer de definitie van artikel 4, punt 4 AVG in ogenschouw wordt genomen:

elke vorm van geautomatiseerde verwerking van persoonsgegevens waarbij aan de hand van
persoonsgegevens bepaalde persoonlijke aspecten van een natuurlijke persoon worden
geëvalueerd, met name met de bedoeling zijn beroepsprestaties, economische situatie,
gezondheid, persoonlijke voorkeuren, interesses, betrouwbaarheid, gedrag, locatie of
verplaatsingen te analyseren of te voorspellen. (onderstreping van mij: IS)

‘Rechtsgevolgen’ c.q. ‘dat hem anderszins in aanmerkelijke mate treft’:

Het is in dit verband goed om op de merken dat de Wgbo aan de patiënt naast ‘gewone contractuele rechten’ een aantal onvervreemdbare[xiv] rechten, patiëntenrechten[xv], toekent. Om de (bewijsrechtelijke) positie van de patiënt te versterken, zijn beide soorten van rechten grotendeels in de vorm van verplichtingen van de hulpverlener geformuleerd.[xvi] De wijze waarop de hulpverlener in het kader van de uitvoering van de geneeskundige behandelingsovereenkomst een op deze op grond van de Wgbo rustende verplichting invult, raakt derhalve al snel aan de rechtspositie van een patiënt of diens patiëntenrecht, heeft met andere woorden, al snel rechtsgevolgen. Dat een vernietiging of langer bewaren van een medisch dossier op zijn minst betekenis heeft voor de rechtspositie van de patiënt lijkt aan weinig twijfel onderhevig te zijn. Dit volgt ook uit de beschrijving die de Richtsnoer bij ‘rechtsgevolgen’ geeft; ‘Een rechtsgevolg kan ook iets zijn wat iemands juridische status of zijn rechten uit hoofde van een overeenkomst beïnvloedt.’[xvii]

Dat er bij de vervulling van de verplichtingen op grond de Wgbo als snel sprake is van rechtsgevolgen, zorgt er tevens voor dat dit al snel onder de bewoordingen van het verbod van artikel 22 lid 1 AVG valt. Het vernietigen van een dossier nadat is vastgesteld dat er uit oogpunt van goede zorg geen aanleiding bestaat om het langer te bewaren en ook het juist langer uit oogpunt van goede zorg bewaren, zal de betreffende patiënt niet in aanmerkelijke mate treffen, maar vallen wel onder 22 lid 1 AVG omdat er wel sprake is van rechtsgevolgen.

Aan de drie cumulatieve voorwaarden om ten aanzien van het beoogde AI-systeem een beroep op het verbod van artikel 22 lid 1 AVG te kunnen voldoen, is dus voldaan. Betekent dit dus dat een dergelijk systeem niet ten behoeve van het beheer van medische dossiers mag worden ingezet?

De uitzondering op het verbod van artikel 22 lid 2 sub a AVG

Voorgaande vraag zal op het einde van dit artikel worden beantwoord, maar op grond van artikel 22 lid 2 sub a AVG luidt het antwoord vooralsnog ‘nee’. Lid 2 sub a sluit de inzet van AI-systemen die onder de bewoordingen van het verbod van lid 1 vallen van dit verbod uit, indien de door het systeem genomen besluiten noodzakelijk zijn voor de totstandkoming of uitvoering van een overeenkomst. In het kader van curatieve zorg waar zorg wordt verleend op basis van de tussen de patiënt en arts gesloten geneeskundige behandelingsovereenkomst, geldt het verbod van artikel 22 lid 1 AVG dus niet. Wel moeten op grond van lid 3 passende maatregelen ter bescherming van de rechten en vrijheden en de gerechtvaardigde belangen van de betrokkene worden genomen, waaronder ten minste het recht op menselijke tussenkomst, het recht om zijn standpunt kenbaar te maken en het recht om het besluit aan te vechten.

In de zorgpraktijk is het treffen van daadwekelijke maatregelen ter borging van de rechten van de patiënt echter vaak problematisch.

Illustratief daarvoor is de wijze waarop de KNMG de uitoefening van een ander patiëntenrecht benadert, t.w. het recht van de patiënt om bezwaar te maken tegen het gebruik van diens medische gegevens ten behoeve van kwaliteitsdoeleinden.[xviii] In de KNMG Richtlijn ‘Omgaan met medische gegevens’ worden als voorwaarden daarvoor onder andere genoemd dat de patiënten daarover vooraf zijn geïnformeerd en hiertegen geen bezwaar hebben gemaakt. Daarbij wordt aangegeven dat patiënten mogen worden geïnformeerd door middel van een privacystatement op de website.[xix] Wie de website van willekeurig welk ziekenhuis raadpleegt weet echter hoe ver weggestopt zo’n privacystatement doorgaans op de website is geplaatst. Daarnaast zijn er geen algemeen bekende gegevens over hoeveel procent van de patiënten uit eigen beweging of daartoe door de hulpverlener aangespoord, het privacystatement op de website van een zorginstelling raadpleegt. Zonder dergelijke gegevens en gezien deze wijze van informeren kan mijns inziens niet worden gesteld dat patiënten daadwerkelijk (vooraf) geïnformeerd zijn.

Juist wanneer het gaat om een onherroepelijke handeling als het vernietigen van een medisch dossier, zullen werkelijk doeltreffende maatregelen genomen moeten worden om te bewerkstelligen dat een patiënt daadwerkelijk een beoordeling door de hulpverlener zelf kan bewerkstelligen of een aanstaande vernietiging van diens dossier kan aanvechten. De aanbevelingen in Bijlage 1 bij de Richtsnoeren spreken in dit verband over ‘uitdrukkelijk onder de aandacht van de betrokkene brengen’. En wanneer er gebruik wordt gemaakt van een website, van ‘duidelijk zichtbaar vermelden’.[xx] Het beoogde AI-systeem zou hier ook behulpzaam kunnen en ook behoren te zijn. Bijvoorbeeld door een patiënt tijdig van een geplande vernietiging of langer bewaren elektronisch op de hoogte stellen. Omdat dit in de huidige praktijk niet een werkzaamheid van de hulpverlener is en ook bij het beoogde AI-systeem niet zal zijn, zou deze functionaliteit hiervan een verplicht onderdeel dienen te zijn. Naar aanleiding dergelijke notificaties zal er ongetwijfeld vaker een beroep op hulpverleners in het kader van de vernietiging van dossiers worden gedaan, maar dit blijft winst ten opzichte van, conform het (wet)boekje, elk dossier tegen het einde van de standaard bewaartermijn door de betreffende behandelaar zelf te laten beoordelen.

Het verbod blijft echter wel van kracht bij alle vormen van medische zorg die niet op basis van een overeenkomst worden verleend zoals gedwongen zorg in het kader van de Wet Zorg en Dwang en de Wet verplichte geestelijke gezondheidszorg.

Het is hier niet de plek om in te gaan op de wenselijkheid van dit verschil tussen de respectievelijke patiëntengroepen, maar geconstateerd moet worden dat het verschil in ieder geval niet principieel te verklaren valt. Zowel de Wgbo als de Wet Zorg en Dwang en de Wet verplichte geestelijke gezondheidszorg zijn er (mede) ter concretisering en realisering van het mensen- en grondrecht op gezondheidszorg. Daarnaast zou het verbod ook grotendeels[xxi]  van kracht zijn wanneer de Nederlandse wetgever ervoor had gekozen de curatieve zorg niet privaatrechtelijk, maar bestuursrechtelijk te regelen. Of de Europese wetgever bij de formulering van artikel 22 AVG oog heeft gehad voor een mogelijke rol van de overeenkomst in het kader van de vervulling van mensenrechten zoals het recht op gezondheidszorg, of in het kader van een publiek taak, valt echter te betwijfelen. Overweging 71 bij de AVG laat het bij de enkele constatering dat er in geval van een overeenkomst sprake is van een uitzondering op het verbod van lid 1. Eén en ander laat naar mijn mening onverlet dat bij welke vorm van zorg dan ook het wenselijk zou zijn dat het beoogde AI-systeem ingezet zou kunnen worden voor het bepalen van de bewaartermijn aan de hand van het ‘of zoveel langer’-criterium, mits op minimaal op het niveau van een goed hulpverlener.

Maar ook wanneer de inzet van het beoogde AI-systeem op grond van de werking van artikel 22 lid 2 sub a AVG niet onder het verbod van het eerste lid zou vallen en er op grond van lid 3 passende maatregelen zijn genomen, kan het niet zonder meer in gebruik worden genomen.

De voorwaarde van artikel 22 lid 4 AVG

Uit artikel 22 lid 4 AVG volgt namelijk dat wanneer bij de inzet van een op grond van lid 2 sub a. toegestaan AI-systeem gezondheidsgegevens worden verwerkt, hiervoor uitdrukkelijke toestemming van de betrokkenen noodzakelijk is. Uit de aard der zaak volgt dat deze voorafgaand aan verwerking van medisch het dossier door het beoogde AI-systeem van de betreffende patiënt verkregen dient te zijn. Het is mijns inziens niet nodig om van alle patiënten die hun dossier op een dergelijke wijze zouden willen laten beoordelen voorafgaand aan de ingebruikname van het beoogde AI-systeem uitdrukkelijke toestemming te verkrijgen.

Het vereiste van uitdrukkelijke toestemming zal tot gevolg hebben dat er drie groepen patiënten zullen zijn; patiënten die uitdrukkelijke toestemming hebben gegeven, patiënten die hebben aangegeven hiervoor geen toestemming te verlenen en patiënten waarvan het nog niet duidelijk wat zij dit willen. De laatste twee groepen zullen door het dossierbeheersingssysteem of het beoogde AI-systeem buiten de toets aan de hand van het ‘of zoveel langer’-criterium gehouden c.q. geselecteerd dienen te worden. Omdat deze geautomatiseerde verwerking geen rechtsgevolgen met zich meebrengt of de patiënten uit deze groepen anderszins in aanmerkelijke mate treft – hun dossiers zullen immers door de hulpverleners zelf beoordeeld of en masse[xxii] langer bewaard worden – valt deze verwerking die niet onder het verbod van artikel 22 lid 1 AVG.

Ook lid 4 bepaalt dat er passende maatregelen ter bescherming van de gerechtvaardigde belangen van de betrokkene getroffen moeten worden. Overweging 71 van de AVG noemt specifiek ten aanzien van bijzondere persoonsgegevens het gevaar van discriminatie. Het is goed voorstelbaar dat dat zich bij profilering op basis van gezondheidsgegevens zou kunnen voordoen. Bijvoorbeeld wanneer het algoritme uitsluitend getraind is op gegevens inzake hartaanvallen bij mannen, terwijl een hartaanval bij vrouwen doorgaans met andere verschijnselen dan bij mannen gepaard gaat. In verband met het al dan niet langer bewaren zou het beoogde AI-systeem op grond daarvan voor vrouwen tot verkeerde conclusies kunnen komen. Een van de aanbevelingen uit de Richtsnoeren betreft dan ook het evalueren van algoritmen om te bewijzen dat ze daadwerkelijk functioneren zoals bedoeld en geen discriminerende, onjuiste of ongerechtvaardigde resultaten genereren.[xxiii]

Het al dan niet kunnen inzetten van het beoogde AI-systeem ten aanzien van een individueel dossier hangt in het kader van de AVG dus uiteindelijk af van de vraag of de patiënt hiervoor al dan niet uitdrukkelijke toestemming geeft. Een naar mijn mening voor dit geval wenselijke uitkomst. Het betreft hier de dossierplicht en dus ook het ‘dossierrecht’ van de patiënt waarover door het beoogde AI-systeem geautomatiseerd met toepassing van profilering wordt beslist. Met zoals hierboven aangegeven, de nodige risico’s voor de goede zorg en de patiënt van dien.

Hoe belangrijk menselijke tussenkomst ook uit juridisch oogpunt is, blijkt uit het feit dat de praktijk van het screenen van beeldmateriaal op tumoren door middel van zelflerende AI niet onder het verbod van artikel 22 lid 1 AVG valt. Een dergelijke inzet in het hart van zorgproces heeft potentieel veel ingrijpender consequenties voor de patiënt dan dossierbeheer, maar omdat het telkens de radioloog is die de uiteindelijke diagnose stelt, is er geen sprake van een onaanvaardbaar risicovolle en dus verboden inzet van AI. Dat de patiënt in dit geval over de inzet van AI geen zeggenschap heeft, valt ook te billijken. In dit geval wordt AI ingezet ter ondersteuning van de hulpverlener en de keuze daarvoor valt onder de medisch-professionele autonomie van de hulpverlener.

De verplichte DPIA op grond van artikel 35 lid 1 en 3 sub b AVG

Tenslotte, hoewel de uiteindelijke zeggenschap over de inzet van het beoogde AI-systeem bij de patiënt ligt, is de vraag of het daadwerkelijk mag worden ingezet afhankelijk van de uitkomsten van de risico-inventarisatie en -mitigatie in het kader van de op grond van artikel 35 lid 1 en 3 sub b AVG verplichte DPIA. In dat kader zal één van de wezenskenmerken van het beoogde AI-systeem, t.w. zo weinig mogelijk menselijke tussenkomst, nauw onder de loep genomen moeten worden. Liggen op dat vlak te veel onvermijdelijke risico’s, dan wordt de ratio achter artikel 22 lid 1 AVG bevestigd, maar betekent dit wel het (voorlopig) voortijdig einde van de beoogde AI-systeem.

De AI-verordening

De AI-verordening (hierna; AIV) geeft op basis van risico-categorieën regels voor AI en wordt gefaseerd van kracht. Op 2 februari 2025 zijn de regels met betrekking tot verboden AI-toepassingen van kracht geworden en in augustus 2027 zal de AI-verordening volledig van kracht zijn. In het onderstaande zal worden bekeken in welke risico-categorie het beoogde AI-systeem zou vallen en welke regels als gevolg daarvan in acht moeten worden genomen. Hierbij wordt ervan uitgegaan dat de AI-verordening reeds volledig van kracht is.

In het geval van het beoogde AI-systeem, dient het algoritme per dossier op basis van zaken als patiëntkenmerken, ziekteverloop, algemene kennis over recidive en erfgelijkheid etc. een conclusie te trekken inzake het al dan langer bewaren. Gezien deze veelheid van factoren die ook in hun onderlinge samenhang moeten worden bezien, is het onwaarschijnlijk dat de conclusie op basis van simpele ‘als-dan’-regels kan worden getrokken. Het beoogde AI-systeem zal, ook gezien de wens om de hulpverlener zo veel mogelijk ‘out of the loop’ te houden hier autonoom mee aan de slag moeten kunnen gaan en daarbij op basis van de input uit het betreffende dossier en andere vergelijkbare dossiers moeten kunnen afleiden hoe het kan komen tot een conclusie inzake het bewaren. Gezien al deze vereisten waaraan het beoogde systeem zal moeten voldoen, is er sprake van een AI-systeem dat onder de werking van de AIV valt, vgl. de definitie van AI-systeem uit artikel 3 sub 1 AIV. Hieronder wordt bekeken welke regels van de AIV op het beoogde systeem van toepassing zouden zijn.

Hoog risico-AI? De MDR

Kennisname van het limitatief geformuleerde artikel 5 AIV inzake verboden AI-toepassingen leert dat het beoogde AI-systeem niet onder dit verbod valt. Dé te beantwoorden vraag is of het beoogde AI-systeem al dan niet onder de categorie van hoog risico-AI van artikel 6 AIV valt. Gezien de systematiek van dit artikel zijn achtereenvolgens de volgende vragen relevant:

1. Valt het beoogde AI-systeem als product of veiligheidscomponent daarvan onder Europese veiligheidsregelgeving zoals opgenomen in Bijlage I, en zo ja, dient het op grond van deze regeling onderworpen te worden aan een conformiteitsbeoordeling? (artikel 6, lid 1 sub a. en b. AIV)
2. Indien de voorgaande vraag ontkennend moet worden beantwoord, is er dan sprake van een AI-systeem zoals bedoeld in Bijlage III?
3. Zo ja, is er dan sprake van een uitzondering op grond van artikel 6 lid 3 AIV?
4. Zo ja, is dan de in de laatste zin van lid 3 geformuleerde uitzondering (op de uitzondering) van toepassing?

Ad 1.

De hier mogelijk van toepassing zijnde Europese regeling is de in nummer 11. van Bijlage 1 bij de AIV genoemde Medical Devices Regulation[xxiv] (hierna: MDR) die als Europese verordening in Nederland rechtstreeks van toepassing is. Artikel 2, lid 1, eerste alinea MDR noemt een aantal zaken[xxv] die als ‘medisch hulpmiddel’ zouden kunnen worden aangemerkt, waaronder software. Niet alle software die in de medische zorg wordt ingezet is echter aan te merken als een ‘medisch hulpmiddel’. Daarvoor zal tevens voldaan dienen te worden aan de andere voor software relevante elementen van de definitie van artikel 2 lid 1 MDR, zoals ‘door de fabrikant bestemd’. Bij enkele elementen rijst echter de vraag hoe eng of breed deze geïnterpreteerd dienen te worden.  Houdt ‘gebruikt bij de mens’ in dat het hulpmiddel direct op de patiënt moet worden toegepast of mag het ook slechts een indirecte bijdrage aan de zorg, bijvoorbeeld in het kader van dossierbeheer, leveren? En houdt ‘behandeling of verlichting van ziekte’ in dat het om een handeling op het gebied van de geneeskunst gaat, zoals bedoeld in artikel 446 lid 1 BW, of kan hieronder ook het ruimere uitvoeren van de geneeskundige behandelingsovereenkomst, waaronder dus ook dossierbeheer worden verstaan? De woorden ‘of verlichting’ duiden op het eerste. De zinsnede volgend op de opsomming uit dit lid, en zeker de Engelse versie daarvan, verschaft mijns inziens echter de benodigde duidelijkheid;

‘waarbij de belangrijkste beoogde werking in of op het menselijk lichaam niet met farmacologische of immunologische middelen of door metabolisme wordt bereikt, maar wel door die middelen kan worden ondersteund.’ [xxvi]

Anders geformuleerd, met de inzet van het medisch hulpmiddel wordt een bepaalde werking in of op het menselijk lichaam beoogd. Farmacologische of immunologische middelen of metabolisme kunnen bij deze beoogde werking van het medisch hulpmiddel ondersteunend zijn.

Het is duidelijk dat met de inzet van het beoogde AI-systeem niet een bepaalde werking in het lichaam van de patiënt beoogd. Stel dat door het beoogde AI-systeem ten onrechte een dossier is vernietigd en de arts als gevolg daarvan niet de juiste diagnose kan stellen waardoor de patiënt fysieke schade lijdt. Dan is deze schade weliswaar mede – de arts had er ook voor kunnen kiezen de ontbrekende informatie aan te vullen – het indirecte gevolg van de onterechte vernietiging, maar niet van een beoogde inwerking van het beoogde AI-systeem op het lichaam van de patiënt.

Deze conclusie kan ook getrokken op grond van de Guidance van de Medical Device Coordination Group (hierna: MDCG) inzake kwalificatie en classificatie van software in de MDR en IVDR (hierna: Guidance).[xxvii] Ten aanzien van informatiesystemen zoals het EPD wordt overwogen:

Information Systems that are intended only to transfer, store, convert, format, archive data are not qualified as medical devices in themselves. However, they may be used with additional modules which maybe qualified in their own right as medical devices (MDSW).[xxviii]

Modules that are intended to provide additional information that contributes to diagnosis, therapy and follow-up (e.g. generate alarms) are qualified as medical devices.[xxix]

Archiveren houdt doorgaans ook waardering en selectie in. De vraag is of de MDCG daar ook vanuit is gegaan en of het selecteren op basis van het “zoveel langer”-criterium daar ook onder zou vallen. Meer houvast kan worden gevonden bij de tweede zin. Er mag redelijkerwijs van worden uitgegaan dat ‘therapy’ en ‘follow-up’ in enge zin, als geneeskundige handeling resp. ondersteuning daarvan moeten worden opgevat. Het beoogde AI-systeem zou daarvoor niet worden ingezet en evenmin om aan de diagnose bij te dragen. Met een kleine slag om de arm, bij het schrijven van de Guidance zal de MDCG niet een AI-systeem dat in het kader van archivering op medisch-inhoudelijke criteria selecteert voor ogen hebben gehad, kan dus gezegd worden dat ook op grond van de Guidance het beoogde AI-systeem niet als een medisch hulpmiddel kan worden aangemerkt.[xxx] Een conformiteitsbeoordeling op grond van artikel 52 MDR is dus niet aan de orde, zodat niet aan artikel 6 lid 1 sub b. is voldaan.

Hoewel dus geen medisch hulpmiddel, zou het beoogde AI-systeem gezien de definitie van artikel 3 lid 1 sub 14 als een veiligheidscomponent kunnen worden aangemerkt: ‘een AI-systeem (…) of waarvan het falen of gebrekkig functioneren de gezondheid en veiligheid van personen (…) in gevaar brengt. Dit maakt echter niet dat artikel 6 lid 1 sub a van toepassing is. Het beoogde AI-systeem is immers niet bedoeld om te worden gebruikt als veiligheidscomponent van een product dat onder de MDR valt. Het zal immers worden ingezet bij een EPD en dat is zoals boven beschreven an sich geen medisch hulpmiddel.

Daarnaast merkt de Guidance over het gebrekkig functioneren van software het volgende op:

It must be highlighted that the risk of harm to patients, users of the software, or any other person, related to the use of the software within healthcare, including a possible malfunction is not a criterion on whether the software qualifies as a medical device.[xxxi]

Ware dit anders, dan zou elk EPD al snel als medisch hulpmiddel moeten worden aangemerkt, bijvoorbeeld omdat veel EPD-en wel eens onverhoopt ‘uit de lucht’ zijn.

Met een kleine slag om de arm kan dus worden geconcludeerd dat het beoogde AI-systeem dus niet op grond van artikel 6 lid 1 AIV als een AI-systeem met een hoog risico worden aangemerkt.

Ad 2.

Bijlage III bij de AIV bevat een opsomming van een aantal zogenaamde ‘use-cases’; AI-toepassingen op een aantal maatschappelijke toepassingsgebieden voor een aantal specifiek omschreven doelen. Zowel de toepassingsgebieden als de specifiek omschreven doelen worden limitatief opgesomd. Het beoogde AI-systeem valt onder geen van de omschreven use-cases. De use-case die het meest dicht in de buurt van de inzet van het beoogde AI-systeem komt, betreft 5 sub d: ‘systemen van voor de triage van patiënten die dringend medische zorg behoeven’. Duidelijk is echter dat dit alleen onderscheiden naar patiënten op basis van hun medische gesteldheid in noodsituaties ziet.  Vraag 3. en 4. zien uitsluitend op hoog risico-AI die onder bijlage III valt en zijn derhalve hier verder niet relevant.

Het beoogde AI-systeem kan derhalve evenmin op grond van artikel 6 lid 2 AIV als een hoog risico AI-systeem worden aangemerkt. Omdat een AI-systeem alleen als hoog risico-AI kwalificeert wanneer artikel lid 1 of lid 2 van artikel 6 AIV van toepassing is, is de conclusie dat het beoogde AI-systeem niet als een hoog risico-systeem zou moeten worden aangemerkt.

Dat betekent dat artikel 10 AIV met betrekking tot data en datagovernance, meer bijzonder met betrekking tot het beoordelen van een dataset op mogelijke vooringenomenheid die tot discriminatie zou kunnen leiden bijvoorbeeld niet van toepassing is. Dit geldt ook voor artikel 14 AIV inzake menselijk toezicht dat gericht moet zijn op het voorkomen of beperken van de risico’s voor de gezondheid, veiligheid of

grondrechten en voor de beoordeling van de gevolgen voor de grondrechten van een AI-systeem op grond van artikel 27 AIV.

Transparantieverplichtingen?

Gelden dan wel de transparantieverplichtingen van hoofdstuk IV AIV? Zoals de titel van het hoofdstuk al aangeeft gaat het om verplichtingen voor bepaalde AI-systemen die in artikel 50 lid 1 tot en met 4 worden opgesomd. De vraag kan worden gesteld of het beoogde AI-systeem valt onder lid 3, dat een informatieverplichting voor de gebruikersverantwoordelijke van een systeem van biometrische categorisering formuleert. Een dergelijk systeem is bedoeld voor het indelen van natuurlijke personen in specifieke categorieën op basis van hun biometrische gegevens. Uit de definitie van ‘biometrische gegevens’, blijkt dat deze gegevens in sommige gevallen ook als gezondheidsgegevens gekwalificeerd kunnen worden.[xxxii] Veelal zullen zij, anders dan gezondheidsgegevens, echter geen informatie over de gezondheidstoestand van de betreffende persoon verschaffen. Het beoogde AI-systeem deelt weliswaar ook natuurlijke personen in specifieke categorieën in, maar doet dit hoofdzakelijk op basis gezondheidsgegevens en mogelijk soms in beperkte mate op basis van biometrisch gegevens. Daarmee valt het beoogde systeem niet onder de werking en verplichtingen van artikel 50 lid 3 AIV zodat de personen die ‘blootgesteld zijn’ aan het beoogde AI-systeem niet over de werking daarvan geïnformeerd hoeven te worden.

Maar uiteraard geldt er wel een transparantieverplichting op grond van de AVG. Artikel 13 en 14 schrijven voor dat de betrokkene over het bestaan van geautomatiseerde besluitvorming geïnformeerd moet worden. En in ieder geval in het geval van profilering moet nuttige informatie over de onderliggende logica, het belang en de verwachte gevolgen van die verwerking voor de betrokken worden verstrekt.[xxxiii]

Conclusie en enkele aanbevelingen

Conclusie

Nu er op grond van de AIV ook geen transparantieverplichtingen voor het AI-systeem gelden, valt dit systeem in de ‘categorie’ die door de AIV die gezien het lage risico niet wordt gereguleerd.[xxxiv] Een wellicht verbazingwekkende conclusie die sowieso in scherp contrast staat met het feit dat het beoogde AI-systeem zoals boven beschreven in beginsel onder het verbod van artikel 22 lid 1 AVG valt. Waarbij de reden dat het verbod toch niet van toepassing is, gelegen is in het ‘toevallige’ feit dat er sprake is van de uitvoering van een overeenkomst. Maar op voorwaarde dat voor de inzet daarvan uitdrukkelijk toestemming van de patiënt is verkregen en adequate beschermingsmaatregelen zijn getroffen, mag het beoogde AI-systeem op basis van de toepasselijke regelgeving voor de geautomatiseerde handhaving van de bewaartermijn van medische dossiers aan de hand van het ‘of zoveel langer’-criterium dus worden ingezet.

Aanbevelingen

De beschermingsmaatregelen die artikel 22 AVG formuleert voor het geval van afwijking van het verbod van lid 1 zullen bij de ontwikkeling en in gebruikname van het beoogde AI-systeem dus wel van dien aard dienen te zijn dat het in beginsel hoge risico van geautomatiseerde besluitvorming zonder menselijke tussenkomst kan worden gemitigeerd.

Dat dient niet beperkt te blijven tot de rechten die artikel 22 lid 3 AVG expliciet en bij wijze van voorbeeld aan de betrokkene geeft zoals het recht om bezwaar te maken. Zoals boven beschreven zal het gezien de complexiteit van de opgave hoogstwaarschijnlijk om autonome, zelflerende AI gaan. Daarbij kan het systeem als gevolg van verkeerd zelf leren, bijvoorbeeld als gevolg van een niet representatieve dataset, of door een fout in het algoritme zelf, tot verkeerde medisch inhoudelijke conclusies komen en ook discriminatie van bepaalde patiënten(groepen). Voordat het beoogde systeem in gebruik wordt genomen zal in het kader van de op grond van verplichte DPIA (zie boven) dus ook de nodige aandacht aan de robuustheid en de mogelijk discriminerende uitkomsten van het beoogde AI-systeem worden besteed. Gezien de mensenrechtelijke aspecten is het dus zeer aan te bevelen de DPIA met IAMA of een vrijwillige FRIA uit te breiden.

Daarbij zal ook de noodzaak van het beoogde AI-systeem ter sprake komen. Zoals boven beschreven is de noodzaak om in het kader van de toepassing van het ‘of zoveel langer’-criterium een geautomatiseerde technische oplossing te kunnen hanteren met een beroep op de huidige staat van ons zorgsysteem goed te onderbouwen. De vraag zal veeleer zijn of het altijd noodzakelijk is een autonoom werkend en zelflerend AI-systeem in te zetten, met genoemde risico’s van dien. De Richtlijn Archivering Tuberculosegegevens bepaalt dat het medisch dossier in afwijking van de standaardtermijn van 20 jaar levenslang bewaard dient te worden en een röntgenfoto van de longen met afwijkingen eveneens. Hierbij wordt expliciet een beroep gedaan op het ‘zoveel langer’-criterium. [xxxv] Dergelijke eenvoudige bepalingen kunnen goed in ‘als-dan’-regels voor een algoritme worden omgezet. Het is mogelijk om door middel van RPA, robotic process automation, deze regels op het EPD te laten uitvoeren. De gevaren van een autonoom en zelflerend AI-systeem zijn dan niet aan de orde. Nu zal dit niet voor elk medisch specialisme mogelijk zijn, maar voor zover dat wel het geval is, biedt het de betreffende beroepsgroep de kans om op een eenvoudige, met weinig risico’s gepaarde manier de bewaartermijn aan de hand van het ‘of zoveel langer’-criterium te handhaven. Daarbij zal artikel 22 AVG nog steeds van toepassing zijn, omdat er immers sprake is van geautomatiseerde besluitvorming met rechtsgevolgen. Maar de te treffen beschermende technische maatregelen zullen van eenvoudige aard kunnen zijn.

Tenslotte nog een aanbeveling voor het geval dat – wellicht (mede) op basis van dit artikel – een zorginstelling de conclusie trekt dat de inzet van AI in het kader van de handhaving van de bewaartermijn van het medisch dossier (nog) niet opportuun is en dat de dossiers daarom voor onbepaalde tijd langer moeten worden bewaard. In dat geval dienen in ieder geval de dossiers waarvan bewaartermijn van 20 jaar is verstreken niet langer voor de gebruikers van het EPD, op grond van breaking the glass, toegankelijk zijn. RPA kan daarbij met heel weinig risico behulpzaam zijn. En als laatste nog het volgende; de nog steeds in groten getale aanwezige oude papieren dossiers zijn te digitaliseren.

[i] Het kan ook andere, minder vaak voorkomende redenen betreffen, zoals langer bewaren ten behoeve van de inzet in het kader van een juridische procedure of omdat een inzageverzoek afgehandeld dient te worden. Deze blijven hier verder buiten beschouwing. Zie ook deel 2 van dit drieluik.

[ii] A priori lijkt hier sprake te zijn van zowel strijd met de Wgbo als het vereiste van dataminimalisatie uit de AVG. Uit oogpunt van goed hulpverlenerschap (artikel 7:453, lid 1 BW) zou zowel ten aanzien van de Wgbo als de AVG echter anders kunnen worden geconcludeerd.

[iii] Zo is althans mijn indruk die op basis van een rondvraag bij enkele ziekenhuizen heb verkregen. Ik ben niet bekend met ziekenhuizen die alle dossiers zonder toetsing aan het criterium ‘ of zoveel langer (…)’ na afloop van de 20-jaren termijn vernietigen.

[iv] Wgbo staat voor Wet op de geneeskundige behandelingsovereenkomst. Hiermee wordt de regeling uit het Burgerlijk Wetboek in zake de geneeskundige behandelingsovereenkomst in het spraakgebruik doorgaans aangeduid.

[v] Kamerstukken II,1989/1990, 21 561, nr. 3, p. 36.

[vi] HR 9 november 1990,  ECLI:NL:HR:1990:AC1103 (Speeckaert vs. Gradener), r.o. 3.7

[vii] Dit hangt af van het antwoord op de vraag met wie de patiënt de behandeloverkomst heeft gesloten; de hulpverlener zelf of de instelling/ het ziekenhuis waar deze hulpverlener werkzaam is.

[viii] Deze documenten maken deel uit van de professionele standaard van de arts en deze dient zich in het kader van de behandeling van de patiënt daaraan te houden (artikel 7:453 lid 1 BW).

[ix] Richtsnoer inzake geautomatiseerde besluitvorming en profilering voor de toepassing van Verordening (EU) 2016/679, WP251rev.01, p. 23. Dit richtsnoer is onderschreven door de EDPB.

[x] Bijvoorbeeld Rb Den Haag 9 september 2024, ECLI:NL:RBDHA:2024:14477 (expliciet), Hof Amsterdam 4 maart 2023, ECLI:NL:GHAMS:2023:793 (impliciet).

[xi] HvJ EU 7 december 2023, ECLI:EU:C:2023:957, r.o. 43.

[xii]  Ibidem, r.o. 44 t/m 46.

[xiii] Ibidem, r.o. 27 jo. r.o. 47.

[xiv] Vgl.Behandelingsovereenkomst (WGBO), A. de Jong, https://www.knmg.nl/actueel/dossiers/patientenrechten/behandelingsovereenkomst-wgbo. De Wgbo is dan ook van dwingend recht; artikel 7:468 BW.

[xv] Rechten die onderdeel zijn van het recht op gezondheidszorg.

[xvi] Kamerstukken II 1989/1990, 21 561 nr. 3, p. 26.

[xvii] Richtsnoer inzake geautomatiseerde besluitvorming en profilering voor de toepassing van Verordening (EU) 2016/679, WP251rev.01, p. 25.

[xviii] Het betreft hier in wezen het recht op vertrouwelijkheid, zoals dat bij wijze van verplichting voor de arts in artikel 7:457 BW is geregeld.

[xix] KNMG Richtlijn Omgaan met medische gegevens, KNMG 2024, p. 132.

[xx] Richtsnoer inzake geautomatiseerde besluitvorming en profilering voor de toepassing van Verordening (EU) 2016/679, WP251rev.01, p. 37.

[xxi] Ook dan zou de uitzondering op het verbod van artikel 38 lid 1 UAVG in het geval van net beoogde AI-systeem gezien de profilering niet van toepassing zijn.

[xxii] Zie hiervoor bij noot II.

[xxiii] Richtsnoer inzake geautomatiseerde besluitvorming en profilering voor de toepassing van Verordening (EU) 2016/679, WP251rev.01, p. 39.

[xxiv] Verordening (EU) 2017/745 van het Europees Parlement en de Raad van 5 april 2017 betreffende medische hulpmiddelen, tot wijziging van Richtlijn 2001/83/EG, Verordening (EG) nr. 178/2002 en Verordening (EG) nr. 1223/2009, en tot intrekking van Richtlijnen 90/385/EEG en 93/42/EEG van de Raad (PB L 117 van 5.5.2017, blz. 1)

[xxv] Hier niet in de goederenrechtelijke zin van het woord gebruikt.

[xxvi] In de Engelse versie van de MDR wordt gesproken van ‘metabolic means’. Daarnaast wordt door het gebruik van ‘which’ in de formulering ‘and which does not achieve its principal intended action (…) in plaats van het gebruik van ‘waarbij’ in de Nederlandse versie, nog duidelijker dat het om de werking van het hulpmiddel zelf gaat en niet om daarvoor genoemde medische doeleinden waarvoor het hulpmiddel zou kunnen worden ingezet.

[xxvii] MDCG 2019-11 Guidance on Qualification and Classification

of Software in Regulation (EU) 2017/745 – MDR and Regulation (EU) 2017/746 – IVDR, October 2019.

[xxviii] Ibidem, p. 19.

[xxix] Ibidem, p. 20.

[xxx] Er zijn mij geen ook rechterlijke uitspraken met betrekking tot een op beoogde AI-systeem gelijkend AI-systeem bekend.

[xxxi] Ibidem, p. 7.

[xxxii] Respectievelijk artikel 3 onder 34 AIV en artikel 4 onder 15 AVG (‘gezondheidsgegevens’ wordt niet in de AIV gedefinieerd).

[xxxiii] Artikel 13 lid 2 sub f en artikel 14 lid 2 sub g AVG.

[xxxiv] Althans in beginsel. Het beoogde AI-systeem zou gebruik kunnen maken van een AI-model voor algemene doeleinden in welke geval de AIV voor de aanbieder van het AI-model wel diverse regels inzake technische documentatie formuleert; vgl. artikel 53 AIV e.v.

[xxxv] Richtlijn Archivering Tuberculosegegevens, Commissie Praktische Tuberculosebestrijding, p. 6.