Op 2 februari 2025 zijn de eerste artikelen van Verordening (EU) 2024/1689 in werking getreden, beter bekend als de AI-verordening of de AI-Act. De AI-Verordening heeft als doel om de werking en toepassing van AI-systemen te bevorderen en tegelijkertijd een hoog niveau van bescherming te bieden voor fundamentele grondrechten voor mens, natuur en maatschappij.
Ook de financiële sector wordt geraakt met de intrede van deze verordening. De impact is op dit moment nog minimaal, maar stilzitten is geen optie. Net zoals bij elke andere wetgeving is een goede voorbereiding essentieel voor implementatie.
Op 18 februari 2025 heeft de Autoriteit Financiële Markten (”AFM”) een uitvraag gedaan bij beleggingsinstellingen en -ondernemingen over de mate van Artificiële intelligentie (“AI”)-toepassing binnen de bedrijfsvoering van deze instellingen. De AFM geeft aan de ontwikkeling van AI en Generatieve-AI op de voet te volgen en vraagt daarom informatie uit de markt. De AFM ziet naast kansen ook risico’s bij het gebruik van.
AI is overal om ons heen en de toepassing, snelheid en kwaliteit ervan neemt alleen maar toe. Met de uitvraag en de Verordening is duidelijk dat de toezichthouder en wetgever grip willen krijgen op AI.
In dit artikel wordt de AI-verordening ontleed en geanalyseerd. Allereerst wordt de scope van de AI-verordening vastgesteld om vervolgens de verplichtingen die volgen kort te bespreken en er wordt afgesloten met de te ondernemen (volgende) stappen voor financiële instellingen.
De AI-Act onder de loep
De AI-Verordening is van toepassing op instellingen die AI-systemen gebruiken, ontwikkelen en op de markt brengen, importeren of distribueren. Voor financiële instellingen zijn vooral twee rollen relevant: de gebruiker en de aanbieder.
De gebruikersrol geldt zodra een instelling AI toepast, wat gezien de huidige ontwikkelingen voor vrijwel alle instellingen het geval is. De rol van aanbieder is van toepassing wanneer een instelling zelf, of samen met een derde partij, een AI-systeem ontwikkelt en op de markt brengt of gebruikt het in eigen naam. Dit geldt dus ook voor intern ontwikkelde systemen.
In het restant van dit artikel zal met name worden ingegaan op de verplichtingen en verantwoordelijkheden die van toepassing zijn op deze twee partijen.
Het doel van de AI-Verordening is omschreven als:
De werking van de interne markt te verbeteren en de toepassing van mensgerichte en betrouwbare artificiële intelligentie (AI) te bevorderen, en tegelijkertijd een hoog niveau van bescherming van de gezondheid, de veiligheid en de in het Handvest verankerde grondrechten te waarborgen, met inbegrip van de democratie, de rechtsstaat en de bescherming van het milieu, tegen de schadelijke gevolgen van AI-systemen in de Unie, en innovatie te ondersteunen.
Deze doelstelling onderstreept het maatschappelijk belang van regulering. Begrippen als grondrechten, veiligheid en democratie tonen aan dat het hier om fundamentele waarden gaat.
De AI-Act richt zich niet op specifieke sectoren maar op systemen die kwalificeren als AI-systeem. Uit de definitie komt “simpel” gezegd naar voren dat het gaat om machinegebaseerde systemen die op basis van input output generen, aanpassingsvermogen vertonen en in meer of mindere mate autonoom functioneren.
Autonomie betekent niet dat het volledig onafhankelijk van menselijke inneming moet handelen: ook systemen die deels door mensen worden aangestuurd vallen eronder. Belangrijk is dat de input invloed heeft op de output en dat het systeem leert of zich aanpast tijdens het gebruik.
De AI-Verordening heeft op deze wijze een brede scope en is van toepassing wanneer er sprake is van het gebruiken of in de markt brengen van een AI-systeem. Met deze brede scope wordt gewaarborgd dat alle toepassingen van AI-systemen onder de regelgeving vallen en het duurzaam in de toekomst gebruikt kan worden, zolang de systemen onder de definitie vallen. Om de interpretatie te vergemakkelijken, heeft de Europese Commissie richtsnoeren gepubliceerd. Maar de Commissie geeft zelf al aan dat dit document niet bindend is en aan ontwikkeling onderhevig is. Aangezien AI steeds in ontwikkeling is.
Verschillende risico's
Het is van belang om te weten dat de AI-Verordening verschillende risicoclassificaties kent. De classificatie van het AI-systeem bepaalt welke regels van toepassing zijn.
De AI-Verordening kent drie soorten risico’s:
Onaanvaardbaar;
Hoog risico; en
Minimal.
Daarnaast kent de AI-Verordening verplichtingen voor modellen voor algemene doeleinden en de systemen die daar op draaien, zoals ChatGTP.
Onaanvaardbaar risico
Bepaalde AI-systemen worden als een onaanvaardbaar risico beschouwd en sinds 2 februari 2025 is het verboden om deze systemen in de markt te brengen of te gebruiken. Hieronder vallen bijvoorbeeld systemen en toepassingen die de vrije keuze van mensen te veel beperken, die manipuleren of die discrimineren.
Voorbeelden van verboden AI-systemen zijn systemen die ons gedrag onbewust beïnvloeden op een negatieve manier, AI-systemen die personen indelen op basis van sociale score of AI-systemen die gebruik maken van biometrische gegevens om personen in categorieën in te delen zoals ras, seksuele gerichtheid of politieke voorkeur.
Hoog risico
De focus van de AI-Verordening ligt met name op het reguleren van deze risicoklasse. Dit zijn AI-systemen met een potentieel risico voor mens, milieu, veiligheid en/of grondrechten, maar onder strenge voorwaarden zijn deze systemen wel toegestaan. Dit is de zwaarste categorie toegestane systemen.
Er zijn verschillende manieren om aangewezen te worden als hoog risico AI-systeem. Allereerst is er een lijst (bijlage III AI-Verordening) van gebieden waarin AI-systemen in gevallen als hoog risico worden gezien. Hieronder valt onderwijs en opleiding (wanneer AI-systemen de toegang bepalen tot een onderwijsinstelling) of toegang tot essentiële diensten (kredietwaardigheid natuurlijke personen bepalen). Andere gebieden zijn AI in kritieke infrastructuur of de rechtshandhaving. De lijst ziet op gebieden die we als maatschappij nodig hebben om deze te laten draaien en te zorgen voor een veilige en eerlijke omgeving voor iedereen.
Vervolgens geldt een AI-systeem als hoog risico wanneer wordt voldaan aan de volgende voorwaarden:
het AI-systeem is bedoeld om als veiligheidscomponent te dienen, of is het product zelf van een product dat valt onder de genoemde wetgeving in bijlage I; en
voor het product waarvan het AI-systeem een veiligheidscomponent is of voor het AI-systeem zelf moet een conformiteitsbeoordeling door een derde partij worden uitgevoerd.
In bijlage I is wetgeving genoemd die ziet op, onder andere, de burgerluchtvaart of medische hulpmiddelen.
Minimaal risico
Als laatste is er een ‘restcategorie’, alles wat niet ziet op onaanvaardbaar, hoog of AI-systeem voor algemeen doeleinde valt in de categorie minimaal risico. Later volgt hierover meer inclusief voorbeelden.
Analyse AI-systeem
Uiteindelijk is het van belang om te weten of een instelling gebonden is aan de regels die de AI-Verordening stelt, en zo ja aan welke regels dan. Want zoals hiervoor geschetst zijn er verschillende combinaties te maken en daardoor meerdere regels van toepassing. Om te bepalen wat van toepassing is zal de instelling een analyse moeten maken over de eigen organisatie.
Hierbij kan onderstaand stappenplan worden gevolgd:
Is er sprake van een AI-systeem?
Zonder AI-systeem, geen verplichtingen. Daarom is de eerste vraag of er sprake is van een AI-systeem. De elementen om te toetsen komen naar voren in de definitie en de Europese Commissie heeft richtsnoeren opgesteld om te helpen bij de definiëren, zoals hiervoor besproken.
Is er sprake van een AI-systeem, dan moet de rol van de instelling worden bepaald?
Wordt binnen de instelling het AI-systeem gebruikt of wordt het aangeboden in de markt of voor intern gebruik ontwikkelt? Meeste instelling zullen in de gebruikers rol zitten.
In welke risicoklasse zit het systeem dat ik gebruik?
Voor de verboden AI-systemen moet worden gekeken naar de lijst van artikel 5 met verboden AI-systemen,
Voor de hoog risico AI-systemen wordt de analyse gemaakt of het systeem gebruik wordt in een van de gebieden aangewezen in bijlage III (waaronder het gebruik van kredietwaardigheid) of via de toets of het een (onderdeel van) een veiligheidscomponent is van een product vallend onder de wetgeving genoemd in bijlage I. financiële instellingen lijken niet te worden geraakt in de wetgeving die wordt opgesomd.
In het geval een AI-systeem valt in de gebieden in bijlage III is het geen hoog risico AI-systeem wanneer het geen significant risico op schade voor de gezondheid, veiligheid of de grondrechten van natuurlijke personen inhoudt, onder meer doordat het de uitkomst van besluitvorming niet wezenlijk beïnvloedt.
Alles wat niet verboden of hoog is valt in de minimaal risico of in de AI-systemen voor algemene doeleinden. Dit zijn systemen dei audio, video en afbeeldingen genereren.
Welke verplichtingen zijn er per niveau?
In de volgende paragraaf wordt ingegaan op welke vereisten er zijn voor de verschillende niveaus. Met name gericht op hoog risico
Op basis van deze stappen weet een instelling aan welke verplichtingen het moet voldoen. Maar om hier ook daadwerkelijk aan te voldoen zullen er stappen moeten worden gezet. Zo zullen er beleidsstukken moeten komen die ingaan op de wijze hoe personeelsleden om moeten gaan met AI-systemen
Verplichtingen gebruikers en aanbieders
De meeste verplichtingen uit de AI-Act zien op gebruikers en aanbieders van AI-systemen met een hoog risico. Naast deze verplichtingen zijn er transparantieverplichtingen voor sommige AI-systemen en is er de algemene eis van AI-geletterdheid.
AI-geletterdheid
Per 2 februari 2025 is deze verplichting uit artikel 4 van toepassing, in de basis houdt het in dat personeelsleden die AI gebruiken en/of ontwikkelen hier genoeg over weten en mee overweg kunnen. Afhankelijk van de functie en het doel waarvoor een AI-systeem wordt ingezet en gebruikt door de medewerker kan er een hogere mate van AI-geletterdheid worden verwacht.
Ondanks dat er (vooralsnog) geen directe boete voortkomt uit het niet juist onderwijzen van personeelsleden kan het zijn dat wanneer er schade wordt berokkend door een AI-systeem en dat komt mede door te lage AI-geletterdheid bij het personeel, dan kan dat worden meegenomen in de hoogte van de algehele boete.
Hoog risico
De meeste verplichtingen omtrent hoog risicosystemen ligt bij de aanbieder daarvan. Zij zullen op gebieden als risicobeheer, datamanagement, technische administratie, menselijk toezicht, transparantie en cyberveiligheid maatregelen moeten treffen om te zorgen dat deze systemen op de juiste manier worden gebruikt.
Naast de organisatorische maatregelen die getroffen moeten worden is er de conformiteitsbeoordeling. Dit houdt in dat er een beoordeling moet worden gemaakt door een derde partij die verklaart dat het AI-systeem voldoet aan de eisen die de AI-Act daaraan stelt. Vervolgens moet er een CE-markering worden aangebracht en komt het systeem in een Europese databank voor AI-systemen.
Gebruikers van hoog risicosystemen zullen de dans niet ontspringen, ook zij moeten maatregelen nemen. Deze verplichtingen zien onder meer op het gebruik van het systeem volgens de gebruiksaanwijzing, dat menselijk toezicht wordt overgelaten een personen die daarvoor geschikt zijn en dat er monitoring plaatsvindt. En is sommige gevallen moeten gebruikers een beoordeling maken van de impact van het AI-systeem op de grondrechten van personen of groepen.
Minimaal risico
Als laatste is er de categorie met minimaal tot geen risico. Veruit de meeste AI-systemen zullen in deze categorie vallen en geen tot weinig verplichtingen opleveren voor een van de partijen. Uitzondering hierop is de verplichting voor AI-systemen die voor directe interactie met personen zijn bedoeld, zoals de eerder genoemde chatbots. Bij deze systemen moet voor de persoon duidelijk zijn dat er interactie is met een AI-systeem. Een zogeheten transparantieverplichting voor deze systemen.
Dat wil niet zeggen dat er geen risico’s aan zijn verbonden. Aangezien de meeste AI-systemen hieronder zullen vallen moet er op een juiste wijze gebruik worden gemaakt van deze systemen. Daardoor is het als gebruiker/instelling die verantwoordelijk is voor de gebruiker belangrijk om richtlijnen op te stellen hoe wordt omgegaan met AI-systemen en wanneer deze wel en niet kunnen worden gebruikt. Voorbeeld is dat er geen gevoelige klantinformatie of persoonsgegevens worden ingevoerd door de gebruiker.
Maar ook wat voor soort vragen er wel en niet mogen worden gesteld. De systemen leren van de input die het krijgt dus moet deze ethisch verantwoord worden gebruikt.
Zorg er ook voor dat gebruikers niet blindelings vertrouwen op AI-systemen maar ook zelf verifiëren of de informatie kloppend is. Vaak lijkt een antwoord onderbouwd en overtuigend maar kan het fout zijn.
AI-systemen voor algemene doeleinden
Dit zijn AI-systemen die gebouwd zijn op AI-modellen voor algemene doeleinden. AI modellen voor algemene doeleinden hebben een eigen toegewezen hoofdstuk in de AI-verodening, Dat hoofdstuk bevat meerdere verplichtingen voor aanbieders van die modellen. AI-systemen die hierop gebouwd zijn kunnen bijvoorbeeld afbeeldingen of teksten genereren. Vaak onschuldig maar niet vrijgesteld van verplichtingen. Aangezien het kan zijn dat er teksten of afbeeldingen van andere personen worden gebruikt moet hier het auteursrecht worden gerespecteerd en moet ook hier transparantie zijn over het systeem in de vorm van technische documentatie.
En hoe nu verder?
Sinds 2 februari 2025 is het verboden om AI-systemen met een onaanvaardbaar risico gebruiken. Begin daarom eerst met het in kaart brengen van welke AI-systemen er op dit moment gebruikt worden gemaakt binnen de organisatie. De eerste analyse moet zijn of hier verboden AI-systemen tussen zitten, zo nee dan moet worden beoordeeld binnen welke risicoklasse het systeem dan wel valt en welke verplichtingen daarop van toepassing zijn. Vervolgens moet worden nagegaan welke personeelsleden er gebruik maken van wat voor soort AI-systemen
Sinds 2 februari 2025 is er ook de eis AI-geletterdheid van personeelsleden. Personeelsleden moeten op een verantwoorde manier AI inzetten, weten hoe het werkt en wat risico’s zijn. Het kennisniveau hangt af van de risico’s. De gebruikers van AI-systemen voor algemene doeleinden hoeven minder geschoold te zijn dan de bankmedewerker die de kredietwaardigheid wil bepalen met behulp van AI. Een organisatie moet dus scherp in de gaten hebben welke kennisniveaus personeelsleden moeten hebben en hierin moet de organisatie voorzien. Bepaal dus welke opleidingen er moeten worden gevolgd voor personeelsleden. Begin daarnaast ook met het opstellen van richtsnoeren en beleid over het gebruik van AI-systemen en zorg ervoor dat het gebruik van AI terugkomt in de jaarlijkse monitoringsactiviteiten. De ontwikkelen van AI-systemen gaan hard en daardoor kunnen richtsnoeren snel verouderen of aangepast moeten worden.
Verder hoeft er op dit moment nog niet aan andere eisen te worden voldaan. De eisen omtrent systemen met algemene doeleinden zijn per 2 augustus 2025 van toepassing, maar ook de bepalingen die zien op sancties en administratieve boetes treden dan in werking. Zo is de boete voor het aanbieden of gebruiken van een verboden AI-systeem €35.000.0000 of 7% van de jaaromzet van een onderneming indien dat hoger is dan 35 miljoen.
De eisen omtrent hoog risico AI-systemen zullen per 2 augustus 2026 voor het grootste deel in in werking treden. Alleen artikel 6 lid 1, de classificatie als hoog risico systeem omdat het een veiligheidscomponent of product zelf is onder de in bijlage I genoemde wetgeving, treedt in werking per 2 augustus 2027. Ondanks dat dit nog ver weg lijkt is het slim om nu al aan de slag te gaan met de AI-Act.
