Overweging 65

(65)

Het systeem voor risicobeheer moet bestaan uit een tijdens de gehele levensduur van een AI-systeem met een hoog risico doorlopend en gepland iteratief proces. Dit proces moet gericht zijn op het vaststellen en beperken van de relevante risico’s van AI-systeem voor de gezondheid, de veiligheid en de grondrechten. Het systeem voor risicobeheer moet periodiek worden geëvalueerd en geactualiseerd om de blijvende doeltreffendheid ervan te waarborgen, alsook de motivering en de documentatie van eventuele significante besluiten en maatregelen die op grond van deze verordening zijn genomen. Dit proces moet ervoor zorgen dat de aanbieder de risico’s of negatieve effecten vaststelt en risicobeperkende maatregelen uitvoert voor de bekende en de redelijkerwijs te voorziene risico’s van AI-systeem voor de gezondheid, veiligheid en grondrechten in het licht van het beoogde doel ervan en redelijkerwijs te voorzien misbruik, met inbegrip van de mogelijke risico’s die voortvloeien uit de wisselwerking tussen het AI-systeem en de omgeving waarin het werkt. Het systeem voor risicobeheer moet de passendste risicobeheersmaatregelen vaststellen in het licht van de stand van de techniek op het gebied van AI. Bij het vaststellen van de passendste risicobeheersmaatregelen moet de aanbieder de gemaakte keuzes documenteren en toelichten en, in voorkomend geval, deskundigen en externe belanghebbenden erbij betrekken. Bij het vaststellen van het redelijkerwijs te voorzien misbruik van AI-systeem met een hoog risico moet de aanbieder aandacht hebben voor het gebruik van AI-systeem waarvan, hoewel zij niet rechtstreeks onder het beoogde doel vallen en niet in de gebruiksinstructies worden vermeld, redelijkerwijs mag worden verwacht dat zij kunnen voortvloeien uit gemakkelijk voorspelbaar menselijk gedrag in de context van de specifieke kenmerken en het gebruik van een bepaald AI-systeem. Eventuele bekende of te voorziene omstandigheden in verband met het gebruik van het AI-systeem met een hoog risico in overeenstemming met het beoogde doel ervan of in een situatie van redelijkerwijs te voorzien misbruik die kunnen leiden tot risico’s voor de gezondheid en veiligheid of de grondrechten, moeten worden opgenomen in de gebruiksinstructies die de aanbieder ter beschikking heeft gesteld. Dit moet ervoor zorgen dat de gebruiksverantwoordelijke hiervan op de hoogte is en hiermee rekening houdt bij het gebruik van het AI-systeem met een hoog risico. Het vaststellen en uitvoeren van risicobeperkende maatregelen voor te voorzien misbruik uit hoofde van deze verordening mag van de aanbieder geen voor het AI-systeem met een hoog risico specifieke aanvullende training vergen om te voorzien misbruik aan te pakken. De aanbieders worden echter aangemoedigd dergelijke aanvullende trainingsmaatregelen te overwegen om redelijkerwijs te voorzien misbruik waar nodig en passend te beperken.