Overweging 73

(73)

AI-systemen met een hoog risico moeten op zodanige wijze worden ontworpen en ontwikkeld dat natuurlijke personen toezicht kunnen houden op de werking ervan en dat zij zoals beoogd worden gebruikt, en dat de gevolgen ervan gedurende de levenscyclus van het systeem worden aangepakt. Daartoe moeten passende maatregelen voor menselijk toezicht worden bepaald door de aanbieder van het systeem voordat het in de handel wordt gebracht of in gebruik wordt gesteld. Dergelijke maatregelen moeten, waar passend, met name waarborgen dat voor het systeem ingebouwde operationele beperkingen gelden die niet door het systeem zelf kunnen worden omzeild, dat het systeem reageert op de menselijke operator en dat de natuurlijke personen aan wie de taak van het menselijk toezicht is toegewezen, beschikken over de noodzakelijke competenties, opleiding en autoriteit om deze taak uit te voeren. Het is in voorkomend geval ook van essentieel belang dat AI-systeem met een hoog risico mechanismen bevatten om een natuurlijke persoon aan wie de taak van het menselijk toezicht is toegewezen, te begeleiden en te informeren zodat deze persoon geïnformeerd kan beslissen of, wanneer en hoe moet worden ingegrepen om negatieve gevolgen of risico’s te voorkomen, of om het systeem stop te zetten als het niet naar behoren functioneert. Gezien de aanzienlijke gevolgen voor personen in geval van een onjuiste match door bepaalde systemen voor biometrische identificatie, is het passend te voorzien in een voorschrift voor verscherpt menselijk toezicht voor die systemen, zodat er door de gebruiksverantwoordelijke geen maatregelen of beslissingen kunnen worden genomen op basis van de identificatie door het systeem, tenzij deze identificatie door ten minste twee natuurlijke personen afzonderlijk is geverifieerd en bevestigd. Deze personen kunnen afkomstig zijn van een of meer entiteiten en deze functie kan worden vervuld door de persoon die het systeem exploiteert of gebruikt. Deze eis mag geen onnodige lasten of vertragingen met zich meebrengen en het kan volstaan dat de afzonderlijke verificaties door de verschillende personen automatisch worden geregistreerd in de logbestanden die door het systeem worden gegenereerd. Gezien de specifieke kenmerken van rechtshandhaving, migratie, grenstoezicht en asiel, mag deze eis niet van toepassing zijn wanneer het Unierecht of het nationale recht de toepassing van dat vereiste onevenredig acht.