motyw 58
Innym obszarem, w którym wykorzystanie systemów AI wymaga szczególnej uwagi, jest dostęp do niektórych podstawowych usług i świadczeń prywatnych i publicznych niezbędnych ludziom do pełnego uczestnictwa w życiu społecznym lub do poprawy poziomu życia oraz korzystanie z tych usług i świadczeń. W szczególności osoby fizyczne ubiegające się o podstawowe świadczenia i usługi w ramach pomocy publicznej lub korzystające z takich świadczeń i usług zapewnianych przez organy publiczne, a mianowicie usług opieki zdrowotnej, świadczeń z zabezpieczenia społecznego, usług społecznych zapewniających ochronę w przypadkach takich jak macierzyństwo, choroba, wypadki przy pracy, zależność lub podeszły wiek oraz utrata zatrudnienia, a także z pomocy społecznej i mieszkaniowej, są zazwyczaj zależne od tych świadczeń i usług oraz znajdują się w słabszym położeniu względem odpowiedzialnych organów. Jeżeli systemy AI są wykorzystywane do ustalenia, czy organy powinny przyznać takie świadczenia i usługi, odmówić ich, ograniczyć je, cofnąć lub odzyskać, w tym do stwierdzenia, czy świadczeniobiorcy są w świetle prawa uprawnieni do takich świadczeń lub usług, systemy te mogą mieć znaczący wpływ na źródła utrzymania osób i mogą naruszać ich prawa podstawowe, takie jak prawo do ochrony socjalnej, niedyskryminacji, godności człowieka lub skutecznego środka prawnego i w związku z tym systemy te należy zaklasyfikować jako systemy wysokiego ryzyka. Niniejsze rozporządzenie nie powinno jednak utrudniać rozwoju i stosowania innowacyjnych rozwiązań w administracji publicznej, która może odnieść korzyści z powszechniejszego wykorzystywania zgodnych i bezpiecznych systemów AI, pod warunkiem że systemy te nie stwarzają wysokiego ryzyka dla osób prawnych i fizycznych. Ponadto jako systemy wysokiego ryzyka należy zaklasyfikować systemy AI wykorzystywane do przeprowadzania scoringu kredytowego lub oceny zdolności kredytowej osób fizycznych, ponieważ systemy te decydują o dostępie tych osób do zasobów finansowych lub podstawowych usług, takich jak mieszkalnictwo, energia elektryczna i usługi telekomunikacyjne. Systemy AI wykorzystywane do tych celów mogą prowadzić do dyskryminacji osób lub grup i mogą utrwalać historyczne wzorce dyskryminacji, takie jak dyskryminacja ze względu na pochodzenie rasowe lub etniczne, płeć, niepełnosprawność, wiek, orientację seksualną, lub mogą powodować powstawanie nowych rodzajów dyskryminacji. Za systemy wysokiego ryzyka na mocy niniejszego rozporządzenia nie należy jednak uznawać systemów AI przewidzianych w prawie Unii do celów wykrywania oszustw w ramach oferowania usług finansowych oraz do celów ostrożnościowych do obliczania wymogów kapitałowych instytucji kredytowych i zakładów ubezpieczeń. Ponadto systemy AI przeznaczone do przeprowadzania oceny ryzyka w przypadku ubezpieczenia zdrowotnego i na życie dla osób fizycznych i ustalania cen tych ubezpieczeń mogą mieć również znaczący wpływ na źródła utrzymania osób, a jeżeli nie są odpowiednio zaprojektowane, rozwinięte i wykorzystywane, mogą naruszać ich prawa podstawowe i prowadzić do poważnych konsekwencji dla życia i zdrowia ludzi, w tym wykluczenia finansowego i dyskryminacji. Wreszcie systemy AI przeznaczone do przeprowadzania oceny i klasyfikowania zgłoszeń alarmowych dokonywanych przez osoby fizyczne lub do wysyłania lub ustalania priorytetów w wysyłaniu służb pierwszej pomocy, w tym policji, straży pożarnej i pomocy medycznej, a także w ramach systemów oceny stanu zdrowia pacjentów w nagłych wypadkach, należy zaklasyfikować jako systemy wysokiego ryzyka, ponieważ służą one do podejmowania decyzji o krytycznym znaczeniu dla życia i zdrowia osób oraz ich mienia.