Aby nedošlo k mýlce, AI v nadpisu není značka pro hliník, ale pro umělou inteligenci (tj. Artificial Intelligence, česky pak Umělá Inteligence či UI). O AI dnes mluví i taxikáři a vznikají úplné mýty o tom, co AI dovede. Někteří lidé, zejména ti, které novináři označují za budoucí oběti nahrazení za AI, panikaří. Investoři vymýšlí, jak na AI nejlépe vydělat.
IT průmyslu pomohl „hype“ kolem AI dostat se z červených čísel, kam je tlačilo zvyšování úrokových sazeb centrálními bankami. Úřady pro ochranu osobních údajů jsou nervózní a některé aplikace s AI systémů zakazují.
Neuběhne prakticky den, kdy by se neobjevil nový článek o AI, a týden, aby nějaká renomovaná organizace nevydala nový framework týkající se AI. Na AI může mít každý z nás různý názor, dokonce i AI svůj názor na sebe má, ale jisté je, že jde o téma, kterému se není možné vyhnout.
V duchu zaměření serveru GDPR.CZ, je naším cílem přinést relevantní pohled právě z pohledu Obecného nařízení o ochraně osobních údajů, tedy GDPR. Ale neomezíme se jen na to. Cílem této série článků tak je nabídnout spíše kritický pohled na problematiku AI, a to zejména z těchto směrů:
Povinnosti provozovatelů AI systémů dle budoucího nařízení AI Act
Rizika a výzvy spojená s provozem AI systémů
AI systémy a GDPR
Další zákony a regulace kolem AI systémů
Než se však pustíme pod povrch, podívejme se v tomto úvodním díle na to, co AI vlastně je a není a jaké výzvy přinese budoucí nařízení EU, které využívání umělé inteligence v EU bude brzy regulovat.
Co je AI?
U všech dnes známých AI jde o pokročilé nástroje počítačového učení (tzv. machine learning, někdy značeno ML), které ve skutečnosti žádnou vlastní inteligenci nemají. Tedy pochopitelně kromě znalostí a algoritmů, které do nich vložili jejich tvůrci. O inteligenci v pravém slova smyslu tedy nejde, ale označení AI (vyslovováno jako „ej aj“) je již velmi dobře zažité, a tak se jej budeme držet.
Definovat, co přesně AI je, není snadné. Navíc zde dochází k překotnému vývoji ze dne na den jak v rovině technické, tak marketingové. Proto oceňme snahu legislativců Evropské Komise, kteří se o definici pokouší v rámci nového nařízení Evropské Unie jménem Artificial Intelligence Act (zkráceně AI Act):
„systémem umělé inteligence“ (systém AI) software, který je vyvinut pomocí jedné nebo více technik a přístupů uvedených v příloze I, a který může pro danou sadu cílů definovaných člověkem generovat výstupy, jako je například obsah, predikce, doporučení nebo rozhodnutí ovlivňující prostředí, s nimiž komunikují;
Artificial Intelligence Act
Po několika letech příprav a vyjednávání schválil Evropský parlament, dne 14. června 2023, návrh nového nařízení EU zvaný AI Act. Tímto krokem EP posunul projednávání nařízení do takzvaného trialogu mezi Evropským parlamentem, Evropskou komisí a členskými státy. Nejpozději koncem roku 2023 by tento proces měl vyústit do finálního návrhu nařízení a členskými státy následně schválený AI Act, by měl být vydán v červnu 2024. Od té doby poběží dvouleté přechodné období a pravděpodobně od července 2026 budou muset veškeré AI systémy, provozované či nabízené v EU, plnit povinnosti stanovené v AI Actu.
Uplyne ještě mnoho času než AI Act začne platit. V rámci trialogu může také ještě doznat změn, ostatně nějaké změny přineslo i samotné projednání v EP. Je ale téměř jisté, že jádro stávajícího návrhu je tím, co se během necelých 3 let, stane povinným základem pro provoz jakéhokoli systému umělé inteligence v Evropské unii. Stojí tedy za to se podívat, co AI Act přinese a na co, by se všichni uživatelé a provozovatelé AI systémů v EU, měli připravit.
Novináři ze zámoří nastalou situaci a hlavní přínosy nařízení, shrnuli přibližně takto. Tím, že europoslanci schválili návrh pravidel pro umělou inteligenci, se EU dostává do "kolizního kurzu" s americkými technologickými giganty, neboť se jedná o bezprecedentní restrikce vůči firmám, které poskytují, nebo používají AI. Na základě nařízení bude možné zakazovat systémy, které představují "neakceptovatelné riziko" a legislativa také stanovuje hranice pro "vysoce rizikovou AI", jde například o systémy ovlivňující voliče během voleb. Vyžadováno by bylo také mj. označení obsahu vytvořeného nástroji jako ChatGPT, poskytování dokumentace, provádění analýz rizik, lidský dohled a další povinnosti jako například registrace v centrálním registru AI, vedeném Evropskou komisí. Tak se na to pojďme blíže podívat.
Co si tedy od AI Actu slibuje Evropská komise a jak to chce dosáhnout?
Nejprve k druhé části otázky. AI Act bude nařízením, nebo-li zákonem EU, který se uplatňuje přímo, tedy bez nutnosti členských států přijmout vlastní transpoziční zákony. To zajistí, že všude v EU budou platit stejná pravidla, povinnosti i pokuty.
AI Act odráží závazek Evropské Komise, kodifikovat koordinovaný evropský přístup k lidským a etickým důsledkům AI a řešit rizika s AI spojená.
Cílem AI Actu je řídit rizika plynoucí z využívání AI ve společnosti (vojenské využití a vynucování práva na mezinárodní úrovni je z působnosti AI Actu vyjmuto). EU povede databázi pro evidenci vysoce rizikových systémů AI, kam poskytovatelé AI systémů budou povinni tyto AI zapisovat.
AI Act slibuje přinést:
jednotná pravidla pro uvádění systémů umělé inteligence (dále jen „systémy AI“) na trh a pro jejich používání v Unii;
zákaz určitých postupů v oblasti umělé inteligence;
zvláštní požadavky na vysoce rizikové systémy AI, určené například ke zpracování osobních údajů v HR nebo schvalování žádostí o úvěr;
informační povinnost pro systémy AI určené k interakci s fyzickými osobami, pro systémy rozpoznávání emocí a pro systémy biometrické kategorizace, jakož i pro systémy AI používané k vytváření obrazového, zvukového nebo video obsahu nebo k manipulaci s ním;
postupy pro vymáhání těchto pravidel.
Role a zodpovědnosti dle AI Actu
Nařízení přináší sadu konkrétních povinností pro poskytovatele i další osoby. Jde zejména o systém řízení kvality a rizik spojený s provozem těchto AI. Nařízení definuje základní pojmy dodavatelského řetězce v rámci poskytování AI a určuje, jakými procesními kroky musí každý AI systém před uvedením na trh Unie, projít a kdo je za to zodpovědný.
Uvedením na trh se rozumí první dodání systému AI na trh Unie. S tímto krokem se pojí povinnosti jako je zajištění souladu produktu s platnou legislativou včetně provedení posouzení rizik, registrace produktu, vyhotovení produktové dokumentace a návodu k použití, určení účelu a specifikace nepřijatelných způsobů použití a implementace technických a organizačních opatření.
Uvedení na trh Unie může provést hned několik rolí, které AI Act rozeznává, tedy:
Poskytovatel - fyzická nebo právnická osoba, orgán veřejné moci, agentura nebo jiný subjekt, které vyvíjí nebo nechávají vyvíjet systém UI za účelem jeho uvedení na trh nebo do provozu pod svým vlastním jménem nebo ochrannou známkou, ať už za úplatu, nebo zdarma, nebo
malý poskytovatel - poskytovatel, který je mikropodnikem nebo malým podnikem ve smyslu doporučení Komise 2003/361/ES, nebo
zplnomocněný zástupce - jakákoli fyzická nebo právnická osoba usazená v Unii, která obdržela od poskytovatele systému UI písemné pověření k tomu, aby jeho jménem plnila povinnosti a prováděla postupy stanovené tímto nařízením, nebo
dovozce - jakákoli fyzická nebo právnická osoba usazená v Unii, která uvádí na trh nebo do provozu systém UI označený jménem nebo ochrannou známkou fyzické nebo právnické osoby usazené mimo Unii, či
distributor - fyzická nebo právnická osoba v dodavatelském řetězci, jiná než poskytovatel nebo dovozce, která dodává systém UI na trh Unie, aniž by ovlivňovala jeho vlastnosti;
AI Act také zná také roli provozovatel, což dle definice je poskytovatel, uživatel, zplnomocněný zástupce, dovozce nebo distributor. V příštím díle se podíváme, jak se jednotlivé role váží na role dle GDPR.
Jak se nestat nelegálním provozovatelem
Specifický případ uvedení AI na trh může nastat tím, kdy uvedení na trh provede uživatel AI systému (tj. „jakákoli fyzická nebo právnická osoba … využívající AI systém, s výjimkou případů, kdy je tento systém AI využíván při osobní neprofesionální činnosti“). Tomuto scénáři odpovídá např. situace, kdy firma z EU využije AI systém nabízený na trhu v USA (např. protože poskytovatel AI nástroje technicky nezabránil přístupu z EU) a následně zpřístupnil tento AI systém svým zákazníkům, či uložil svým zaměstnancům, aby jej využívali.
V principu se tímto činěním tento uživatel právě stal provozovatelem AI systému, a uvedl jej na trh Unie. A mimo jiné mu tím vznikly povinnosti platné pro poskytovatele při uvádění AI systému na trh. Jelikož o tom ale nejspíše nebude mít ani potuchy, lze se domnívat, že při tom poruší, resp. zanedbá celou plejádu povinností dle AI Actu, a dalších zákonů, například GDPR.
To ale může být značně drahý omyl, protože AI Act (v poslední známé verzi) mluví o pokutách ve výši až 40.000.000€, či až 7% globálního obratu za minulý rok. I když regulátoři na tyto případy nejspíše nebudou aplikovat nejvyšší možné pokuty, může i tak jít o dosti drahou zkušenost, zejména pokud uživatel je součástí velké korporace.
Všem subjektům využívajícím AI systémy lze tedy doporučit velkou obezřetnost s cílem se této situaci obloukem vyhnout a přenechat uvádění na trh Unie někomu z výše uvedených osob/rolí. To zpravidla znamená nakoupit AI nástroj od provozovatele v EU. Dle AI Actu má každá role předepsány své povinnosti a nutným startovacím krokem, tak je určit, v jaké roli se subjekt vlastně nachází a co z toho pro něj vyplývá, přičemž povinnosti závisí i na kategorii AI systému.
Kategorizace AI systémů
Není AI jako AI. Některé systémy budou přímo zakázané (Hlava II), jiné budou řazeny do kategorie vysoce rizikových AI systémů (Hlava III). Jelikož povinnosti spojené s distribucí, provozováním i užíváním se váží na kategorii AI systému, následující specifikace různých typů AI systémů dle AI Actu mohou být užitečné:
systém rozpoznávání emocí - AI pro účely zjišťování nebo odvozování emocí nebo záměrů fyzických osob na základě jejich biometrických údajů, tj. fyzických či fyziologických znaků nebo znaků chování fyzické osoby, které umožňují nebo potvrzují její jedinečnou identifikaci, například zobrazení obličeje nebo daktyloskopické údaje (otisky prstů, dlaně atd.);
systém biometrické kategorizace - systém AI pro účely zařazení fyzických osob do určitých kategorií podle pohlaví, věku, barvy vlasů, barvy očí, tetování, etnického původu nebo sexuální či politické orientace, na základě jejich biometrických údajů;
systém biometrické identifikace na dálku - systém AI pro účely identifikace fyzických osob na dálku na základě porovnání biometrických údajů dané osoby s biometrickými údaji obsaženými v referenční databázi, aniž by uživatel systému AI předem věděl, zda bude daná osoba přítomna a zda ji bude možné identifikovat;
v reálném čase – AI schopné zachycení biometrických údajů, porovnání a identifikace probíhá bez významné prodlevy. To zahrnuje nejen okamžitou identifikaci, ale také omezená krátká zpoždění, jejichž cílem je zabránit obcházení systému;
systémem ‚zpětné‘ biometrické identifikace na dálku – zpracování neprobíhá „v reálném čase“;
Posledním pojmem, který zmíním, je „závažný incident“. Ten je definován jako neplánovaná událost, incident, který přímo nebo nepřímo vede, mohl vést nebo může vést k některému z těchto následků:
smrt určité osoby nebo závažné poškození zdraví určité osoby, majetku nebo životního prostředí;
závažné a nevratné narušení správy a provozu kritické infrastruktury.
Na základě těchto specifikací, jimž odpovídají definice v zákoně a které vznikly na základě rozsáhlého výzkumu, AI Act třídí AI systémy do kategorií. Pohled na specifikace výše naznačuje, že hlavním kritériem není architektura, či technologie AI systému, ale způsob jeho použití. Ostatně tento přístup není nepodobný tomu, který dobře známe z GDPR.
Zakázané systémy AI
Některé typy použití AI systémů budou zakázané. Kvůli nepřiměřenému zásahu do soukromí a dalších základních práv lidí nelze provádět takzvaný „social scoring“ a je až na určité omezené výjimky zakázáno používání biometrické identifikace na dálku „v reálném čase“ na veřejně přístupných místech pro účely prosazování práva.
Návrh zvažoval umožnění výjimek v konkrétně stanovených situacích, například využití jinak zakázaných AI systémů při hledání potenciálních obětí trestných činů, včetně pohřešovaných dětí, pro ochranu a předcházení terorismu a ohrožení života, či pro předcházení závažným trestným činům. Většina výjimek ale byla Evropským parlamentem odmítnuta. Každá výjimka by každopádně podléhala povolovací proceduře dle národní legislativy.
Vysoce rizikové systémy AI
Vysoce rizikové AI systémy se dále dělí na dva typy systémů:
systémy AI určené k použití jako bezpečnostní součást produktů (například AI komponenta řídí autentizaci uživatelů v rámci ne-AI produktu).
samostatné systémy AI výslovně uvedené v příloze III. Zde je koncovým produktem samotný AI systém.
To je zajímavé z pohledu toho, kdo a jak bude posuzovat a dokládat shodu daného AI systému s nařízením. V první případě AI komponenta podléhá posouzení shody v rámci posouzení produktu jako celku. Posouzení a následnou registraci do databáze EU musí zajistit Poskytovatel. U samostatných AI systémů pak budou shodu posuzovat nezávislé auditní orgány.
Pro uživatele to je výhodné. Dnes padá povinnost posouzení rizik a zajištění shody v plné tíži na uživatele (tj. zákazníka, který si od Poskytovatele služby dané AI kupuje a dále je používá, či třeba nabízí dále). Podle AI Actu ale povinnost za zajištění souladu ponese Poskytovatel, případně jiné konkrétní role v dodavatelském řetězci.
Nařízení v rámci řízení rizik a řízení kvality vyžaduje zavedení kontinuálního PDCA cyklu, známého například z ISO27x norem a využívaného pro řízení rizik v rámci DPMS (Systém řízení ochrany osobních údajů) pro GDPR.
Vysoce rizikové systémy AI podle přílohy III Nařízení
AI Act v příloze III, zařazuje mezi vysoce rizikové systémy takové systémy AI, jež jsou nasazené v kterékoli z těchto oblastí (tj. způsobu či účelu užití):
Biometrická identifikace a kategorizace fyzických osob na dálku „v reálném čase“ i „zpětně“.
Řízení a provozování kritické infrastruktury, kde AI je určené k použití jako bezpečnostní komponenty řízení a provozu silniční dopravy a dodávek vody, plynu, topení a elektřiny.
Vzdělávání a odborná příprava, kde AI slouží za účelem určování přístupu fyzických osob ke vzdělávacím institucím, k hodnocení studentů, či hodnocení účastníků zkoušek.
Zaměstnanost, správa pracovníků a přístup k samostatné výdělečné činnosti, kde AI je
využito bud při náboru či výběru lidí, zejména při inzerci volných míst, kontrole, třídění, či hodnocení kandidátů v průběhu pohovorů a zkoušek;
při rozhodování o povyšování, rozhodování o propouštění, přidělování úkolů, sledování a hodnocení výkonnosti a chování pracovníků.
Přístup k základním soukromým a veřejným službám a dávkám, kde AI slouží:
pro hodnocení nároků fyzických osob na dávky a služby veřejné podpory a za účelem udělení, snížení, zrušení či opětovného získání těchto dávek a služeb,
nebo pro hodnocení úvěruschopnosti fyzických osob či jejich úvěrového bodování,
nebo za účelem vysílání nebo stanovení priority při vyslání zásahových služeb první reakce, včetně hasičů a lékařské pomoci.
Vymáhání práva donucovacími orgány, kde AI je určeno pro
hodnocení rizik jednotlivce, předvídání dalších aktivit, aj.,
jako detektory lži a obdobné nástroje nebo za účelem zjišťování emočního stavu fyzické osoby,
za účelem odhalování realistických fotomontáží a videomontáží (tzv. deep fakes),
pro hodnocení spolehlivosti důkazů v průběhu vyšetřování nebo stíhání trestných činů,
předvídání výskytu nebo opětovného výskytu skutečné nebo potenciální trestné činnosti na základě profilování fyzických osob dle příslušných směrnic EU,
za účelem analýz trestné činnosti fyzických osob s využitím rozsáhlých datových zdrojů a hledání vzorců a skrytých souvislostí.
Migrace, azyl a správa hraničních kontrol, kde AI
funguje jako detektory lži či jako obdobné nástroje nebo ke zjišťování emočního stavu fyzické osoby,
za účelem posuzování určitého rizika, včetně bezpečnostního rizika, rizika nedovoleného přistěhovalectví nebo zdravotního rizika, jež představuje fyzická osoba s úmyslem vstupu do EU,
při ověřování pravosti cestovních dokladů,
při přezkoumání žádostí o azyl, či vízum a souvisejících činností.
Správa soudnictví a demokratické procesy, kdy AI pomáhá soudnímu orgánu při zkoumání a výkladu fakt a práva.
Monitoring, vynucování souladu a sankce
Pro provozovatele ostatních AI systémů vydá EU kodexy chování. Zaváže-li se Poskytovatel kodex dodržovat, uživatelé a zákazníci Poskytovatele AI by měli mít dostatečnou záruku, že dotyčný produkt je v souladu s právem EU. Posuzování souladu budou moci provádět výhradně certifikovaní poskytovatelé. Podmínky pro Posuzování shody a certifikaci se věnuje článek 19 a dále Kapitola 4 a 5 AI Actu.
Na nejvyšší úrovni EU bude soulad monitorovat nově vytvořená agentura, Evropská rada pro umělou inteligenci. Členské státy pak musí určit a vybavit regulátora(y) na národní úrovni, kteří budou mj. ukládat sankce za vývoj a používání AI v rozporu s regulací:
Za nesoulad systému AI s požadavky nařízení může být uložena správní pokuta až do výše 40 000 000 EUR, případně až do výše 7 % jejího celkového ročního obratu celosvětově za předchozí finanční rok podle toho, která hodnota je vyšší. Tyto hodnoty se ještě mohou v rámci vyjednávání v trialogu změnit.
Za poskytnutí nesprávných, neúplných nebo zavádějících informací oznámeným subjektům (tj. regulátorům či certifikačním orgánům) a příslušným vnitrostátním orgánům v reakci na žádost se uloží správní pokuty až do výše 10 000 000 EUR, případně až do výše 2 % jejího celkového ročního obratu celosvětově za předchozí finanční rok podle toho, která hodnota je vyšší.
Nepochybně budou při rozhodování o výši správní pokuty zohledněny všechny důležité okolnosti (např. povaha, závažnost a doba trvání porušení, jeho následky, či zda jde o recidivu a také velikost přestupce a jeho podíl na trhu). Výškou pak sankce dle AI Actu připomínají ty podle GDPR a jedná se tak o pokuty vysoké a s velkým potenciálem odrazovat poskytovatele od přestupků.
Regulatorní pískoviště
Doufejme jen, že výše pokut neodradí Poskytovatele od samotného vstupu na trh EU. Zde je velkou, a snad slibnou neznámou, tzv. regulatorní sandbox, neboli regulatorní pískoviště dle článku 53 AI Actu. Jedná se o prostor, kontrolované prostřední, ve kterém poskytovatelé AI pod dohledem regulátorů mají získat bezpečný prostor pro vývoj a inovace, aniž by museli ihned plnit všechny požadavky. Cílem je, aby provozovatelé AI produkt v pískovišti doladili tak, že se tento dostane do plného souladu s AI Actem, a to před jeho uvedením na trh Unie.
AI Act, podobně jako GDPR, si klade za cíl nastavit vysokou laťku pro využívání a provozování AI nejen v EU, ale doufá se stát i globálním etalonem. Ambicí v EU je mnoho a požadavků na jednotlivé role v dodavatelském řetězci ještě více. Podobně jako EU se snaží umělou inteligenci zákony regulovat i jinde, poměrně daleko jsou například v USA, či Číně. Nelze pochybovat o tom, že přístupy a priority v různých regionech se budou lišit, a tak nejen provozovatelé to brzy nebudou mít jednoduché.
V příštím díle se pokusíme zmapovat, jaké AI systémy je možné již dnes potkat v praktickém nasazení.
