AI systémy v praxi
V tomto pokračování přeskočíme otázky spojené se zákony, či nesouladem s nimi a podíváme se na v praxi nejčastěji používané AI systémy. Nebude nás zajímat technologie, ale využití AI systému pro konkrétní účel a podíváme se na to, co užitečného mohou již dnes nabízené AI systémy přinést, ale také jaké komplikace již dnes jejich zneužití přináší.
Ekosystém AI nástrojů se rozrůstá přímo explozivní rychlostí. Kdekoli na sociálních sítích je snadno možné nalézt různé seznamy nástrojů pro různé úlohy a způsoby využití. Nemá-li i tento článek explodovat, není možné postihnout zdaleka všechna dnes obvyklá nasazení AI, ale pokusíme se o reprezentativní přehled toho nejzajímavějšího.
Detekce tváří ve videozáznamech a obrazech.
Tyto nástroje umí s vysokou přesností vyhledat konkrétní osobu, či předmět v obraze, či videozáznamu. Některé AI to umí v reálném (či téměř reálném čase), jiné pak data prochází zpětně. Schopnosti těchto nástrojů jsou překvapivě dobré a po kvalitním tréninku dokáží detekovat obličej, či objekt i v relativně velmi nekvalitním zdroji.
Například Čína takto sleduje prakticky celou svou populaci nejen ve městech, ale i při jízdě na dálnicích a silnicích a má tak detailní mapu pohybu a činností téměř kohokoli na svém území. V dalším kroku pak jejich jiný AI nástroj na základě dalších informací, které o lidech sbírají (například co a kde nakupují, s kým se potkávají, jaké weby sledují, co píší na sociální sítě, o jejich zdraví a sexuálních aktivitách, etniku, náboženství, zda nepřechází silnici mimo přechody, aj.) vypočítá tzv. „skóre občana“. Toto skóre pak umožňuje establishmentu jednotlivce odměňovat, či trestat (například jim je upřena možnost cestovat rychlovlaky, či vycestovat do zahraničí).
Mimo diktatur a autoritářských režimů je pochopitelně takovéto zneužití dat o lidech dalece za hranou. Není tak náhodou, že připravovaný Evropský AI Act explicitně využití AI systémů pro skóring občanů zařazuje mezi zakázané užití systémů AI. Nedojde-li ke změně v návrhu, pak v rámci EU bychom se v budoucnosti s podobnými AI systémy vůbec neměli setkat.
Ochrana bezpečnosti za využití detekce obrazu
V principu může jít o obdobu předchozí technologie, pouze s jiným způsobem použití. V tomto případě by měla být schopná detekovat velmi vážné hrozby, jako například varovat ostrahu při nalezení podezřelého zavazadla ponechaného bez dozoru na letišti, či vyhledání unesené či na životě ohrožené osoby v davu, nebo detekovat zbraň v ruce potenciálního útočníka. Diskuse na téma ochrana soukromí versus bezpečnost je v plném proudu a v kontextu systémových rizik spojených s možností vzniku Velkého bratra, jde a půjde o diskusi citlivou a nesnadnou.
Využívání AI systémů užitých pro tyto účely, nebude-li úplně zakázané, spadne do kategorie vysoce rizikových AI systémů. Autor předpokládá, že pro obdržení povolení pro uvedení takového systému na trh, poskytovatel či provozovatel bude mj. muset prokázat nemožnost zneužití takového AI systému pro účely sociálního skóringu a jiné zakázané použití. To rozhodně nebude snadná záležitost.
Dalším kritickým faktorem je kvalita rozpoznávání. Ta záleží na kvalitě provedeného tréninku, respektive trénovacích dat. U vyhledávání předmětů nebývá obvykle velký problém (kufr, pistole, granát), ale u rozpoznávání živých osob může systém vykazovat dramaticky různé výsledky v závislosti např. na etniku převažujícím v trénovací sadě. Tedy např. asijské systémy mohou „mít problém“ s bělochy. To vede na nevyrovnané kvality výstupu, kde AI některé kategorie osob de facto diskriminuje (ať již pozitivně, nebo negativně). Tomuto jevu se říká "bias" a patří mezi největší problémy těchto prakticky nasazených AI systémů dneška. Je zřejmé, že nejen z pohledu GDPR se jedná o problém naprosto zásadní a není-li řádně vyřešen, může pro systém znamenat konečnou. Provozování systému, který by systematicky diskriminoval skupiny obyvatel je obecně nepřípustné.
Nizozemský Rotterdam prohrál spor s poškozenými občany, když se ukázalo, že software, který město využívalo pro odhalování zneužívání dávek, ve skutečnosti některé skupiny obyvatel diskriminoval, což vedlo na jejich šikanování, zatímco skutečné zneužívače neodhaloval.
Z toho plyne jedno zásadní poučení. Při trénování AI systémů může být problém použít historická data, protože tato data mohou obsahovat systematické chyby.
Recruitment
V oblasti lidských zdrojů a recruitmentu je mnoho příležitostí pro AI. Umí zrychlit a automatizovat mnoho aktivit, které pro recruitery jinak představují velmi zdlouhavé a únavné repetitivní činnosti. S AI se například nalezení ideálního profilu kandidáta mezi tisíci profily v databázi stává záležitostí na pár vteřin, či kliknutí a umí tak ušetřit hodiny až dny únavného procházení životopisů. Teprve poté recruiter vybere nejvhodnější profily z těch nabízených.
V této oblasti tedy může být využívání AI opravdu přínosné. Mezi podmínky ovšem patří to, že databáze je aktuální, obsahuje výhradně zákonným způsobem získané profily kandidátů a kandidáti byli o zpracování pomocí AI informováni. Jelikož celý profil kandidáta je považován za osobní údaje, musí být také dodrženy principy GDPR včetně minimalizace dat.
Také pro kandidáty může být zkvalitnění výběru přínosné, neboť umožní výrazně zkrátit dobu celého procesu a předejít kontaktování nevhodných kandidátů.
Rizikem naopak může být, pokud recruiter využívá nevalidované zdroje, jakými jsou například různé sociální sítě, nemluvě o provozu vlastní databáze, která by ale neplnila požadavky GDPR. V tom případě se recruiter tak jako tak pohybuje mimo zákon, ale využití AI snadno může problém dále zvětšit.
Lze také očekávat, a to zejména u nevalidovaných online zdrojů a tam, kde bude chybět lidský prvek na vstupu a výstupu, že kandidáti začnou své profily optimalizovat pro AI zpracování. To znamená, že kandidát bude cíleně upravovat svůj životopis tak, aby ho s velkou pravděpodobností AI vybrala, a to i když o optimálního kandidáta nejde. Autor očekává také vznik nástrojů, které toto budou za malý peníz dělat komerčně jako službu.
No a pochopitelně i zákazník recruitera, tedy firma hledající zaměstnance, má své povinnosti.
Podle GDPR zaměstnavatel při jakémkoli zpracování osobních údajů (na základě kteréhokoli právního důvodu), je vždy povinen respektovat základní zásady zpracování osobních údajů zakotvené v článku 5 nařízení. Jedná se o zásady zákonnosti, korektnosti, transparentnosti, omezení účelu, minimalizace údajů, přesnosti, omezení uložení, integrity a důvěrnosti. Dobře nastavená smlouva mezi zákazníkem a recruiterem může jistě mnohá rizika, která jsou s tímto spojená, významně omezit.
Při činnostech v oblasti HR je třeba velké obezřetnosti, a to zejména v situacích, které by mohly vést na kolizi se zakázanými využitími AI systému dle článku 5 AI Actu anebo článku 9 GDPR. Jedná se zejména o sběr zvláštních kategorií osobních údajů dle GDPR a AI Actu, dále kategorií údajů jejichž sběr a zpracování zakazuje zákoník práce ČR, a to včetně biometrických údajů. Takový sběr a zpracování v AI systémech bude téměř jistě zakázané.
Zde zřejmě nelze moc počítat ani s výjimkami, které by takové zpracování v nějakém rozsahu umožnilo (tj. povolené justičními orgány dle článku 5, odstavce 3, nebo pro ně nebude platit jedna z výjimek dle článku 5 odstavce 4 AI Actu).
Na tyto aspekty je třeba dávat velký pozor zejména u systémů pocházejících zvnějšku EU, kdy například americké nástroje zcela běžně se sběrem citlivých osobních údajů počítají (například v souladu s v USA platnou legislativou žádají informace o zdravotním stavu, pohlaví, příslušnosti k menšinám, činnosti v armádě, aj.).
Díky nedávným rozsudkům Evropského soudního dvora (ECJ) ve věci Schrems vs. META (dříve Facebook) zůstává široce otevřenou také otázka spojená s přenosem osobních údajů mimo EU (včetně HR systémů v cloudu, či poskytovaných poskytovateli pod kontrolou mimo-EU subjektů např. z USA).
Lze doporučit, aby AI systémy použité pro HR data byly kompletně provozované samotným uživatelem v dané zemi, nebo aby alespoň byly provozované v EU a obsluhované plně poskytovateli z EU. To ale často není snadné docílit a tak s ohledem na citlivost zpracovávaných dat, je kompetentní provedení TIA (Transfer Impact Assessmentu) před výběrem poskytovatele AI systémů v oblasti recruitmentu silně doporučené.
Generativní grafika
Gnerativní AI nabízí především úžasnou zábavu a prostor pro kreativitu. Známým představitelem AI systému generativní grafiky je například Stable Diffusion, či třeba nově AI přidané do Photoshopu, či jiných nástrojů. Tyto pak umí na základě šikovně zformulovaného požadavku (pro nějž se již vžil název „prompting“) vytvářet úžasná vizuální díla, a to aniž se „autor díla“ dotkl grafického editoru, či musel disponovat špetkou vlastního talentu.
V budoucnosti se pro mnoho grafiků výtvory těchto AI mohou stát těžko překonatelnou konkurencí. Také ochrana autorských práv spojených s grafickými díly se může snadno stát noční můrou a nový termín WYSIWYNCT (What You See Is What You Never Can Trust, tedy co vidíš je tím, čemu nemůžeš věřit) si možná natrvalo prorazí cestu na výsluní. Generativní grafika umí vytvářet nejen obrázky, ale také audiovizuální díla.
Možná jste zaznamenali případy použití tzv. Deep Fake fotografií, či videí, kde pomocí AI bylo vloženo poselství do úst lidí, kteří nic takového neřekli.
U velké části populace pak platí, že jsou-li konfrontování v televizi s videem, kde například falešný prezident vyhlásí někomu válku, snadno tomu uvěří. Kritické myšlení je nedostatkovým zbožím a vizuální vjem v určité kvalitě a kontextu umí mnoho lidí ošálit. Takové akce pak mohou mít velmi vážné následky (například zranění, či smrt v důsledku vyvolané paniky patří mezi ty mírnější).
Vznikají již nástroje pro odhalování děl vytvořených pomocí AI a výsledky těch kvalitních přesahují úspěšnost 95%, ale to platí dnes a zítra již může vše být jinak.
Velkým problémem se také stávají nástroje, které umí ošidit autentizační nástroje, například ty, jež využívají snímání obrazu tváře, či otisků prstů. Také nástroje využívané ve finančním sektoru v rámci tzv. AML (tedy zabraňující praní špinavých peněz) a umožňující zákazníkům ověření identity a autenticity osoby na dálku jsou tak v ohrožení. Nebude-li tento problém úspěšně vyřešen, může to klidně skončit návratem nutnosti návštěv poboček bank pro ověření identity osoby, což je situace po které jistě mnoho lidí netouží.
Specifickým problémem je vysoká kapacita snadno dostupných AI nástrojů, které škůdcům umožňují generování obrovského množství unikátních výstupů, takže jsou pak obtížně detekovatelné bezpečnostními nástroji, které pracují se signaturami a podobnostmi.
Generativní AI je také zneužíváno pro vytváření falešných profilů na sociálních sítích. Unikátní vizuálně lákavé kreace mohou být snadno zneužity pro nalákání návštěvníků na problematické weby, kde mohou být zcizeny jejich osobní údaje, nebo například nainstalovaný škodlivý kód, případně mohou být zneužita pro vydírání.
Značná rizika s sebou také nesou QR kódy. Dnešní generativní AI umí vytvářet QR kódy připomínající umělecká díla. Ty pak přímo lákají k načtení. Horší ale, je, že je také možné vygenerovat obrázek, který skrytě obsahuje QR kód, kterého si člověk nevšimne, ale počítač, či mobil QR kód načtou, což může vést na infikování zařízení. Okolo zneužívání QRkódů pro vylákání údajů od oběti je známo jako qishing.
Problém s QR kódy je navíc ten, že dokud nejsou načteny, tak není možné zjistit, co vlastně obsahují a kam odkazují. Klikáte tak na zajíce v pytli. A když ho načtete, potom již může být pozdě.
Sociální sítě jsou dnes zaplaveny úžasnými dílky a memy, které všem přináší radost a zábavu. Tedy možná jen do okamžiku, než se zeptáte, kdo je vlastně autorem výsledného díla, zda neporušuje něčí autorská práva a podobné otázky. AI Act bude vyžadovat, aby dílo bylo označeno jako vytvořené pomocí AI.
Generativní Jazykové Modely (LLM)
Klasickým příkladem generativního AI založené na LLM (podle anglického Large Language Model) je ChatGPT. Tyto text generující nástroje umí vytvářet články, názory, komentáře i básně. Výstupy jsou mnohdy v kvalitě dalece přesahující schopnosti osoby, která si výstup od AI vyžádala. Necháme-li zatím stranou problematiku autorských práv a porušování GDPR při trénování nástrojů, fakt, že téměř kdokoli je dnes schopný vyprodukovat skvěle vypadající článek, představuje zásadní problémy v mnoha oborech, kde tvorba dokumentů, či publikace jsou zásadním jejich činnosti. Například ve školství, politice, či novinařině. Ve vědeckém světě, kde přísun peněz je často přímo vázaný na publikační činnost a citace, se také jedná o velký problém.
V oblasti vzdělávání se dnes vedou zásadní diskuse na téma, jak vlastně vzdělávat studenty, když všechno, co potřebují vědět, mohou bleskově získat na základě "promptu" do generativního AI. Otázkou pak je, kolik by toho vzdělaný člověk vlastně měl nosit ve vlastní hlavě.
Internet je již plný různých návodů, jak snadno ChatGPT a podobné nástroje používat a demokratizace těchto nástrojů dosáhla úrovně, kdy je může používat kdokoli, kdo má mobilní telefon. Stačí si nechat vyhledat "cheatsheet" pro ChatGPT.
Nemá smysl pochybovat o tom, že podobné návody a triky, jak AI nástroje využívat pro nezákonné aktivity, by snad nekolovaly, respektive se neprodávaly i v Internetovém podsvětí.
Mimochodem, chcete-li kamaráda, který „ví“ úplně vše, ChatGPT se rád nabídne. Podívejte se třeba zde: https://justit.cz/2023/06/03/proc-zeny-hazi-pytliky-od-caje-do-drezu/. Internet začíná být plný falešných mouder. ChatGPT umí vyrobit zajímavé a čtivé avšak zcela vyblouzněné odpovědi na každou otázku světa. Zcela seriózně to vzbuzuje otázku, co se stane, až většina obsahu na internetu bude vyblouzněná od AI? Potom totiž nejen že trénovací data pro AI budou od začátku zatížené systematickou chybou, ale i pro ne-AI uživatele bude velký problém najít smysluplný výstup. Hrozí, že Internet se stane odpadkovým košem na vyblouzněné bláboly.
Již dnes autoři skutečně kvalitního obsahu konají kroky, které brání načtení jejich děl do AI, bohužel často tak, že bez znalosti hesla, či zaplacení poplatku se k dokumentu nebude možné dostat a to dále zhorší kvalitu obsahu dostupného na Internetu.
Odhalování plagiátů
Důležitou aplikací generativích AI se tak logicky stává odhalování plagiátů a detekce výstupů z AI generátorů. Tato nástroje jsou trénovány tak, aby uměly odhalit texty vytvořené pomocí AI.
Detektory plagiátů jsou již po léta využívány v mnoha institucích a například na většině vysokých škol si mnohé činnosti bez nasazení těchto nástrojů již prakticky nedovedou představit.
S příchodem volně přístupných generativních modelů se ale boj o udržení kvality detekce dramaticky zrychlil. Podmínkou úspěchu při odhalování plagiátů (lidských i od AI) je neustálý vývoj a zdokonalování, neboť útočníci a vykukové neváhají ve svůj prospěch využívat ty nejmodernější dostupné nástroje. Udržení potřebné úrovně tak vyžaduje zdroje lidské i technické, které ještě nedávno nikdo v organizačních strukturách škol nevídal a které by jistě šlo lépe využít jinak a jinde.
Medicína a generativní AI
Významný přínos mohou generativní AI nástroje mít v oblasti medicíny a lékařství, kde umí například brilantně analyzovat výstupy z laboratorních vyšetření, detekovat nemoci na snímcích, či rozpoznat poznámky lékařů a přetvořit je do textů srozumitelných laikům.
Vedle toho umí navíc vyhledat i případné chyby, či nedostatky a umí tak poskytnout podpůrný hlas lékaři a například tak předejít předpisu nevhodné medikace. Tato nasazení AI pak reálně chrání lidské životy a jsou testována na mnoha pracovištích.
S ohledem nejen na AI Act a GDPR, kdy se jedná o zvláštní kategorie osobních údajů, ale budou tyto aplikace vždy vyžadovat specifický přístup, který zajistí řádnou ochranu osobních údajů a práv pacientů. Téměř jistě bude nutné zamezit vynesení těchto dat mimo určené prostředí nemocnice, či regionu.
Využití anonymizovaných dat pacientů je v zámoří již standardně využíváno pro hledání možných podobností v datech a hledání možných terapií. Tomuto v EU do značné míry brání dosud poněkud nejasné pojetí toho, co vlastně je anonymizace údajú kompatibilní s GDPR.
Automatizace compliance (zavádění souladu s regulacemi)
Nové zákony obvykle přinášejí mnoho nových povinností pro organizace všech velikostí, což může mj. zahrnovat povinnosti notifikovat regulátory v případě bezpečnostních událostí, zajištění souhlasů od osob, provádění revize smluvních ujednání, detekce sankcionovaných subjektů, a další.
Spojujícím prvkem zde je velká komplexnost těchto požadavků ve spojení s mírně odlišnou interpretací v téměř každé zemi, kde má být uplatňováno. AI umí do značné míry zautomatizovat tyto procesy a předejít tak případným dramatickým pokutám, či dokonce zákazům činnosti.
Jelikož podobné typy organizací nakonec obvykle skončí s velmi podobnými dokumenty, procesy a technologiemi, lze odhadnout, že řádově 90% textů v ISMS, DPMS a podobných systémech bude shodných. To umožňuje vytvořit kostru dokumentů právě pomocí AI nástroje a věnovat energii pouze na vytváření oněch zbývajících 5%.
Již dnes vznikají praktické nástroje, které umí tyto shodné texty vygenerovat a uvolnit tak ruce pro strategickou analýzu a činnost a dalece tak zefektivnit a zrychlit implementaci komplexních regulací, například NIS2 (a jeho inkarnaci v ČR tzv. nový Zákon o kybernetické bezpečnosti), nebo budoucí regulace EU. Tyto nástroje mají sloužit nejen koncovým uživatelům (např. organizaci, která zavádí ISO, či NIS2), ale také auditorům a konzultantům, kteří organizace při zavádění podporují.
Samořídící vozidla
Velké automobilky i technologické giganty investují obrovské sumy peněz do vývoje samořídících vozidel. Metro, tramvaje a jiná kolejová vozidla bez řidiče jsou již dnes v mnoha metropolích běžně k vidění.
U automobilů je ale komplexita problému mnohem vyšší. Odborníci soudí, že vozidla obsahující AI by neměla problém se mezi sebou domluvit. Již dnes by bylo možné zajistit zcela bezpečný provoz v celých městech i na dálnicích. Problémem ale jsou lidé, tedy nepředvídatelnost těchto ostatních účastníků provozu. To zahrnuje jak řidiče, tak i chodce. Někteří lidé se již ptají, jak dlouho ještě budou silnice sdílet automaty s lidmi a jak dlouho ještě vůbec auta budou mít volant.
Provoz tzv. autonomních vozidel (ve skutečnosti jsou zatím v režimu vylepšeného asistenta a odpovědnost za řízení má plně řidič) již přinesl několik smrtelných nehod a skutečné plně autonomní řízení, pro každé prostředí, zatím žádný výrobce nepředvedl.
Ještě dramatičtější dopady ale může mít využití AI v letectví. V čerstvé paměti jsou dosud případy, kdy rozhodnutí Autopilota v letadle Boeing 373 MAX vedlo ve dvou případech k pádu letadla a smrti stovek lidí. Mozek autopilota (byť zde těžko říct zda se jednalo o skutečné AI ve smyslu naší definice, či jen špatně nastavený klasický software) obdržel vadné informace od senzorů a usoudil, že musí provést akci a poslal letoun k zemi. Bohužel piloti obou letadel jim v tom nedokázali ani přes veškerou snahu zabránit a akce autopilota tak vedla v obou případech na pád stroje.
Odborníci mluví o důsledku obcházení platných regulací při vývoji těchto nových funkcí autopilota kvůli vysoké ceně testování a údajně pokud by tato funkčnost pošla řádným otestováním, problému by se nejspíše předešlo.
V této souvislosti se podotýkám, že dle budoucího AI Actu, testování patří mezi jednu z klíčových povinností provozovatele AI systému.
Jenže je otázkou, byl-li by použit AI systém pro autopilota dopravního letounu, zda by vůbec bylo technicky možné funkcionalitu plně otestovat a zda by takový systém, kde není 100% garantovaný a jasný vztah mezi vstupem a výstupem, mohl ve světle AI Actu a leteckých regulací, vůbec projít.
Právo
Mezi právníky si nachází popularitu AI nástroje, které umí analyzovat smlouvy, vyhledat problematická ujednání, nahrazovat starší texty za novější znění a sestavovat i komplexní smlouvy, aniž by to vyžadovalo alokaci velkých právních týmů. Překlady a vyhledání souvislostí jsou samozřejmostí.
Negativní pozornost ale v nedávné době vzbudil případ, kdy právník v New Yorku využil ChatGPT pro vygenerování podkladů pro litigaci, s nimiž šel na soud. Konkrétně v tomto případě tvrdě narazil, protože ChatGPT si sprostě vymýšlel, právník si podklady neověřil a soudce odhalil, že rozsudky (v USA jsou aktuální rozhodnutí stavěna na základě minulých rozhodnutí tzv. precedentů), na něž se právník odvolával, vůbec neexistují.
Pro právníky je generativní AI nepochybně požehnáním. Když ne pro to, jak jim může usnadnit život, tak proto, že slibuje vytvářet nespočet právních otázek a sporů.
Například v oblasti právní přichází zajímavé otázky v souvislosti s ochranou volného trhu. Jednotlivá řešení AI (například vyhledávače) zjevně jsou svými vlastníky nastavována tak, aby preferovala zájmy svého vlastníka. Výsledkem pak může být například situace, kdy vyhledávač jedné firmy lže o vyhledávači či překladači jiné firmy a zkrátka zapře jeho existenci.
Jiným zásadním problémem bude určení odpovědnosti u stávajících dodavatelských modelů. Na nedávném semináři na téma AI zazněl zajímavý případ. Údajně v Belgii došlo k případu, kdy muž od rána až do večera diskutoval s ChatGPT na téma vážných otázek života a udržitelnosti. AI nakonec muže přesvědčil, že nejlépe planetě pomůže, když se z ní odstraní a ... muž to učinil.
Kdo je ale tím, kdo za podobné věci, které "zaviní" AI systém, ponese trestně-právní odpovědnost?
Tomuto tématu se v souvislosti s IT a robotikou v ČR již dlouho věnují například Prof. Ing. Vladimír SMEJKAL, CSc., LL.M. a JUDr. Tomáš Sokol. Jejich přednáška Trestněprávní aspekty robotiky aneb první mrtvola se nepočítá, přednesená již v roce 2018 na konferenci IS2, položila solidní základy pro další diskusi. Dodnes není uzavřená.
Armáda
Téměř každá vyspělá armáda dnes vyvíjí drony a vymýšlí, jak do nich zabudovat AI s plnou, či částečnou autonomií. Obávám se, že navzdory diskusím o regulaci v této oblasti, nejsou příliš daleko dny, kdy proti sobě budou stát a bojovat obrněné plechovky s právem zabíjet.
Zde podotkněme toliko, že vojenská využití nebudou v AI Actu regulována a ani velký soulad s GDPR zde nelze očekávat. Nezbývá než doufat v nějakou a doufejme že preventivně přijatou, obdobu Ženevské konvence pro oblast AI.
Je totiž jasné, že obezřetnost zde musí být veliká, což dokazuje například i nedávný incident, kdy při simulaci bojové operace v rámci cvičení NATO se AI pokusila zlikvidovat svého operátora (resp. později vysílací infrastrukturu, jejímž prostřednictvím by mohl operátor AI zastavit), a to proto, že mu operátor bránil v dosažení cíle.
AI a Kyberzločin
Již jsem dříve zmínil tzv. Deep Fake videa, u nichž je téměř nemožné odhalit, že nejde o autentický záznam skutečné osoby a která snadno mohou lidi přimět panikařit, vyvolat chaos a destabilizovat celé regiony. Další již zaznamenané zneužití AI je v oblasti manipulace lidí. To bude v AI Actu pochopitelně zakázáno, ale zákon sám zločince jistě nezastaví.
Zločinci využívají falešná videa či audia také pro ošálení lidí, aby jim svěřili své peníze. Pak už je pochopitelné nikdy neuvidí.
Posledním hitem jsou zneužití generátorů hlasu. Pro jejich natrénování stačí pár (prý cca 6) vteřin a AI najednou umí mluvit jako vy. Zločinci nyní fiktivně unáší děti bohatých lidí, a jako důkaz rodičům pustí proslov "uneseného" dítka. Ti pak pod tlakem často zaplatí.
Zločinci také rutinně využívají AI pro generování škodlivého kódu v obrovském množství modifikací, takže je pro detekční nástroje obtížné takový kód odhalit. V neposlední řadě začíná AI být využíváno pro vytváření neuvěřitelně autentických phishingových kampaní, nebo pro prolamování (vícefaktorové) autentizace.
Dle Verizon Data Breach Investigation Report 2023, zahrnuje 74 % všech porušení bezpečnosti lidský prvek. Je tak logické, že právě na lidský prvek a jeho manipulaci se zločinci pomocí sociálního inženýrství a AI zaměří (a AI Act jim v tom jistě nezabrání).
AI a Kyberbezpečnost
V oblasti informační bezpečnosti je AI využíváno již velmi dlouhou dobu. Většina moderních kyber-bezpečnostních nástrojů s ambicí rozumně kvalitního odhalování pokročilých hrozeb (např APT - Advanced Persistent Threats) či jiných sofistikovaných útoků, obsahují již dnes nějakou AI komponentu provozovanou lokálně, nebo v cloudu.
Tyto nástroje poté korelují informace získané z lokálního prostředí chráněné organizace a jejích činností v cloudu s indikátory a chováním získaným v širším měřítku a detekují neobvyklé jevy a chování. Jiná inteligentní komponenta pak umí předhodit útočníkům, či hrozbám například hlídané pískoviště (sandbox), kde se ukáže, zda je například příloha e-mailu, nebo pokus o napojení na nějaký port počítače škodlivá, či neškodná.
Ve spolupráci s další komponentou (obvykle na nějaké obdobě Next Generation Firewallu a IPS) pak umí škodlivé věci zablokovat, nebo na ně zamířit pozornost lidí, či jiných nástrojů a hrozbu tak neutralizovat.
Pěkný článek k zavádění AI do kybernetické bezpečnosti je zde: https://www.darkreading.com/emerging-tech/new-generative-ai-tools-aim-to-improve-security
Shrnutí
Souboj mezi světlou a temnou stranou je nejen v oblasti kybernetické bezpečnosti nekonečný a vyžaduje značné investice a lidské zdroje. AI je toliko nástroj a o tom, jak bude využit, vždy (zatím) rozhoduje člověk. Padouši se ale nemusí ohlížet na etiku, zákony a jiné okolnosti, které ochráncům svazují ruce. Tvůrci AI technologií tak stále častěji řeší etické otázky, zda vůbec je přijatelné danou technologii uvolnit na veřejnost.
Dnes je již nesporné, že AI pronikla téměř do všech oborů a tam kam zatím ne, tam právě proniká. Mimo jiné tomu odpovídá i specifická situace na finančních trzích v druhém kvartálu roku 2023, kde technologické firmy, jež jsou nějak spojené s oblastí AI (ať již výrobci procesorů, provozovatelé cloudů, dodavatelé konzultantů, aj.), jako jediní vykazují velký nárůst kapitalizace, zatímco zbytek společností spíše neroste v důsledku zvyšovaných úrokových sazeb centrálních bank.
S tímto se pojí zajímavý problém. Úspěch, či neúspěch AI může mít dramatický dopad do reálné ekonomiky celého světa, srovnatelný snad jen s fenoménem Internetové horečky v roce 2000. Krach AI bubliny by mohl spustit opravdu dramatickou lavinu problémů, takže ať již jsme fanoušci či odpůrci AI, nezbývá nám než doufat, že AI se bude dařit.
A protože zatímco legitimní využívání AI jde vpřed mílovými kroky, nelegální využívání AI uhání vpřed kroky stamílovými, řešením nebude zpomalit, což je také jedním z nápadů nejen mezi legislativci, ale naopak bude nutné přidat ve výzkumu a chytře následně potenciál AI plně využít.
Zdroje:
Téma | Článek na dané téma |
Zákony - Návrh EU nařízení AI Act | eur-lex.europa.eu/legal-content/CS/TXT/HTML/?uri=CELEX:52021PC0206 |
Zákony - Návrh EU směrnice AI liability Act | |
Zákony - Příprava AI zákona v USA | |
Zákony - Morální dilema při nastavení AI | |
Terminologie k AI - slovník a definice termínů | |
Terminologie k AI - Shrnutí a zpravodajštví k AI | |
Zneužívání AI - Generování hlasů při únosech | AI-Enabled Voice Cloning Anchors Deepfaked Kidnapping (darkreading.com) |
Potenciál AI - Dle McKinsey má AI obrovský potenticál zejména ve 4 oblastech | |
Potenciál AI - Díky AI svět zbohatne - studie PwC | |
Zneužívání AI - Generování hlasů při únosech | |
Zneužívání AI - Generování mutujícího malwaru, který umí obejít EDR | ChatGPT creates mutating malware that evades detection by EDR | CSO Online (ampproject.org) |
Zneužívání AI - Quishing - generování škodlivých QR kódů | |
Rizika AI - Kybernetická bezpečnost vs. generativní AI | Cloud Security Alliance Releases First ChatGPT Guidance Paper | CSA |
Rizika AI - Blouznění generativních AI systémů - právník argumentoval neexistujícími precedenty | Lawyer who cited bogus legal opinions from ChatGPT pleads AI ignorance | Courthouse News Service |
Rizika AI - David Navrátil: Umělá inteligence se může vymknout lidské kontrole a být agresivní. Musíme to ošetřit | AI se může vymknout lidské kontrole. Musíme to ošetřit | Newstream |
Rizika AI - Generátory hlasu jsou příliš nebezpečné a zneužitelné | Meta says its new speech-generating AI tool is too dangerous to release | TechRadar |
Rizika AI - Generativní AI představují zásadní kybernetická rizika pro firmy | Generative AI Projects Pose Major Cybersecurity Risk to Enterprises (darkreading.com) |
Rizika AI - Detailní pohled na různé typy rizik spojených s AI | |
Rizika AI - Dopad AI horečky na ekonomiku je rizikový | AI Mania Is Blurring These 4 Serious Economic Threats to the US (businessinsider.com) |
Rizika AI - Zneužívání AI pro sledování lidí | AI Isn't Magic, It's Being Used to Spy on You, Experts Warn (futurism.com) |
Využití AI - při vývoji softwaru | Unleash developer productivity with generative AI | McKinsey |
Využití AI - Detekce obrázků či profilů vytvořených pomocí AI | |
Využití AI - Učení komplexních činností | Deepmind's new AI agent learns 26 games in two hours (the-decoder.com) |
Využití AI - Moderátor v rádiu | Rádio Expres nasadilo moderátorku vytvořenou umělou inteligencí - CzechCrunch (cc.cz) |
Regulace AI na úrovni státu - MVČR | |
Regulace AI na úrovni státu - Strategický plán USA | |
Regulace AI na úrovni státu - Rada Evropy k AI a lidským právům | |
Regulace AI na úrovni státu - Implikace AI do oblasti důvěry a vládnutí | |
Regulace AI na úrovni státu - Různé národní pohledy a přístupy komplikují regulaci AI na mezinárodní úrovni | The latest dimension of the global race for an AI governance framework (iapp.org) |
Regulace AI na úrovni státu - USA zvažují zavedení exportních omezení pro AI | |
Regulace AI - Google's Secure AI Framework | |
Regulace AI - Studie Stanfordské University k souladu AI nástrojů s AI Actem | No foundational LLM currently complies with EU AI Act (the-decoder.com) |
Zdroje a rozcestníky k AI řešením - Alpha Signal | |
Zdroje a rozcestníky k AI řešením - IAPP IA governance centrum | |
Přínosy AI - lidské zdraví | Paralyzed Man Walks Again Thanks to AI-Powered System - Artisana |
Přínosy AI - Diagnostika v lékařství | |
Přínosy AI - AI v recruitmentu | (2) Embracing AI in Recruitment: A Strategy to Future-Proof Your Career | LinkedIn |
Přínosy AI - Využití ChatGPT pro detekci phishingových webů | Může ChatGPT detekovat phishingové stránky, Takashi Koide (nttsecurity.com) |
Dopady AI na společnost - Studie Goldman Sachs | AI could replace equivalent of 300 million jobs - report - BBC News |
Negativní zkušenosti s AI - téměř polovina Internetového provozu je tvořena boty | Nearly half of all internet traffic is now bots, study reveals | The Independent |
Negativní zkušenosti s AI - Krádeže reklamy díky generování neexistujících webů | Google profits from AI content spam generated by ChatGPT and LLMs (the-decoder.com) |
Negativní zkušenosti s AI - autonomní řízení aut | Tesla’s ‘Self-Driving’ System Never Should Have Been Allowed on the Road - The American Prospect |
Negativní zkušenosti s AI - Deep fake audio využito v propagandě | |
Google oznámil první výzvu na Odtrénovávání AI | Google Announces The First Machine Unlearning Challenge (analyticsindiamag.com) |
Nový "divný" mód v generátoru obrázků Midjourney umožňuje vytvářet ještě divnější obrázky | Midjourney's new weird mode makes AI-generated images even weirder (the-decoder.com) |
Jak umožnit "bezpečné" využívání AI v praxi | How confidential computing could secure generative AI adoption | TechCrunch |
Soudní spory - žaloby na zneužití osobních údajů pro trénování AI | |
Soudní spory - databáze incidentů týkajících se AI |
