Matematička z Harvardu varuje: Hrozí totalita algoritmů?

Algoritmy do velké míry řídí náš život. Rozhodují třeba o tom, kdo dostane půjčku, koho ze stovek kandidátů pozvat na pohovor anebo jakou metodou léčit pacienta. Na rozdíl od lidí netrpí předsudky, jsou nestranné a spravedlivé. Skutečně tomu tak ale je? Co když jsou jedničky a nuly také opresivní a také předurčují náš osud na základě mylných předpokladů?

Této problematice se v nové knize „Weapons of Math Destruction“ věnuje matematička Cathy O’Neilová, která má doktorát z Harvardovy univerzity, zkušenosti z hedgeového fondu a po většinu své kariéry se zabývala analýzou „velkých dat“ (big data).

Současný pohled na věc O’Neilová ilustruje následujícím příkladem: „V 50. letech přijde muž do banky a chce si půjčit 10 000 dolarů na rozjetí nového byznysu. Bankéř udělal ‚svůj domácí úkol‘ a ví o tomto muži vše. Zná jeho etnicitu. Jeho rodinný stav. Ví, jestli ho má rád jeho šéf, jestli ho má ráda jeho žena a zda chodí do kostela. Ví, co si o něm myslí soused.“

Tento systém, založený na osobních vazbách a subjektivních dojmech bankéře, který může podle svého uvážení distribuovat kapitál žadatelům, byl nahrazen něčím, co dnešní společnost považuje za spravedlivější, píše ve své knize O’Neilová. „V roce 2017 tento bankéř neexistuje, byl dávno nahrazen počítačovými modely a algoritmy, které se ujistí, že se nikdo nestane obětí předsudků mocného jednotlivce. Je to systém, který umožňuje rovnost pro všechny, bez ohledu na rasu, pohlaví nebo víru.“

Půjčka pro chudého studenta nebo propuštěného vězně

„Až na to, že tohle je také fantazie,“ dodává O’Neilová. Algoritmy, které řídí ve 21. století alokaci kapitálu namísto opravdového bankéře z masa a kostí, totiž mohou utiskovat určité skupiny stejně krutě, jako onen bankéř sedící v kanceláři místní pobočky spořitelny. 

O’Neilová poukazuje na tři základní problémy. Tím prvním je, že algoritmy v sobě také mohou mít svým způsobem zabudované předsudky – každý člověk je unikátní a ne vždy se o něm dá všechno odhadnout pomocí statistických metod. Za druhé, algoritmy nedostávají „feedback“ podobným způsobem jako živí bankéři a neodkážou se tak zatím učit z chyb. Za třetí, algoritmy svými rozhodnutími samy ovlivňují realitu, na základě které pak definují svůj „úspěch“.

Pokud algoritmus rozhodne nepůjčit peníze člověku právě propuštěnému z vězení, zabrání mu v podnikatelské kariéře a možná ho tím nasměruje zpět na zločineckou dráhu. Takovýto člověk pak může opět skončit před soudem. Zdá se tak, že algoritmus fungoval dobře – odmítl půjčit peníze pochybnému recidivistovi, který znovu míří za mříže a půjčku by tak nejspíše nesplatil. Že mu algoritmus svým způsobem tento úděl předurčil svým negativním verdiktem, je však věc druhá. Podobně však mohou na Západě, kde je vysoké školství placené, dopadnout i studenti, kteří kvůli algoritmu nedosáhnou na půjčku na školné. I oni se snadno dostanou do začarovaného kruhu.

Klíčová slova v CV prozradí, jakou mzdu si zaslouží uchazeč

U půjček to však nekončí. Velké korporace čím dál více používají algoritmy k tomu, aby vyhodnocovaly životopisy uchazečů o zaměstnání – není divu, když i na ty méně prestižní pozice a stáže ve velkých účetnických firmách nebo bankách se na Západě každý rok hlásí stovky studentů z těch nejlepších škol. Podobnou „analýzu“ CV nabízí zdarma například portál Adzuna, který na základě klíčových slov v životopise dokonce i spočítá, o jakou mzdu si může uchazeč o zaměstnání říct. I o tom totiž v korporacích často rozhodují algoritmy!

„Velká data“ ale mohou ovlivňovat i dění mimo soukromý sektor. „Nesbíráme data o zločinu. Sbíráme data, která sbírá policie,“ píše O’Neilová. Počet zadržených a zatčených slouží jako nejlepší odhad intenzity zločinu v dané čtvrti. I zde však algoritmy mohou vést do začarovaného kruhu – muži zákona se na základě statistiky vracejí do čtvrtí, kde dochází k nejvíce zadržením, a tím pádem nemohou zadržovat podezřelé v jiných oblastech, čímž opět zhoršují statistiku oblasti, do které míří nejčastěji. Podobné vzorce podle O’Neilové používají i americké soudy, když vyhodnocují pravděpodobnost recidivy.

Tento netransparentní, neregulovaný, neviditelný a nenapadnutelný (ale mocný) systém je podle autorky vysoce nebezpečný. Frustrace lidí, které algoritmy předem odsoudí k chudobě, delšímu pobytu ve vězení nebo jimž odepřou vzdělání, se pak může obrátit proti západní liberální demokracii nebo tržnímu kapitalismu.

Jaké je řešení? Za prvé by autoři algoritmů měli vystoupit z anonymity a přijmout více osobní zodpovědnosti za to, jak jejich výtvory nakládají s osudy lidí. O'Neilová také doporučuje striktnější vládní dohled nad algoritmy. Celkově však jde především o to nezavrhovat úplně lidské analytické a vyhodnocovací schopnosti – co nám algoritmy doporučují, bychom podle O'Neilové měli vždy brát s rezervou a kritickým odstupem.