Coded Bias: Moderno je biti proti

Nov dokumentarec spletne televizijske mreže Netflix z naslovom Coded Bias skuša odgovoriti na izzive umetne inteligence in tehnologij strojnega učenja ter ponuditi alternative razvoja. Na žalost ustvarjalcem dokumentarca to uspe le deloma, hkrati odprejo novo problemsko polje – uokviranje razprave.

Po dokumentarcu Social dilemma gre tako za še en produkt spektakla ameriške filmske industrije, ki je ugotovila, da se obdobje ploskanja tehnodeterminizmu končalo in sedaj na vse pretege išče pozicijo, iz katere bi kritiziralo svoje bivše idole. Pri tem zanemari lastno pozicijo (družba Netflix je je ena od glavnih razvijalcev algoritmov in avtomatizacije), družbene vidike tehnološke neenakosti po svetu in se problema loti izredno površno ter enoznačno.

“Vse je problem!”

Zgodba se začne z razvijalko umetne inteligence v laboratoriju MIT Media Lab, Joy Buolamwini, ki nekega dne šokantno ugotovi, da je računalnik ne pozna več. Joy razvija projekte obraznega prepoznavanja in med snovanjem rešitve ugotovi, da njenega obraza računalnik ne prepozna, ko pa si nadene masko, se stvar obrne. Joy je temnopolta. Maska je bela.

Joy postane tehnološki aktivist in v dokumentarcu Coded Bias prevzame vlogo junakinje, ki gledalce vodi po zapletenih poteh razvijanja umetne inteligence, strojnega učenja, rasističnih algoritmov in doseganja pravice na tem področju. Skuša ugotoviti, kako se je navidezno nevtralna tehnologija, ki naj bi v življenja ljudi prinašala rešitve in dvig življenskega standarda, tako izrodila v orodja manjšinske represije.

Na svoji poti Joy srečuje večinoma somišljenice, ki ji pritrjujejo v ugotovitvi, da je nekaj narobe, ponujajo svoje argumente iste ugotovitve in na lokalni ter globalni ravni podčrtujejo, da gre za problem sveta, v katerem živimo. Problemi, ki jih v filmu omenijo, pestijo predvsem revne, rasne manjšine, glavni krivci so beli moški in rasistični začetki industrije umetne inteligence.

Dokumentarec se konča s pričevanjem v kongresu, kjer Joy in bratovščina pravičnih algoritmov na problem opozorijo odločevalce, prakso podčrtajo s kitajsko informacijsko družbo nadzora in se po pričevanju opravijo domov. Dobili so bitko, sledi happy end.

Boj elit

Začnimo z najbolj očitnim problemom. Izredno ameriško-centrističen dokumentarec, kjer je glavni junak del največje industrije umetne inteligence in ki na problem naleti samo skozi osebno vpletenost v problematično področje, bi moral pri gledalci prvič dvigniti obrv in opozoriti na problem industrijske krivde.

Čeprav gre najbrž za metodo vpeljevanja gledalca v problem, bi vseeno pričakovali, da se bodo leta 2021 zadeve lotili bolj konkretno – industrijska ignoranca je del problema, ne pa da jo avtorji pretvorijo v apologijo naivne nevednosti.

Drugi problem je časovno uokvirjanje dogodkov – uvodni dogodki, kjer Joy ugotovi, da je nekaj narobe, se zgodijo leta 2016. Primeri v dokumentarcu gredo še bolj v preteklost, primer z učiteljem, ki ga “odpusti algoritem”, se je v Hustonu zgodil 2014. Dokumentarec se zaključi z pričanjem pred ameriškim kongresom leta 2019, dokumentarec je bil premierno predstavljen konec leta 2020 na festivalu Sundance.

Dokumentarec torej na eni strani govori o tem, kako je problem krivičnih algoritmov in problema slepega zaupanja v tehnologijo dolgoročen problem in hkrati ne vidi problema v glavni junakinji, ki je bila del te “krivične” industrije in je na problem postala pozorna šele takrat, ko je bila osebno vpletena v zgodbo o “krivici”.

Kulturni imperalizem

Dokumentarec stopnjuje tempo obsodbe krivičnih algoritmov in kot crescendo ponudi argument za boj proti njim – “Če se tega ne bomo lotili sedaj, bomo postali Kitajska!” Primeri, ki jih režiserka ponudi v filmu, so res šokantni – uporaba tehnologij prepoznavanja obrazov se na Kitajskem uporablja skorajda povsod, z njo oblasti preganjajo disidente in protestnike, hkrati so biometrični podatki posameznika vezani na t.i. sistem družbenega kredita (social credit system), skratka – gre za propad človekovih pravic in zasebnosti.

Hkrati ena od glavnih likov v filmu aktualne razmere primerja z Orwellovim romanom 1984 in iz njega citira naslednji odstavek: “You had to live–did live, from habit that became instinct–in the assumption that every sound you made was overheard, and, except in darkness, every moment scrutinized…” Razumljivo, totalitaristična družba nadzora se najbolje bere z Orwellovim Velikim bratom. Pri opisovanju družbe nadzora avtorji filma pozabijo na Huxleyja in njegovo kritiko v romanu “Krasni novi svet”, ki je problem izgube avtonomije in podrejanje državnemu nadzoru povezal z družbo potrošnje in kapitalističnim sistemom, ki posameznika sili v generiranje permanentnega stanja ugodja.

A tudi Orwella avtorji ne znajo izpeljati do konca –  glavna agenda filma je namreč problematiziranje natančnosti algoritmov in ogromnega števila napak, ki se dogajajo pri njihovi uporabi. Vsi primeri algoritemskega nadzora so namreč prikazani kot popolnoma neučinkoviti – algoritmi se motijo, algoritmi ne znajo prepoznati temnopoltih posameznikov, a hkrati v ozadju odzvanja grožnja totalitaristične družbe nadzora, kjer bodo taisti algoritmi uspešno nadzirali čisto vse člane družbe. Še več – v primerjavi s kitajsko družbo nadzora se zdi, kot da so Kitajci že uspešno rešili čisto vse probleme algoritemskega nadzora, da tam sistem dejansko deluje in je to glavna razlika med “nami” in “njimi”.

Kritika kapitalistične (ne)učinkovitosti

Tako tudi eden glavnih problemov, izpostavljenih v filmu, izzveni v prazno. Glavna junakinja namreč večkrat citira svojo raziskavo o pristrankosti algoritmov, ki se najbolje obnesejo pri belih moških in najslabše pri temnopoltih ženskah – v enem od javnih nastopov Joy pohvali IBM, ki je na podlagi njene kritike izboljšal algoritme, ki sedaj bolj uspešno prepoznavajo tudi temnopolte ženske.

Avtorica se torej v kritiki družbe nadzora hvali z lastno vpletenostjo v izboljšanje algoritmov nadzora, s katerimi stroji prepoznavajo pripadnike različnih etničnih skupin. Kar je izredno problematična pozicija, ki kaže na shizofrenost dokumentarca, ki smo jo že omenili – je problem prevelika ali premajhna učinkovitost družbe nadzora?

Spet lahko podčrtamo poveličevanje posameznikove odgovornosti, ki je za celoten film ključna – zgodba se namreč neprestano vrača na osebno izkušnjo ene od najbolj priviligiranih oseb, prejemnice večih štipendij, študentke na eni od svetovno najbolj prestižnih fakultet, ki je hkrati eden največjih virov dobave kadrov za industrijo. Za katero ugotavlja, da je problematična, rasistična in krivična.

Vsi plavajo v istem bazenu

Še en problem z dokumentarcem je nezavedanje izhodišča opozicije. Tako glavna junakinja kot njena druga violina, matematičarka Kathy O’Neill namreč predstavljata isto stran kovanca skesanih razvijalcev informacijske družbe, ki so se v nekem trenutku odločili, da bodo zamenjali ploščo, pri obeh pa so v dokumentarcu omenjene osebne izkušnje. Dokumentarec tako komunicira izredno problematično sporočilo samoregulacijskega reševanja problemov, ki do trenutka, ko se ga zave industrija, ne obstaja.

Nemogoče je namreč razumeti začudenje glavne junakinje in njenih podpornic nad razmerami v svetu, ki so jih pomagale razvijati ali pa vsaj vzdrževati tudi same, če pa hkrati film našteva probleme, ki izhajajo iz samega začetka razvoja področja umetne inteligence, ki jo film označi za “klub belih fantov” iz leta 1956! Da se torej na eni strani poudarja dolga brada problema, na drugi strani pa se kot edina možnost razrešitev tega problema ponuja osebna odgovornost razvijalcev in golo naključje, ki posamezne razvijalce vodi do upora in razsvetljenstva.

Implikacije so grozljive – ne samo, da se zdi, kot da je vse prepuščeno naključnim samoregulatornim uvidom industrije, ki hkrati ne razmišlja o sistemskih rešitvah tega problema, temveč nam avtorji dokumentarca sporočajo, da se mora najprej zgoditi osebni premik v glavah razvijalcev. Skratka – pobuda za reševanje problemov bo prišla samo iz pozicije industrijalcev, ki smo jim ostali prepuščeni na milost in nemilost. Ups.

Kaj je že problem?

Tudi zaključek filma je izredno problematičen.

Po odhodu iz kongresa, kjer glavna junakinja filma posluša posnetek govora kongresnice Alexandria Ocasio-Cortez, ki opozarja na rasističnost algoritmov, medtem ko glavni junakinji ploskajo ostali gosti dokumentarca, se zadnja anekdota v filmu dotakne primera hladne vojne, kjer je sovjetski poročnik Stanislav Petrov ignoriral obvestila avtomatskega obveščevalnega sistema za javljanje jedrskega napada in tako preprečil jedrsko vojno, saj se je kasneje izkazalo, da je šlo za lažen alarm.

Sporočilo zgodbe, ki ga nato podčrta še turška sociologinja Zeynep Tüfekçi, je jasno: “Ljudje potrebujemo nadzor nad tehnologijo, če bi bil sistem popolnoma avtomatiziran, bi to lahko vodilo do globalne katastrofe.”

Pri tem ignorira dejstvo, da so se dosedanje globalne katastrofe posledice delovanja ljudi in ne tehnologije in hkrati na glavo obrne celotno poanto dokumentarca. Gledalec na koncu ne ve, ali je problem tehnologija, njeni razvijalci, je problem regulativa ali sam obstoj tega sistema algoritmov? Bi se Joy sploh odločila za upor, če bi tehnologija delovala, kot si je zamislila ona in bi uspešno prepoznala njen temnopolti obraz? Je večji problem, da sistem totalnega nadzora ne deluje tako, kot bi moral ali ravno obratno?

Zarota bebcev

Pisatelj Jonathan Swift je nekoč rekel: “When a true genius appears, you can know him by this sign: that all the dunces are in a confederacy against him.” Film “Coded bias” skuša odgovoriti na vprašanje vedno večje družbene avtomatizacije in problemov, ki jih ti postopki prinašajo, a tako kot “Social dilemma” zgreši tarčo.

Stereotipiziranje upora, ki ga simbolizirajo temnopolte ženske kot največje žrtve rasističnih algoritmov, mešanje problemske pozicije, ki se ne more odločiti, ali je sistem nadzora slab, ker ne deluje oziroma ker deluje preveč učinkovito ter mešanje časovnice, ki v skladu z ameriško družbo spektakla spet poveličuje industrijske apologete, ne prinaša nič dobrega. Ne samo zato, ker izredno površno opozarja na boje med različnimi interesnimi skupinami, temveč tudi zato, ker meša korporativni in državni vidik nadzora, izenačuje različne družbene okvire (in pri tem ne vidi drugega kot ZDA in Kitajske) in izredno pavšalno vzpostavlja opozicijo tehnološkemu determinizmu.

Sicer je lahko razumeti, zakaj taka toga drža nasprotovanja. Po več desetih letih idealiziranja tehnologije skesancem pač ne preostane drugega, kot da se postavijo na drugo stran in začnejo požigati mostove. A tudi to je problem – tako kot pri dokumentarcu Social Dilemma gre za pavšalno uokviranje problematike, ki bo v prostor vneslo samo še več zmede in jeze ter ne bo naslovilo dejanskih problemov, s katerimi se spopadamo na področju avtomatizacije. Pardon – rešitev bo prišla v trenutku, ko se je bo zavedal vsaj en inženir.