Nekaj let v osemdesetih letih so bili prosilci za medicinsko šolo St George's Hospital v Londonu izbrani z visokotehnološko metodo. Računalniški program, ki je eden prvih tovrstnih vrst, se je skeniral znova in je iz vseh aplikacij izbral približno 2000 kandidatov na leto. Program je pregledal evidence o sprejemu, preučil značilnosti uspešnih prijaviteljev in se prilagodil, dokler se njegove odločitve niso ujele z mnenjem sprejemne komisije.
Vendar se je program naučil več kot dobrih ocen in znakov dosežkov. Štiri leta po izvedbi programa sta dva zdravnika v bolnišnici ugotovila, da program običajno zavrača kandidatke in posameznike z neevropskimi imeni, ne glede na njihove akademske zasluge. Zdravniki so ugotovili, da približno 60 prosilcem vsako leto preprosto zavrne razgovore zaradi njihovega spola ali rase. Program je vključil spolno in rasno pristranskost v podatke, ki se uporabljajo za njegovo usposabljanje - pravzaprav se je naučil, da zdravniki in tujci niso najboljši kandidati za zdravnike.
Trideset let kasneje se srečujemo s podobno težavo, vendar so programi z notranjimi pristranskostmi bolj razširjeni in sprejemajo odločitve s še večjimi vložki. Algoritmi za umetno inteligenco, ki temeljijo na strojnem učenju, se uporabljajo v vsem, od vladnih agencij do zdravstva, pri odločanju in napovedovanju na podlagi zgodovinskih podatkov. S preučevanjem vzorcev v podatkih absorbirajo tudi pristranskosti podatkov. Google na primer prikazuje več oglasov za nizko plačana delovna mesta ženskam kot moškim; Amazonova enodnevna ladja zaobide črne soseske, digitalni fotoaparati pa se trudijo prepoznati nebele obraze.
Težko je vedeti, ali je algoritem pristranski ali pravičen in tudi računalniški strokovnjaki mislijo tako. Eden od razlogov je, da se podrobnosti o izdelavi algoritma pogosto štejejo kot lastniške informacije, zato jih lastniki skrbno varujejo. V bolj zapletenih primerih so algoritmi tako zapleteni, da niti ustvarjalci ne vedo točno, kako delujejo. To je problem tako imenovanega "črnega polja" AI - naše nezmožnosti, da bi videli notranjost algoritma in razumeli, kako pride do rešitve. Če ostanemo priklenjeni, bi lahko naša družba močno poškodovala: digitalno okolje uteleša zgodovinsko diskriminacijo, za katero smo se borili več let, od suženjstva in kmetstva do diskriminacije žensk.
Te težave, ki so bile prej izražene v majhnih skupnostih računalništva, zdaj dobivajo vse večjo veljavo. V zadnjih dveh letih se je na tem področju pojavilo kar nekaj publikacij o preglednosti umetne inteligence. Skupaj s tem zavedanjem raste tudi občutek odgovornosti. "Ali obstaja nekaj, česar ne bi smeli graditi?" Vpraša Keith Crawford, raziskovalec pri Microsoftu in soustanovitelj AI Now Insitute v New Yorku.
»Končno je prišlo do izraza strojno učenje. Zdaj jih poskušamo uporabiti za stotine različnih nalog v resničnem svetu, «pravi Rich Caruana, starejši znanstvenik pri Microsoftu. "Možno je, da bodo ljudje lahko uporabili zlonamerne algoritme, ki bodo dolgoročno pomembno vplivali na družbo. Zdi se, da so kar naenkrat vsi spoznali, da je to pomembno poglavje na našem področju."
Promocijski video:
Nepooblaščen algoritem
Dolgo časa uporabljamo algoritme, a težava s črno škatlo je brez primere. Prvi algoritmi so bili preprosti in pregledni. Veliko jih še vedno uporabljamo - na primer za oceno kreditne sposobnosti. Z vsako novo uporabo se začne uporabljati regulacija.
"Ljudje že desetletja uporabljajo algoritme za ocenjevanje kreditne sposobnosti, vendar so na teh območjih obstajala precej močna naselja, ki so se vzporedno povečala z uporabo algoritmov napovedovanja," pravi Caruana. Regulativna pravila zagotavljajo, da algoritmi s predvidevanjem zagotavljajo razlago za vsako oceno: zavrnili so vas, ker imate veliko zaslug ali premalo dohodka.
Na drugih področjih, kot sta pravni sistem in oglaševanje, ni pravil, ki bi prepovedovala uporabo namerno neberljivih algoritmov. Morda ne veste, zakaj so vam zavrnili posojilo ali ga niste najeli, ker nihče ne prisili lastnika algoritma, da razloži, kako deluje. "Ampak vemo, da morajo biti algoritmi usposobljeni na podlagi podatkov iz resničnega sveta, zato morajo biti pristranski - ker je resnični svet pristranski," pravi Caruana.
Razmislite na primer o jeziku, ki je eden najbolj očitnih virov pristranskosti. Ko se algoritmi učijo iz napisanega besedila, tvorijo nekaj povezav med besedami, ki se pogosteje pojavljajo skupaj. Na primer, se naučijo, da je "za moškega, da je računalniški programer, enako kot za žensko gospodinja." Če je ta algoritem zadolžen za iskanje primernega življenjepisa za službo programerja, bo verjetno izbran med moškimi kandidati.
Težave je težko odpraviti, vendar veliko podjetij tega preprosto ne bo storilo. Namesto tega bodo takšne neskladnosti skrili za ščitom zaščitenih informacij. Brez dostopa do podrobnosti algoritma strokovnjaki v mnogih primerih ne bodo mogli ugotoviti, ali obstaja pristranskost ali ne.
Ker so ti algoritmi tajni in ostajajo zunaj pristojnosti regulatorjev, državljani skorajda ne morejo tožiti ustvarjalcev algoritmov. Leta 2016 je višje sodišče v Wisconsinu zavrnilo zahtevo osebe, da pregleda notranje delovanje podjetja COMPAS. Moški, Eric Loomis, je bil delno obsojen na šest let zapora, ker ga je COMPAS ocenil za "visoko ogroženega". Loomis pravi, da je bila njegova pravica do ustreznega postopka kršena zaradi odvisnosti sodnika od neprozornega algoritma. Končna prijava na vrhovno sodišče ZDA ni uspela junija 2017.
Toda tajna podjetja ne bodo uživala svoje svobode v nedogled. Do marca bo EU sprejela zakone, po katerih bodo podjetja lahko zainteresiranim strankam razlagala, kako delujejo njihovi algoritmi in kako se sprejemajo odločitve. ZDA takšne zakonodaje še nima.
Forenziki črne škatle
Ne glede na to, ali se regulatorji vključijo v vse to, bi lahko kulturni premik v načinu oblikovanja in uporabe algoritmov zmanjšal razširjenost pristranskih algoritmov. Ker se vse več podjetij in programerjev zavezuje, da bodo svoje algoritme naredili pregledne in razumljive, nekateri upajo, da bodo podjetja, ki tega ne storijo, izgubila dober ugled v javnosti.
Rast računalniške moči je omogočila oblikovanje natančnih in razložljivih algoritmov - tehnični izziv, ki ga razvijalci v preteklosti niso mogli premagati. Nedavne raziskave kažejo, da je mogoče ustvariti razložljive modele, ki napovedujejo ponovitev kaznivih dejanj tako natančno kot črno okence forenzičnih znanstvenikov, kot je COMPAS.
"Končali smo - znamo ustvariti modele brez črnih škatel," pravi Cynthia Rudin, docentka za računalništvo in elektrotehniko na univerzi Duke. "Toda ljudi ni tako preprosto opozoriti na to delo. Če bi vladne agencije nehale plačevati modele črnih skrinj, bi to pomagalo. Če sodniki nočejo uporabljati modelov črnih skrinjic za odmerjanje kazni, bo to tudi pomagalo."
Drugi si prizadevajo, da bi iznašli načine za preverjanje veljavnosti algoritmov z ustvarjanjem sistema kontrol in ravnotežij, preden je algoritem sproščen v svet, tako kot je testirano vsako novo zdravilo.
»Modeli se zdaj izdelujejo in uporabljajo prehitro. Pred izdajo algoritma ni ustrezne potrditve, pravi Sarah Tan z univerze Cornell.
V idealnem primeru bi morali razvijalci odpraviti znane pristranskosti - na primer spol, starost in raso - in izvesti notranje simulacije, da bi svoje algoritme preizkusili za druge težave.
Medtem, preden pridete do točke, ko bodo vsi algoritmi temeljito preizkušeni pred izdajo, je že mogoče določiti, kateri bodo trpeli zaradi pristranskosti.
Tan, Caruana in njihovi sodelavci so v svojem zadnjem delu opisali nov način za razumevanje, kaj se lahko dogaja pod pokrovom algoritmov črne škatle. Znanstveniki so ustvarili model, ki posnema algoritem črne skrinje z učenjem ocenjevanja tveganja recidivizma s pomočjo podatkov COMPAS. Ustvarili so tudi drug model, ki je treniral na podlagi podatkov iz resničnega sveta, da bi pokazal, ali je napovedani recidivi dejansko prišlo. Primerjava obeh modelov je znanstvenikom omogočila, da so ocenili natančnost predvidenega rezultata brez analize algoritma. Razlike v rezultatih obeh modelov lahko kažejo, katere spremenljivke, na primer rasa ali starost, so lahko v določenem modelu pomembnejše. Njihovi rezultati so pokazali, da COMPAS diskriminira črnce.
Dobro zasnovani algoritmi lahko odpravijo dolgotrajne pristranskosti v kazenskem pravosodju, policiji in na številnih drugih področjih družbe.
Ilya Khel
