Amazonova umetna inteligenca, namenjena razvrščanju življenjepisov iskalcev zaposlitve, je moške uvrstila višje od žensk. Zlasti je zavrnil življenjepise z besedo "žensko" in ponudil najem kandidatk, ki so v svojem govoru uporabljale tipične moške glagole, čeprav ti ljudje niso imeli potrebnih znanj. Zaradi tega je podjetje moralo projekt zapreti.
Umetna HR inteligenca
Strokovnjaki Amazonovega strojnega učenja so ugotovili, da umetna inteligenca, ki obdeluje nadaljevanje kandidatov za delovna mesta v podjetju, diskriminira ženske, ki iščejo zaposlitev, poroča Reuters. Ta funkcija ni bila namerno vključena v sistem - bila je rezultat strojnega učenja.
Motor za razvrščanje življenjepisov na podlagi umetne inteligence je v Amazonu od leta 2014 razvijal 12-člansko ekipo v Edinburghu. Že v letu 2015 je podjetje opazilo, da se pri ocenjevanju kandidatov za razvoj programske opreme in drugih tehničnih prostih mest novi sistem ne drži načela nevtralnosti spolov.
Kmalu so spoznali razlog: dejstvo je, da je bil sistem usposobljen za življenjepise, ki jih je podjetje vpisalo v zadnjih 10 letih. Večino teh življenjepisov so imeli moški, kar na splošno odraža stanje v IT industriji. Kot rezultat tega je Amazonova umetna inteligenca izvedela, da imajo moški iskalci zaposlitve prednost pred ženskami.
Jezikovna zavrnitev
Promocijski video:
Zaradi tega je umetna inteligenca začela zavračati življenjepise, ki vsebujejo besedo "ženska" v izrazih kot "kapetan ženskega šahovskega kluba." Mehanizem je znižal tudi ocene diplomantov dveh ženskih šol, vendar viri Reutersa niso navedli njihovih imen. Umetna inteligenca jim je pri ocenjevanju življenjepisov namenila med eno in petimi zvezdicami - zelo podobno, kot kupci ocenjujejo izdelke na Amazonu.
Sistem je bil pozoren tudi na druge besede. Razvijalci so ustvarili 500 računalniških modelov za različne službene odgovornosti in geografske lokacije. Vsak model je bil usposobljen za prepoznavanje približno 50 tisoč signalnih besed, ki so bile prisotne v življenjepisu prosilca.
Omeniti velja, da je mehanizem ignoriral besede, ki označujejo veščine, ki so pogosto zapisane v življenjepisu strokovnjakov za IT, na primer sposobnost pisanja različnih kod itd. Namesto tega je sistem na primer sledil tipičnim glagolom za moški govor v samoopisu kandidatov, kot so "izpolnjeni" (izvedeno) ali »ujeto«, kot so jih redno videli v starih življenjepisih, iz katerih se je stroj učil. S tem pristopom diskriminacija med spoloma ni bila edina težava - mehanizem je pogosto priporočal ljudi, ki niso imeli potrebnih znanj za položaj.
Nadaljnja usoda projekta
Amazon je sistem prilagodil tako, da se več ne odziva na signalne besede. Vendar to ni zagotovilo, da mehanizem ne bo našel drugega načina za identifikacijo življenjepisov v lasti žensk. V začetku leta 2017 se je podjetje razočaralo nad projektom in razpustilo ekipo. Viri Reutersa pravijo, da so kadrovski strokovnjaki upoštevali priporočila sistema, vendar se nikoli niso zanašali samo na njih.
Eden izmed virov pravi, da je projekt zaključen. Drugi trdi, da je bila v Edinburghu ustanovljena nova ekipa, ki bo še naprej razvijala mehanizem, vendar tokrat s poudarkom na pravičnosti in vključenosti. Drugi vir poroča, da se za izvajanje rutinskih del zdaj uporablja močno spremenjena različica motorja, na primer odstranjevanje podvojenih življenjepisov iz baze podatkov.