V Rusiji in svetu se aktivno razvija umetna inteligenca - tudi čustvena. Zanimajo ga velika podjetja in ambiciozni startupi, ki uvajajo nov razvoj v maloprodaji, marketingu, izobraževanju, bančništvu in kadrovanju. Po podatkih Mordor Intelligence je bil trg za prepoznavanje čustev v letu 2018 ocenjen na 12 milijard dolarjev in bo do leta 2024 zrasel na 92 milijard dolarjev.
Kaj je čustveno AI
Emotion AI (Emotion AI) je AI, ki računalniku omogoča prepoznavanje, razlago in odzivanje na človeška čustva. Kamera, mikrofon ali nosilec tipala berejo stanje osebe, nevronsko omrežje pa obdela podatke, da ugotovi čustvo.
Obstajata dva glavna načina za analizo čustev:
- Kontakt. Človek se postavi na napravo, ki bere njegov impulz, telesne električne impulze in druge fiziološke kazalce. Takšne tehnologije lahko določijo ne samo čustva, temveč tudi stopnjo stresa ali verjetnost epileptičnega napada.
- Brezkontaktno. Čustva se analizirajo na podlagi video in avdio posnetkov. Računalnik se uči obraza, gibov, gibov oči, glasu in govora.
Za usposabljanje nevronske mreže znanstveniki s podatki zbirajo vzorec podatkov in ročno označijo spremembo v čustvenem stanju osebe. Program preučuje vzorce in razume, kateri znaki pripadajo katerim čustvom.
Nevronsko mrežo lahko treniramo na različnih podatkih. Nekatera podjetja in laboratoriji uporabljajo videokasete, druga preučujejo glas in nekaterim koristijo več virov. Toda bolj raznoliki so podatki, bolj natančen je rezultat.
Upoštevajte dva glavna vira:
Promocijski video:
Fotografije in fotografije iz videoposnetka
Slike najprej obdelamo, da olajšamo delo z AI. Značilnosti obraza - obrvi, oči, ustnice in tako naprej - so označene s pikami. Nevronska mreža določi položaj točk, jih primerja z znaki čustev iz predloge in sklene, katera čustva se odražajo - jeza, strah, presenečenje, žalost, veselje ali mirnost.
Obstaja tudi drug pristop. Oznake čustev takoj opazimo na obrazu - na primer nasmeh ali namrščeno obrvi. Nato nevronska mreža išče označevalce na sliki, analizira njihove kombinacije in določi stanje osebe.
Preučevanje čustvenih markerjev se je začelo v 20. stoletju. Res je, potem so jih obravnavali ločeno od nevronskih mrež. Znanstvenika Paul Ekman in Wallace Friesen sta leta 1978 razvila sistem za kodiranje obraza (FACS). Razčleni obrazno mizo na posamezne mišične gibe ali akcijske enote. Raziskovalec preučuje motorične enote in jih primerja s čustvi.
Glas in govor
Nevronska mreža iz zvočnega signala črpa številne parametre glasu - na primer ton in ritem. Preučuje njihovo spremembo časa in določa stanje govorca.
Včasih se za vadbo uporablja spektrogram - slika, ki prikazuje moč in frekvenco signala skozi čas. Poleg tega AI analizira besedišče za natančnejše rezultate.
Kje se uporablja tehnologija
Prodaja in oglaševanje
Najbolj očitna uporaba tehnologije prepoznavanja čustev je pri trženju. Z njihovo pomočjo lahko ugotovite, kako oglaševalni video vpliva na osebo. Če želite to narediti, lahko na primer namestite strukturo s kamero, ki bo oglaševanje spreminjala glede na razpoloženje, spol in starost ljudi, ki se vozijo mimo.
Podoben dizajn sta razvila startupa Cloverleaf in Affectiva. Predstavili so elektronski oglas na polici z imenom policaPoint, ki zbira podatke o čustvih kupcev. Procter & Gamble, Walmart in druga velika podjetja so preizkusili nove tehnologije. Po podatkih Cloverleaf se je prodaja povečala za 10-40%, medtem ko se je angažma strank povečal 3-5 krat.
Bolj nenavadna možnost je svetovalec z roboti z umetno inteligenco. Vzajemno bo sodeloval s strankami, bral njihova čustva in vplival nanje. In prav tako pripravite prilagojene ponudbe.
Servisni robot je predstavil ruski zagonski Promobot. Uporablja nevronsko mrežo, ki jo je razvil Neurodata Lab, ki določa čustva iz več virov hkrati: posnetke obraza, glasu, gibov, pa tudi hitrosti dihanja in pulza.
Promobot svoje robote aktivno prodaja v tujino. Leta 2018 je startup podpisal pogodbo z ameriškim podjetjem Intellitronix za 56,7 milijona dolarjev, v naslednjem pa so se dogovorili za dobavo naprav v Savdsko Arabijo, Izrael, Kuvajt in Švedsko - za njih bo podjetje dobilo 1,1 milijona dolarjev, po navedbah Promobota pa danes dela 492 robotov v 34 državah po svetu kot vodniki, oskrbniki, svetovalci in promotorji.
Banke
Tehnologije prepoznavanja čustev pomagajo bankam, da dobijo povratne informacije strank brez anket in izboljšajo storitev. V oddelkih so nameščene video kamere, algoritmi za snemanje pa določajo zadovoljstvo obiskovalcev. Nevronske mreže lahko med klicem v kontaktni center tudi analizirajo glas in govor stranke in operaterja.
V Rusiji si že dolgo prizadevajo za izvajanje čustvenega AI: preizkusili so ga v Sberbank že leta 2015, tri leta pozneje pa je Alfa-Bank začela svoj pilotni poskus za analizo čustev iz videa. Poleg posnetkov z nadzornih kamer se uporabljajo tudi posnetki klicev. VTB je sprožil pilotni projekt za izvajanje čustvenega AI leta 2019. In Rosbank je skupaj z Neurodata Lab že preizkusila določitev čustev strank z glasom in govorom. Stranka je poklicala banko, nevronska mreža pa je analizirala njegovo stanje in pomen pogovora. Poleg tega je AI opazil prekinitve v govoru operaterja, glasnosti in času komunikacije. To je omogočilo ne le preverjanje zadovoljstva s storitvijo, ampak tudi spremljanje dela upravljavcev kontaktnih centrov.
Zdaj je Rosbank uvedla svojo rešitev za prepoznavanje čustev. Namesto zvočnega signala sistem analizira besedilo, natančnost pa ostane visoka.
Center za govorno tehnologijo sodeluje tudi pri prepoznavanju čustev v govoru (Sberbank ima večinski delež). Storitev Smart Logger analizira govor in besedišče kupcev in operaterjev, čas pogovora in pavze, da ugotovi zadovoljstvo s storitvijo.
Zabavna sfera
Sistemi za prepoznavanje čustev se lahko uporabljajo za merjenje reakcije publike na film. Disney je leta 2017 v sodelovanju z znanstveniki izvedel eksperiment: namestil kamere v kino in povezoval algoritme globokega učenja, da bi ocenil čustva gledalcev. Sistem je lahko napovedal reakcije ljudi tako, da jih je opazoval le nekaj minut. Med poskusom smo zbrali impresiven nabor podatkov: 68 markerjev od vsakega od 3.179 gledalcev. Skupno je bilo pridobljenih 16 milijonov slik obrazov.
Z istim namenom je YouTube gostovanje video vsebin ustvarilo svoj AI z imenom YouFirst. Video blogerjem in podjetjem omogoča testiranje vsebine pred izdajo na platformo. Uporabniki kliknejo posebno povezavo, se strinjajo, da bodo posneli video in si ga ogledali. V tem času nevronska mreža določi njihove reakcije in podatke pošlje lastniku kanala.
Med ruskimi podjetji lahko reakcije na videoposnetke analizira na primer Neurobotics. Podjetje je razvilo program EmoDetect, ki prepozna radost, žalost, presenečenje, strah, jezo, gnus in nevtralnost. Program preučuje do 20 lokalnih obraznih oblik v zamrznjenih okvirih in seriji slik. Sistem analizira motorne enote in uporablja tehnologijo FACS za kodiranje obraza. Možno je snemati video s spletne kamere. API EmoDetect omogoča integracijo izdelka z zunanjimi aplikacijami.
Čustveni AI se začne uveljavljati tudi v igralniški industriji. Pomaga prilagoditi igro in dodati več interakcije z igralcem igre.
Ameriško čustveno AI podjetje Affectiva je na primer pomagalo ustvariti psihološki triler Nevermind. Napetost je odvisna od stanja igralca: zaplet postane temnejši, ko je pod stresom, in obratno.
Izobraževanje
Prepoznavanje čustev velja tudi za izobraževanje. Uporablja se lahko za proučevanje razpoloženja in pozornosti učencev med poukom.
Ruski razvijalci so v Permu uporabili čustveno AI. Zagon za razvoj tehnologije so bili napadi učencev na osnovnošolce in učitelja. Rostelecom in startup New Vision sta razvila program Smart and Safe School za spremljanje čustvenega stanja otrok. To bo pomagalo prepoznati asocialne mladostnike, preden se zgodi tragedija.
Temeljila je na sistemu Paula Ekmana. Nevronska mreža je analizirala najmanjše mišične gibe s pomočjo 150 točk na obrazu. Med lekcijo je bilo zbranih veliko količino podatkov: 5-6 tisoč sličic za vsakega učenca. Program je preučil nabor podatkov in izračunal čustveno stanje vsakega otroka. Po ugotovitvah ustvarjalcev je bila natančnost 72-odstotna.
HR
Čustveni AI je lahko koristen pri delu z osebjem. Pomaga ugotoviti stanje zaposlenega, pravočasno opaziti njegovo utrujenost ali nezadovoljstvo in učinkovitejšo prerazporeditev nalog.
Poleg tega tehnologija pomaga pri zaposlovanju. S pomočjo čustvenega AI lahko med intervjujem preverite kandidata za službo ali ulovite laž.
Ameriško podjetje HireVue uporablja umetno inteligenco za ocenjevanje kandidatov. Vlagatelj opravi video intervju, nevronska mreža pa njegovo stanje določi s ključnimi besedami, intonacijo glasu, gibi in obraznimi mimikami. AI poudarja značilnosti, ki so pomembne za delovno mesto, in ocenjuje, kadrovski vodja pa izbere prave kandidate.
Londonski zagon Human uporablja video, da prepozna čustva in jih primerja z lastnostmi znakov. Po video intervjuju naborniki prejmejo poročilo, v katerem piše, kako iskren, radoveden, navdušen, navdušen ali samozavesten je bil kandidat in kako je odgovarjal na vprašanja.
Zdravilo
Na tem področju bodo koristne ne samo brezkontaktne, temveč tudi kontaktne metode določanja čustev. Aktivno jih izvajajo tuji startupi - na primer Affectiva in Brain Power. Razvoj podjetij vključuje očala AI, ki otrokom in odraslim z avtizmom pomagajo prepoznati čustva drugih ljudi in razvijati socialne veščine.
Toda nevronske mreže lahko pomagajo bolnikom brez nosljivih senzorjev. Znanstveniki s tehnološkega inštituta v Massachusettsu so z analizo človekovega govora ustvarili nevronsko mrežo, ki zazna depresijo. Natančnost rezultata je bila 77%. In startup Beyond Verbal uporablja AI za analizo duševnega zdravja bolnikov. V tem primeru nevronska mreža iz zvočnega posnetka izbere samo glasovne biomarkerje.
Avtomobili
Massachusetts Institute of Technology razvija AI, imenovan AutoEmotive, ki bo določil stanje voznika in potnikov. Ne bo le spremljal stopnje stresa, ampak ga bo tudi poskušal zmanjšati - z igranjem mehke glasbe, prilagajanjem temperature v kabini ali na manj prometni poti.
Omejitve čustvenega AI
Nevronska mreža ne more upoštevati konteksta
AI se je naučil prepoznavati osnovna človeška čustva in stanja, vendar se doslej ne spopada z bolj zapletenimi situacijami. Znanstveniki ugotavljajo, da izrazi obraza ne kažejo vedno natančno, kako se človek v resnici počuti. Njegov nasmeh je lahko prisrčen ali sarkastičen in to lahko določi le kontekst.
Strokovnjaki podjetja NtechLab menijo, da je še vedno težko natančno določiti razlog za to ali tisto čustvo.
NtechLab poudarja, da je treba prepoznati ne samo obrazne izraze, ampak tudi človeške gibe. Različni podatki bodo čustveno AI naredili veliko učinkovitejše. S tem se strinja Daniil Kireev, vodilni raziskovalec podjetja za razvoj izdelkov za prepoznavanje obrazov VisionLabs. Po njegovem mnenju se z veliko količino podatkov povečuje natančnost algoritmov.
"Obstajajo napake, njihovo število je odvisno od številnih dejavnikov: kakovosti vzorca treninga, usposobljene nevronske mreže, podatkov, na katerih deluje končni sistem. Z dodajanjem informacij iz različnih virov - na primer glasov - lahko izboljšate kakovost sistema. Hkrati je pomembno razumeti, da po obrazu raje določimo njegovo izražanje kot končno čustvo. Algoritem morda poskuša določiti simulirano čustvo, toda za to mora razvoj tehnologije narediti majhen korak naprej, "pravi Daniil Kireev.
Slaba oprema
Zunanji dejavniki vplivajo na kakovost algoritmov. Da je natančnost prepoznavanja čustev visoka, morajo biti video kamere in mikrofoni kakovostni. Poleg tega na rezultat vpliva osvetlitev, lokacija kamere. Kot pravi Daniil Kireev, nenadzorovani pogoji zapletajo postopek določanja človekovega stanja.
Za razvoj čustvenega AI potrebujete kakovostno strojno opremo. Če najdete dobro opremo in jo pravilno nastavite, bo natančnost rezultatov zelo visoka. Ko bo postala bolj dostopna in razširjena, se bodo tehnologije za prepoznavanje čustev izboljšale in učinkoviteje izvajale.
Natančnost sistema je odvisna od številnih dejavnikov. Glavna od njih je kakovost fotografij s fotoaparata, ki jih sistemu dodeli za prepoznavanje. Na kakovost mirnih okvirjev pa vplivajo nastavitve in značilnosti kamere, matrica, osvetlitev, lokacija naprave, število obrazov v kadru. S pravilno konfiguracijo strojne in programske opreme je mogoče doseči natančnost zaznanih čustev do 90-95%, «ugotavlja Vitaly Vinogradov, produktni vodja storitve oblačnega video nadzora in video analitike Ivideon.
Tehnološka perspektiva
Zdaj v Rusiji čustveni AI le še pridobiva na veljavi. Startupi razvijajo tehnologijo in tržijo svoje izdelke, kupci pa jih preizkušajo previdno.
Toda Gartner ocenjuje, da bo do leta 2024 več kot polovica spletnih oglasov izdelanih s pomočjo čustvenega AI. Računalniški vid, ki se uporablja za zaznavanje čustev, bo v naslednjih 3-5 letih postal ena najpomembnejših tehnologij. MarketsandMarkets napoveduje, da se bo trg za analizo čustev do leta 2024 podvojil - z 2,2 milijarde na 4,6 milijarde dolarjev.
Poleg tega velika podjetja kažejo zanimanje za prepoznavanje čustev - na primer Procter & Gamble, Walmart, VTB, Rosbank, Sberbank in Alfa-Bank. Domači startupi razvijajo pilotne projekte, ki bodo v prihodnosti postali pripravljene rešitve za poslovanje.
Evgenija Khrisanfova