Uloga pokera u razvoju veštačke inteligencije


Igranje pokera neizostavno zahteva baratanje nepotpunim informacijama, što ovu igru čini vrlo kompleksnom. Uz to, poker je umnogome odraz situacija koje postoje u stvarnom svetu.

Kao što je veliki Kenny Rogers jednom rekao, „dobar kockar mora da zna kada da ide dalje a kada da odustane („A good gambler has to know when to hold ’em and know when to fold ’em“). Ovog januara se u kockarnici Rivers Casino u Pitsburgu tri sedmice uzastopno kompjuterski program Libratus nadmeće sa šampionima u pokeru i pritom ih – devastira. Ovo se, doduše, dogodilo po prvi put otkad se čovek i AI sukobljavaju, ali po svemu sudeći neće biti i poslednji (slično je bilo i sa šahom: bilo je potrebno neko vreme da naučnici „našteluju“ mašinu, odnosno usavrše softver Deep Blue koji je tukao najjače šahovske velemajstore sveta). U Kasinu Rivers, ovog meseca računar nam drži lekciju: pokazuje nam kako može da odigra bolje od bilo kog igrača od krvi i mesa.

Libratus je za to vreme odigrao hiljade varijanti pokera; heads-up, igranje u parovima, varijantu no-limit Texas Hold’em pokera itd… a sve to protiv nekoliko najvećih pokeraških eksperata i profesionalaca. Svake godine, borba ljudi protiv mašina u kasinu Rivers privlači veliku medijsku pažnju, a Libratus je u jednom trenutku „bio dobar“ 800 hiljada dolara; toliko je „inkasirao“ igrajući protiv ljudi. Toliko je Libratus dobro igrao da se stekao utisak da je njegova pobeda, ma koliko daleko od zagarantovane, mogla biti ostvarena igrajući karte bez potpunih informacija i „samo“ baratajući teorijom verovatnoće.

AI je nepredvidiva na način koji je ljudima stran

Trijumf bi za Libratus i njegove tvorce bio veliki uspeh u oblasti razvoja veštačke inteligencije. Poker zahteva razmišljanje, kombinatoriku, baratanje verovatnoćom, dobru memoriju i, naravno, inteligenciju. Ova kockarska igra fundamentalno se razlikuje od igara kao što su Dame, šah ili go s obzirom da protivnički igrač u rukama uvek ima nepoznatu opciju – kombinaciju skrivenu od očiju drugih igrača. U igrama zasnovanim na “nepouzdanim-nepotpunim informacijama,” enormno je komplikovano shvatiti i proniknuti u moguću idealnu strategiju koju bi svaki protivnik primenio igrajući protiv vas. A u no-limit verziji teksaškog Hold’em pokera ovo je poseban izazov jer bi protivnik mogao da podiže ulog proizvoljno – bez ograničenja (otuda se ova verzija teksaškog pokera i naziva „no-limit“).

“Poker je za veštačku inteligenciju bio i ostao dosad najveći izazov, u koji je tek nedavno uspeo da pronikne”, kaže Endrju Ng (Andrew Ng), glavni naučnik u kompaniji Baidu. “Ne postoji niti jedan optimalan potez, ali – umesto izvesnosti – AI igrač mora da nasumično deluje kako bi sopstvenim neplanskim potezima nadomestio nepoznavanje svih podataka (u ovom slučaju, to je poznavanje svih protivnikovih karata); tako kod protivnika unosi neizvesnost kada i da li uopšte blefira, a protivniku je, s druge strane, teško da uspostavi bio kakvu efikasnu strategiju jer nije siguran da li pri podizanju uloga mašina blefira ili ne.”

Kreatori Libratusa su Tuomas Sandholm, profesor računarstva na univerzitetu Karnegi Melon (CMU), i njegov student Noam Brown. Sandholm, stručnjak za teoriju igara i AI koji je iz Finske došao u SAD kako bi radio svoj doktorat, kaže da je neverovatno koliko su dugo ljudi bili u stanju da nadigraju računar. “Uvek se zapanjim pri pomisli koliko dobro igraju vrhunski profesionalci”, kaže on. “Od svih ovih igara kojih se njihov Libratus poduhvatio, poker je bila jedina u kojoj AI nije uspevala da pokaže nadljudske performanse.”

Istraživači uposleni u razvoju veštačke inteligencije koriste primenjenu matematičku oblast koja se zove teorija igara i/ili matematiku strateškog odlučivanja, nastojeći da iznađu najbolju strategiju na osnovu obilja varijabli (neizvesnih ishoda, nepoznatih vrednosti); ova strategija poznata je kao teorija (uspostavljanja) ravnoteže, ili ekvilibrijum. Upravo iz razloga što postoji toliko mnogo mogućih ishoda, ovo obično podrazumeva neku vrstu aproksimiranja – traženja najpribližnije verovatne vrednosti koja bi se mogla iskoristiti u igri.

“Bilo da je taj potez dobar ili ne, sve zavisi od stvari koje je nemoguće posmatrati, sve vrednosti su skrivene od oka” kaže Vinsent Conitzer, profesor AI i teorije igara na Univerzitetu Djuk. “Ovo, takođe, rezultira potrebom da za protivnika uvek ostanete – nepredvidivi. Međutim, ukoliko stalno blefirate – niste dobar igrač. Teorija igara vam govori kako i do koje mere treba da svoju igru na neki način učinite „nasumičnom“ – ali samo na način koji je u izvesnom smislu optimalan.”

Sandholm je prošle godine predvodio razvoj prethodnog programa za igranje pokera po imenu Klaudiko (Claudico), kojeg je ubedljivo potuklo nekoliko profesionalnih igrača pokera. On objašnjava da, za razliku od Klaudika, Libratus koristi nekoliko novih dostignuća kako bi postigao tako visok nivo kvaliteta igre. Ovo uključuje nove tehnike aproksimacije optimalnog poteza (ekvilibrijum), kaže Sandholm, kao i nove metode analize najverovatnijih ishoda u kasnijim fazama igre, kako se karte tokom partije sve više otvaraju (a samim tim i input podataka u mašini povećava). Ova analiza krajnjeg ishoda igre je u računarskom smislu veoma zahtevna i izazovna, a sprovođena je tokom svake partije u Superračunarskom centru u Pitsburgu, u objektu kojeg vode CMU i Univerzitet u Pitsburgu.

Napredak koji mašine imaju u učenju strategija ljudskih igara i AI već su urodili plodom; nedavno se pojavio veliki broj superprograma za igranje ljudskih igara. Prošle godine, istraživači na projektu Deep Mind, izdanku Guglovog Alphabet-a, razvili su program sposoban da pobedi jednog od najboljih svetskih igrača go-a. Ovo dostignuće je bilo utoliko spektakularnije jer se radi o izuzetno složenoj igri, a i zato što je tokom igranja teško meriti koliko ste napredovali.

Nekoliko je različitih grupa istraživača bilo fokusirano na borbu protiv pokeraša „od krvi i mesa“. Još jedan akademski tim, i to s Univerziteta Alberta u Kanadi, Karlovog Univerziteta i Češkog tehničkog univerziteta u Češkoj nedavno je razvilo program zvani Deepstack koji je već potukao nekoliko profesionalnih igrača u heads-up no-limit Texas Hold’em pokeru (videti članak “Poker je najnovija igra u kojoj se iskušava moć veštačke inteligencije”). Međutim, kaže Sandholm, igrači uključeni u meču protiv Libratusa su daleko jači, a takođe imaju mogućnost da igraju daleko više ruku protiv mašine; ovo bi trebalo da obezbedi veći značaj statističkih rezultata.

Tehnike koje se  koriste za izgradnju još pametnijih poker-bota može naći daleko veću primenu u stvarnom svetu. Teorija igara je već primenjivana na istraživanju o združenim hakerskim napadima i sajber-bezbednosti, takođe našavši svoju primenu u automatizaciji navođenja taksi-vozila kao i robotskog planiranja, kaže Sem Gancfrid (Sem Ganzfried), docent na Međunarodnom univerzitetu Florida u Majamiju, koji je bio uključen i u razvoj Klaudika.

Međutim, iako Libratus trijumfuje, to ne znači da ljudi više ne zaslužuju da imaju svoje mesto za pokeraškim stolom. Multiplejer verzijom no-limit Texas Hold’em pokera ne može se ovladati ukoliko koristite tehnike koje koristi Libratus.

Will Knight MIT tech-review Jan 23, 2017

Hoće li tradicionalni univerziteti opstati u digitalnoj revoluciji?


Masovno otvaranje “onlajn-kolegijuma”, koji predstavljaju nove modele e-edukacije namenjenih velikom broju polaznika, omogućili su da “cyber-savetovališta” najboljih svetskih Univerziteta – bez novčane naknade i u obliku u kojem studenti sami mogu da biraju sopstveni program – postanu dostupni najširoj svetskoj javnosti. Da li ovakvi modeli mogu da nadvladaju tradicionalne sisteme visokog obrazovanja?

11

Godinama je visoko obrazovanje, zahvaljujući tradicionalnoj univerzitetskoj organizaciji, odolevalo tehnološkim promenama. Bilo bi zaista teško ignorisati neumitnu činjenicu kako se paradigma učenja u visokoškolskom sistemu – kao kompleksna aktivnost u koju su uključeni učenje, nastava, individualno istraživanje, saradnja studenata sa svojim nastavnicima kao i sa drugim studentima, nakon čega sledi neka od formi provere znanja, i koja se formalno okončava sticanjem akademske titule i, pre svega, diplome – jeste forma koja se, u suštini, stolećima nije menjala.

Pritisak koji danas prave tehnološke promene je, ipak, načeo i jedno od poslednjih uporišta tradicionalista. Preobražaj digitalnih tehnologija u jedinstvenu informatičku tehnologiju, u spoju s visokim kapacitetima procesora, brzih data-mreža i velikih kapaciteta za čuvanje multimedijalnih sadržaja visokog kvaliteta predstavljaju tehnološku osnovu za revoluciju visokog obrazovanja.

Učenje na daljinu (distance learning) je pojam koji je daleka prethodnica interneta i modernih komunikacionih tehnologija. Britanski Otvoreni Univerzitet (Open University) je svojim polaznicima još 80-tih godina slao poštom svoj program “izmeštenog obrazovanja”; bile su to video-kasete sa snimcima predavanja. Savremene brze data-mreže omogućile su nam ekspanziju programa učenja na daljinu u virtuelni prostor: e-learning to jest e-edukacija je u stanju da na raznolike načine obogati tradicionalne forme obrazovnog procesa.

02

Učenje na daljinu (DE)

Ovde, pre svega, treba pomenuti Korseru (Coursera), koju su stvorili profesori Univerziteta u Stenfordu, Endrju Ng (Andrew Ng) i Dafne Koler (Daphne Koller). Različiti oblici cyber-učenja se primenjuju još od sredine 90-tih godina prošlog veka, mada češće bez ambicije da istisnu ili zamene tradicionalni oblik praktičnih vežbi, seminara i predavanja kao paradigme visokoškolskog obrazovnog procesa.

Ovo, ipak, ne znači kako je zamena tradicionalne forme visokog obrazovanja nemoguća – da bi se to pretočilo u realnost, potrebni su posebni organizacioni uslovi, posebno platforma koja bi hostovala tj. bila domaćin obrazovnim sadržajima, omogućavajući preko potrebnu interakciju u sklopu digitalnog okruženja.

Coursera je upravo takva vrsta platforme koja se pojavila 2012. Radi se o istoimenom američkom start-upu i njegovom servisu koji su stvorili dvojica univerzitetskih profesora sa Stenforda, jedne od vodećih obrazovnih institucija u SAD u oblasti tehničkih i prirodnih nauka.

Stenford je Univerzitet kojeg su pohađali velikani informatičke industrije Sjedinjenih Država: Vilijem Hjulit i Dejvid Pakard (William Hewlett, David Packard), osnivač Gugla Sergej Brin (Sergey Brin) i Lorens “Leri” Pejdž (Lawrence “Larry” Page), zatim osnivači kompanija kao što su VMware, PayPal, Instagram, Pandora Cisco, Nvidia, Electronic Arts, ali i još nekih giganata kao što su Netflix, Gap, Nike i Dolby, i mnogi drugi.

Stenfordski profesori Daphne Koller (Dafne Koler) i Endrju Ng (Andrew Ng) su Korseru zamislili kao servis kojim vodeći svetski univerziteti mogu da svoje posebno prilagođene “cyber-kolegijume” ponude najširoj globalnoj publici – bez naknade – i u formi u kojoj studenti sami mogu da biraju sopstveni kurikulum. Tokom nepune tri godine svog postojanja, Korsera je ostvarila teško zamisliv rast broja korisnika kao i sadržaja ponuđenih svojim programom.

06

Od onih 80-tak e-savetovališta, koliko ih je bilo u početku i od kojih su većina bili iz oblasti prirodnih i tehničkih nauka, danas putem ovog internet-servisa funkcioniše 1054 kolegijuma iz doslovce svih zamislivih područja visokog obrazovanja, sa više od trinaest miliona korisnika.

Među univerzitetima čiji nastavni kadar odnosno kolegijumi sačinjavaju Korserinu ponudu nalaze se i “Ivy League” univerziteti: Jejl (Yale), Harvard, Djuk (Duke), Braun (Brown) i Kolambija (Columbia), ali i prestižni američki državni univerziteti Urbana-Čempejn (Urbana-Champaign), Merilend (Maryland), Mičigen (Michigan) i Pensilvanija (Pennsylvania). Kurseru u svojoj nastavi koriste i britanski Univerzitet u Edinburgu (University of Edinburgh) i Londonski Internacionalni (London International), izraelski Hebrejski Univerzitet iz Jerusalima (Hebrew University of Jerusalem), Hongkonški Univerzitet za nauku i tehnologiju (Hong Kong University of Science and Technology), Savezna politehnička škola iz Lozane, Švajcarska (Ecole Polytechnique Federale de Lausanne), baš kao i Indijski Institut za tehnologiju iz Nju Delija (Indian Institute of Technology Delhi)…

S obzirom da tempo tehnoloških i društvenih promena nadmašuje brzinu kojom se unapređuju univerzitetski programi, čak i kada je reč o vodećim svetskim obrazovnim institucijama, koncept i ideja na kojoj Coursera počiva jeste omogućavanje uslova da zainteresovani polaznici, u skladu sa ličnim afinitetima, ili, pak, potrebama potencijalnog poslodavca, sami odaberu kolegijume koji im odgovaraju.

S dilemom izbora odgovarajućeg programa studija i kurikuluma, koji studentima treba da obezbede adekvatna znanja, veštine kao i da im osigura šanse za dobar i pravi izbor željene karijere, svake godine se desetine miliona studenata širom sveta susreću u (ne samo) Korserinoj “virtuelnoj učionici”. Verovatno da ne postoji student ili osoba sa univerzitetskom diplomom kojoj se tokom studija ili po sticanju diplome nije učinilo kako su neki kolegijum ili čak cela godina studija samo gubitak vremena i već zastareli ustupak tradiciji – a na štetu stvarnih potreba.

I dok se klasična akademska garnitura već po tradiciji teši kako je reč o “studentskom neiskustvu i nezainteresovanosti, odnosno izostanku perspektive”, studenti i poslodavci često otkrivaju kako je moderno visoko školstvo u raskoraku sa zahtevima vremena, uz izostanak fleksibilnosti. Ovo ne znači da su klasični univerzitetski programi statični, mada govori o tome kako se i dalje potcjenjuje brzina kojom se stvari u procesu obrazovanja menjaju.

07

Idejni tvorci i osnivači Korsere su, upravo iz ovog razloga, odlučili da zamene neretko prespore procese reforme obrazovnih programa time što će brigu o izboru znanja prepustiti onima koji će to znanje kasnije i upotrebljavati.

Opšteprihvaćeno učenje uz asistenciju onlajn kolegijuma

Preko Coursere se u ovom trenutku odvija 1054 e-kolegijuma iz svih oblasti visokog obrazovanja.

Sve ovo je moguće zahvaljujući razvoju tzv. Masovnih onlajn otvorenih kurseva (Massive Open Online Courses, MOOC), to jest masovnih otvorenih onlajn kolegijuma. MOOC savetovališta za studente predstavljaju formu internet-obrazovanja prilagođenu zaista zamašnom broju polaznika, koji je često reda veličine hiljadu ili više istovremenih polaznika.

Izvesno je da su tradicionalni oblici nastave neprilagođeni ovakvom okruženju. Zato se nameće pitanje: a kako ovo izgleda u stvarnosti? Jedno tipično Korserino MOOC savetovalište sastoji se od određenih nastavnih celina to jest “modula” – najčešće ih je dvanaest ili četrnaest – a za svaki pojedinačno nastava je planirana da traje jednu sedmicu. Svaka nastavna celina sadrži video-materijal, i to najčešće plan izlaganja gradiva, jedan ili više snimaka predavanja, zadatke koje studenti treba da sami reše, i literaturu. Koncept zadataka i samostalnog rada vrlo često uključuje interakciju s profesorima kao i ostalim studentima iz grupe i sa iste godine.

S obzirom na veliku brojnost polaznika, interakciju sa studentima po pravilu izvodi pomoćno nastavno osoblje, mada je glavni deo interakcije studentski angažman. Naglasak je, pre svega, na metodi usvajanja i primene gradiva koje obrađuju sami polaznici – bivajući aktivni na radovima drugih studenata polaznika.

Na primer, u jednom takvom e-kolegijumu, polaznici za svaki svoj esej na zadatu temu kao deo zadatka dobijaju i kriterijum za ocenjivanje tuđih eseja. Primenjujući zadati kriterijum, oni ispravljaju određeni broj radova svojih kolega iz grupe. Osim što su aktivni u okviru interfejsa samog MOOC kolegijuma, polaznici komuniciraju i putem integrisanih foruma, uz to koristeći i sve dostupne forme internet-komunikacije.

08

Onlajn ispiti

Akademska sertifikacija, odnosno posedovanje diplome tj. papira koji nas legitimizuje za neki društveni status, nažalost, često odnose prevagu kao primarni motiv visokog obrazovanja stavljajući ga u prvi plan ispred posedovanja korisnih znanja i veština. U ovom trenutku, Courserini moduli ne nailaze na sveopšte priznavanje, odnosno, imaju samo delimično priznat akademski status.

Preciznije, jedino se manji broj Korserinih internet-kolegijuma zaista i tretira kao sastavni deo nekog priznatog akademskog programa. Za sada nije moguće dokopati se priznate i zvanične akademske titule isključivo na osnovu kolegijuma dostupnih preko Korsere, za razliku od nekih već postojećih “distance learning” obrazovnih programa.

Svoje prihode i budući rast, Korsera želi da utemelji na organizaciji kvalitetne sertifikacije odslušanih lekcija: pristup kolegijumima će i dalje biti besplatan, iako će se akademski bodovi i diploma sertifikovati za određenu novčanu sumu. Ovim se podrazumeva prisustvo i neminovnost ispita putem interneta.

Skeptici bi odmah pomislili na mogućnosti raznih zloupotreba, ali na njih nije imun ni tradicionalni proces ispitivanja, dok tehnologije kao što u prepoznavanje pisma i lica, biometrija i analize govora, i mogu obezbediti sasvim uporedivi nivo sigurnosti.

Koncept da Korsera naplaćuje provere, ispite i rangiranje polaznika povlači sa sobom i neke posledice: studenti će, posredstvom ovog servisa, moći da se upisuju u već podržane programe, koji, uzgred, mogu da se fizički odvijaju u sasvim drugom delu sveta, odnosno u terminu kada polaznici ili ne mogu ili ne žele da provedu deo vremena u kampusu.

Sasvim je sigurno da ovakva forma sertifikacije neće biti istog cenovnog ranga kao i „tradicionalno“ pohađanje univerzitetske nastave, već će cena biti višestruko niža. Institucije i kompanije kojima je potreban vrlo specijalizovani profil radne snage moći će da svojim zaposlenima ili kandidatima ponude prilagođeni program usavršavanja, već unapred podešen shodno njihovim potrebama, ili da selektuju upravo onakvog kandidata kakvog traže među onim studentima koji su odabrali adekvatne programe.

04

Elitni svetski univerziteti ubrzanim ritmom popunjavaju Korserin katalog daljinskih internet-kolegijuma. Neka od njih se udružuju da bi pokrenuli sopstvene servise. Već sada je u zemljama koje imaju snažnu obrazovnu konkurenciju, kao što je to SAD, aktuelno pitanje: „Čemu uopšte upisivati programe na lokalnim, malim univerzitetima ako je preko interneta već dostupan i program sastavljen od svetski poznatih nastavnika s Berklija, Jejla, Harvarda i drugih elitnih školskih ustanova, naročito kada je reč o značajno nižoj ceni?“

Naravno da Korsera nije jedini edukativni onlajn servis. Neki američki univerziteti, recimo tradicionalno avangardne tehnološke institucije kao što je bostonski MIT (Massachussetts Institute of Technology), pokreću sopstvene sisteme. Glavni cilj MIT-ovog “OpenCourseWarea” (OCW) je stavljanje svih edukativnih materijala s prediplomskih i diplomskih kolegijuma na svetsku računarsku mrežu, kako bi bili da svima dostupni i, naravno, slobodni.

Treba napomenuti da OCW traje već više od deset godina kao i da je zahvaljujući njemu dostupno više od dve hiljade kolegijuma i kurseva, često s beleškama i zadacima s “klasičnih” predavanja. Od navedenog broja, uz njih 50-tak idu i kompletni video-zapisi s dostupnih predavanja – i kao video-streaming ili u formi download-a, na primer preko “iTunes U” servisa.

Nezadrživ zamah MOOC studiranja i servisi poput Korsere će imati revolucionarnog uticaja na klasično visoko obrazovanje. Iako će tradicionalno studiranje i dalje biti dominantna forma obrazovanja u neposrednoj budućnosti i “na kratke staze”, lep primer za poređenje je diskografska industrija, i to neposredno pre pojave onlajn muzičkih prodavnica i sound-streaminga.

Ono što je internet učinio štampanim medijima, videotekama i knjižarama ne bi trebalo posebno objašnjavati.

Informatičke tehnologije su iz osnova poremetile već utabane staze poslovnih i društvenih procesa. Izvesno je da Coursera i njemu slični servisi za sada neće istisnuti tradicionalni tj. klasični oblik studiranja, ali je potpuno izvesno da će, vremenom, postati više nego ozbiljna konkurencija ne samo klasičnim, dosadašnjim obrazovnim programima, već i raznim celoživotnim edukativnim programima i kursevima, naročito kada se radi o programima koji se komparativno lakše odvijaju u virtuelnoj sredini.

 

The Forbes, The Economist