Da bismo bolje shvatili kakve su mogućnosti GPT-4, pogledajmo kako rešava ozbiljne testove koji su namenjeni za ljude i za mašine. U prethodnom tekstu smo prikazali koliko je verzija 4 bolja od prethodne verzije 3,5. Ali gde je GPT-4 u odnosu na čoveka?

Na sledećem grafikonu je prikazanо 10 standardnih testova u SAD. Ikona čoveka sa brojem procenata pokazuje kakav rezultat u proseku postižu ljudi, a zelena traka i broj na kraju trake kaže koji je rezultat postigao ChatGPT-4. Letimična pogled pokazuje da GPT-4 nadmašuje prosečnog čoveka. Pogledajmo detaljnije svaki od tih testova. Opis prvih 5 testova nam je napisao ChatGPT.

1. Opšti test znanja. SAT (Scholastic Assessment Test) je standardizirani test koji se koristi u Sjedinjenim Američkim Državama za procjenu sposobnosti učenika za upis na fakultet. Test se obično polaže u srednjoj školi, a ocjene se koriste kao dio procesa prijave na fakultet.

SAT test ima tri dijela: Matematika, Evidencija o čitanju i Pisanje (koji uključuje pisanje eseja). Ukupni rezultat se izračunava na skali od 400 do 1600 bodova (sa zasebnim ocjenama za svaki dio testa) i obično se koristi kao jedan od faktora pri odlučivanju o prijemu na fakultet. Mnogi fakulteti u SAD-u zahtijevaju da učenici polažu SAT test, iako su neki fakulteti prihvatili ACT test kao alternativu.

GPT je ostvario 94% na 1. testu, koji čovek prosečno rešava sa 50%.

2. Ekonomija. Općenito govoreći, pretpostavljam da je Economics 321 Midterm test koji pokriva gradivo koje je obrađeno u jednom od kolegija ekonomije na George Mason sveučilištu, a koji je sastavio i nadgledao Profesor Caplan. Ovaj test bi vjerojatno imao cilj testirati znanje i razumijevanje studenta o ekonomskim konceptima, teorijama i metodologiji koje su obrađene u prvom dijelu tečaja.

Čovek ostvarju rezultat na testu od 30%, a GPT od 66%. U vezi ovog testa postoji zanimljivost da se prof. Caplan, čije je test, kladio da nema šanse da AI položi njegov test. A ako čak položi, nema šanse pre 2029 god. Oplakda je od pre 6 meseci. Retka arogancija profesora u oblasti koja je vrlo tanka nauka što vidimo iz ekonomskih kriza zapadnog društva, koje je i glavni tvorac te ekonomske nauke.

3. Matmatika. "Grade school math" obično se odnosi na matematiku koja se podučava u osnovnoj školi, odnosno učenicima u dobi od 6 do 12 godina. Testovi iz grade school math obično ocjenjuju razumijevanje osnovnih matematičkih koncepata poput brojeva, operacija s brojevima, mjerenja, frakcija i postotaka.

Uzimajući u obzir dob učenika, ovi testovi ne bi trebali biti previše složeni i često se mogu sastojati od pitanja u obliku zadataka u kojima se traže rješenja aritmetičkih izraza ili jednostavnih problema iz svakodnevnog života, koji uključuju primjenu osnovnih matematičkih operacija.

Čovek 52%, GPT 92%.

4. Pravo. Uniform Bar Exam (UBE) je standardizirani ispit koji se koristi u Sjedinjenim Američkim Državama za procjenu znanja i sposobnosti onih koji žele postati odvjetnici. U stvari, UBE se koristi u većini država u SAD-u, ali postoje neke države koje koriste različite vrste ispita.

UBE test sastoji se od tri dijela: Multiple Choice Exam (MBE), Multistate Essay Examination (MEE) i Multistate Performance Test (MPT).

Multiple Choice Exam (MBE) je test koji se sastoji od 200 pitanja iz sedam područja prava: pravo građanskog procesa, kazneno pravo, pravo državljana, pravo vlasništva, pravo dokaza, pravo ugovora i pravo kaznenog postupka.

Multistate Essay Examination (MEE) sastoji se od šest eseja u trajanju od 30 minuta svaki. Eseji pokrivaju različita područja prava, uključujući ugovore, torte, kazneno pravo, građansko pravo, dokaze i ustavno pravo.

Multistate Performance Test (MPT) je test koji se sastoji od dvije pismene pravne situacije koje zahtijevaju da kandidati napišu odgovor koji pokazuje njihovo znanje prava i sposobnosti primjene prava na stvarne situacije.

Svaki od tri dijela ispita ocjenjuje se neovisno i kandidati moraju postići određeni ukupni bodovni prag da bi položili ispit. Uz UBE test, neke države također zahtijevaju dodatne ispite o lokalnim zakonima ili posebnim područjima prava kako bi se dobila odobrenja za praksu u toj državi.

Čovek 50%, GPT 90%.

5. Medicina. Self Assessment Program (Medicina: Samoprocjena programa) je program testiranja samoprocjene za liječnike i studente medicine koji žele procijeniti svoje znanje i razumijevanje medicinskih tema. Program se sastoji od niza testova koji se mogu koristiti za provjeru znanja iz različitih medicinskih područja kao što su anatomija, fiziologija, farmakologija, dijagnostika, terapija, etika i mnogi drugi.

Testovi u ovom programu su obično multiple-choice testovi (testovi sa više izbora) koji uključuju pitanja sa nekoliko opcija od kojih samo jedna odgovara ispravnom odgovoru. Program omogućuje korisnicima da testiraju svoje znanje na bilo kojoj razini - od osnovne do napredne razine, te pruža povratne informacije o točnim i netočnim odgovorima, što im omogućava da poboljšaju svoje znanje i razumijevanje.

Medicine: Self Assessment Program je dostupan putem različitih platformi i može se koristiti kao dio kontinuiranog medicinskog obrazovanja (CME) za liječnike i drugo zdravstveno osoblje koje želi provjeriti svoje znanje i održati svoje kompetencije. Ovaj program testiranja samoprocjene može biti koristan za studente medicine koji se pripremaju za medicinski ispit ili za različite postdiplomske studije u medicini.

Čovek 50%, GPT 75%.

Slede ispiti iz biologije (50/99), znanje o vinima (50/77), AI test inteligencija (35/86), test razumevanja rečenica u svetlu opšteg znanja (96/95) i poslednji test od 44.787 pitanja i odgovora za proveru mašina da razumeju pitanja i odgovore (94/88). U poslednja dva testa čovek postiže bolje rezultate, što nije čudno jer su to testovi prilagođeni da pronađu slabe strane AI.

Od 10 ispita, u 8 ChatGPT-4 ostvaruje bitno bolje rezultate od čoveka. U preostala dva malo zaostaje za čovekom.

Možemo zaključiti da će i ovaj ovakav ChatGPT biti pravi virtualni pomoćnik ljudima ozbiljnih struka, kao što su medicina, pravo, biologija... Novi poboljšani AI modeli će sigurno dovesti mnoga  mesta u nove položaja, neka da se gase, neka nova da se otvaraju.