Google PaLM 2 vs. OpenAI GPT-4: Kakšna je razlika?

Google je 10. maja 2023 na Google I/O 2023 predstavil naslednjo generacijo svojega jezikovnega modela Pathways (PaLM 2). Njegov novi veliki jezikovni model (LLM) se ponaša z veliko izboljšavami v primerjavi s svojim predhodnikom (PaLM) in bo morda končno pripravljen na boj s svojim največjim tekmecem, OpenAI GPT-4.

Toda koliko izboljšav je naredil Google? Ali je PaLM 2 tisto, kar Google upa, da bo, in kar je še pomembneje, v čem se PaLM 2 razlikuje od GPT-4 OpenAI s toliko podobnimi zmogljivostmi?

PaLM 2 vs. GPT-4: Pregled delovanja

PaLM 2 je poln novih in izboljšanih zmogljivosti nad svojim predhodnikom. Ena od edinstvenih prednosti, ki jih ima PaLM 2 pred GPT-4, je dejstvo, da je na voljo v manjših velikostih, značilnih za nekatere aplikacije, ki nimajo toliko vgrajene procesorske moči.

Vse te različne velikosti imajo svoje manjše modele, imenovane Gecko, Otter, Bison in Unicorn, pri čemer je Gecko najmanjši, sledijo mu Otter, Bison in nazadnje Unicorn, največji model.

Google prav tako trdi, da je izboljšal zmožnost sklepanja v primerjavi z GPT-4 v WinoGrande in DROP, pri čemer je prvi dosegel majhno razliko v ARC-C. Vendar pa je pri PaLM in SOTA opazen pomemben napredek na vseh področjih.

PaLM 2 je tudi boljši pri matematiki, glede na Googlovo 91-stransko stran PaLM 2 raziskovalna naloga [PDF]. Vendar način, na katerega sta Google in OpenAI strukturirala svoje rezultate testov, otežuje neposredno primerjavo obeh modelov. Google je tudi izpustil nekaj primerjav, verjetno zato, ker PaLM 2 ni deloval tako dobro kot GPT-4.

V MMLU je GPT-4 dosegel 86,4, medtem ko je PaLM 2 dosegel 81,2. Enako velja za HellaSwag, kjer je GPT-4 dosegel točke 95,3, vendar je PaLM 2 lahko zbral le 86,8, in ARC-E, kjer sta GPT-4 in PaLM 2 dobila 96,3 in 89,7, oz.

Največji model v družini PaLM 2 je PaLM 2-L. Čeprav ne vemo njegove točne velikosti, vemo, da je znatno manjši od največjega modela PaLM, vendar uporablja več računalništva za usposabljanje. Glede na Google, PaLM ima 540 milijard parametrov, tako da bi moral "bistveno manjši" PaLM 2 postaviti nekje med 10 do 300 milijard parametrov. Ne pozabite, da so te številke le predpostavke, ki temeljijo na tem, kar je Google povedal v dokumentu PaLM 2.

Če je ta številka blizu 100 milijard ali manj, je PaLM 2 najverjetneje manjši v smislu parametrov kot GPT-3.5. Glede na to, da se lahko model, ki je potencialno pod 100 milijardami, lahko spopade z GPT-4 in ga celo premaga pri nekaterih nalogah, impresivno. GPT-3.5 je sprva vse odpihnil iz vode, vključno s PaLM, vendar je PaLM 2 precej okreval.

Razlike v podatkih o usposabljanju GPT-4 in PaLM 2

Čeprav Google ni razkril velikosti nabora podatkov o usposabljanju PaLM 2, podjetje v svojem raziskovalnem dokumentu poroča, da je nabor podatkov o usposabljanju novega LLM bistveno večji. Enak pristop je uporabil tudi OpenAI, ko je razkril GPT-4, pri čemer ni navajal nobenih trditev glede velikosti nabora podatkov za usposabljanje.

Vendar se je Google želel osredotočiti na globlje razumevanje matematike, logike, razmišljanja in znanosti, kar pomeni, da je velik del podatkov o usposabljanju PaLM 2 osredotočen na zgoraj omenjene teme. Google v svojem dokumentu pravi, da je korpus PaLM 2 pred usposabljanjem sestavljen iz več virov, vključno s spletnimi dokumenti, knjige, koda, matematika in pogovorni podatki, kar daje izboljšave na vseh področjih, vsaj v primerjavi z PaLM.

Pogovorne sposobnosti PaLM 2 bi morale biti tudi na drugi ravni, če upoštevamo, da je bil model usposobljen v več kot 100 jezikih za boljše kontekstualno razumevanje in boljši prevod zmogljivosti.

Kar zadeva podatke o usposabljanju GPT-4, nam je OpenAI povedal, da je model usposobil z uporabo javno dostopnih podatkov in podatkov, ki jih je licenciral. Raziskovalna stran GPT-4 navaja: "Podatki so korpus podatkov v spletnem merilu, vključno s pravilnimi in nepravilnimi rešitvami matematičnih problemov, šibkih in močno obrazložitev, kontradiktorne in dosledne izjave ter predstavljajo veliko različnih ideologij in ideje."

Ko je GPT-4 zastavljeno vprašanje, lahko ustvari široko paleto odgovorov, od katerih niso vsi ustrezni za vašo poizvedbo. Da bi ga uskladil z namenom uporabnika, je OpenAI natančno prilagodil vedenje modela z uporabo učenja okrepitve s človeškimi povratnimi informacijami.

Čeprav morda ne poznamo natančnih podatkov o usposabljanju, na podlagi katerih je bil eden od teh modelov usposobljen, vemo, da je bil namen usposabljanja zelo drugačen. Morali bomo počakati in videti, kako se ta razlika v namenu usposabljanja razlikuje med obema modeloma pri uvajanju v realnem svetu.

Klepetalni roboti in storitve PaLM 2 in GPT-4

Prvi portal za dostop do obeh LLM-jev uporablja njuna klepetalna robota, Bard PaLM 2 in ChatGPT GPT-4. Kljub temu GPT-4 stoji za plačilnim zidom s ChatGPT Plus, brezplačni uporabniki pa imajo dostop samo do GPT-3.5. Bard pa je brezplačen za vse in na voljo v 180 državah.

To ne pomeni, da tudi do GPT-4 ne morete dostopati brezplačno. Microsoftov Bing AI Chat uporablja GPT-4 in je popolnoma brezplačen, odprt za vse ter na voljo tik ob iskalniku Bing, Googlovem največjem tekmecu na tem področju.

Google I/O 2023 je bil poln objav o tem, kako bosta PaLM 2 in generativna AI integracija izboljšala Google Workspace izkušnje s funkcijami umetne inteligence, ki prihajajo v Google Dokumente, Preglednice, Predstavitve, Gmail in skoraj vse storitve, ki jih ponuja iskalni velikan. Poleg tega je Google potrdil, da je PaLM 2 že integriran v več kot 25 Googlovih izdelkov, vključno z Androidom in YouTubom.

Za primerjavo, Microsoft je že prinesel funkcije umetne inteligence v zbirko programov Microsoft Office in številne svoje storitve. Trenutno lahko izkusite oba LLM-ja v njunih lastnih različicah podobnih ponudb dveh konkurenčnih podjetij, ki se spopadata v boju z umetno inteligenco.

Ker pa je GPT-4 izšel zgodaj in je bil previden, da bi se izognil številnim napakam, ki jih je Google naredil z izvirnim Bardom, je bil de facto LLM za razvijalce tretjih oseb, zagonska podjetja in skoraj vse druge, ki želijo v svojo storitev vključiti zmogljiv model AI, tako da daleč. Imamo seznam aplikacij GPT-4, če jih želite preveriti.

To ne pomeni, da razvijalci ne bodo prešli na PaLM 2 ali ga vsaj preizkusili, vendar mora Google na tem področju še vedno dohiteti OpenAI. In dejstvo, da je PaLM 2 odprtokoden, namesto da bi bil zaklenjen za plačljivim API-jem, pomeni, da ima potencial, da bo širše sprejet kot GPT-4.

Ali lahko PaLM 2 premaga GPT-4?

PaLM 2 je še vedno zelo nov, tako da odgovor na to, ali lahko prenese GPT-4, še ni znan. Kljub vsemu, kar Google obljublja, in agresivnemu načinu, ki ga je uporabil za širjenje tega, se zdi, da lahko PaLM 2 zagotovi GPT-4 za svoj denar.

Vendar je GPT-4 še vedno precej zmogljiv model in, kot že omenjeno, premaga PaLM 2 v kar nekaj primerjavah. Ne glede na to, več manjših modelov PaLM 2 daje neizpodbitno prednost. Gecko je sam po sebi tako lahek, da lahko deluje na mobilnih napravah, tudi brez povezave. To pomeni, da lahko PaLM 2 podpira povsem drugačen razred izdelkov in naprav, ki morda ne morejo uporabljati GPT-4.

Dirka z umetno inteligenco se razgreva

Z lansiranjem PaLM2 se je tekma za prevlado umetne inteligence razgrela, saj je to morda le prvi vreden nasprotnik, ki se bo spopadel z GPT-4. Z novejšim multimodalnim modelom umetne inteligence, imenovanim "Gemini", ki se prav tako usposablja, Google ne kaže nobenih znakov upočasnitve.