Medtem ko OpenAI vodi na poti generativnega razvoja umetne inteligence, so mnogi obtožili Google, da zaostaja. Vendar pa je Google na svoji konferenci Google I/O leta 2023 lansiral nov velik jezikovni model, PaLM 2.
Googlov novi LLM, ki naj bi bil na voljo v štirih različnih velikostih za vrsto aplikacij, očitno že poganja več Googlovih storitev, še več pa jih bo prišlo.
Kaj je PaLM 2?
Na Google I/O 2023, ki je potekal 10. maja, je izvršna direktorica Googla Sunda Pichai razkrila Googlovo najnovejšo igračo: PaLM 2.
Okrajšava za Pathways Language Model 2 je Googlov nadgrajeni LLM druga ponovitev PaLM, prva različica pa je bila predstavljena aprila 2022. Se ne spomnite PaLM? No, takrat je bila velika novica in je bila deležna kupov zanimanja zaradi svoje sposobnosti, da se malo pogovarja, pripoveduje osnovne šale in tako naprej. Hitro naprej šest mesecev in OpenAI-jev GPT-3.5 je vse odpihnil iz vode, vključno s PaLM.
Od takrat, OpenAI je predstavil GPT-4, obsežna nadgradnja GPT-3.5. Medtem ko se novejši model integrira v številna orodja, predvsem v Microsoftov Bing AI Chat, Google cilja na pri OpenAI in GPT-4 s PaLM 2 in bo upal, da bo njegov nadgrajeni LLM lahko zapolnil to, kar se je zdelo precejšnja vrzel – predstavitev Google Bard je bila komaj bučna uspeh.
Pichai je napovedal, da bo PaLM 2 na voljo v štirih različnih velikostih modelov: Gecko, Otter, Bison in Unicorn.
Gecko je tako lahek, da lahko deluje na mobilnih napravah in je dovolj hiter za odlične interaktivne aplikacije v napravi, tudi ko ni povezave. Ta vsestranskost pomeni, da je PaLM 2 mogoče natančno nastaviti, da podpira celotne razrede izdelkov na več načinov, da pomaga več ljudem.
Z Geckom, ki lahko obdela približno 20 žetonov na sekundo – žetoni so vrednosti, dodeljene resničnim besedam za uporabo z generativnimi modeli umetne inteligence – je videti, da bo spremenil igro za orodja umetne inteligence, ki jih je mogoče namestiti v mobilne naprave.
Podatki o usposabljanju PaLM 2
Google s podatki o usposabljanju PaLM 2 ni bil ravno odprt, kar je razumljivo, saj je bil pravkar objavljen. Ampak Googlove Poročilo PaLM 2 [PDF] je rekel, da želi, da ima PaLM 2 globlje razumevanje matematike, logike in znanosti ter da se velik del njegovega korpusa za usposabljanje osredotoča na te teme.
Kljub temu je treba omeniti, da PaLM ni bil zamaknjen. Kdaj Google razkril PaLM, je potrdil, da je bil usposobljen za 540 milijard parametrov, kar je bila takrat ogromna številka.
OpenAI-jev GPT-4 naj bi uporabljal več kot bilijon parametrov, nekatere špekulacije pa trdijo, da ta številka znaša kar 1,7 bilijona. Ker Google želi, da PaLM 2 neposredno konkurira LLM-jem OpenAI, lahko stavimo, da bo vseboval vsaj primerljivo številko, če ne več.
Druga pomembna spodbuda za PaLM 2 so podatki o jezikovnem usposabljanju. Google je PaLM 2 usposobil za več kot 100 jezikov, da bi mu zagotovil večjo globino in kontekstualno razumevanje ter povečal njegove prevajalske zmogljivosti.
Vendar ne gre samo za govorjene jezike. V povezavi z Googlovo zahtevo po PaLM 2 za zagotavljanje boljšega znanstvenega in matematičnega razmišljanja je LLM bil tudi usposobljen za več kot 20 programskih jezikov, zaradi česar je izjemna prednost za programerje.
PaLM 2 že poganja Googlove storitve, vendar še vedno zahteva natančno nastavitev
Ne bo dolgo, ko bomo lahko dobili PaLM 2 in videli, kaj zmore. Z malo sreče bo zagon katere koli aplikacije in storitve PaLM 2 boljši od Barda.
Morda pa ste (tehnično!) že uporabljali PaLM 2. Google je potrdil, da je PaLM 2 že uveden in se uporablja v 25 njegovih izdelkih, vključno z Androidom, YouTubom, Gmailom, Google Dokumenti, Google Predstavitvami, Google Preglednicami in drugimi.
Toda poročilo PaLM 2 tudi razkriva, da je treba še delati, zlasti v smeri toksičnih odzivov v različnih jezikih.
Na primer, ob posebnih pozivih za strupenost PaLM 2 ustvari strupene odzive več kot 30 odstotkov časa. Poleg tega je PaLM 2 v določenih jezikih – angleščini, nemščini in portugalščini – zagotovil bolj strupene odzive. kot 17 odstotkov časa, s pozivi, vključno z rasno identiteto in veroizpovedmi, ki spodbujajo to številko višji.
Ne glede na to, koliko raziskovalci poskušajo očistiti podatke o usposabljanju LLM, je neizogibno, da se bodo nekateri izmuznili. Naslednja faza je nadaljevanje usposabljanja PaLM 2 za zmanjšanje teh toksičnih odzivov.
To je obdobje razcveta za velike jezikovne modele
OpenAI ni bil prvi, ki je lansiral velik jezikovni model, vendar so njegovi modeli GPT-3, GPT-3.5 in GPT-4 nedvomno osvetlili modri papir na dotik generativnega umetne inteligence.
Googlov PaLM 2 ima nekaj težav, ki jih je treba odpraviti, a to, da se že uporablja v več Googlovih storitvah, kaže na zaupanje, ki ga ima podjetje v svoj najnovejši LLM.
