Veliki jezikovni modeli (LLM) so osnovna tehnologija, ki je spodbudila meteorski vzpon generativnih klepetalnih robotov z umetno inteligenco. Orodja, kot so ChatGPT, Google Bard in Bing Chat, se vsa zanašajo na LLM za ustvarjanje človeških odgovorov na vaše pozive in vprašanja.

Toda kaj so LLM in kako delujejo? Tukaj smo se lotili demistifikacije LLM.

Kaj je model velikega jezika?

Najpreprosteje povedano, LLM je ogromna baza besedilnih podatkov, na katere se lahko sklicujete, da ustvarite človeške podobne odgovore na vaše pozive. Besedilo prihaja iz različnih virov in lahko obsega milijarde besed.

Med pogostimi uporabljenimi viri besedilnih podatkov so:

  • Literatura: LLM pogosto vsebujejo ogromne količine sodobne in klasične literature. To lahko vključuje knjige, poezijo in igre.
  • Spletna vsebina: LLM bo najpogosteje vseboval veliko skladišče spletnih vsebin, vključno z blogi, spletno vsebino, vprašanji in odgovori na forumu ter drugim spletnim besedilom.
  • Novice in aktualne zadeve: Nekateri, vendar ne vsi, LLM imajo dostop do aktualnih tem novic. Nekateri LLM-ji, kot je GPT-3.5, so v tem smislu omejeni.
  • Družbeni mediji: Družbeni mediji predstavljajo ogromen vir naravnega jezika. Študenti LLM uporabljajo besedilo z večjih platform, kot so Facebook, Twitter in Instagram.

Seveda je ena stvar imeti ogromno podatkovno zbirko besedil, vendar morajo biti LLM-ji usposobljeni, da jo razumejo in ustvarijo odzive, podobne človeškim. Kako to počne, bomo obravnavali v nadaljevanju.

Kako delujejo LLM?

Kako LLM uporabljajo te repozitorije za ustvarjanje svojih odgovorov? Prvi korak je analiza podatkov s postopkom, imenovanim globoko učenje.

Globoko učenje se uporablja za prepoznavanje vzorcev in odtenkov človeškega jezika. To vključuje razumevanje slovnice in sintakse. Pomembno pa je, da vključuje tudi kontekst. Razumevanje konteksta je ključni del LLM.

Oglejmo si primer, kako lahko LLM uporabljajo kontekst.

Poziv na naslednji sliki omenja, da bi ponoči videli netopirja. Iz tega je ChatGPT razumel, da govorimo o živali in ne na primer o bejzbolskem kiju. Seveda, drugim chatbotom všeč Bing Chat ali Google Bard lahko na to odgovori povsem drugače.

Vendar pa ni nezmotljiv in kot kaže ta primer, boste včasih morali posredovati dodatne informacije, da boste dobili želeni odgovor.

V tem primeru smo namenoma vrgli malo krivulje, da pokažemo, kako zlahka se izgubi kontekst. Toda tudi ljudje lahko napačno razumejo kontekst vprašanj in potrebujejo le dodaten poziv, da popravijo odgovor.

Za ustvarjanje teh odgovorov LLM uporabljajo tehniko, imenovano generiranje naravnega jezika (NLG). To vključuje preučevanje vnosa in uporabo vzorcev, naučenih iz njegovega podatkovnega repozitorija, za ustvarjanje kontekstualno pravilnega in ustreznega odgovora.

Toda LLM gredo globlje od tega. Prav tako lahko prilagodijo odgovore, da ustrezajo čustvenemu tonu vnosa. V kombinaciji s kontekstualnim razumevanjem sta oba vidika glavni gonilni sili, ki LLM-ju omogočata ustvarjanje odzivov, podobnih človeku.

Če povzamemo, LLM-ji uporabljajo ogromno besedilno zbirko podatkov s kombinacijo globokega učenja in tehnik NLG za ustvarjanje človeških podobnih odzivov na vaše pozive. Vendar obstajajo omejitve glede tega, kaj se lahko s tem doseže.

Kakšne so omejitve LLM?

LLM predstavljajo impresiven tehnološki dosežek. Toda tehnologija še zdaleč ni popolna in še vedno obstaja veliko omejitev glede tega, kaj lahko dosežejo. Nekaj ​​bolj opaznih med njimi je navedenih spodaj:

  1. Kontekstualno razumevanje: To smo omenili kot nekaj, kar LLM vključijo v svoje odgovore. Vendar pa ne razumejo vedno prav in pogosto ne morejo razumeti konteksta, kar vodi do neustreznih ali preprosto napačnih odgovorov.
  2. Pristranskost: Kakršna koli pristranskost v podatkih o usposabljanju je lahko pogosto prisotna v odgovorih. To vključuje predsodke glede spola, rase, geografije in kulture.
  3. Zdrava pamet: Zdravo pamet je težko količinsko opredeliti, vendar se ljudje tega naučimo že v zgodnjem otroštvu, preprosto tako, da opazujemo svet okoli sebe. LLM nimajo te prirojene izkušnje, na katero bi se lahko oprli. Razumejo samo tisto, kar jim je bilo posredovano s podatki o njihovem usposabljanju, to pa jim ne daje pravega razumevanja sveta, v katerem obstajajo.
  4. LLM je dober le toliko, kolikor so dobri njegovi podatki o usposabljanju: Natančnosti ni mogoče nikoli zagotoviti. Stari računalniški pregovor "Smeti noter, smeti ven" to omejitev odlično povzema. LLM-ji so le toliko dobri, kolikor jim omogočata kakovost in količina njihovih podatkov o usposabljanju.

Obstaja tudi argument, da se lahko etična vprašanja štejejo za omejitev LLM, vendar ta tema ne spada v obseg tega članka.

3 primeri priljubljenih LLM

Nadaljnji napredek umetne inteligence je zdaj v veliki meri podprt z LLM. Torej, čeprav niso povsem nova tehnologija, so vsekakor dosegli točko kritičnega zagona in zdaj obstaja veliko modelov.

Tukaj je nekaj najpogosteje uporabljenih LLM.

1. GPT

Generativni vnaprej pripravljeni transformator (GPT) je morda najbolj znan LLM. GPT-3.5 poganja platformo ChatGPT, uporabljeno za primere v tem članku, medtem ko je na voljo najnovejša različica GPT-4 prek naročnine na ChatGPT Plus. Najnovejšo različico uporablja tudi Microsoft v svoji platformi Bing Chat.

2. LaMDA

To je začetni LLM, ki ga uporablja Google Bard, Googlov klepetalni robot z umetno inteligenco. Različica, s katero je bil Bard prvotno uveden, je bila opisana kot "lite" različica LLM. Zmogljivejša iteracija PaLM LLM je to nadomestila.

3. BERT

BERT pomeni Bi-directional Encoder Representation from Transformers. Dvosmerne značilnosti modela se razlikujejo BERT iz drugih LLM, kot je GPT.

Razvitih je bilo veliko več LLM-jev in odcepi so pogosti od večjih LLM-jev. Ko se bodo razvijali, bodo še naprej postajali kompleksnejši, točnejši in relevantnejši. Kakšna pa je prihodnost LLM?

Prihodnost LLM

Ti bodo nedvomno oblikovali naš način interakcije s tehnologijo v prihodnosti. Hitra uporaba modelov, kot sta ChatGPT in Bing Chat, dokazuje to dejstvo. Kratkoročno, Umetna inteligenca vas verjetno ne bo nadomestila pri delu. Še vedno pa obstaja negotovost glede tega, kako veliko vlogo bodo ti imeli v naših življenjih v prihodnosti.

Etični argumenti morda še vedno vplivajo na to, kako ta orodja vključimo v družbo. Vendar, če to postavimo na stran, nekateri pričakovani dogodki LLM vključujejo:

  1. Izboljšana učinkovitost: Z LLM-ji, ki vsebujejo na stotine milijonov parametrov, so neverjetno lačni virov. Z izboljšavami strojne opreme in algoritmov bodo verjetno postali bolj energetsko učinkoviti. To bo tudi pospešilo odzivni čas.
  2. Izboljšano zavedanje o kontekstu:LLM se samoizobražujejo; večjo uporabo in povratne informacije dobijo, boljši postanejo. Pomembno je, da je to brez dodatnega večjega inženiringa. Z napredkom tehnologije se bo to izboljšalo v jezikovnih zmožnostih in kontekstualnem zavedanju.
  3. Usposobljeni za posebne naloge: Orodja Jack of All Trade, ki so javni obraz LLM-jev, so nagnjena k napakam. Toda ko se razvijajo in jih uporabniki usposabljajo za posebne potrebe, lahko LLM igrajo veliko vlogo na področjih, kot so medicina, pravo, finance in izobraževanje.
  4. Večja integracija: LLM bi lahko postali osebni digitalni pomočniki. Pomislite na Siri na steroidih in razumeli boste. LLM bi lahko postali virtualni pomočniki, ki vam pomagajo pri vsem, od predlaganja obrokov do obravnavanja vaše korespondence.

To je le nekaj področij, kjer bodo LLM verjetno postali večji del našega načina življenja.

LLMs Preobrazba in izobraževanje

LLM odpirajo razburljiv svet možnosti. Hiter porast klepetalnih robotov, kot so ChatGPT, Bing Chat in Google Bard, je dokaz, da se viri prelivajo na to področje.

Zaradi takšnega širjenja virov lahko ta orodja postanejo zmogljivejša, vsestranskejša in natančnejša. Potencialne uporabe takšnih orodij so ogromne in trenutno le praskamo po površini neverjetnega novega vira.