ChatGPT je OpenAI-jev klepetalni robot z umetno inteligenco, ki spreminja igre in navdušuje internet. V nasprotju z vsemi uveljavljenimi tehnološkimi trendi ni trajalo dolgo, da je ChatGPT našel pot na skoraj vsa področja našega digitalnega življenja.
Zelo malo tehnoloških inovacij je v tako kratkem času vzbudilo toliko zanimanja, kot ga je dosegel ChatGPT. Zdi se, da nikoli ne zmanjka kul trikov – vsak dan izvemo o vznemirljivih novih stvareh, za katere nismo vedeli, da jih lahko izvede.
Toda kako lahko ChatGPT počne stvari, ki jih lahko? Kako deluje ChatGPT?
Kako je bil zgrajen ChatGPT?
Da bi razumeli, kako deluje ChatGPT, je vredno pogledati njegov izvor in možgane za vrhunskim klepetalnim robotom z umetno inteligenco.
Prvič, ne glede na to, kako čarobno se zdi ChatGPT, ga je zgradil človeški genij, tako kot vsako vredno programsko tehnologijo. OpenAI je ustvaril ChatGPT, revolucionarno podjetje za raziskave in razvoj AI, ki stoji za drugimi zmogljivimi orodji AI, kot so DALL-E, InstructGPT in Codex. Prej smo že odgovorili
nekaj vprašanj, ki jih morda imate o ChatGPT, torej poglejte.Medtem ko je ChatGPT postal viralen proti koncu leta 2022, je večina osnovne tehnologije, ki poganja ChatGPT, prisotna že veliko dlje, čeprav z veliko manj publicitete. Model ChatGPT je zgrajen na osnovi GPT-3 (ali natančneje GPT-3.5). GPT pomeni "Generative Pre-trained Transformer 3."
GPT-3 je tretja ponovitev linije GPT modelov AI, pred njo pa sta bili GPT-2 in GPT. Prejšnje ponovitve modelov GPT so enako uporabne, vendar sta GPT-3 in natančno nastavljena ponovitev GPT-3.5 veliko močnejši. Večino tega, kar zmore ChatGPT je posledica osnovne tehnologije GPT-3.
Kaj je GPT?
Tako smo ugotovili, da je ChatGPT zgrajen na tretji generaciji modela GPT. Toda kaj sploh je GPT?
Začnimo z razpakiranjem akronimov na lahko prebavljiv in netehničen način.
- "Generative" v GPT predstavlja njegovo sposobnost generiranja besedila v naravnem človeškem jeziku.
- "Pre-trained" predstavlja dejstvo, da je bil model že usposobljen na nekem končnem nizu podatkov. Podobno kot bi prebrali knjigo ali morda več knjig, preden bi vas prosili, da odgovorite na vprašanja o tem.
- "Transformer" predstavlja temeljno arhitekturo strojnega učenja, ki poganja GPT.
Zdaj, če vse skupaj sestavimo, je Generative Pre-trained Transformer (GPT) jezikovni model, ki je bil usposobljeni za uporabo podatkov iz interneta z namenom ustvarjanja besedila v človeškem jeziku, ko je predstavljeno z a poziv. Večkrat smo rekli, da je bil GPT usposobljen, toda kako je bil usposobljen?
Kako je bil ChatGPT usposobljen?
Sam ChatGPT ni bil usposobljen od začetka. Namesto tega je natančno prilagojena različica GPT-3.5, ki je sama natančno prilagojena različica GPT-3. Model GPT-3 je bil usposobljen z ogromno količino podatkov, zbranih iz interneta. Pomislite na Wikipedijo, Twitter in Reddit – hranili so podatke in človeško besedilo, postrgano z vseh koncev interneta.
Če se sprašujete, kako deluje usposabljanje GPT, je bil GPT-3 usposobljen s kombinacijo nadzorovanega učenja in učenja s krepitvijo prek človeških povratnih informacij (RLHF). Nadzorovano učenje je stopnja, kjer se model uri na velikem naboru podatkov besedila, postrganega iz interneta. Stopnja učenja z okrepitvijo je tista, kjer se usposobi za ustvarjanje boljših odzivov, ki so v skladu s tem, kar bi ljudje sprejeli kot človeško in pravilno.
Usposabljanje z nadzorovanim učenjem
Da bi bolje razumeli, kako se nadzorovano in okrepljeno učenje uporablja za ChatGPT, si predstavljajte scenarij, kjer učitelj uči študenta pisati esej. Nadzorovano učenje bi bilo enako, kot da bi učitelj učencu dal v branje na stotine esejev. Cilj tukaj je, da se učenec nauči, kako naj se napiše esej, tako da se navadi na ton, besedišče in strukturo na stotine esejev.
Vendar bodo med temi stotinami esejev dobri in slabi. Ker se je učenec učil tako na dobrih kot na slabih kopijah, je včasih lahko učenec napisal slab esej, ker je bil tudi študent na neki točki hranjen s slabimi eseji. To pomeni, da lahko učenec, ko ga prosimo, naj napiše esej, napiše izvod, ki za učitelja ni sprejemljiv ali dovolj dober. Tu pride na vrsto učenje s krepitvijo.
Usposabljanje s krepitvenim učenjem
Ko učitelj z branjem več sto esejev ugotovi, da učenec razume splošna pravila pisanja esejev, mu učitelj pogosto daje domače naloge za pisanje esejev. Nato bi učitelj podal povratne informacije o domači nalogi pisanja eseja in učencem povedal, kaj so naredili dobro in kaj bi lahko izboljšali. Učenec uporablja povratne informacije za vodenje nadaljnje domače naloge pri pisanju eseja, kar mu pomaga, da se sčasoma izboljša.
To je podobno stopnji učenja krepitve pri usposabljanju modela GPT. Po tem, ko se mu napolni z ogromno količino besedila, postrganega iz interneta, lahko model odgovarja na vprašanja. Vendar pa njegova natančnost ne bo dovolj dobra. Človeški trenerji modelu postavijo vprašanje in zagotovijo povratne informacije o tem, kateri odgovor je primernejši za posamezno vprašanje.
Model uporablja povratne informacije, da izboljša svojo sposobnost natančnejšega odgovarjanja na vprašanja in bolj podobnega temu, kako bi se odzval človek. Tako lahko ChatGPT ustvari odzive, ki zvenijo človeško in so skladni, privlačni in na splošno točni.
Kako lahko ChatGPT odgovarja na vprašanja?
Torej obiščete spletno mesto ChatGPT in se prijavite. ChatGPT pozovete: "napišite rap pesem v slogu Snoop Dogga." Odziva se z besedilom na rap pesem, ki je presenetljivo podobna temu, kar bi napisal Snoop Dogg. Kako je to mogoče?
No, vsa "čarovnija" za ChatGPT je lepo povezana z njegovim usposabljanjem.
Potem ko boste preučili vsak centimeter svojega učbenika Physics 101, obstaja velika verjetnost, da boste lahko odgovorili na vsako vprašanje, ki vam ga zastavijo. Zakaj? Ker ste jo prebrali in ste se je naučili. Enako je s ChatGPT – uči se. In kot je pokazala človeška civilizacija, je z dovolj usposabljanja mogoče rešiti skoraj vsak problem.
Medtem ko lahko verjetno upravljate na stotine knjig v svojem življenju, je ChatGPT ali GPT že zasedel ogromen kos interneta. To je ogromno informacij. Tam nekje so verjetno besedila številnih pesmi Snoop Dogga. Zato ga je ChatGPT seveda moral porabiti (ne pozabite, da je vnaprej usposobljen) in prepoznati vzorce v besedilih Snoop Dogga. Nato bi uporabil "znanje" o tem vzorcu, da bi "napovedal" besedilo pesmi, podobno temu, kar bi napisal Snoop Dogg.
Tu je poudarek na "predvideti". ChatGPT ne odgovarja na vprašanja tako kot ljudje. Na primer, ko se soočite z vprašanjem, kot je "Kaj je glavno mesto Portugalske?" lahko bi rekli Lizbona in to rekli za "dejstvo". Vendar ChatGPT ne odgovarja na vprašanja s 100-odstotno gotovostjo. Namesto tega poskuša predvideti pravi odgovor glede na podatke, ki jih je porabil v svojem naboru podatkov o usposabljanju.
Pristop ChatGPT k odgovarjanju na vprašanja
Da bi bolje razumeli koncept napovedovanja odzivov, si predstavljajte ChatGPT kot detektiva, ki ima nalogo rešiti umor. Detektivu so predstavljeni dokazi, vendar ne vedo, kdo je zagrešil umor in kako se je zgodil. Z dovolj dokazi pa lahko detektiv z veliko natančnostjo "napove", kdo je odgovoren za umor in kako je bil zločin storjen.
Po porabi podatkov iz interneta ChatGPT zavrže izvirne podatke in shrani nevronske povezave ali vzorce, ki se jih je naučil iz podatkov. Te povezave ali vzorci so kot dokazi, ki jih ChatGPT analizira, ko se poskuša odzvati na kateri koli poziv.
Torej, v teoriji je ChatGPT kot zelo dober detektiv. Ne ve zagotovo, kakšna bi morala biti dejstva odgovora, vendar poskuša, z impresivno natančnost, predvideti logično zaporedje besedila v človeškem jeziku, ki bi najbolj ustrezno odgovorilo na vprašanje. Tako dobite odgovore na svoja vprašanja.
In tudi zato so nekateri od teh odgovorov videti zelo prepričljivi, vendar so zelo napačni.
ChatGPT: odgovarja kot človek, razmišlja kot stroj
Osnovne tehnične podrobnosti ChatGPT so zapletene. Vendar z osnovnega vidika deluje tako, da se ob pozivu uči in reproducira, kar se je naučil, tako kot mi kot ljudje.
Ko se ChatGPT razvija z raziskavami, se lahko način njegovega delovanja spremeni. Vendar pa bodo njegova temeljna načela delovanja še nekaj časa enaka, vsaj dokler ne pride nova prelomna tehnologija.