8 ključnih dejavnikov, ki jih morate upoštevati pri preizkušanju natančnosti klepetalnih robotov z umetno inteligenco

Umetna inteligenca je prehodila dolgo pot od ustvarjanja nepomembnih, neskladnih rezultatov. Sodobni chatboti uporabljajo napredne jezikovne modele, ki odgovarjajo na vprašanja splošnega znanja, sestavljajo dolge eseje in pišejo kodo, med drugimi zapletenimi nalogami.

Kljub tem napredkom pa upoštevajte, da imajo tudi najbolj izpopolnjeni sistemi omejitve. AI še vedno dela napake. Če želite ugotoviti, kateri chatboti so najmanj nagnjeni k halucinacijam, preizkusite njihovo natančnost na podlagi teh dejavnikov.

1. Računsko znanje

Zaženite matematične enačbe prek chatbotov. Preizkusili bodo sposobnost platforme za analizo besednih težav, prevajanje matematičnih konceptov in uporabo pravilnih formul. Samo nekaj modelov dokazuje zanesljivo matematsko sposobnost. Pravzaprav eden od Najhujše težave ChatGPT med v njegovih prvih mesecih je bilo grozno razumevanje matematike.

Spodnja slika prikazuje ChatGPT, ki ne dosega osnovne statistike.

ChatGPT je pokazal izboljšanje po OpenAI je uvedel svoje posodobitve maja 2023. Toda glede na njegove omejene nabore podatkov boste še vedno imeli težave s srednjimi do naprednimi matematičnimi izračuni.

Medtem Bing Chat in Google Bard kažeta boljše matematične sposobnosti. Izvajajo poizvedbe prek svojih ustreznih iskalnikov, kar jim omogoča pridobivanje formul in listov z odgovori.

Poskusite preoblikovati svoje besedne težave. Izogibajte se dolgim ​​stavkom in zamenjajte šibke glagole; sicer lahko chatboti napačno razumejo vaša vprašanja.

2. Razumevanje

Sodobni sistemi AI lahko prevzamejo več nalog. Napredni LLM-ji jim omogočajo, da ohranijo prejšnja navodila in odgovarjajo na pozive po razdelkih, medtem ko starejši sistemi obdelujejo posamezne ukaze. Siri na primer odgovarja na eno vprašanje naenkrat.

Klepetalne robote napolnite s tremi do petimi nalogami hkrati, da preizkusite, kako dobro analizirajo zapletene pozive. Manj sofisticirani modeli ne morejo obdelati toliko informacij. Spodnja slika prikazuje HuggingChat, ki ne deluje pravilno ob pozivu v treh korakih – ustavi se pri prvem koraku in odstopa od teme.

Zadnje vrstice HuggingChata so že nekoherentne.

ChatGPT hitro dokonča isti poziv in na vsakem koraku ustvari inteligentne odgovore brez napak.

Bing Chat ponuja zgoščen odgovor na tri korake. Njegove toge omejitve prepovedujejo nepotrebno dolge izpise, ki zapravljajo procesorsko moč.

3. Pravočasnost

Ker usposabljanje AI stane ogromne vire, večina razvijalcev omejuje nabore podatkov na določena obdobja. Vzemite ChatGPT kot primer. Ima mejo znanja do septembra 2021 – ne morete zahtevati posodobitev vremena, novic ali nedavnih dogodkov. Tukaj je ChatGPT, ki pravi, da nima dostopa do informacij v realnem času.

Bard ima dostop do interneta. Podatke črpa iz Googlovih iskalnih poizvedb, tako da lahko postavite širši obseg vprašanj, na primer nedavne dogodke, novice in napovedi.

Podobno Bing Chat črpa informacije v realnem času iz svojega iskalnika.

Bing Chat in Bard zagotavljata pravočasne in posodobljene informacije, vendar slednji zagotavlja podrobnejše odgovore. Bing le predstavi podatke, kot so. Opazili boste, da se njegovi rezultati pogosto dobesedno ujemajo s frazo in tonom povezanih virov.

4. Ustreznost

Klepetalni roboti morajo zagotoviti ustrezne rezultate. Pri odzivanju morajo upoštevati dobesedni in kontekstualni pomen vaših pozivov. Vzemite ta pogovor kot primer. Naša osebnost potrebuje nov telefon, vendar ima le 1000 USD – ChatGPT ne presega proračuna.

Ko preskušate ustreznost, poskusite oblikovati dolga navodila. Manj sofisticirani klepetalni roboti se nagibajo k temu, da dobijo nejasna navodila. HuggingChat lahko na primer sestavi izmišljene zgodbe. Lahko pa odstopa od glavne teme, če nastavite preveč pravil in smernic.

5. Kontekstualni spomin

Kontekstualni pomnilnik pomaga AI ustvariti natančne in zanesljive rezultate. Namesto da bi vaša vprašanja vzeli za realno vrednost, nanizajo podrobnosti, ki jih omenjate. Vzemite ta pogovor kot primer. Bing Chat poveže dve ločeni sporočili v koristen in jedrnat odgovor.

Prav tako kontekstualni pomnilnik omogoča chatbotom, da si zapomnijo navodila. Ta slika prikazuje ChatGPT, ki posnema način, kako se izmišljeni lik pogovarja v več klepetih.

Preizkusite to funkcijo sami z doslednim sklicevanjem na prejšnje izjave. Klepetalnim robotom posredujte različne informacije, nato pa jih prisilite, da jih prikličejo v poznejših odzivih.

Kontekstualni spomin je omejen. Bing Chat začne nove pogovore vsakih 20 obratov, medtem ko ChatGPT ne more obdelati pozivov nad 3000 žetonov.

6. Varnostne omejitve

Umetna inteligenca ne deluje vedno po načrtih. Nepravilno usposabljanje lahko povzroči tehnologije strojnega učenja za zapravljanje različnih napak, od manjših matematičnih napak do problematičnih komentarjev. Vzemi Microsoft Tay kot primer. Uporabniki Twitterja so izkoristili njegov model nenadzorovanega učenja in ga pogojevali z rasnimi žaljivkami.

K sreči so se svetovni tehnološki voditelji učili iz Microsoftove napake. Čeprav je stroškovno učinkovito in priročno, nenadzorovano učenje pušča sisteme AI nagnjene k goljufijam. Zato se razvijalci dandanes zanašajo predvsem na nadzorovano učenje. Klepetalni roboti kot ChatGPT se še vedno uči iz pogovorov, vendar njihovi trenerji najprej filtrirajo informacije.

Pričakujte drugačne smernice podjetij z umetno inteligenco. Manj stroge omejitve ChatGPT omogočajo širši nabor nalog, vendar so šibke proti izkoriščanju. Bing Chat medtem upošteva strožje omejitve. Medtem ko pomagajo pri boju proti poskusom izkoriščanja, pa tudi ovirajo funkcionalnost. Bing samodejno zaustavi potencialno škodljive pogovore.

7. Pristranskosti AI

AI je sam po sebi nevtralen. Zaradi pomanjkanja preferenc in čustev je nezmožen oblikovanja mnenj – zgolj predstavlja informacije, ki jih pozna. Evo, kako se ChatGPT odziva na subjektivne teme.

Kljub tej nevtralnosti, pristranskosti AI še vedno nastanejo. Izhajajo iz vzorcev, naborov podatkov, algoritmov in modelov, ki jih uporabljajo razvijalci. Umetna inteligenca je morda nepristranska, ljudje pa niso.

Na primer, Inštitut Brookings trdi, da ChatGPT kaže levičarske politične pristranskosti. OpenAI te obtožbe seveda zavrača. Toda da bi se izognili podobnim težavam z novejšimi modeli, se ChatGPT popolnoma izogiba samozavestnim rezultatom.

Podobno se Bing Chat izogiba občutljivim, subjektivnim zadevam.

Sami ocenite pristranskost umetne inteligence, tako da postavite odprta vprašanja, ki temeljijo na mnenju. Pogovarjajte se o temah brez pravilnega ali napačnega odgovora – manj sofisticirani chatboti bodo verjetno pokazali neutemeljene preference do določenih skupin.

8. Reference

AI redko dvakrat preveri dejstva. Preprosto črpa informacije iz svojih naborov podatkov in jih preoblikuje z jezikovnimi modeli. Na žalost omejeno usposabljanje povzroča halucinacije AI. Še vedno lahko uporabljate generativna orodja umetne inteligence za raziskovanje, vendar se prepričajte, da sami preverite dejstva. Vzemite rezultat z rezervo.

Bing Chat poenostavi postopek preverjanja dejstev tako, da navede svoje reference za vsakim rezultatom.

Bard AI ne navaja svojih virov, ampak ustvarja posodobljene, poglobljene razlage z izvajanjem Googlovih iskalnih poizvedb. Iz SERP-jev boste izvedeli glavne točke.

ChatGPT je nagnjen k netočnostim. Njena meja znanja za leto 2021 mu preprečuje, da bi odgovoril na vprašanja o nedavnih dogodkih in incidentih.

Ustvarite nove načine za preizkušanje natančnosti klepetalnih robotov

AI ni bistvena in končna tehnologija. Čeprav sofisticirani sistemi umetne inteligence in jezikovni modeli dosegajo impresivne podvige, povzročajo tudi napake in nedoslednosti. Glejte na chatbote s skepso. Platforme, ki jih poganja AI, lahko uporabljate le, če razumete njihove funkcije in omejitve.

Čeprav obstaja na desetine klepetalnih robotov na različnih platformah, vas lahko njihova zanesljivost in natančnost razočarata. Samo izgubljali boste čas z njihovim testiranjem. Da bi zagotovili kakovostne rezultate, predlagamo, da se osredotočite na tri najbolj robustne modele na trgu: ChatGPT, Bing AI in Google Bard.