Na voljo je veliko klepetalnih robotov, ki jih poganja AI, toda kateri uporablja najboljši LLM? Tukaj je opisano, kako lahko primerjate LLM, da ugotovite, kateri je najboljši.
Ker je na spletu na voljo več chatbotov, lahko postane izjemno težko izbrati tistega, ki ustreza vašim potrebam. Čeprav lahko ročno primerjate katera koli dva chatbota, bo to zahtevalo precej časa in truda.
Boljši in enostavnejši način je uporaba Chatbot Arene za primerjavo različnih LLM-jev, ki poganjajo priljubljene chatbote. Ponuja nekaj načinov za primerjavo različnih modelov, ki jih razlagamo spodaj.
Kaj je Chatbot Arena?
Chatbot Arena, ki jo je ustvaril LMSYS Org, je platforma za primerjavo različnih LLM. Za razvrščanje različnih modelov uporablja sistem Elo Rating.
Chatbot Arena uporabnikom ponuja nekaj načinov za primerjavo in ocenjevanje LLM. Na podlagi poslanih povratnih informacij Chatbot Arena razvrsti različne LLM-je na javno lestvico najboljših. Projekt sponzorira HuggingFace, odprtokodna alternativa ChatGPT.
Kako primerjati anonimne LLM s Chatbot Arena
Bojni način Chatbot Arena vam omogoča anonimno primerjavo LLM-jev. Na primer, lahko primerjaj ChatGPT (GPT 3.5) in Claude. To pomeni, da Chatbot Arena sama izbere poljubna dva jezikovna modela in vam omogoči primerjavo, ne da bi razkrila njuna imena.
Ko vnesete prvi poziv, Chatbot Arena pridobi odgovore obeh modelov in ju predstavi drugega ob drugem. Platforma vam omogoča ponovno ustvarjanje odgovorov (za oba LLM) in brisanje zgodovine za začetek drugega pogovora. Še naprej lahko postavljate vprašanja, dokler ne izberete jasnega zmagovalca.
Nato lahko izberete, ali je boljši model A ali B. Ob izbiri zmagovalca Chatbot Arena razkrije imena obeh botov. Ta način deluje odlično, saj na vašo odločitev ne vpliva vaše prejšnje dojemanje ali priljubljenost modelov. Chatbot Arena vam omogoča tudi prilagajanje parametrov, kot so temperatura, Top P in maksimalni izhodni žetoni.
Kako primerjati izbrane LLM s Chatbot Arena
Če želite primerjati katera koli dva določena LLM-ja, lahko preklopite na vzporedni način Chatbot Arena. Razen dejstva, da lahko sami izberete LLM, ta način deluje skoraj enako kot bojni način. Lahko prilagodite parametre, znova ustvarite odgovore, počistite zgodovino in na koncu izberete zmagovalca.
Vendar pa je število LLM, ki so na voljo v tem načinu, omejeno. Izberete lahko različne različice Llama 2, Vicuna in ChatGLM. Čeprav priljubljeni LLM-ji, kot so GPT-4, GPT-3.5, Claude 1, Claude 2 itd., trenutno niso na voljo v tem načinu, jih Chatbot Arena namerava dodati.
Primerjajte LLM z uporabo Chatbot Arena
Ne glede na to, ali želite najti primernega klepetalnega robota za svoje potrebe ali želite samo preizkusiti različne LLM-je, je Chatbot Arena odlična platforma.
Zagotavlja poenostavljen način vzporedne primerjave različnih jezikovnih modelov. In ker vzdržuje lestvico najboljših na podlagi povratnih informacij uporabnikov, si lahko neposredno ogledate uvrstitve različnih modelov, ne da bi sami izvajali teste.