Bi morali uporabiti lokalni LLM? 9 prednosti in slabosti

Od prihoda ChatGPT novembra 2022 je izraz veliki jezikovni model (LLM) hitro prešel iz nišnega izraza za piflarje AI v modno besedo na ustih vseh. Največja privlačnost lokalnega LLM je zmožnost posnemanja zmožnosti klepetalnega robota, kot je ChatGPT, v vašem računalniku brez prtljage različice, ki gostuje v oblaku.

Obstajajo argumenti za in proti nastavitvi lokalnega LLM na vašem računalniku. Prekinili bomo hype in vam predstavili dejstva. Ali bi morali uporabiti lokalni LLM?

Prednosti uporabe lokalnih LLM

Zakaj so ljudje tako navdušeni nad ustanovitvijo lastnega veliki jezikovni modeli na njihovih računalnikih? Katere so praktične koristi poleg navdušenja in hvalisanja?

1. Manj cenzure

Ko sta se ChatGPT in Bing AI prvič pojavila na spletu, so bile stvari, ki sta jih oba klepetalnika pripravljena povedati in narediti, tako fascinantne kot zaskrbljujoče. Bing AI je deloval toplo in ljubko, kot da bi imel čustva. ChatGPT je bil pripravljen uporabiti kletvice, če ste lepo vprašali. Takrat bi vam oba chatbota celo pomagala narediti bombo, če bi uporabili prave pozive. To se morda sliši kot vse odtenki narobe, toda zmožnost narediti kar koli je simbolizirala neomejene zmožnosti jezikovnih modelov, ki so jih poganjali.

Danes oboje Klepetalni roboti so bili tako strogo cenzurirani da ti ne bodo pomagali niti napisati izmišljenega kriminalnega romana z nasilnimi prizori. Nekateri klepetalni roboti z umetno inteligenco sploh ne govorijo o veri ali politiki. Čeprav LLM-ji, ki jih lahko nastavite lokalno, niso popolnoma brez cenzure, bodo mnogi od njih z veseljem počeli stvari, ki spodbujajo razmišljanje, česar javni klepetalni roboti ne bodo počeli. Torej, če ne želite, da vam robot predava o morali, ko razpravljate o temah osebnega interesa, je lahko vodenje lokalnega LLM prava pot.

2. Boljša zasebnost podatkov

Eden glavnih razlogov, zakaj se ljudje odločijo za lokalni LLM, je zagotoviti, da vse, kar se zgodi v njihovem računalniku, ostane v njihovem računalniku. Ko uporabljate lokalni LLM, je tako, kot bi se zasebno pogovarjali v dnevni sobi – nihče zunaj vas ne more poslušati. Ne glede na to, ali eksperimentirate s podatki o svoji kreditni kartici ali imate občutljive osebne pogovore z LLM, so vsi pridobljeni podatki shranjeni samo v vašem računalniku. Druga možnost je uporaba javno dostopnih LLM-jev, kot je GPT-4, ki odgovornim podjetjem omogoča dostop do vaših podatkov o klepetu.

3. Uporaba brez povezave

Glede na to, da je internet zelo dostopen in dostopen, se lahko dostop brez povezave zdi banalen razlog za uporabo lokalnega LLM. Dostop brez povezave bi lahko postal še posebej kritičen na oddaljenih ali izoliranih lokacijah, kjer je internetna storitev nezanesljiva ali ni na voljo. V takih scenarijih postane lokalni LLM, ki deluje neodvisno od internetne povezave, bistveno orodje. Omogoča vam, da brez prekinitev nadaljujete s tem, kar želite.

4. Prihranki stroškov

Povprečna cena dostopa do zmogljivega LLM, kot je GPT-4 ali Claude 2, je 20 USD na mesec. Čeprav se to morda ne zdi zaskrbljujoča cena, imate za ta znesek še vedno več nadležnih omejitev. Na primer, z GPT-4, do katerega dostopate prek ChatGPT, ste obtičali s 50 sporočili na triurno omejitev. Te meje lahko presežete le tako prehod na paket ChatGPT Enterprise, kar bi lahko stalo na tisoče dolarjev. Pri lokalnem LLM, ko nastavite programsko opremo, ni več mesečne naročnine v višini 20 USD ali ponavljajočih se stroškov. To je tako, kot če bi kupili avto, namesto da bi se zanašali na storitve skupne vožnje. Na začetku je drago, sčasoma pa prihranite denar.

5. Boljša prilagoditev

Javno dostopni klepetalni roboti z umetno inteligenco imajo omejeno prilagajanje zaradi pomislekov glede varnosti in cenzure. Z lokalno gostujočim pomočnikom AI lahko popolnoma prilagodite model svojim posebnim potrebam. Pomočnika lahko usposobite za lastniške podatke, prilagojene vašim primerom uporabe, s čimer izboljšate ustreznost in natančnost. Na primer, odvetnik bi lahko optimiziral svoj lokalni AI za ustvarjanje natančnejših pravnih vpogledov. Ključna prednost je nadzor nad prilagajanjem vašim edinstvenim zahtevam.

Slabosti uporabe lokalnih LLM

Preden se odločite za zamenjavo, morate upoštevati nekaj slabosti uporabe lokalnega LLM.

1. Poraba virov

Če želite zagnati zmogljiv lokalni LLM, boste potrebovali vrhunsko strojno opremo. Pomislite na zmogljive procesorje, veliko RAM-a in verjetno namenski grafični procesor. Ne pričakujte, da bo poceni prenosnik v vrednosti 400 USD zagotovil dobro izkušnjo. Odzivi bodo boleče počasni, zlasti pri večjih modelih AI. To je kot igranje najsodobnejših video iger – za optimalno delovanje potrebujete močne specifikacije. Morda boste celo potrebovali posebne rešitve za hlajenje. Bistvo je, da lokalni LLM-ji zahtevajo naložbo v vrhunsko strojno opremo, da bi dosegli hitrost in odzivnost, ki ju uživate na spletnih LLM-ih (ali to celo izboljšali). Računalniške zahteve na vaši strani bodo precejšnje v primerjavi z uporabo spletnih storitev.

2. Počasnejši odzivi in ​​slabša zmogljivost

Pogosta omejitev lokalnih LLM je počasnejši odzivni čas. Natančna hitrost je odvisna od določenega modela AI in uporabljene strojne opreme, vendar večina nastavitev zaostaja za spletnimi storitvami. Po takojšnjih odzivih ChatGPT, Bard in drugih se lahko lokalni LLM-ji počutijo grozljivo počasni. Besede počasi curljajo ven, namesto da se hitro vračajo. To ni povsod res, saj nekatere lokalne uvedbe dosegajo dobro zmogljivost. Toda povprečni uporabniki se zaradi hitre spletne izkušnje soočajo s strmim padcem. Torej, pripravite se na "kulturni šok" od hitrih spletnih sistemov do počasnejših lokalnih ekvivalentov.

Skratka, razen če imate absolutno vrhunsko nastavitev (govorimo o AMD Ryzen 5800X3D z Nvidia RTX 4090 in dovolj RAM-a, da potopite ladjo), se splošna zmogljivost vašega lokalnega LLM ne bo primerjala s spletnimi generativnimi klepetalnimi roboti z umetno inteligenco, ki ste jih navajen.

3. Kompleksna nastavitev

Uvedba lokalnega LLM-ja je bolj zapletena kot le prijava na spletno storitev AI. Z internetno povezavo je lahko vaš račun ChatGPT, Bard ali Bing AI pripravljen za začetek pošiljanja pozivov v nekaj minutah. Nastavitev celotnega lokalnega sklada LLM zahteva prenos ogrodij, konfiguracijo infrastrukture in integracijo različnih komponent. Pri večjih modelih lahko ta zapleten postopek traja ure, tudi z orodji, katerih namen je poenostaviti namestitev. Nekateri najsodobnejši sistemi umetne inteligence še vedno zahtevajo globoko tehnično znanje, da lahko delujejo lokalno. Torej, za razliko od spletnih modelov umetne inteligence plug-and-play, upravljanje lastne umetne inteligence vključuje veliko tehnično in časovno naložbo.

4. Omejeno znanje

Veliko lokalnih LLM-jev je obtičalo v preteklosti. Imajo omejeno znanje o trenutnih dogodkih. Se spomnite, ko ChatGPT ni mogel dostopati do interneta? Kdaj bi le lahko ponudil odgovore na vprašanja o dogodkih, ki so se zgodili pred septembrom 2021? da? No, podobno kot zgodnji modeli ChatGPT, se lokalno gostujoči jezikovni modeli pogosto usposabljajo samo na podatkih pred določenim presečnim datumom. Posledično se premalo zavedajo nedavnih dogodkov po tem trenutku.