Kako zagnati velik jezikovni model v Linuxu (in zakaj bi morali)

Veliki jezikovni modeli lahko spremenijo način življenja in dela ter lahko vodijo pogovore in odgovarjajo na vprašanja s spremenljivo stopnjo natančnosti.

Če ga želite uporabiti, običajno potrebujete račun pri ponudniku LLM in se prijavite prek spletnega mesta ali namenske aplikacije. Toda ali ste vedeli, da lahko v Linuxu izvajate svoj velik jezikovni model popolnoma brez povezave?

Zakaj izvajati velik jezikovni model v Linuxu?

Veliki jezikovni modeli (LLM) so danes povsod in lahko obdelajo naravni jezik ter dajo ustrezne odgovore, ki vas lahko zavedejo, da mislite, da je odgovoril človek. Microsoft uvaja novo različico Binga, ki poganja AI, medtem ko je Alphabet's Bard je zdaj sestavni del Googlovih iskanj.

Daleč od iskalnikov, lahko uporabite tako imenovane "klepetalne robote AI", da odgovarjate na vprašanja, pišete poezijo ali celo naredite domačo nalogo namesto vas.

Toda s spletnim dostopom do študija LLM ste odvisni od dobre volje tretje osebe, ki jo lahko kadar koli umaknete.

Za vas veljajo tudi omejitve uporabe. Prosite OpenAI, da na primer napiše erotično novelo s 6000 besedami, ki se odvija v nacistični Nemčiji, in prejeli boste odgovor v obliki: "Opravičujem se, vendar te zgodbe ne bom mogel ustvariti namesto vas."

Vse, kar vnesete v spletne LLM, se uporabi za njihovo nadaljnje usposabljanje, podatki, za katere morda želite, da ostanejo zaupni, pa bodo morda v prihodnosti izpljunjeni kot del odgovora na vprašanje nekoga drugega.

Prav tako ste podvrženi pomanjkanju storitev, saj je sistem preplavljen z uporabniki in vas silijo, da se naročite, tako da lahko dostopate do platforme, ko je povpraševanje veliko.

Dalai je brezplačna in odprtokodna izvedba Metine LLaMa LLM in Stanfordove Alpaca. Udobno deluje na skromni strojni opremi in ponuja priročen spletni vmesnik ter vrsto predlog za pozive, tako da lahko vprašate kar koli želite, brez strahu, da bo skrbnik zaprl vaš račun, da bo LLM zavrnil odgovor ali da bo vaša povezava propadla padec.

Ko namestite LLM lokalno v Linux, je vaš in ga lahko uporabljate, kakor želite.

Kako namestiti Dalai na Linux

Najlažji način za namestitev Dalaija v Linux je uporaba Dockerja in Docker Compose. Če jih še nimate, preberite naš vodnik o tem, kako namestite Docker in Docker Compose.

Ko tega ne naredite, ste pripravljeni začeti nameščati Dalai. Klonirajte repozitorij Dalai GitHub in uporabite ukaz cd, da se premaknete vanj:

git klon https://github.com/cocktailpeanut/dalai.git && cd dalai

Da Dalai začne delovati s spletnim vmesnikom, najprej sestavite datoteko Docker Compose:

docker-compose build

Docker Compose bo prenesel in namestil Python 3.11, Node Version Manager (NVM) in Node.js.

Na stopnji sedmo od devetih se zdi, da je gradnja zamrznjena, ko Docker Compose prenese Dalai. Ne skrbite: preverite uporabo pasovne širine, da se prepričate, da se nekaj dogaja, in simulirajte razvoj virtualnih organizmov v vašem terminalu medtem ko čakaš.

Sčasoma se boste vrnili v ukazni poziv.

Modeli Dalai in LLaMa/Alpaca za delovanje potrebujejo veliko pomnilnika. Čeprav ni nobene uradne specifikacije, je dober okvirni vodnik 4 GB za model 7B, 8 GB za model 13B, 16 GB za model 30B in 32 GB za model 65B.

Modeli Alpaca so razmeroma majhni, pri čemer model 13B doseže skromnih 7,6 GB, vendar so lahko teže LLaMA ogromne: enakovreden prenos 13B je na voljo pri 60,21 GB, model 65B pa bo zasedel epskega pol terabajta na vašem trdem disk.

Odločite se, kateri model je najbolj primeren za vaše vire, in uporabite naslednji ukaz, da ga namestite:

docker-compose zaženi dalai npx dalai alpaca namestitev 13B

ali:

docker-compose zaženi dalai npx dalai llama namestitev 13B

Obstaja možnost, da so modeli, preneseni prek Dalaija, poškodovani. Če je temu tako, jih zgrabite iz Objem obraza namesto tega.

Ko se vrnete v ukazni poziv, prikličite Docker Compose v ločenem načinu:

docker-compose up -d

Preverite, ali vsebnik pravilno deluje z:

docker-compose ps

Če vse deluje, kot bi moralo, odprite spletni brskalnik in vnesite lokalni gostitelj: 3000 v naslovni vrstici.

Zabavajte se s svojim velikim jezikovnim modelom v sistemu Linux

Ko se odpre spletni vmesnik, boste videli besedilno polje, v katerega lahko vpišete svoje pozive.

Pisanje učinkovitih pozivov je težko in Dalaijevi razvijalci so ustrežljivo zagotovili vrsto predlog, ki vam bodo pomagale pridobiti uporaben odgovor od Dalaija.

To so AI-Dialog, Klepetalni robot, Privzeto, Navodilo, Prepisati, Prevesti, in Tweet-sentiment.

Kot bi pričakovali, AI-Dialog in Klepetalni robot predloge so strukturirane tako, da vam omogočajo nekakšen pogovor z LLM. Glavna razlika med obema je v tem, da naj bi bil chatbot "visoko inteligenten", medtem ko je AI-Dialog "ustrežljiv, prijazen, ubogljiv, pošten in pozna svoje meje".

Seveda je to vaš "AI" in če vam je všeč, lahko spremenite poziv tako, da bo klepetalni robot neumen, značilnosti pogovornega okna AI pa "sadistične" in "nekoristne". Odvisno je od tebe.

Preizkusili smo Prevesti delujejo tako, da kopirajo uvodni odstavek novice BBC in prosijo Dalaija, naj ga prevede v španščino. Prevod je bil dober, in ko smo ga pregnali prek Google Prevajalnika, da bi ga spremenili nazaj v angleščino, smo ugotovili, da je precej berljiv ter odraža dejstva in občutke izvirnega dela.

Prav tako je Prepisati predloga prepričljivo zavrtela besedilo v začetek novega članka.

The Privzeto in Navodilo pozivi so strukturirani tako, da vam pomagajo pri postavljanju vprašanj ali neposrednih navodilih Dalaiju.

Dalaijeva natančnost odziva se bo zelo razlikovala glede na model, ki ga uporabljate. Model 30B bo veliko bolj uporaben kot model 7B. Toda tudi takrat vas spomnimo, da so LLM preprosto prefinjeni sistemi za ugibanje naslednje besede v stavku.

Niti modela 7B niti 13B Alpaca nista mogla zagotoviti natančnega 200-besednega povzetka kratke zgodbe "Mačka v Dež« Ernesta Hemingwaya, oba pa sta sestavila popolnoma prepričljivo zaplet in podrobnosti o tem, kaj je zgodba. vsebovana.

In medtem ko se bosta "ustrežen, prijazen, ubogljiv, pošten" AI-Dialog, ki "pozna lastne meje", in "zelo inteligenten" Chatbot uprla kontroverznih pozivov, lahko Dalaiju daste neposredno navodilo ali privzeto zahtevo, in napisal bo, kar želite - kakor želite to.

Velik jezikovni model na vašem računalniku Linux je vaš

Z izvajanjem velikega jezikovnega modela v lastnem sistemu Linux niste predmet nadzora ali umika storitve. Uporabljate ga lahko, kakor se vam zdi primerno, brez strahu pred posledicami zaradi kršitve pravilnika o vsebini podjetja.

Če je vaših računalniških virov malo, lahko celo izvajate LLM lokalno na skromnem Raspberry Pi.