Kaj je učenje prenosa AI in kako deluje?

Če vas zanima usposabljanje lastnega modela umetne inteligence za obdelavo naravnega jezika (NLP) ali računalniški vid, se morate seznaniti s prenosnim učenjem in uporabo vnaprej usposobljenih modelov.

Brez prenosnega učenja bo usposabljanje učinkovitega in zanesljivega modela pogosto napor, ki bo prehitro porabil vire in bo zahteval veliko denarja, časa in strokovnega znanja, pri čemer naj bi razvijalec ChatGPT OpenAI porabil milijone za usposabljanje GPT-3, GPT-3.5 in GPT-4. Z močjo prenosnega učenja lahko z malo sredstvi v kratkem času usposobite svoj lasten model, tako močan kot najnovejši model GPT.

Kaj je AI Transfer Learning?

Transferno učenje je zamisel o uporabi predhodno usposobljenega modela, kot je BERT ali eden od različni modeli GPT in ga usposobiti na naboru podatkov po meri za delo na nalogah, za katere ni bilo nujno usposobljeno.

Na primer, lahko vzamete vnaprej usposobljen model za razvrščanje različnih vrst mačk in ga usposobite za razvrščanje psov. S prenosnim učenjem bi moralo usposabljanje vašega modela razvrščanja psov vzeti bistveno manj časa in virov, da postane tako zanesljiv kot originalni model razvrščanja mačk.

To deluje, saj imajo mačke in psi veliko skupnih lastnosti, ki jih predhodno usposobljeni model že lahko identificira. Ker lahko model za razvrščanje mačk prepozna različne lastnosti mačke, kot so štiri noge, krzneni plašči in vidna gobca, lahko model za razvrščanje psov preskoči celotno usposabljanje za prepoznavanje teh lastnosti in njihovo podedovanje od izvirnika model. Po podedovanju vseh teh nevronskih mrež odrežete zadnje plasti izurjenega modela, ki se uporablja za prepoznavanje bolj specifičnih lastnosti mačke, in jih nadomestite z naborom podatkov, značilnim za pse.

Katere modele AI lahko uporabite za transferno učenje?

Za uporabo prenosnega učenja boste potrebovali predhodno usposobljen model. Vnaprej usposobljen model je splošno znan kot model AI, usposobljen za namene pridobivanja splošnega znanja o določeni temi ali ideji. Te vrste vnaprej usposobljenih modelov so namenoma izdelane, da jih ljudje natančno prilagodijo in izdelajo modele, ki so bolj specifični za uporabo. Nekateri najbolj priljubljeni vnaprej usposobljeni modeli so za NLP, npr BERT in GPT, in računalniški vid, kot sta VGG19 in Inceptionv3.

Čeprav so priljubljeni, ti zlahka nastavljivi modeli niso edini, ki jih lahko uporabite za prenos učenja. Uporabite lahko tudi modele, usposobljene za naloge, ki so bolj specifične kot splošno prepoznavanje predmeta ali jezika. Dokler ima model razvite nevronske mreže, ki se uporabljajo za model, ki ga poskušate usposobiti, lahko uporabite skoraj kateri koli model za prenos učenja.

Javno dostopne vnaprej usposobljene modele lahko dobite na mestih, kot so TensorFlow Hub, Hugging Face in tržnica modelov OpenAI.

Prednosti uporabe AI Transfer Learning

Učenje s prenosom ponuja številne prednosti pred usposabljanjem modela AI iz nič.

• Skrajšan čas usposabljanja: Pri usposabljanju modela iz nič se velik del procesa usposabljanja porabi za splošno osnovno znanje. S prenosnim učenjem vaš model samodejno podeduje vse to temeljno znanje, s čimer znatno skrajša čas usposabljanja.
• Manjša zahteva po sredstvih: Ker je vse temeljno znanje že tam, morate le dodatno usposobiti model za posebnosti vaše aplikacije. To pogosto zahteva le razmeroma majhen nabor podatkov, ki jih je mogoče obdelati z manj računalniške moči.
• Izboljšana zmogljivost: Razen če porabite milijone dolarjev za izdelavo svojega modela iz nič, ne morete pričakovati tako dobrega ali zanesljivega modela kot veliki jezikovni model (LLM) od velikanskega tehnološkega podjetja. Z uporabo prenosnega učenja lahko izkoristite zmogljive zmogljivosti teh vnaprej usposobljenih LLM-jev, kot je GPT, da izboljšate zmogljivost svojega modela.

Usposabljanje modela AI iz nič je možno, vendar za to potrebujete več sredstev.

Kako deluje transferno učenje?

V bistvu obstajajo tri stopnje, ko gre za prenos učenja.

• Izbira predhodno usposobljenega modela: Vnaprej usposobljen model je podvržen začetnemu usposabljanju z uporabo velikega nabora podatkov iz izvorne naloge, kot je ImageNet, ali velike zbirke besedila. Ta faza začetnega usposabljanja omogoča modelu, da pridobi znanje o splošnih značilnostih in vzorcih v naboru podatkov. Količina časa in sredstev, ki jih boste prihranili pri prenosu učenja, bo odvisna od podobnosti med predhodno usposobljenim modelom in modelom, ki ga poskušate zgraditi.
• Ekstrakcija funkcij: Ko je vnaprej naučeni model izbran za natančno nastavitev, se začetne plasti vnaprej naučenega modela (najbližje vhodu) zamrznejo; to pomeni, da med finim uravnavanjem ostanejo njihove teže nespremenljive. Zamrznitev teh plasti ohrani splošno znanje, pridobljeno med fazo pred usposabljanjem, in prepreči, da bi nanje močno vplival nabor podatkov, specifičnih za naloge ciljnega modela. Pri modelih, ki so v celoti usposobljeni za posebne aplikacije, so končne plasti modelov odstranjene ali opuščene, da se ciljni model usposobi za druge posebne aplikacije.
• Fina nastavitev: Ko je bil predhodno usposobljeni model zamrznjen in so zgornje plasti odstranjene, se učnemu algoritmu vnese nov nabor podatkov, ki se nato uporabi za usposabljanje novega modela in posebnosti njegove uporabe.

To je več kot le tri stopnje, vendar ta oris podrobno opisuje, kako deluje učni proces prenosa umetne inteligence z nekaj natančnega prilagajanja.

Omejitve učenja prenosa AI

Čeprav je učenje prenosa dragocen koncept pri usposabljanju učinkovitih in zanesljivih modelov, obstaja kar nekaj omejitev, ki jih morate poznati pri uporabi učenja prenosa za usposabljanje modela.

• Neujemanje nalog: Ko izbirate osnovni model za transferno učenje, mora biti čim bolj primeren za težave, ki jih bo novi model reševal. Uporaba modela, ki razvršča mačke, za ustvarjanje modela za razvrščanje psov bo bolj verjetno prinesla boljše rezultate kot uporaba modela za razvrščanje avtomobilov za ustvarjanje modela za rastline. Bolj kot je osnovni model ustrezen modelu, ki ga poskušate zgraditi, več časa in virov boste prihranili v celotnem procesu učenja prenosa.
• Pristranskost nabora podatkov: Čeprav se vnaprej usposobljeni modeli pogosto usposabljajo v velikih naborih podatkov, še vedno obstaja možnost, da so med usposabljanjem razvili posebno pristranskost. Uporaba zelo pristranskega osnovnega modela bi tudi povzročila, da bi model podedoval svoje pristranskosti, s čimer bi se zmanjšala natančnost in zanesljivost vašega modela. Na žalost je izvor teh pristranskosti težko natančno določiti zaradi narava črne skrinjice globokega učenja.
• Prekomerno opremljanje: Ena od glavnih prednosti prenosnega učenja je, da lahko uporabite razmeroma majhen nabor podatkov za nadaljnje usposabljanje modela. Vendar pa lahko usposabljanje modela na premajhnem naboru podatkov povzroči prekomerno opremljanje, kar znatno zmanjša zanesljivost modela, ko se zagotovijo novi podatki.

Čeprav je učenje s prenosom priročna tehnika učenja z umetno inteligenco, obstajajo omejitve in ni rešitev.

Bi morali uporabiti prenos učenja?

Vse od razpoložljivosti vnaprej pripravljenih modelov se je prenosno učenje vedno uporabljalo za izdelavo bolj specializiranih modelov. Pravzaprav ni razloga, da ne bi uporabili prenosnega učenja, če že obstaja predhodno usposobljen model, ki je pomemben za težave, ki jih bo vaš model reševal.

Čeprav je možno usposobiti preprost model strojnega učenja iz nič, bo to potrebno na modelu globokega učenja veliko podatkov, časa in spretnosti, kar ne bo imelo smisla, če lahko spremenite namen obstoječega modela, podobnega tistemu, ki ga nameravate vlak. Torej, če želite porabiti manj časa in denarja za usposabljanje modela, poskusite usposobiti svoj model s prenosnim učenjem.