Kaj je Applov nevronski motor in kako deluje?

Vaš iPhone, iPad, Mac in Apple TV uporabljajo specializirano nevronsko procesno enoto, imenovano Apple Neural Engine (ANE), ki je veliko hitrejša in energetsko učinkovitejša od CPE ali GPE.

ANE omogoča napredne funkcije v napravi, kot sta obdelava naravnega jezika in analiza slik brez poseganja v oblak ali pretirane porabe energije.

Raziščimo, kako deluje ANE in njegov razvoj, vključno s sklepanjem in inteligenco, ki jo poganja na Applovih platformah, in kako ga lahko razvijalci uporabljajo v aplikacijah tretjih oseb.

Kaj je Apple Neural Engine (ANE)?

Apple Neural Engine je tržno ime za skupino visoko specializiranih računalniških jeder, optimiziranih za energetsko učinkovito izvajanje globokih nevronskih mrež v napravah Apple. Pospešuje algoritme strojnega učenja (ML) in umetne inteligence (AI), s čimer ponuja izjemno hitrost, pomnilnik in moč v primerjavi z glavnim CPU ali GPE.

ANE je velik del tega, zakaj so najnovejši iPhoni, iPadi, Maci in Apple TV odzivni in se med težkimi izračuni ML in AI ne segrejejo. Na žalost nimajo vse naprave Apple ANE – Apple Watch, računalniki Mac s procesorji Intel in naprave, starejše od leta 2016, ga nimajo.

Prvi ANE, ki je debitiral v Applovem čipu A11 v iPhonu X leta 2017, je bil dovolj zmogljiv za podporo Face ID in Animoji. Za primerjavo, najnovejši ANE v čipu A15 Bionic je 26-krat hitrejši od prve različice. Dandanes ANE omogoča funkcije, kot je Siri brez povezave, razvijalci pa ga lahko uporabljajo za zagon predhodno usposobljenih modelov ML, s čimer sprostijo CPE in GPE, da se osredotočita na naloge, ki so zanje bolj primerne.

Kako deluje Applov nevronski motor?

ANE zagotavlja krmilno in aritmetično logiko, optimizirano za izvajanje obsežnih računalniških operacij, kot sta množenje in kopičenje, ki se običajno uporablja v algoritmih ML in AI, kot so klasifikacija slik, analiza medijev, strojno prevajanje in več.

Po navedbah Applov patent z naslovom "Multi-Mode Planar Engine for Neural Processor", je ANE sestavljen iz več jeder nevronskih motorjev in enega ali več večmodnih planarnih vezij.

Zasnova je optimizirana za vzporedno računalništvo, kjer je treba številne operacije, kot je množenje matrik, ki se izvajajo v bilijonih ponovitvah, izvesti hkrati.

Za pospešitev sklepanja v algoritmih umetne inteligence ANE uporablja napovedne modele. Poleg tega ima ANE lasten predpomnilnik in podpira le nekaj vrst podatkov, kar pomaga povečati zmogljivost.

Funkcije AI Poganja ANE

Tukaj je nekaj funkcij v napravi, ki jih morda poznate in jih omogoča ANE.

• Obdelava naravnega jezika: hitrejše in zanesljivejše prepoznavanje glasu za narekovanje in Siri; Izboljšano učenje naravnega jezika v aplikaciji Prevajalnik in v celotnem sistemu; Takojšnje prevajanje besedila v aplikacijah za fotografije, kamero in druge aplikacije za iPhone.
• Računalniški vid: Iskanje predmetov na slikah, kot so znamenitosti, hišni ljubljenčki, rastline, knjige in rože z uporabo aplikacije Photos ali Spotlight search; Pridobivanje dodatnih informacij o prepoznane predmete z uporabo Visual Look Up na mestih, kot so Safari, Mail in Messages.
• Obogatena resničnost: Okluzija ljudi in sledenje gibanja v aplikacijah AR.
• Video analiza: Zaznavanje obrazov in predmetov na videu v aplikacijah, kot je Final Cut Pro.
• Učinki kamere: Samodejno obrezovanje s središčnim odrom; Zameglitev ozadja med video klici FaceTime.
• Igre: Fotorealistični učinki v 3D video igrah.
• Besedilo v živo: Zagotavlja optično prepoznavanje znakov (OCR) v fotoaparatu in fotografijah, kar vam omogoča preprosto kopiranje rokopisa ali besedila, kot je geslo za Wi-Fi ali naslov, s slik.
• Računalniška fotografija: Deep Fusion analizira slikovne pike za boljše zmanjšanje šuma, večji dinamični razpon ter izboljšano samodejno osvetlitev in ravnovesje beline, pri čemer izkorišča Smart HDR, kadar je primerno; Fotografiranje plitke globinske ostrine, vključno s fotografiranjem portretov v nočnem načinu; Prilagoditev stopnje zameglitve ozadja z nadzorom globine.
• Tidbits: ANE se uporablja tudi za fotografske sloge v aplikaciji Camera, urejanje spominov in slogovne učinke v fotografijah, prilagojena priporočila, kot so predlogi za ozadje, podnapisi slik VoiceOver, iskanje dvojnikov slik v Fotografije itd.

Nekatere zgoraj omenjene funkcije, na primer prepoznavanje slik, delujejo tudi brez prisotnega ANE, vendar bodo delovale veliko počasneje in obremenjevale baterijo vaše naprave.

Kratka zgodovina Apple Neural Engine: od iPhone X do M2 Mac

Leta 2017 je Apple uvedel svoj prvi ANE v obliki dveh specializiranih jeder znotraj čipa A11 iPhone X. Po današnjih standardih je bil razmeroma počasen, le 600 milijard operacij na sekundo.

Druga generacija ANE se je pojavila znotraj čipa A12 leta 2018 in je imela štirikrat več jeder. Ta ANE, ocenjen na pet bilijonov operacij na sekundo, je bil skoraj devetkrat hitrejši in je porabil eno desetino moči svojega predhodnika.

Čip A13 iz leta 2019 je imel enak osemjedrni ANE, vendar je deloval za petino hitreje, medtem ko je porabil 15 % manj energije, produkt izboljšanega 7nm polprevodniškega vozlišča TSMC. TSMC (Taiwan Semiconductor Manufacturing Company) izdeluje čipe, ki jih je zasnoval Apple.

Evolucija Apple Neural Engine

Naslednje leto je Apple A14 skoraj podvojil zmogljivost ANE na 11 trilijonov operacij na sekundo, kar je bilo doseženo s povečanjem števila jeder ANE z 8 na 16. Leta 2021 je A15 Bionic izkoristil 5nm proces druge generacije TSMC, ki je še povečal zmogljivost ANE na 15,8 bilijona operacij na sekundo brez dodajanja več jeder.

Prvi čipi M1, M1 Pro in M1 Max, vezani na Mac, so imeli enak ANE kot A14, s čimer so na platformo macOS prvič prinesli napredni, strojno pospešeni ML in AI.

Leta 2022 je M1 Ultra združil dva čipa M1 Max v enem paketu z uporabo Applove medsebojne povezave po meri, imenovane UltraFusion. Z dvakrat več jedri ANE (32) je M1 Ultra podvojil zmogljivost ANE na 22 trilijonov operacij na sekundo.

Apple A16 leta 2022 je bil izdelan z izboljšanim vozliščem N4 TSMC, kar je prineslo približno 8 % hitrejšo zmogljivost ANE (17 trilijonov operacij na sekundo) v primerjavi z ANE A15.

Prvi iPadi s podporo za ANE so bili iPad mini pete generacije (2019), iPad Air tretje generacije (2019) in iPad osme generacije (2020). Vsi iPadi, izdani od takrat, imajo ANE.

Kako lahko razvijalci uporabljajo ANE v aplikacijah?

Številne aplikacije tretjih oseb uporabljajo ANE za funkcije, ki sicer ne bi bile izvedljive. Na primer, urejevalnik slik Pixelmator Pro ponuja orodja, kot sta ML Super Resolution in ML Enhance. V djay Pro pa ANE loči udarce, instrumentale in vokalne skladbe od posnetka.

Vendar razvijalci tretjih oseb ne dobijo dostopa na nizki ravni do ANE. Namesto tega morajo vsi klici ANE iti skozi Applov programski okvir za strojno učenje, Core ML. Z Core ML lahko razvijalci gradijo, učijo in izvajajo svoje modele ML neposredno na napravi. Tak model se nato uporabi za izdelavo napovedi na podlagi novih vhodnih podatkov.

"Ko je model v uporabnikovi napravi, lahko uporabite Core ML, da ga ponovno usposobite ali natančno prilagodite v napravi s podatki tega uporabnika," je v skladu s pregledom Core ML na Apple spletno mesto.

Za pospešitev algoritmov ML in AI Core ML ne uporablja le ANE, ampak tudi CPE in GPE. To omogoča Core ML, da zažene model, tudi če ni na voljo nobenega ANE. Toda s prisotnim ANE bo Core ML deloval veliko hitreje in baterija se ne bo tako hitro izpraznila.

Številne Applove funkcije ne bi delovale brez ANE

Številne funkcije v napravi ne bi bile mogoče brez hitre obdelave algoritmov AI in ML ter zmanjšanega pomnilniškega odtisa in porabe energije, ki ju prinaša ANE. Applova čarovnija je v tem, da ima namenski koprocesor za zasebno izvajanje nevronskih mrež v napravi, namesto da bi te naloge preložil na strežnike v oblaku.

Z ANE lahko Apple in razvijalci implementirajo globoke nevronske mreže in izkoristijo prednosti pospešenega strojno učenje za različne napovedne modele, kot so strojno prevajanje, zaznavanje objektov, klasifikacija slik, itd.