Grafični procesorji Nvidia so daleč napredovali, ne samo v smislu igralne zmogljivosti, ampak tudi v drugih aplikacijah, zlasti pri umetni inteligenci in strojnem učenju. Dva glavna dejavnika, ki sta odgovorna za zmogljivost GPE Nvidia, sta jedra CUDA in Tensor, ki sta prisotna na skoraj vseh sodobnih GPE Nvidia, ki jih lahko kupite.
Toda kaj točno počnejo ta jedra in če se obe uporabljata v aplikacijah umetne inteligence in strojnega učenja, kako se razlikujeta?
Kaj so jedra CUDA in za kaj se uporabljajo?
CUDA pomeni Compute Unified Device Architecture, kar ne pojasni veliko njihove prisotnosti v GPU. Ta jedra so bila uvedena v linijo GPU Nvidia v arhitekturi Maxwell 2014 in so specializirana za vzporedno obdelavo.
Po delovanju so precej podobni jedrom CPE, vendar so boljši pri obvladovanju nekaterih naloge, vključno s kriptografskimi zgoščenimi vrednostmi, fizikalnimi motorji, projekti, povezanimi s podatkovno znanostjo, in celo igro razvoj.
Medtem ko smo že pokrili
kako jedra CUDA vplivajo na igralno zmogljivost vašega računalnika, so prav tako koristni pri zmanjševanju številk. Medtem ko imajo celo najzmogljivejši procesorji jedra v dvomestnih številkah, imajo grafični procesorji Nvidia več tisoč jeder CUDA, zaradi česar so veliko hitrejši pri numeričnih delovnih obremenitvah. Poleg tega, ker te izračune izvajajo vzporedno, z jedri CUDA dobite veliko večje hitrosti.Jedra CUDA so hitrejša od običajnih jeder procesorjev, ko gre za velike številke, vendar še vedno niso idealna rešitev. To je zato, ker nikoli niso bili namenjeni uporabi na tak način. Jedra CUDA so bila namensko izdelana za grafično obdelavo in za izboljšanje zmogljivosti grafičnih procesorjev Nvidia pri igranju iger.
Kaj so tenzorska jedra in za kaj se uporabljajo?
Ko so se grafični procesorji začeli uporabljati za obremenitve umetne inteligence in strojnega učenja, je Nvidia leta 2017 uvedla jedra Tensor v arhitekturi Volta za svoje grafične procesorje podatkovnih centrov.
Vendar pa je trajalo do arhitekture Nvidia Turing (grafični procesorji serije RTX 20), da so ta jedra prišla v potrošniške grafične procesorje. Ne pozabite da čeprav kartice serije GTX 16 prav tako temeljijo na arhitekturi Turing, ne vključujejo sledenja žarkom ali tenzorja. jedra.
Medtem ko so bila jedra CUDA v najboljšem primeru primerna za računalniške delovne obremenitve, so jedra Tensor povečala vložek, saj so bila znatno hitrejša. Medtem ko lahko jedra CUDA izvedejo le eno operacijo na urni cikel, lahko jedra Tensor obravnavajo več operacij, kar jim daje neverjetno povečanje zmogljivosti. V bistvu je vse, kar jedra Tensor naredijo, povečanje hitrosti množenja matrike.
To povečanje računalniške hitrosti gre za ceno natančnosti, saj so jedra CUDA bistveno natančnejša. Ko gre za usposabljanje modelov strojnega učenja, so tensorjeva jedra veliko bolj učinkovita v smislu računalniške hitrosti in skupnih stroškov; zato se izguba natančnosti pogosto zanemari.
Kako jedra Tensor in CUDA vplivajo na zmogljivost GPE?
Kot verjetno že ugibate, čeprav lahko jedra CUDA in Tensor preneseta enake delovne obremenitve, sta obe specializirani jedri za upodabljanje grafike oziroma numerične delovne obremenitve.
To pomeni, da bo imela določena grafična procesorska enota različno število jeder, odvisno od uporabnika, na katerega je namenjena. Na primer, če upoštevamo RTX 4090, Nvidijino najnovejšo in najboljšo igralno GPU, namenjeno uporabnikom, boste dobili veliko več jeder CUDA kot jeder Tensor. 16.384 jeder CUDA do 512 jeder Tensor, če smo natančni.
Za primerjavo, grafični procesor Nvidia L40 za podatkovne centre, ki temelji na isti arhitekturi Ada Lovelace kot RTX 4090, ima 18.176 jeder CUDA in 568 jeder Tensor. To se morda ne zdi tako velika razlika, vendar lahko močno vpliva na zmogljivost teh grafičnih procesorjev.
Kar zadeva teoretično zmogljivost, ima L40 90,52 TFlops zmogljivosti FP16 in FP32 ter 1414 GFlops zmogljivosti FP64. To je ogromen dvig zmogljivosti v primerjavi z 82,58 TFlops zmogljivosti FP16 in FP32 RTX 4090 in 1290 GFlops zmogljivosti FP64.
Razen če ste dobro seznanjeni z numeričnimi številkami zmogljivosti GPE, vam zgornje številke zmogljivosti Nvidia GPE s plavajočo vejico morda ne pomenijo veliko. Vendar, na kratko, kažejo, da je L40 veliko hitrejši od RTX 4090, ko gre za numerične izračune – tiste, ki so potrebni za obremenitve, ki temeljijo na umetni inteligenci in strojnem učenju.
Izboljšanje zmogljivosti postane še toliko bolj impresivno, če upoštevate porabo energije obeh grafičnih procesorjev. RTX 4090 ima oceno TGP (ne smemo zamenjevati s TDP, obstaja majhna razlika) 450 W, medtem ko je L40 ocenjen na samo 300 W.
Oba GPU-ja bosta odlično izvajala igre in usposobila vaš model strojnega učenja. Vendar bo RTX 4090 boljši pri izvajanju iger, L40 pa bo boljši pri usposabljanju modelov strojnega učenja.
Jedra CUDA vs. Tenzorska jedra: kaj je bolj pomembno?
Obe jedri sta enako pomembni, ne glede na to, ali GPE kupujete za igranje iger ali ga postavljate v omaro v podatkovnem centru. Nvidijini grafični procesorji za igre na srečo, namenjeni uporabnikom, uporabljajo številne funkcije umetne inteligence (predvsem DLSS) in imeti vgrajena jedra Tensor lahko pride prav.
Kar zadeva grafične procesorje podatkovnih centrov, jedra CUDA in Tensor tako ali tako večino časa delujejo v tandemu, tako da boste dobili oboje, ne glede na grafični procesor, ki ga izberete. Namesto da se osredotočate na določeno vrsto jedra v vaši grafični procesorji, se raje osredotočite na to, kaj grafična kartica počne kot celota in na vrsto uporabnika, ki mu je namenjena.
Jedra CUDA so specializirana za obvladovanje grafičnih delovnih obremenitev, medtem ko so jedra Tensor boljša pri numeričnih. Delujejo skupaj in so do neke mere zamenljivi, vendar se ukvarjajo z lastnimi specializacijami, zaradi česar sploh obstajajo.
Različni grafični procesorji so specializirani za različne vidike. RTX 4090 bo z lahkoto zdrobil vsako igro, ki jo vržete vanj, medtem ko RTX 4060 zmore le igranje 1080p. Če svojega grafičnega procesorja ne igrate iger in ga potrebujete samo za obdelavo številk ali urjenje nevronskih mrež, je GPE podatkovnega centra serije A, kot sta A100 ali celo L40, vaša najboljša izbira.
Vaša jedra GPU so pomembna
Več jeder GPU vam bo zagotovilo boljšo splošno zmogljivost, saj bo vaš GPE bolj vsestranski in bo imel namenske vire za opravljanje različnih nalog. Vendar slepo pridobiti GPE z največjim številom jeder ni najboljša odločitev. Vzemite si trenutek in skrbno pretehtajte svoj primer uporabe, oglejte si zmogljivosti GPE kot celote in se nato odločite.
