Riċentement, ChatGPT sar il-punt sħun ġdid għall-AI, b'Microsoft u Google f'Silicon Valley jinvestu ħafna f'teknoloġija bħal din (Microsoft għandha sehem ta' $10 biljun f'OpenAI, il-kumpanija wara ChatGPT, u Google reċentement ħarġet il-mudell BARD tagħha stess), filwaqt li l-kumpaniji tat-teknoloġija tal-Internet fiċ-Ċina, rappreżentati minn Baidu u oħrajn, indikaw ukoll li qed jiżviluppaw teknoloġija bħal din u se jmorru jgħixu fil-futur qarib. Fiċ-Ċina, Baidu u kumpaniji oħra tat-teknoloġija tal-Internet indikaw ukoll li qed jiżviluppaw teknoloġiji bħal dawn u se jibdew jgħixu fil-futur qarib.
Il-mudelli ġenerattivi rappreżentati minn ChatGPT għandhom karatteristika komuni, jiġifieri, jużaw data massiva għat-taħriġ minn qabel, u ħafna drabi huma mqabbda ma 'mudell tal-lingwa aktar b'saħħtu. Il-funzjoni ewlenija tal-mudell tal-lingwa hija li titgħallem mill-korpus eżistenti massiv, u wara t-tagħlim, tista 'tifhem l-istruzzjonijiet lingwistiċi tal-utent, jew barra minn hekk, tiġġenera output tat-test rilevanti skont l-istruzzjonijiet tal-utent.
Mudelli ġenerattivi jistgħu jiġu kklassifikati b'mod wiesa 'f'żewġ kategoriji, waħda hija mudelli ġenerattivi bbażati fuq il-lingwa u l-oħra hija mudelli ġenerattivi bbażati fuq immaġini. Il-mudelli ġenerattivi bbażati fuq il-lingwa huma rappreżentati minn ChatGPT, li l-mudell tal-lingwa tiegħu mhux biss jista 'jitgħallem jifhem it-tifsira tal-kmandi tal-utent (eż., "ikteb poeżija, fl-istil ta' Li Bai"), iżda wkoll jiġġenera test rilevanti bbażat fuq l-utent. jikkmanda wara t-taħriġ b'dejta massiva (fl-eżempju ta 'hawn fuq, kitba ta' poeżija fl-istil ta 'Li Bai). poeżija). Dan ifisser li ChatGPT jeħtieġ li jkollu mudell tal-lingwa kbira (LLM) li jifhem il-lingwa tal-utent u jista 'jipproduċi output tal-lingwa ta' kwalità għolja - per eżempju, il-mudell irid jifhem kif jiġġenera poeżiji, kif jiġġenera poeżiji fl-istil ta 'Li Bai , u l-bqija. Dan ifisser ukoll li mudelli lingwistiċi kbar fl-AI ġenerattiva bbażata fuq il-lingwa jeħtieġu numru kbir ħafna ta’ parametri sabiex isir dan it-tip ta’ tagħlim kumpless u jiftakar daqshekk informazzjoni. ChatGPT, pereżempju, għandu 175 biljun parametru (700 GB ta 'spazju ta' ħażna jekk jintużaw numri floating point standard), li juri kemm hu "kbir" il-mudell tal-lingwa tiegħu.
Klassi oħra ta 'mudelli ġenerattivi hija l-mudell ta' ġenerazzjoni ta 'immaġni rappreżentat minn Diffusion, tipikament Dalle minn OpenAI, ImaGen minn Google, u bħalissa l-aktar popolari Stabbli Diffusion minn Runway AI. Dawn il-mudelli ta' ġenerazzjoni li jixbhu l-immaġni jużaw ukoll mudell tal-lingwa biex jifhmu l-kmandi lingwistiċi tal-utent u mbagħad jiġġeneraw immaġini ta' kwalità għolja bbażati fuq dawk il-kmandi. B'differenza mill-mudelli ġenerattivi bbażati fuq il-lingwa, il-mudell tal-lingwa użat hawn prinċipalment juża l-lingwa biex jifhem l-input tal-utent mingħajr ma jiġġenera output tal-lingwa, għalhekk in-numru ta 'parametri jista' jkun pjuttost żgħir (fl-ordni ta 'ftit mijiet ta' miljuni), filwaqt li n-numru ta 'parametri għal Mudelli ta 'diffużjoni bbażati fuq l-immaġni huma relattivament żgħar, fl-ordni ta' ftit biljuni b'mod ġenerali, iżda l-isforz komputazzjonali mhuwiex żgħir minħabba li r-riżoluzzjoni tal-immaġni jew vidjows iġġenerati tista 'tkun għolja ħafna.
Mudelli ġenerattivi jistgħu jipproduċu output ta 'kwalità għolja mingħajr preċedent permezz ta' taħriġ ta 'dejta massiv, u diġà hemm għadd ta' swieq ta 'applikazzjoni ċari, inklużi tfittxija, bots ta' djalogu, ġenerazzjoni u editjar ta 'immaġni, eċċ. Aktar applikazzjonijiet huma mistennija fil-futur, li jpoġġi wkoll domanda għal ċipep relatati.
Il-ħtieġa għal ċipep għall-ġenerazzjoni ta 'mudelli ta' klassi
Kif issemma qabel, ChatGPT jirrappreżenta mudell ġenerattiv li jeħtieġ li jitgħallem minn ammonti kbar ta 'dejta ta' taħriġ sabiex jinkiseb output ġenerattiv ta 'kwalità għolja. Sabiex jappoġġjaw taħriġ u inferenza effiċjenti, mudelli ġenerattivi għandhom ir-rekwiżiti tagħhom stess għal ċipep relatati.
L-ewwel hija l-ħtieġa għal komputazzjoni distribwita; in-numru ta 'parametri għal mudelli ġenerattivi tal-lingwa bħal ChatGPT huwa fil-mijiet ta' biljuni, u huwa kważi impossibbli li tuża taħriġ u inferenza b'kompjuter wieħed, iżda għandha tintuża ħafna komputazzjoni distribwita. Fil-kompjuters distribwiti, il-bandwidth tal-interkonnessjoni tad-dejta bejn il-magni u ċ-ċippa tal-kompjuters għal tali kompjuters distribwiti (bħal RDMA) għandha domanda kbira, għax ħafna drabi l-konġestjoni tal-kompitu jista 'ma jkunx fil-kompjuters, iżda fl-interkonnessjoni tad-dejta hawn fuq, speċjalment f' dan it-tip ta 'kompjuters distribwiti fuq skala kbira, iċ-ċippa għall-appoġġ effiċjenti ta' kompjuters distribwiti saret aktar kritika.
Li jmiss huwa l-kapaċità tal-memorja u bandwidth. Għalkemm it-taħriġ u l-inferenza mqassma huma inevitabbli għal mudelli ġenerattivi bbażati fuq il-lingwa, il-memorja lokali u l-bandwidth ta 'kull ċippa se jiddeterminaw fil-biċċa l-kbira l-effiċjenza tal-eżekuzzjoni ta' ċippa waħda (minħabba li l-memorja ta 'kull ċippa tintuża sal-limitu tagħha). Għal mudelli ġenerattivi bbażati fuq immaġni, huwa possibbli li l-mudelli (madwar 20GB) jitqiegħdu kollha fil-memorja taċ-ċippa, iżda hekk kif mudelli ġenerattivi bbażati fuq immaġni jevolvu aktar fil-futur, huwa probabbli li r-rekwiżiti tal-memorja tiegħu jiżdiedu wkoll aktar . Minn din il-perspettiva, it-teknoloġija tal-memorja ultra-high-bandwidth rappreżentata minn HBM se ssir l-għażla inevitabbli għal ċipep tal-aċċeleratur relatati, filwaqt li l-mudelli tal-klassi ġenerattiva se jaċċelleraw ukoll il-memorja HBM biex iżidu aktar il-kapaċità u l-bandwidth. Minbarra l-HBM, teknoloġiji ġodda tal-ħażna bħal CXL flimkien ma 'ottimizzazzjonijiet tas-softwer se jkollhom ukoll il-potenzjal li jżidu l-kapaċità u l-prestazzjoni tal-ħażna lokali f'dawn l-applikazzjonijiet u huma stmati li jiksbu aktar adozzjoni industrijali miż-żieda tal-mudell tal-klassi ġenerattiva.
Fl-aħħarnett, il-komputazzjoni, kemm il-mudelli tal-klassi ġenerattivi bbażati fuq il-lingwa kif ukoll dawk ibbażati fuq l-immaġini għandhom domanda komputazzjonali kbira, u mudelli ġenerattivi bbażati fuq l-immaġni jista 'jkollhom domanda ferm ogħla għall-qawwa aritmetika peress li jiġġeneraw riżoluzzjonijiet ogħla u ogħla u jimxu lejn applikazzjonijiet tal-vidjo - kurrenti Mudelli ġenerattivi tal-immaġni mainstream għandhom volum komputazzjonali ta' madwar 20 TFlops, u fir-rigward ta' riżoluzzjoni għolja u immaġini, 100-1000 TFLOPS ta' domanda aritmetika x'aktarx li tkun in-norma.
Fil-qosor, nemmnu li r-rekwiżiti ta 'mudelli ġenerattivi għaċ-ċipep jinkludu kompjuters distribwiti, ħażna u komputazzjoni, li jista' jingħad li jinvolvu l-aspetti kollha tad-disinn taċ-ċippa, u aktar importanti, kif tgħaqqad dawn ir-rekwiżiti kollha flimkien b'mod raġonevoli biex jiġi żgurat li aspett wieħed ma jsirx ostakolu, li se jsir ukoll problema ta 'inġinerija tas-sistema tad-disinn taċ-ċippa.
GPU u ċ-ċippa AI ġdida, li għandha ċans aħjar
Mudelli ġenerattivi għandhom domanda ġdida għal ċipep. Min għandu ċans aħjar li jaqbad din id-domanda u s-suq ġodda għall-GPUs (rappreżentati minn Nvidia u AMD) u ċipep AI ġodda (rappreżentati minn Habana, GraphCore)?
L-ewwel, mill-perspettiva ta 'mudelli ġenerattivi bbażati fuq il-lingwa, il-bejjiegħa tal-GPU li bħalissa għandhom tqassim komplut f'dan it-tip ta' ekoloġija huma aktar vantaġġużi minħabba n-numru kbir ta 'parteċipanti u l-ħtieġa għal appoġġ ta' kompjuters distribwit tajjeb. Din hija problema ta 'inġinerija tas-sistema li teħtieġ soluzzjoni sħiħa ta' softwer u ħardwer, u f'dan ir-rigward, Nvidia għaqqad il-GPUs tagħha biex tniedi s-soluzzjoni Triton, li tappoġġja taħriġ imqassam u inferenza mqassma, li tippermetti li mudell jinqasam f'partijiet multipli u jiġi pproċessat fuq GPUs differenti, u b'hekk issolvi l-problema ta 'wisq parametri li ma jistgħux jiġu akkomodati mill-memorja ewlenija ta' GPU waħda. Dan isolvi l-problema ta' wisq parametri għall-memorja ewlenija ta' GPU waħda. Kemm jekk tuża Triton direttament jew jekk tagħmel aktar żvilupp fuq il-bażi ta 'Triton fil-futur, huwa aktar konvenjenti li jkollok GPU ekoloġiku komplut. Mil-lat komputazzjonali, peress li l-komputazzjoni ewlenija tal-mudell tal-ġenerazzjoni bbażat fuq il-lingwa hija l-komputazzjoni tal-matriċi, li hija s-saħħa tal-GPU, iċ-ċippa AI ġdida m'għandhiex vantaġġ ovvju fuq il-GPU minn dan il-lat.
Mil-lat ta 'mudelli ta' ġenerazzjoni bbażati fuq l-immaġini, in-numru ta 'parametri ta' mudelli bħal dawn huwa kbir ukoll iżda wieħed jew żewġ ordnijiet ta 'kobor iżgħar mill-mudelli ta' ġenerazzjoni bbażati fuq il-lingwa, minbarra l-kalkolu tiegħu xorta se jintuża f'forma kbira. numru ta 'kalkoli konvoluzzjonali, għalhekk applikazzjonijiet ta' inferenza, jekk tista 'tagħmel ottimizzazzjoni tajba ħafna, iċ-ċipep AI jista' jkollhom xi opportunitajiet. Hawnhekk l-ottimizzazzjoni tinkludi ammont kbir ta 'ħażna fuq iċ-ċippa biex takkomoda parametri u riżultati ta' kalkolu intermedju, għal konvoluzzjoni u appoġġ effiċjenti ta 'operazzjonijiet matriċi.
B'mod ġenerali, il-ġenerazzjoni attwali ta 'ċipep AI huma ddisinjati biex jimmiraw mudelli iżgħar (numru ta' parametri fil-livell ta 'biljun, komputazzjoni fil-livell 1TOPS), filwaqt li d-domanda għal mudelli ġenerattivi għadha relattivament akbar mill-mira tad-disinn oriġinali. Il-GPUs huma ddisinjati biex ikunu aktar flessibbli għall-ispiża tal-effiċjenza, filwaqt li ċ-ċipep AI huma ddisinjati biex jagħmlu l-oppost, billi jsegwu l-effiċjenza tal-applikazzjoni fil-mira. Għalhekk, aħna nemmnu li l-GPUs xorta se jiddominaw tali aċċelerazzjoni tal-mudell ġenerattiv fis-sena jew tnejn li jmiss, iżda hekk kif id-disinni tal-mudelli ġenerattivi jsiru aktar stabbli u d-disinji taċ-ċippa AI jkollhom ħin biex ilaħħqu mal-iterazzjonijiet tal-mudell ġenerattiv, iċ-ċipep AI għandhom l-opportunità li jaqbżu l-GPUs fl-ispazju mudell ġenerattiv minn perspettiva ta 'effiċjenza.
