Előadás

Milliárd paraméterű neurális modellek technikai és technológiai háttere

Távközlés és Mesterséges Intelligencia Workshop – Neumann 120

2023. március 28. 14:00BME I épület, IB025 előadóterem · Budapest

Átirat · 1:14:13

Szép napot kívánok. Köszönöm, hogy mindenkit újra a teremben és nagy örömmel látom,

Átirat · 1:14:19

hogy sokan maradtok, ha nem is mindenki.

Átirat · 1:14:22

És kicsit várok még, hogy elcsendesüljön.

Átirat · 1:14:27

És sok szeretettel köszöntöm a következő előadónkat, Giresztus Bálintot,

Átirat · 1:14:33

aki egyrészt górd bújjai ösztöndíjas, másrészt most csak annyit mondok,

Átirat · 1:14:39

hogy az első magyar rejtett markó modell alapú text-to-speech rendszer egyik megalkotója.

Átirat · 1:14:48

És hát nagyon izgalmas témáról fog beszélni.

Átirat · 1:14:51

A címet látjuk a szlájból, hogyha át is adnám a szót, sok szeretettel.

Átirat · 1:14:55

Köszönöm szépen. Sok szeretettel köszönöm mindenkit.

Átirat · 1:14:59

Giresztus Bálint vagyok, és ebben az adásomban a milliárd paraméteri reojális modellek technikai és technológiai hátterének

Átirat · 1:15:05

talán a pár legfontosabb aspektusát fogom mutatni.

Átirat · 1:15:09

Még pár gondolat. Itt a témítelnek vagyok, egyetemi docent, illetve az NVIDIA Recurring Institute-nak vagyok oktatója,

Átirat · 1:15:17

és én egyetemi kapcsolattartója, nagykövete.

Átirat · 1:15:20

Gépi tanulással 2008 óta foglalkozom.

Átirat · 1:15:24

Kezdve a rejtetmarkó modellekkel és kb. 2012-13 óton mély tanulással.

Átirat · 1:15:31

Az előadásom során a címnek az egyes részein fogok végigmenni.

Átirat · 1:15:36

És hát kezdjük a neurális modellekkel.

Átirat · 1:15:38

Ugye ezt mindannyiunk számára már szinte közismert, hogy egy neurális hálazat az ugye előbb-előbb egy neuronokból épül fel,

Átirat · 1:15:45

aminek van egy rakás-bemelet.

Átirat · 1:15:47

És ezek súlyozott összegét hozzuk össze, majd egy nem linális aktivációs függvényen engedjük át.

Átirat · 1:15:52

Neuronokat rétegekben rendezzük, a súlyokat véletlenszerűen initializáljuk,

Átirat · 1:15:56

és a bemenet-kimenet párokkal megmutatjuk, hogy mi lenne a jó válasz, egy hiba függvényjel kiszámoljuk, hogy mekkorát téved,

Átirat · 1:16:03

és a backtropagés, a hiba visszatérésztés és eljárással finomhangoljuk a súlyokat.

Átirat · 1:16:08

Ugye ezek a súlyok, ezek a paramételek, tehát ezek az értékek, és amikor milliárd paraméterrel beszélünk,

Átirat · 1:16:13

akkor az azt jelenti, hogy milliárd ilyen szabad paraméter van, amit ugye beállítunk ahhoz, hogy minél jobban modellezjük az adatokat.

Átirat · 1:16:20

Akkor a következő pont, ez a milliárd paraméterű, és ugye most a chat-GTP már elhangzott, nem lehet kihagyni,

Átirat · 1:16:26

ugye ezáltal az AI-ról mondjuk úgy, hogy az egész világ tud most már, és a chat-GTP mögött is milliárd paraméterű rendszerek vannak,

Átirat · 1:16:34

és hát emiatt is fontos ez a kérdés, de hát ezen túl nem csak a NLT, tehát a természetesen nyelvfeldolgozásban vannak milliárd paraméterű rendszerek,

Átirat · 1:16:42

és erről fogunk most pár gondolatot látni.

Átirat · 1:16:45

Először engedjétek meg, hogy egy angol-magyar megfelelőkkel gyorsan menjünk végig, mert ilyen szám nagyságrenden nem mindig foglalkozunk,

Átirat · 1:16:54

és ez valószínűleg sok kavalt fog okozni a jövőben a médiában.

Átirat · 1:16:58

Ugye a millió, million angolul, de már a billion az milliárd magyarul, és hát a trillion az a billió,

Átirat · 1:17:07

tehát itt már rögtön lesz majd egy jó sok kavarodásunkon erről a ciklusról.

Átirat · 1:17:12

Illetve jöjjön a következő, a trillió, trillion angolul, az ugye az a billiónak a megfelelője,

Átirat · 1:17:18

de a trillió magyarul az pedig már a quintillion, tehát itt valószínűleg amikor a médiában eljutnak a billió nagyságrendű,

Átirat · 1:17:26

tehát a angolul trillion méretű modellek, ott teljes kavar lesz, és fogalmunk sem lesz, hogy éppen miről van szó.

Átirat · 1:17:32

Mindenesetre most mi ebbe a nagyságrendben dolgozunk, tehát a 9.-én, 10.-én, 12.-én,

Átirat · 1:17:42

nagyságrendben vagyunk most.

Átirat · 1:17:44

És hogy mit is jelent ez a milliárd nagyságrend, tehát hogyha veszünk egy átlagos hangya méretet,

Átirat · 1:17:49

és ebből egy milliárdot egymás mögé egy hangyaláncot csinálunk, akkor az 200 km tesz ki egy milliárd hangya,

Átirat · 1:17:56

tehát a Balatont körbe lehet egy hangyalánccal tenni.

Átirat · 1:17:59

Hogyha az OpenAI-nak a GPT-3-asáról van szó, tehát a 175 milliárd hangya,

Átirat · 1:18:06

akkor annak a hangyaláncából nagyjából az egyenlítőt majdnem körbe tudjuk érni,

Átirat · 1:18:12

mert ez tényleg masszín értékek.

Átirat · 1:18:14

És ugye amikor neurális hálózatokról van szó, sajnos vannak mai napig ezek az analogiák,

Átirat · 1:18:18

hogy agy meg neurális háló, azért mondom, hogy sajnos, mert ma már inkább matematikai,

Átirat · 1:18:21

meg technológiai, matematikai modellek és technológiai megközelítés van,

Átirat · 1:18:25

de azért mindig érdemes mégis valahogy a fejünkbe tartani, hogy a idegsejtek száma az agyba 85 milliárd felett van,

Átirat · 1:18:32

és az összekötetések, amit nagyon-nagyon távolról talán meg lehet felejtetni a súlyoknak,

Átirat · 1:18:37

adna a 100 billió, tehát ez a trillion ugye angolul nagyságrendben.

Átirat · 1:18:42

Van kortól, nem től függ, hogy éppen mennyi, meg hogy melyik kutatás éppen mit mond.

Átirat · 1:18:48

De miért is kell nekünk milliárd nagyságrendű paraméter egy neurális hálózatba?

Átirat · 1:18:54

Talán erre egy jó választ a 2017-es Deep Learning erőtörvénye ad.

Átirat · 1:18:59

Ebben a cikkben nagyon sok tanítást futtattak végig különböző doméneken, kép, audio és szövegesen.

Átirat · 1:19:07

Szöveges adatokon.

Átirat · 1:19:09

És azt vették észre, hogy minden tanításnál van egy alacsony adatrégió, illetve egy csökkentetetlen hiba régió.

Átirat · 1:19:18

Alacsony adat az azt jelenti, hogy nagyon kevés az adatunk.

Átirat · 1:19:20

Nagyjából egy naív becsléssel megkapjuk azt, amit a neuronháló meg tud tanulni.

Átirat · 1:19:24

A csökkentetetlen hiba régióban pedig már egyszerűen az adatoknak, mondjuk a mintavételezéséből vagy a folyamatból,

Átirat · 1:19:30

hallottuk ugye rektor helyett a súlyrelődés, pénzügyi folyamatokból, nagyon sok minden nincsen benne az adatokban.

Átirat · 1:19:36

Hiába van nekünk rengeteg adatunk, nem tudjuk átlépni egy bizonyos határt pontosságban.

Átirat · 1:19:42

Viszont a kettő között van nekünk az erőtörvény régió, a Power Law Region, ahol a hiba és az adatbázis mérete között log-log összefüggés van.

Átirat · 1:19:53

Tehát több adattal alacsonyabb hibát érhetünk el.

Átirat · 1:19:56

Itt az, hogy milyen meredek ez a görbe, azt mindig az alkalmazástól függ, de a log-log összefüggés az megvan.

Átirat · 1:20:04

Nagyobb adat, nagyobb számítási kapcsolat.

Átirat · 1:20:06

Kérdés az, hogyha most nekünk a hibánkat le akarjuk vinni, bármilyen tanításról legyen szó, 4,5-ről 3-ra, megéri-e ez a log nagyságrendű számítási kapacitás igény?

Átirat · 1:20:22

Tehát, hogy 864 ms helyett érdemes-e 2,5 órát tanítani nagyjából a neurális hálót, azért, hogy ennyivel jobb legyen a tanításunk?

Átirat · 1:20:32

Nyilván itt nem csak órákról, hanem napokról, hetekről, hónapokról lehet.

Átirat · 1:20:36

A nagy modelleknek nemcsak a nagyobb pontosság az előnye, hanem van jó pár további előnyes tulajdonsága.

Átirat · 1:20:44

Az adathatékonyságuk nagyobb, ez azt jelenti, hogy ugyanannyi adattal egy nagy modell sokkal jobb eredményt tud elérni, mint egy kisebb társa.

Átirat · 1:20:53

Illetve sokkal kevesebb adat is elég ahhoz, tehát sokkal kevesebb szer kell végigpörgetnünk az adatokat a modellen, ahhoz, hogy jobb eredményt érjünk el.

Átirat · 1:21:01

Ez például az ilyen fuchsiat learning, tehát amikor nagyon kevés adatot mutatunk később egy betalálóban,

Átirat · 1:21:06

ebben a tulajdonságban nagyon előnyes tud lenni.

Átirat · 1:21:10

Erőforrás hatékonyabbak is, tehát a GPU-nak a kihasználtsága is sokkal magasabb.

Átirat · 1:21:15

Ez azt jelenti, hogy amikor mi ráteszünk egy tanítást, vagy később látunk egy-két példát egy GPU clusterre,

Átirat · 1:21:21

akkor nem mindegy, hogy annak 50-70 vagy 90%-át bírjuk kihasználni.

Átirat · 1:21:25

Nyilván egy 50%-os kihasználtságnál óriási pénzügyi veszteségünk van a beruházásban, vagy pedig a cloud bérlensben.

Átirat · 1:21:32

És egy nagyon fontos utolsó pont, hogy a hiperparaméterek jelentéségedben,

Átirat · 1:21:35

drasztikusan csökken.

Átirat · 1:21:37

Tehát a nagy modelleknél már az, hogy hány rétegű neuronhálót használunk a rétegeknek,

Átirat · 1:21:41

hány neuronja van, nyilván az aritektúra mindjárt arról lesz, hogy milyen aritektúrákkal dolgozunk,

Átirat · 1:21:46

de egyre kisebb ennek a jelentősége.

Átirat · 1:21:48

Régen nagyon nagy volt ennek a jelentősége,

Átirat · 1:21:50

nagy modelleknél csökkent jelentősen, tehát az, hogy milyen hiperparaméterekkel dolgozunk.

Átirat · 1:21:58

Nagy modellekből valószínűleg legtöbben a GPT-3-asról hallottatok,

Átirat · 1:22:04

ez 175 milliárd paraméter tartalmaz, de ezen túl jó pár más nagy modell van,

Átirat · 1:22:09

például a Megatron Touring, ez a Microsoft és Nvidia 530 milliárdos modellje,

Átirat · 1:22:15

Computer Vision-ben vannak például a Vision Transformerek 2,4-22 milliárdos méretig,

Átirat · 1:22:22

vagy például a Stable Diffusion, amik ezek a nagyon szép neurális képeket generálják,

Átirat · 1:22:28

ez ilyen 1 milliárd körüli.

Átirat · 1:22:29

Illetve hát az utóbbi időben megjelentek a multimodális modellek,

Átirat · 1:22:33

amiket különböző modalitásokkal tanítanak és jobb eredményt érnek el,

Átirat · 1:22:37

vagy legalább ugyanolyat, mint a többi, csak több témakörbe State of the Art-ot,

Átirat · 1:22:43

tehát kép, audio, text adatokon tanítva.

Átirat · 1:22:47

Itt már nagyon nagy modellekről van szó, például a GPT-4-es, amit nemrég jelentettek be,

Átirat · 1:22:51

az is egy ilyenabb, ugye 1 billion, ugye 1 trillion paraméter van,

Átirat · 1:22:57

illetve például egy M6-os kínai modellben 10 billion paraméter van.

Átirat · 1:23:03

Ha az elmúlt években megnézzük, hogy hogyan nőtt a számítási igénye ezeknek a neuronhálóknak,

Átirat · 1:23:10

a számítási igény mellé hozzátehetjük azt, hogy ezeket be is tanították,

Átirat · 1:23:13

tehát ott volt a számítási kapacitás a másik oldalon.

Átirat · 1:23:16

Itt ezen az ábrán minden kornak az ilyen State of the Art hálói vannak ki,

Átirat · 1:23:21

mert már összesen 121 neurális hálózatban hivatkozott cikkben a pontos metodológia megvan,

Átirat · 1:23:26

hogy mikor vettek be ebbe az összehasonlításba egy hálót,

Átirat · 1:23:29

de a lényeg, hogy nagyjából mindig különböző területeken,

Átirat · 1:23:33

csak a State of the Art-ok lettek beválogatva,

Átirat · 1:23:35

vagy pedig, hogyha több mint 1000 hivatkozás jött egy cikkre,

Átirat · 1:23:38

akkor még azt is belevették ebbe az összehasonlításba.

Átirat · 1:23:41

52-től 2010-ig nagyjából a Moore törvényét követték a számítási igényei a neurális hálózatoknak,

Átirat · 1:23:51

tehát ez a 18 havonta duplázódik a igénye.

Átirat · 1:23:54

Míg nem 2010 és 2022, tehát most között, vagy 2023 között,

Átirat · 1:24:01

ez lecsökkent lehetőséget.

Átirat · 1:24:03

6 hónapra, 6 hónap ponta dupla annyi számítási kapacitással tanították be a State of the Art hálókat,

Átirat · 1:24:09

ezt részben a gp-üknek köszönhetjük, tehát itt már elszakadtunk nagyon a Moore törvényétől,

Átirat · 1:24:15

illetve 2015-ben megjelent a nagy modelleknek a érája,

Átirat · 1:24:19

ami azt jelenti, hogy egy két nagyságrenddel magasabb paraméter számmal dolgoznak,

Átirat · 1:24:27

itt nagyjából egy 10 havi duplázódás figyelhető meg, tehát ez is gyorsabb, mint a Moore törvények.

Átirat · 1:24:33

A neuronhálók memóriaigénye, ugye itt a paraméter szám mellett nagyon fontos ez,

Átirat · 1:24:38

itt nagyon sok mindent figyelembe kéne venni, ez egy nagyon durva egyszerűsítése a problémának,

Átirat · 1:24:44

tehát a paraméterek száma és akkor a paraméter gradiens és optimalizációs eljárás memóriaigénye,

Átirat · 1:24:49

ezek viszonyos ilyen tanításhoz kapcsolódó fontos elemek,

Átirat · 1:24:57

illetve hogyha az aktivációs függvényeinknek is van tanítható paraméter, akkor azokat is figyelembe kell venni.

Átirat · 1:25:03

Tehát mondjuk egy GPT-3-as 175 milliárdos háló floating point 32 bit reprezentációval,

Átirat · 1:25:13

EDAM optimalizációval tanítva, a relu aktivációs függvénnyel egy olyan 5,09 TB-os méretet ölt,

Átirat · 1:25:20

amihez, hogy csak meg magát a modellt betegjük a GPU clusterünkbe,

Átirat · 1:25:25

nagyjából egy 66 GPU-ra van szükségünk, 80 GB-os A100 vagy H100-os GPU-ból, ami most a State of the Art,

Átirat · 1:25:32

át GPU, és ugye emellett még az adatokat is be kéne tennünk valahová,

Átirat · 1:25:38

tehát hogy még kell nekünk legalább egy 20 GPU-val, ahhoz, hogy az adatokat jó hatékonyan tudjuk tanítani.

Átirat · 1:25:42

Tehát ilyen 80-100 GPU kell, ahhoz, hogy egy ilyet be tudjunk tanítani.

Átirat · 1:25:47

Hogyha mondjuk ezt csak finomhangolni akarjuk, és FP16-ra, tehát 16 bit-es reprezentációra lemegyünk,

Átirat · 1:25:54

SGD optimalizáció, Momentum módszer, ez általában a finomhangolásról használjuk, akkor már elég 1,27 TB,

Átirat · 1:26:01

tehát most már csak olyan 16-17 GPU-ra ráfér a modellünk, és akkor még az adatokhoz kell megyünk legalább egy 5-8-10 GPU-val,

Átirat · 1:26:13

tehát összesen itt egy ilyen 30 GPU-val már egész jók vagyunk.

Átirat · 1:26:16

Viszont ugye, hogyha már ezeket csak prediktálásra használjuk, tehát amikor rámegyünk a ChatGTP-re, és beírunk valamit,

Átirat · 1:26:21

és akkor ott a háttérben milyen hardware-re van szükség, akkor már ugye nem kell nekünk gradiens, nem kell optimalizáció,

Átirat · 1:26:27

csak a paraméterszám, neuronokszáma, illetve hát a tömörítési eljárások,

Átirat · 1:26:31

számíthatnak, illetve hát mellette még azért van jó pár technológiai szempont,

Átirat · 1:26:36

és hát így 175 milliárdos modellt, azt nagyjából 81 GB-ra le tudjuk tolni,

Átirat · 1:26:42

és hát a múlt héten bejelentett H100 NVL, ez pont szerver, pont ezt szolgálja ki,

Átirat · 1:26:48

két GPU, 188 GB-ot tartalmaz, egyiken van a modell, másikon az adat,

Átirat · 1:26:54

és akkor egy ilyen nagyon erős inferencia szervert, predikciós szervert lehet vele létrehozni.

Átirat · 1:27:01

Még két dolog maradt, technikai és technológiai háttér.

Átirat · 1:27:04

Technikai háttér, nagyjából a legtöbb nagy modell mögött a transformer architektúra van,

Átirat · 1:27:10

ebben nem megyek bele, ez kicsit hosszabb lenne elmagyarázni, 2017-es cikk alapján jött ki,

Átirat · 1:27:16

akkor ez nem volt egy óriási áttörés, nem hozott igazán nagy pontoságbeli áttörést a korábbi rendszerekhez képest,

Átirat · 1:27:22

viszont sokkal gyorsabb volt tanítani ezeket, míg nem sokkal később a BERT alapú természetes nyelvfeldolgozás,

Átirat · 1:27:31

nál alkalmazott modellt self-supervised módon tanították, ez azt jelenti, hogy címkézetlen adatokkal,

Átirat · 1:27:36

vagyis hát magából az adatból alakították ki a címkéket, betanították nagy forkuszokon, nagy adatbázison,

Átirat · 1:27:44

majd adott témakörökre finom hangolva, kiérdezfelelekre, entitáskinyerésre és a többi state of the art eredményt értek el.

Átirat · 1:27:53

Ez a transformer nagyon jól skálázható és nagyon jól adottálható különböző modalitásokra,

Átirat · 1:27:57

ma már szinte minden témakörben használják,

Átirat · 1:28:00

illetve hát a multimodalitásban is.

Átirat · 1:28:01

Illetve a multimodális témamegoldásokban is.

Átirat · 1:28:04

Emellett a nagy modellekben azért vannak klasszikus architektúrák és például konvolúciós hálók,

Átirat · 1:28:08

de azért a transformer az utóbbi időben átvette az irányítást,

Átirat · 1:28:11

olyannyira, hogy például a legújabb hardware-ekben hardware-es szinten van transformer gyorsítás a GPU-kban.

Átirat · 1:28:18

És ott maradt a technológiai háttér, ami legalább annyira fontos, mint minden, amit eddig beszéltünk.

Átirat · 1:28:24

Itt megint csak órákig lehetne ezekről beszélni.

Átirat · 1:28:28

Most amiket kiemelnék, az a algoritmus háttér,

Átirat · 1:28:30

szoftver és hardware architektúra.

Átirat · 1:28:32

Algoritmus háttérben is külön kell választani a tanítást és a predikciót, tehát a hálózatok futtatását, inferenciát.

Átirat · 1:28:39

Most a tanításnál pár szempontot kiemelek.

Átirat · 1:28:43

Itt lehet azt, hogy mondjuk a adatokat párhuzamosítjuk,

Átirat · 1:28:47

tehát sok GPU-ra szétteszünk a adatnak különböző részeit,

Átirat · 1:28:50

és a modell ugyanaz a modell, mint a sok GPU.

Átirat · 1:28:53

Ez nem igazán hatékony nagy modellekhez.

Átirat · 1:28:55

Nagy modellekhez vagy a pipeline, vagy a tensor, vagy a kettő

Átirat · 1:28:58

paralleliznek a kombinációt.

Átirat · 1:29:00

Amikor a hálónak vagy horizontálisan, vagy vertikálisan, vagy mindkét irányba osztjuk szét a GPU-kon,

Átirat · 1:29:06

tehát vagy rétegeket, magasabb rétegeket egyik GPU-ra, alacsonyabbak a másikra tesszük,

Átirat · 1:29:12

vagy pedig még így keresztbe is vágjuk ezeket a rétegeket.

Átirat · 1:29:15

Például egy párhuzamos pipeline tanításnál látunk itt egy példát.

Átirat · 1:29:20

A mikro-batchelés technikával, ugye a mini-batch technikával tanítjuk a hálókat.

Átirat · 1:29:25

Ilyenkor az adatokat még kisebb részekre bontjuk,

Átirat · 1:29:28

és akkor itt van az egyes GPU,

Átirat · 1:29:30

és ugye akkor tudjuk csak átadni a következő GPU-nak az adott réteg kimenetét,

Átirat · 1:29:37

amikor azt kiszámoltuk, hiszen az egy magasabb szintje a neurális hálónak,

Átirat · 1:29:40

és akkor az adja tovább-tovább,

Átirat · 1:29:42

és akkor mikro-batchekkel végig futtatjuk az adatok egy részét,

Átirat · 1:29:45

ez a forward ciklus, amikor előre megyünk a neuron hálóba,

Átirat · 1:29:49

majd a backward ciklusnál, amikor finom hangoljuk a háló súlyait,

Átirat · 1:29:53

ugyanígy visszafele végig megyünk, mikro-batchek egyes részeivel,

Átirat · 1:29:57

ahol a gradiánsokat kiszámoltuk,

Átirat · 1:29:58

és aztán az egészet összegezzük.

Átirat · 1:30:00

Megjelennek itt viszont ilyen buborékok,

Átirat · 1:30:02

amik ugye a GPU clusterünknek a kihasználatlanságát jelölik,

Átirat · 1:30:06

tehát ezek minél nagyobbak nekünk, annál nagyobb a időveszteségünk,

Átirat · 1:30:10

amit ugye pénzbe tudunk lefordítani, pénzünk veszteségünk.

Átirat · 1:30:14

Úgyhogy erre különböző stratégiák vannak a pározomos pipeline kidolgozására,

Átirat · 1:30:19

itt tényleg nagyon sok algoritmus van, én itt csak a mintázatokat villantom fel,

Átirat · 1:30:25

hogy azt látjuk, hogy egyre kevesebb szürke buborék van,

Átirat · 1:30:28

ebbe az ütemezésbe,

Átirat · 1:30:30

és hát itt ugye azért nagyon sok hasonlóság van a távközlési rendszerekkel is.

Átirat · 1:30:34

Itt ugye fontos az, hogy a GPU közötti adatátvitel azért az nem olyan gyors,

Átirat · 1:30:39

még mai napig sem, mint a GPU belül adatátvitel.

Átirat · 1:30:42

Szükségünk van megfelelő szoftver aritektúrára,

Átirat · 1:30:45

itt ipari standardává állik lassan a NVIDIA-nak a GPU Cloud-ja,

Átirat · 1:30:50

illetve megfelelő hardware-re,

Átirat · 1:30:52

itt a skálázhatóság ilyen 64-128 GPU-ig,

Átirat · 1:30:57

szinte lineáris, tehát mondjuk 8-szor annyi GPU-val 6,4-es gyorsulást,

Átirat · 1:31:02

az egész 6-szorost érünk el különböző témakörökbe,

Átirat · 1:31:05

hát amikor már ilyen 4000 méretű GPU clusterre megyünk,

Átirat · 1:31:10

ott már ezért nem ennyire szép, de ott is látunk egy egész jó skálázódást.

Átirat · 1:31:16

Kapcsolódó kutatás irányaink a sok GPU-s, multinode, multigp-us tanításoknak a benchmarkolása,

Átirat · 1:31:23

a sok GPU-s predikció, NLP-be a nagy hiánymodellekkel,

Átirat · 1:31:27

dolgozunk már.

Átirat · 1:31:28

Veszélyteknológiában és gépi látásban még nem vették át az egyértelmű irányítást ezek a rendszereknek,

Átirat · 1:31:33

és nem annyira jó, és nekünk nincsen olyan tapasztalatunk benne,

Átirat · 1:31:37

hogy napi szinten alkalmazásban használjuk,

Átirat · 1:31:39

de biztos, hogy ez el fog jutni az akkor is, hogy pár év múlva vagy pár hónap múlva ezzel foglalkozunk.

Átirat · 1:31:46

Tehát a rövid összefoglaló nagyobb modellel adathatékonyabbak vagyunk,

Átirat · 1:31:51

erőforrás hatékonyabbak vagyunk,

Átirat · 1:31:53

hyperparaméter robosztosak és nagyobb pontoságot érünk el,

Átirat · 1:31:56

a hardware és szoftver aritektúra fontos mellé,

Átirat · 1:32:00

magas gépülgény, illetve pont azért, mert ugye nagyon sok gépül kell, nehéz ezeket a tudásokat megszerezni,

Átirat · 1:32:06

tehát azt adat, hogy a sok gépüls tanítási tudást megszerezni, hogy ilyen sok gépülnek a közelébe kerüljünk.

Átirat · 1:32:11

Trend töretlenül folytatódik, nagy adatbázis, nagy modell, jobb eredmény.

Átirat · 1:32:18

Most a legnagyobb kapcsolódó szuperszámítógép ez a Leonardo, 14000 GPU-val,

Átirat · 1:32:25

és hát 2026 rab esések szerint ilyen exafloppos nagyságrendben leszünk deep learning célokra.

Átirat · 1:32:30

És hát csak egy reklám helye, hogy hol tudjuk elsajátítani az ilyen ehhez kapcsolódó tudásokat,

Átirat · 1:32:36

ugye könyvekből, online kurzusokból, Nvidia Coursera saját projekteken keresztül,

Átirat · 1:32:41

illetve hát ott a BM-en belül is vannak tárgyaink, MSC specializációk erről,

Átirat · 1:32:47

illetve különböző képzési programokba vesz részt a BM-e AI-jal foglalkozó munkatársai,

Átirat · 1:32:55

ilyen például az ARISA, a HCIM, illetve az ESSA egy kicsit bővebb ilyen oktatási együttműködés európai szinten.

Átirat · 1:33:03

Elnézést az elnök úrtól, vagy a ticsit túlmúltan, köszönöm szépen a figyelmet,

Átirat · 1:33:07

és a LinkedIn-en, hogyha bármi kérdés van, akkor szívesen válaszolok. Köszönöm.

Átirat · 1:33:17

Nagyon szépen köszönöm az előadást. A közönség nekem árulott annyit, hogy a Bálint az elején arra biztatott,

Átirat · 1:33:24

hogy a kérdésekre szánt időben is hagyjam beszélni egy kicsit.

Átirat · 1:33:30

Ezt tettem. Azt gondolom, hogy érdemes volt, mert az előadás nagyon izgalmas volt.

Átirat · 1:33:35

Ha valaki bennem lenne a kérdést, nagyon akkor szóljon, hanem ha nagyon nem sűrűs, azt javaslom,

Átirat · 1:33:43

hogy akkor a rendezvény után keressék meg Bálintot, és ezzel szeretném felkérni egyben a következő előadónkat,

Átirat · 1:33:50

Szűcs Gábort, az adat- és médiatartalom kitatócsiport vezetőjét, aki egyébként Kármán Említ igaz is.

Átirat · 1:34:00

Elaludtam. Érdekes volt az előadás, de a számítógépem elaludt.

Átirat · 1:34:30

Eddig legalább föl tudtunk tenni a mikrofont.

Átirat · 1:34:44

Nagyon jó, nagyon jó.

Átirat · 1:34:47

Szerintem, hogy jól lesz. Köszönöm szépen.

Átirat · 1:34:59

Akkor sok szeretettel köszöntök mindenkit.

Témák

MI-támogatott

Összefoglaló

MI-támogatott

Az előadás áttekinti a milliárd paraméteres neurális modellek létrejöttének algoritmikus, számítási és technológiai feltételeit. Bemutatja a skálázási törvényeket, a nagy modellek adat- és erőforrás-hatékonyságát, memóriaigényét, valamint a GPT-3-hoz hasonló rendszerek tanításához és inferenciájához szükséges GPU-infrastruktúrát. Külön foglalkozik a transformer architektúrával, a self-supervised tanulással és a több GPU-s pipeline- és tensor-párhuzamosítással.

Videó navigáció

Fejezetek

MI-támogatott