Előadás

Deep learning rendszerek skálázása

Gyires-Tóth Bálint

BME TMIT

M.I. fénycsóvák az akadéMIai világítótornyokból

2024. március 12. 14:00BME Informatikai épület, IB025 · Budapest

Átirat · 2:37:52

maradtak maradtatok így az még a határidőn túl is debrecenhez nekem is van kötődésem nagyszüleim édesanyám ugye

Átirat · 2:38:01

onnan való nagyapám a debreceni egyetemen a matematikának volt

Átirat · 2:38:08

a professzora és a számítás technológiának a bevezetése részben hozzáfűződik az egyetemen de hát nem erről beszélünk ma hanem a deep learning

Átirat · 2:38:16

rendszereknek a skálázásáról és ugye a skálázás az egy ilyen jó cím amit hogyha adunk az előadásnak akkor abba bármit bele tudunk gyűrni így volt amikor így

Átirat · 2:38:24

pali megkért erre viszont ez egy olyan dolog amivel aktívan foglalkozom a manapság a projektekben

Átirat · 2:38:32

ugye ez régi témakör skálázása a rendszereknek viszont deep learning rendszerek esetén ez viszonylag hordoz

Átirat · 2:38:39

magáb pár sajátosságot és ezeknek egy részéről fogok beszélni ahogy pali is mondta itt vagyok

Átirat · 2:38:46

az egyetemen docens mellette az nvidia deep learning institutnak oktat ója és utóbbi időben a nemzeti adó és vámhivatalnak a mesterséges

Átirat · 2:38:54

intelligencia munkacsoportjában vagyok ilyen külső semmi szakértő a hogyha nekiállunk bármilyen machine

Átirat · 2:39:01

learning projektnek a legalapabb szinten akkor nagyjából ugye így kezdünk neki ez ugye az melops témakörbe a nullás

Átirat · 2:39:09

szintet jelöli megvan az adatunk előkészítjük modellt építünk és azt kiértékeljük és akkor jó sokáig pörgünk ezen a részen ameddig ki nem jön egy

Átirat · 2:39:17

olyan állapot amivel eléged k vagyunk ezt betesszük egy modell regiszterbe ahonnan ahol ugye verzió követéssel tartjuk nyilván a modelljeinket és hát

Átirat · 2:39:27

kitesszük egy modellfutató szerverre amivel kiszolgáljuk a felhasználókat na most

Átirat · 2:39:36

a ez így jó lenne viszont azért mindannyian ismerjük az ilyen fajta modellfejlesztésnek a hátulütőjét amit

Átirat · 2:39:44

így foglal össze ez az ábra hogy egy ilyen szuboptimális munka menet az amikor éjszaka mondjuk adatot töltünk le

Átirat · 2:39:51

adatot készítünk elő tanítjuk a géppel a modelljeinket beérünk a munkahelyre vagy otthon a hóból elkezdünk dolgozni

Átirat · 2:40:00

kódon kicsit kalapálunk egy óráig elindítjuk újra a folyamatot és akkor várunk jó sokáig úgy érezzük hogy nagyon hatékonyak

Átirat · 2:40:08

voltunk és most milyen jó hogy a gép dolgozik helyettünk egyszer csak mondjuk pár kávé után jön egy hibaüzenet hogy

Átirat · 2:40:15

valamit nem adtunk oda vagy rossz típusú változót használtunk megint módosítunk megint várunk át váltunk koffeinmentes

Átirat · 2:40:24

kávéra ugye a koffeinnak a felezés ideje 4-5 óra átlagba tehát már délután nem illik inni de aztán megint valamin elszáll a modellezési folyamat hogy a

Átirat · 2:40:32

pontosság nem jó és akkor így így így megy a gyötrelmes napjai a machine learning kutatóknak mérnököknek ugye

Átirat · 2:40:41

ezzel szemben sokkal optimálisabb ezeknek a iterációknak tututásoknak a lecsökkentése és hát erre számos lépést

Átirat · 2:40:51

be kell vezetni ahhoz hogy ezt tényleg hatékonyan tudjunk menni egyrészt egy szintet kellene vagy érdemes lépnünk

Átirat · 2:40:59

a modellezési módszertanba itt ami azt jelenti hogy a machine learning pipeline-t automatizáljuk ez a google

Átirat · 2:41:08

definíciója szerint ez a level 1-es ezután még van a level 2 egyébként de odáig már nem fogunk eljutni itt nagyjából nem megyek végig ezen az

Átirat · 2:41:17

ábrán de ami nagyon lényeges hogy itt a adatelőkészítés tehát adatvalidálás adatelőkészítés modellépítés

Átirat · 2:41:26

modellkiértékelés modellvidálás ezeket a lépéseket külön-külön modulokba szétszedjük és ezekbe a modulokba megadjuk nagyjából azokat a

Átirat · 2:41:34

határértékeket aminbe amibe keressük az optimális megoldást tehát egyfajta ilyen hiperparaméter keresés csak ugye az

Átirat · 2:41:41

egész pipeline-ra vonatkozik illetve maga a bemenő adat is az ugye az egy változó világba élünk jönnek az új adatok

Átirat · 2:41:49

vagy esetleg egy kisebb adatbázissal kezdünk neki később nagyobb adatbázissal és ezt tudja kezelni na hát a mai előadásba ennek ezzel a kis részével

Átirat · 2:41:58

foglalkozok ugye a modellépítésnek a a a a skálázásával az alábbi ábrán egy

Átirat · 2:42:06

összefoglalást látunk az elmúlt pár évtizedből ugy a különböző ezek ilyen egyes machine learning modellek hány

Átirat · 2:42:15

milyen számítási igényűek voltak ugye ez a floating op per számban

Átirat · 2:42:23

kifejezve itt ha megfigyeljük ezt az ábrát a három rész különíthető el az

Átirat · 2:42:29

egyik itt a 2010 előtti időszak amit pre deep learning érának is hívunk ekkor a

Átirat · 2:42:35

számítási igénynövekmény az nagyjából 21,3 havonta duplázódott míg nem a deep

Átirat · 2:42:43

learning éra bejön elkezdődött 2010-2022 között jöttek a modellek ezek

Átirat · 2:42:49

tipikusan ilyen pár 100zázezer pár 10 pár millió 10 millió 100 millió paraméteres modellek tehát ezek még

Átirat · 2:42:57

ilyen gigab nagyságrendű hogyha elmentjük ezeket a modelleket tehát még egy kezelhető méretűek itt a duplázádási

Átirat · 2:43:06

idő az nagyon lecsökkent 6,7 hónapra ugye ez bőven a múr ökölszabály vagy múrtörvény ha úgy jobban tetszik az

Átirat · 2:43:13

alatt van részben a gpúknak köszönhetően illetve 2015-től meg jelent egy új trend ez ugye a large scale modellek a nagy

Átirat · 2:43:22

modellek ugye ebből legtöbbet a nagy nyelvi modelleket halljuk de nem csak nyelvi modellekből vannak nagyok hanem más modellekből is

Átirat · 2:43:29

itt a felezési idő az kicsit megnőtt nagyjából 10 hónapra viszont azt látni kell hogy a számítási igény az három

Átirat · 2:43:38

nagyságrenddel nagyobb lett tehát 10 a 18-on helyett 10 a 21-entől indult el ugye nyilván a az

Átirat · 2:43:47

emberi éle hossza illetve a türelmünk az nem változik ilyen gyorsan tehát nem duplázódik a élet várható

Átirat · 2:43:56

élettartam 21 illetve öt havonta a türelmünk se nő ennyire tehát itt ugye arra kell gondolni hogy 2000 1960-ban

Átirat · 2:44:05

ugyanúgy pár napot voltak hajlandóak várni az emberek mint 2024-be nagyon indokolt esetbe többet

Átirat · 2:44:13

tehát itt mindig ugye mögé a vasat próbáljuk meg a megoldásokat pakolni a továbbiakban erre a két részre

Átirat · 2:44:21

koncentrálnék tehát az ilyen most már lassan small modellként hivatkozzunk az ilyen kisebb modellekre amelyek ilyen milliárdos nagyságrend alatt vannak

Átirat · 2:44:30

illetve a nagy modellek amikik a milliárdos nagyságrend felett nagyon nagy általánosságba

Átirat · 2:44:37

véve hogyha az ember hozzányúl egy machine learning problémához akkor ugye kisérletezéssel kezd nagyjából a level

Átirat · 2:44:44

nulla emelops architektúrás ábrán ugye amit mutattam itt tényleg ilyen sok projektap sok

Átirat · 2:44:52

projektből összeszedett információk alapján nagyjából ez a 500 gpu ór tanítás az az minimum elmegy ezzel lehet

Átirat · 2:45:00

hogy ez kevesebb lehet hogy több de azért nagyságrendben ennyi el szokott menni odáig hogy egyáltalán azt mondjuk hogy érdemes ezzel foglalkozni és vigyük

Átirat · 2:45:08

tovább mondjuk egy technology readiness level 3-ra ami mondjuk egy ilyen proof of concept jellegű megoldás vagy tovább

Átirat · 2:45:15

mondjuk egy prototípusig és akkor ugye így nőnek a séges órák száma ami mellett persze fontos az hogy maga a rajta

Átirat · 2:45:23

dolgozó mérnökök meg kutatóknak az ide is optimalizált legyen ugye ezek az számok elsősorban a kismellekre

Átirat · 2:45:31

vonatkoznak tehát a milliárdos modellek alatti érára viszont ugye ahogy az előző előadásokban is többször hallottuk azért

Átirat · 2:45:39

a világ a nagy modellek fele megy és itt egy kicsit így ilyen kitérőként amiről a szakma így szokott vitatkozni vagy hát

Átirat · 2:45:46

így beszélgetni hogy az ilyen világ modellekkel azokba holt tartunk itt ez a

Átirat · 2:45:53

megközelítés a jan löcan professzornak a megfogalmazását prezentálom aki ugye a meteiának a a sok ideje a vezetője meg a

Átirat · 2:46:02

konvolúciós neuronhálóknak az atja ugye egy világmodellnek az lenne a célja hogy megmondjuk a következő állapotot abból

Átirat · 2:46:10

hogy xt mi a bemenet st mi a világállapota at mit csinálunk ebbe a világba illetve a zt egy ilyen látens

Átirat · 2:46:18

komponens amit it nem ismerünk a világról és azt próbáljuk megjósolni ugye további megfigyelések alapján ugye

Átirat · 2:46:24

itt amiket pirossal kiemeltem azok a azokat lehet például neuronhálókkal tanítani és ugye ezzel a

Átirat · 2:46:34

4ssel tehát xt st at illetve xt + 1 bocsánat az st+ 1 lenne st+ 1 a

Átirat · 2:46:41

következő állapottal lehetne tanítani ezt a modellt miért mondom ezt így el ugye ez egy ilyen általános célja a machine learningnek hogy hogy hogy minél

Átirat · 2:46:50

bővebb ilyen világmodellt építsünk az a utóisztikus elképzelés nagyon-nagyon messze van ugye hogy egy ilyen világmodell a dns-től kezdve az

Átirat · 2:46:59

univerzum működéséig tudja leírni hogy mi történik viszont hogyha megnézzük akár a manapság mindenki által használt ilyen

Átirat · 2:47:08

generatív módszereket azt vesszük észre hogy egy magasabb szintű absztrakciót építenek a világról tehát mondjuk egy arc vagy személygenáló algoritmus az már

Átirat · 2:47:17

3d-ben képes megérteni hogy hogy néz ki az ember 3d-ben 2d-s képekből összerakja ezt ugyanígy a nyelvi modellekbe ahogy

Átirat · 2:47:25

várali tamás előadásában is láttuk ugye egy sokkal magasabb koncepciót egy egy egy ilyen okokozati összefüggéseket

Átirat · 2:47:32

összekapcsol és ezt el tudja magyarázni tehát még igaz hogy nagyon távol vagyunk nem is tudjuk hogy elérünk-e egyszer az ilyen ennél bővebb világmodellig de

Átirat · 2:47:41

azokba a szűk ai alkalmazásokba a amikbe dolgozunk manapság tehát szöveg beszél szöveg söveghang és kép ott egyre

Átirat · 2:47:50

inkább errefele megyünk és ugye ezeket most elnevezte a szakma a foundation modelleknek és hát ugye akkor

Átirat · 2:47:57

így térnék rá a nagy modellekre hogy ezekkel foglalkozunk és hát nem szabad őket figyelmen kívül

Átirat · 2:48:05

hagyni és hát ugye itt jön be a deep learning erőtörvénye vagy skálázási törvénye ami azt mondja ki hogy ha

Átirat · 2:48:12

megfelelően komplex a folyamat akkor az adatbázisnak a növelésével illetve hát a

Átirat · 2:48:18

öttes modell növelésével a hiba az csökkenthető egy bizonyos szintig ameddig elérjük az ilyen irreducible

Átirat · 2:48:26

error régiót na most ez a csökkentés ez sokszor nagyon sokba kerül nekünk mert mondjuk itt hogyha azt nézzük hogy egy

Átirat · 2:48:35

hibát mondjuk 4,5-ről hra levigyünk ahhoz ezt a rendszert mondjuk 864 mum

Átirat · 2:48:42

helyett körülbelül egy napig kell tanítanunk itt ez a pfd ez a petaflop day-t jelenti és kérdés hogy megéri ez nekünk az

Átirat · 2:48:51

alkalmazás szempontjából most egy picit nem tudom máshogy ma szebbek lesznek a képeink vagy vagy

Átirat · 2:48:57

vagy szebben válaszol nekünk a nyelvi modell hát nem csak emiatt éri meg nekünk a pontosság miatt hanem a nagy

Átirat · 2:49:05

modelleknek számos előnye van ami miatt ténylegesen muszáj még a small modell tehát a kis modellekkel foglalkozó

Átirat · 2:49:12

kutatóknak is legalább így a szkópjában benne legyenek ezek az eszközök például ilyen az hogy hogy hát nagyobb pontosságot érhetünk el viszont

Átirat · 2:49:21

adathatékony is itt ezen az ábrán azt látjuk hogy a különböző színek különböző méretű modelleket jelölnek ezek pont

Átirat · 2:49:28

nyelvi modellek és a nagy nyelvi tehát a legnagyobb most ez 8,3 milliárdos modell az ugyanannyi

Átirat · 2:49:36

adattal tehát itt az xtengelyen van az hogy hányszor futtatjuk végig az adott adatbázist tanítás során a modellen azt látjuk hogy ez már mondjuk ilyen három

Átirat · 2:49:44

epoch alatt háromszor futtatjuk végig az adatbázist elérte a majdnem a legjobb eredményt vagy talán a legjobb eredményt míg nem a

Átirat · 2:49:53

kisebb modellt sokáig futtatva sem tudjuk ezt megközelíteni sem tehát hiába nagyobb gyorsabban jobb eredményt érünk

Átirat · 2:50:00

el a úgynevezett fuchat learning tulajdonságai is sokkal jobbak tehát hogy egy-egy egy-két mintát utána

Átirat · 2:50:09

mutatunk és utána a pár mintából sokkal jobb általánosító következtetést lehet levonni ugye erről is volt pár példa az

Átirat · 2:50:16

elmúlt előadásokban illetve nagyon előnyös az hogy az úgynevezett hiperparaméterekre tehát az ilyen különböző beállításokra viszonylag

Átirat · 2:50:24

érzéketlenek ezek csak a méret ami számít nyilván el lehet rontani rossz hiperpaméterbeállításokkal de tehát egy

Átirat · 2:50:32

észszerű kereteken belül csak az számít hogy mekkora a modell és nem az hogy éppen most hogyan finomhangoljuk a

Átirat · 2:50:38

learning rateet vagy vagy a modellekbe a nem tudom neuronok számát pontosan na és akkor így jutunk el hogy

Átirat · 2:50:48

a neuron hálók skálázása milyen módszereink vannak most a tanítás skálázására a predikció tehát a futtatás

Átirat · 2:50:55

skálázás az megint egy teljesen más történet hát az első amit tényleg mindenki csinálhat a aki mondjuk kisebb

Átirat · 2:51:03

neuronhálókkal foglalkozik ez a adat és modell klónozása tehát az adatot és a modellt rátesszük külön gépókra és akkor

Átirat · 2:51:09

párhuzamosan jó sok kísérletet futtatunk a második lehetőség párhuzamos adatfeldolgozás ezt dta parallelizmnek

Átirat · 2:51:17

hívjuk min minden gpu-ra rátesszük a modellt és külön-külön adatrészt kapnak meg ezek a gpuk a adott idő közönként a

Átirat · 2:51:25

adott gp külön gépukon kiszámolt gradienseket tehát az ilyen tanulási folyamatot azt egy helyen összesítjük és aztán a így megtanult súlyokat megint

Átirat · 2:51:34

szétosztjuk a gépúk között és így megyünk tovább a következő az a párhuzamos pipeline amikor a neurális hálózatokat horizontális vertikálisan

Átirat · 2:51:43

vágjuk szét tehát azt mondjuk hogy mondjuk az első három réteg az a első gp második három a második és így tovább

Átirat · 2:51:50

illetve van a tenzor parallelizmus tehát a párhuzamos tenzorműveletek amikor megve horizontálosan vágjuk el a

Átirat · 2:51:57

neuronhálót tehát mondjuk amikor már mondjuk egy adott réteg nem fér bele egy gpúnak a memóriájába akkor azt is

Átirat · 2:52:04

szeretelnünk kell és akkor külön gpukkra kerül illetve hát ezeknek ugye mindenféle kombinációja létezik

Átirat · 2:52:11

egy ilyen alap elv a párhuzamos pipeline-nál ugye hogy a becch helyett amikor egy köteggel tanítunk egy egy

Átirat · 2:52:19

neuronhálót bevezetjük a mikrobecset ugye itt négy gpu-t látunk és hogy egy tanítása során egy neuronhálónak vannak

Átirat · 2:52:26

az előre és a hátra fele lépések tehát a forward meg a backward pass és itt ugye azt látjuk hogy ezt a mikrobecset itt

Átirat · 2:52:34

szépen ugye most nyolc részre osztja és akkor amikor már az első mikrobecch megvan azt már adja tovább annak az eredményét a második gpu-nak harmadiknak

Átirat · 2:52:42

negyediknek ugye ez az amikor így a vertikálisan vágjuk szét a neuronháló tehát hogy a rétegek első pár réteg

Átirat · 2:52:51

elsőgépű utána a második és a többi és utána amikor ugye a teljes forwar ciklus megvan elindítjuk a backwardot ugye ez sokkal optimálisabb minth hogyha

Átirat · 2:52:59

megvárnánk ezt az egész batchet miniatchet és akkor utána jönne a második miniatch harmadik nyilván ezt látjuk viszont így is megjelennek ugye

Átirat · 2:53:06

ilyen üres járti idők amiket buborékoknak hívunk és hát erre különböző ütemezési stratégiák vannak a

Átirat · 2:53:14

különböző ilyen skálázási eszközökben aminek az a célja hogy minél jobban ezeket a buborékokat feltöltsük és ugye minél

Átirat · 2:53:21

többet pörögjenek a gpuk itt ez csak egy példa arra hogy mondjuk hogy lehet egyszerre egy pipeline és egy

Átirat · 2:53:30

tenzor parallel műveleteket végezni tehát itt két itt néy gpu-ra szedett számítás látszódik magát a hálót ugye

Átirat · 2:53:39

így vertikálisan két ketté vágtuk két irányba tehát idáig tart az első fele innen a második illetve a horizontálisan

Átirat · 2:53:47

pedig ugye még további kettő irányba és akkor így fér bele ennél a példánál a gpu-ba ahhoz hogy ezeket

Átirat · 2:53:56

megvalósítsuk szerencsére már viszonylag fejlett szoftvereszközök állnak rendelkezésre illetve hát a mögöttes

Átirat · 2:54:04

algoritmusok az egyik leghíresebb a microsoftnak a deeps speedje emellett még amik elterjedtek ezek a pytorch fsdp

Átirat · 2:54:13

a fairale illetve a flexfow most a deep speedre mutat nék pár részletet hogy

Átirat · 2:54:20

hogyan működik itt ennek ilyen

Átirat · 2:54:26

három stációja van a az első stáció az amikor a a

Átirat · 2:54:34

optimalizáción optimalizációs algoritmusnak a paramétereit osztjuk szét gpu között és maga a gradiensek és

Átirat · 2:54:42

a modell az a összes gpu jelen van ugye optimalizációs algoritmusból nagyon sokszor az edemet használ

Átirat · 2:54:49

annak paraméterenként 12 12 byte szükséges tehát innen jön ez hogy az a

Átirat · 2:54:57

legnagyobb rész egy ilyen tanítás során amit érdemes először szeletelni akkor utána jön amikor a gradienst is ehhez

Átirat · 2:55:04

hozzávesszük ez a stage 2 illetve a stage 3 amikor már a modellünk is akkora hogy nem fér bele egy gpu

Átirat · 2:55:11

memóriájába és akkor a modellt a gradienst meg ugye ezeket a optimalizációs paramétereket is

Átirat · 2:55:17

szétvagdos uk különböző gpu-kra a itt ami példát látunk itt 64 gpun egy 7,5

Átirat · 2:55:26

milliárdos hálónak a memória igénye per gpu hogyha ugye ezt teljesen baseline használjuk tehát egy 7,5 milliárdos

Átirat · 2:55:35

hálót csak úgy rá akarnánk tenni egy gpu-ra akkor 120 gb-os gpura lenne szükség tudomásom szerint ilyen nem létezik jelenleg de lehet hogy már

Átirat · 2:55:43

kijött nem tudom én nem tudok róla hogyha bevezetjük a stage 1-et tehát a

Átirat · 2:55:50

optimalizációs algoritmus paramétereinek a szeletelését akkor már elég 32 gb-os gpu-ink hogy legyenek utána hogyha ugye

Átirat · 2:55:59

a stage 2 hogy a gradienseket is szétszedjük akkor 16 gb és hogyha a modellt is szétszeleteljük 64 gpu-ra

Átirat · 2:56:06

akkor 2 gb-os gpu-kal már elmuzsikálunk tehát hogyha valaki azt mondja hogy már nekem csak öreg gpu klaszteren van akkor

Átirat · 2:56:13

az is jó lehet ilyen esetben hiszen még azt is tudjuk használni ennek még további kiterjesztése is van például a

Átirat · 2:56:21

zo++ ahol különböző kvantálási stratégiákat illetve ilyen további tenzor felosztást vezettek be ahhoz hogy

Átirat · 2:56:29

a a kommunikáció minél kisebb legyen az egyes gpu között és akkor végezetül

Átirat · 2:56:36

ahogy komondorról már volt szó én is pár szót ejtenék ugye magyarország szuper számítógépe jelenleg a legnagyobb

Átirat · 2:56:44

teljesítményű reméljük hogy majd jön a következő ebbe jó gyors tárolóegységek vannak három különböző skálán meg

Átirat · 2:56:51

mérettel illetve van egy gpu meg egy ai partíció ai partícióban nyolcas nyc gpus

Átirat · 2:56:58

nodok vannak abból négy az ai gpu particionot meg 54 gpuss node van és akkor pár esettanulmány hogy ezt mi hogy

Átirat · 2:57:06

használtuk az utóbbi időben milyen munkákba és kísérletekbe itt unyi

Átirat · 2:57:13

dániel illetve hát elsősorban unyi dániel és mellette tugyi beatrix munkásságát mutatja ez a gráf magyarosz

Átirat · 2:57:20

utasságra vonatkozó kutatásunk ahol a cél egy minimális algráf megkeresése amely a gráf osztályozó azonos vagy

Átirat · 2:57:29

legalább hasonló pontosságot ér el tehát magyarul a gráfból l leválasztunk gráfokat és akkor ugyanazon a feladaton

Átirat · 2:57:36

mint eredeti feladat lefuttatjuk és megnézzük hogy melyik részgráf az ami nagyjából ugyanazt tudja amelyik tudja az felelős azért hogy tehát azt tanulta

Átirat · 2:57:43

meg ezt a döntést itt maga hogy a encia tehát a base a korábbi módszerekhez

Átirat · 2:57:51

hozzá összehasonlítsuk velük hat baseline módszer volt hat tesztadathalmaz illetve hát azért hogy statisztikailag kiértékelhető legyen 10

Átirat · 2:57:59

futtatást csináltunk adathalmazónként tehát ez 360 tanítás és a saját módszerünknél a graph nosnál is legalább

Átirat · 2:58:07

ennyi tanítást tehát nagyjából ilyen 800000 800 kötőjel 1000 tanítást futtattunk amit hogyha itt is különböző hosszúságú tanítások de hogyha csak azt

Átirat · 2:58:16

vesszük hogy egy óra egy tanítás akkor ez így összesen ugye már ilyen 20 nap nagyságrendben van amit hogyha egy gpun kell végigvárnunk akkor ez egy

Átirat · 2:58:25

jelentős lassítás lenne itt egy klónozást használtunk párhuzamos modellek és a adatbázis ugye különböző setupokkal szétküldtük a klaszterre

Átirat · 2:58:34

következő munka szintén unyi dániel vezetésével készült itt agykérek szegmentáció gráfneuron

Átirat · 2:58:43

hálókkal a kutatás célja a ilyen agyi emeri felvételekből készült

Átirat · 2:58:50

rácshálóknak a szegmentációja nevezetesen a human connecton projektből 1200 és a mindbogleből 100 felületi háló

Átirat · 2:58:59

van ez összesen körülbelül hálónként 140000 csúcs és 84000 él ezzel az adatbázis méretét szeretném érzékeltetni

Átirat · 2:59:08

itt dat pararallel tanítást vezettünk be maga a tanítás az ilyen egy-két nap helyett ilyen 4 óra nagyságrendben vagy

Átirat · 2:59:17

aláesett illetve az adatfeldolgozást is párhuzamosítottuk így nagyjából egy 1200-szoros gyorsulás volt elérhető

Átirat · 2:59:24

tehát hogyha ez megint csak mindenféle ilyen skálázás nélkül ment volna végig akkor valószínűleg még most is itt a

Átirat · 2:59:31

gépeink számolnának az első emeleten harmadik esettanulmány és utána még egy van és akkor átadom finak a szót

Átirat · 2:59:41

a önfelügyelt tanulásba encóer hálók vizsgálata ez gépi látás témakörbe ugye az az önfelügyel tanulásnál nincsenek

Átirat · 2:59:49

cíkéink hanem egy nagy adatbázis cíkék nélkül használunk fel arra hogy a reprezentációt tanuljanak ezek a hálók és ennek is általában két része van az

Átirat · 2:59:57

encóer meg a decóer itt nagyjából 100 vagy an tehát 100-nál több párhuzamos kísérletet futtattunk

Átirat · 3:00:05

tehát itt megint ilyen klónozásos módszerrel teljesen változó volt modellmérettől függően illetve adatbázistól amivel

Átirat · 3:00:14

teszteltük hogy fél órától egy ilyen 15 óráig való futásiő a itt hat nodot használtunk fel és nagyjából itt magát

Átirat · 3:00:22

ezt a ilyen nag nagyságrendileg 360 gpu órát azt 15-20 óra alatt így meg tudtuk csinálni tehát egy napos kísérletre ment

Átirat · 3:00:30

le a 20-30 nap közötti számítási idő és hát az utolsó

Átirat · 3:00:38

példa pedig a nyelvtudományi kutatóközponttal közösen végzett munkába az ilyen nagy nyelvi modelleknek a

Átirat · 3:00:45

komandoron való tanítása azért mondom hogy a komondor ez a korábbiak is a komondoros tanítások voltak azért mondom hogy komondor hiszen a nyelvtudományi

Átirat · 3:00:52

kutatóközpontnak egy viszonylag komoly számítási infrastruktúrája van azon is párhuzamosan futnak a tanítások azt most

Átirat · 3:01:01

nem vettük be ebbe nem vettem be ebbe az ábrába magát itt amiket végzünk ezen belül

Átirat · 3:01:08

ilyen 3 és 70 milliárd paraméteres modelleket egy több mint 300 gb-os adatbázissal ami 40 milliárdnál több

Átirat · 3:01:17

token tartalmaz attól függ hogy melyik változatot használjuk éppen 48 16 bites pef tanítás hogyha valaki így mélyebben

Átirat · 3:01:25

benne van ebbe deep speed integrálásra egy deep speed stage 3 és plusz+t használunk a tanítás

Átirat · 3:01:34

indítása mire ez feláll körülbelül 10 perc tehát itt visszautalnék a kezdeti ábrára hogy itt a 10 percet mindig végig kell várni még hogyha egy betűt elírunk

Átirat · 3:01:42

akkor is és ez azért nem ez egy a szuboptimális megoldás de sajnos ezen a raszteren így dolgoz így így lehet

Átirat · 3:01:49

dolgozni hát eddig nagyjából ebbe a kutatásba 26000 gpu óra ment bele tehát ez három évnyi hogyha egy gpunn

Átirat · 3:01:58

számítanánk és az eredményeket itt láthatni itt egy picit ilyen be vannak kódolva hogy mit jelent tehát itt a

Átirat · 3:02:05

narancssárgák azok a 70 milliárd paraméteres nyelvi modelleknek a finom hangolásai peftel a kékek azok a 7 milliárd paraméteres

Átirat · 3:02:14

nyelvmellek finomhangolásai a az xy tengelyen pedig azt látjuk hogy a 40 milliárd tokent tartalmazó

Átirat · 3:02:24

adatbázist ahhoz hogy egyszer végigfuttassuk az ezeken a modelleken az mennyi napba kerül hát itt a

Átirat · 3:02:33

helyzet az hogy hogyha egy darab a jelenlegi mérések szerint aztán még mindig keressük hogy van-e valami

Átirat · 3:02:40

gyorsítási lehetőség hogyha egy nodon 8 gpuss géppel dolgozunk akkor mondjuk 160 nap viszont

Átirat · 3:02:48

ha felmegyünk két nodra akkor 300 nap lesz ugye 16 gpun 8 gpu helyett meglepő módon ez annak köszönhető hogy ugye egy

Átirat · 3:02:56

gépen belül tehát egy gépen belülről kimegyünk két gépre ami sokkal lassabb kapcsolattal van összekapcsolva ráadásul

Átirat · 3:03:04

ott még a cpura megy be először az adat és onnan megy át a pci expressen a gpúra ami nagyon nagy buttlnek ez hogyha direkt nem hpc klaszteren dolgoznánk

Átirat · 3:03:12

hanem ai klaszteren akkor ott a gpuk azok direktbe vannak összeköttet ennek a költsége általában sokszorosa

Átirat · 3:03:20

egy hpc klaszterének tehát valószínűleg ezért nem lett ugye alapból implementálva viszont azt látjuk ahogy

Átirat · 3:03:27

növeljük a gpuk számát ugye ez volt a ez most a zero stage 3 az első négy oszlop

Átirat · 3:03:34

nagyjából amikor már 32-t használunk akkor érünk el oda ahol ahol eredetileg voltunk és ha lenne

Átirat · 3:03:41

több gépú akkor ez már menne lejjebb tehát itt már lineárisan skálázódik nagyjából illetve hogyha zé plusz pluszra átállunk akkor azért egy ilyen

Átirat · 3:03:49

126 napra le lehet vinni azt hogy egyszer végigvigyük az adatbázist a a

Átirat · 3:03:57

32 gpunn és ez a 7 milliárdos hálón 70 milliárdos hálón 7 milliárdos hálóval azért szerencsésebb a helyzet

Átirat · 3:04:05

itt hogyha egy nódon futtatjuk akkor ott ilyen 2x nap két nódon futtatva bocsánat itt egy nód

Átirat · 3:04:14

igen ott el el van mindegy két nódon futtatva ilyen tizenvamennyi és hogyha négy nódon futtatjuk itt viszonylag lineárisan skálázódik azért mert itt nem

Átirat · 3:04:22

kell z0 hrmas itt a modellek ugye ráférnek a különg gépükra és másfajta optimalizáció megy nincs a modell szétvagdosva és itt nagyjából lineárisan

Átirat · 3:04:30

skálázódik mert befértünk a gpu memóriába úgyhogy itt tartunk összefoglalásképp sikeres mi k+ f kulcsa

Átirat · 3:04:39

a gyors tanítás nem lehet minimálisan redukálni a problémát tehát nem csinálhatjuk azt hogy az adatbázisnak kidobjuk a 90%-át és akkor a 10% azzal

Átirat · 3:04:48

gyorsítunk a infrastruktúrán tudunk nyerni illetve az architektúrákon a sok gpus-s megoldások szükségesek nagyon jó

Átirat · 3:04:55

hogy van a komandor és hát reméljük és biztassunk mindenkit akit ismerünk és ráhással lehet hogy jöjjön a következő még nagyobb rendszer amit hát elvileg

Átirat · 3:05:04

leventének hívnak hogyha meglesz a technológiák ismerete szükséges illetve a kódkönyvtárak mély ismerete szükséges

Átirat · 3:05:12

és hát igen én is egy reklámhelyét hagytam a végére tehát honnan tudunk ilyeneket tanulni könyvekből az nvidiának nagyon jó anyagai vannak fent

Átirat · 3:05:20

corserá a deep learning ai a legjobb illetve hát hogy saját ötleteken keresztül menjünk én nagyon örülök hogy látom hogy

Átirat · 3:05:28

vezérigazgatók kolabban pefteznek és akkor finom hangolják ezeket a nagynyelvű modelleket bmn tárgyak msc

Átirat · 3:05:37

specializációnk is van célzott oktatási projekteink mint az arisa vagy a hcim ami a artificial intelligence skills

Átirat · 3:05:45

alliance vagy human center a masters illetve hát céges tanfolyamokat és képzéseket is tartunk pali már régóta áll úgyhogy

Átirat · 3:05:54

biztos túlnyúltam elnézést kérek és köszönöm szépen a türelmeteket és a figyelmeteket köszönöm

Átirat · 3:06:05

szépen tehát köszönjük szépen az a mai előadóinknak kovács lászlónak váradi

Átirat · 3:06:12

tamásnak hajdú andrásnak bochem jánosnak máknak oz oliviának antal

Átirat · 3:06:20

péternek és gyirestó bálinnak a kiváló előadásokat köszönjük a kitartó közönségnek a a kitartó figyelmet és

Átirat · 3:06:30

mikor találkozunk legközelebb hát ez a legközelebb elég közel van ugyanis most 25-én tehát két héten belül ugyanitt a

Átirat · 3:06:39

a az informatikai épületben a nagy előadóban a 028-asban lesz a jövő pénze a pénz jövője nű közösség tudomány

Átirat · 3:06:48

rendezvényünk amiből az elsőt is mi tartottuk mint a mesterséges intelligencia és gpt modellek most pedig

Átirat · 3:06:55

a jövő pénze és a pénzjövője lesz az mnb és a bme együttműködésében aztán pedig

Átirat · 3:07:04

ahogyan elnézést ahogyan már mutattam április 11-én is találkozunk a költészet

Átirat · 3:07:11

napján józsef attila születésnapján én egész népemet fogom taníti alcímmel ez

Átirat · 3:07:18

egy kerekasztal lesz a kerekasztal résztvevői sharf hassan a vik dékánja dorner helga az elte fti intézti

Átirat · 3:07:28

igazgatója nagy imre a colossián videós oktató rendszernek a műszaki igazgatója és héder miichály a

Átirat · 3:07:37

filozófia tanszékünk tanszékvezetője és lesz még kettő előadás is de a maga a kerekasztal a

Átirat · 3:07:45

felsőoktatásról és a mesterség intelligenciáról bizonyára különös érdeklődésre fog számot tartani ezzel el

Átirat · 3:07:54

is köszönök találkozunk két hét múlva köszönjük szépen a figyelmet

Témák

MI-támogatott

AI infrastruktúra Gépi tanulás

Összefoglaló

MI-támogatott

Gyires-Tóth Bálint a deep learning rendszerek skálázásának módszereit tekinti át az MLOps-pipeline automatizálásától a nagy modellek számítási igényéig. Bemutatja a skálázási törvényeket, az adat-, pipeline- és tenzorpárhuzamosítást, a DeepSpeed ZeRO memóriaoptimalizálását, majd Komondor szuperszámítógépes esettanulmányokon szemlélteti, hogyan gyorsíthatók fel nagyszámú vagy nagy méretű neurális hálózati kísérletek.

Videó navigáció

Fejezetek

MI-támogatott