Előadás

Nagy oksági modellek: a tanulás és következtetés felskálázása

Antal Péter

BME-MIT

Naplózástól az Avatarokig - Adat és M.I.

2024. április 25. 13:00SAP Graphisoft Park · Budapest

Átirat · 2:10:32

Köszönöm szépen, üdvözlök mindenkit. Belőlem a mikrofont.

Átirat · 2:10:36

Tehát óriási lesz a kontraszt. Azért elnézést kérek az előző előadásra.

Átirat · 2:10:39

Az lenyűgöző volt és tényleg színes, szagos minden, ami kell.

Átirat · 2:10:42

Az enyém az szinte bitekről fog szólni.

Átirat · 2:10:45

És hát nagyon nagy léptékű vagy mélységű, de egyszerű kérdésekről.

Átirat · 2:10:50

Úgyhogy a kontraszt adott.

Átirat · 2:10:52

Amiről szeretnék beszélni az az, hogy az oksági modellezés az hol is tart,

Átirat · 2:10:57

mennyire van jelen a mesterséges intelligenciában, miért annyira van jelen, amennyire jelen van.

Átirat · 2:11:01

Tehát sorba venném, hogy pár példán keresztül mi is az oksági kérdések,

Átirat · 2:11:05

mi is az oksági következtetésnek a tudománya, milyen műveletek vannak, amelyek működnek,

Átirat · 2:11:10

és hát hol is vannak a hatással, mennyire skálázható ez föl,

Átirat · 2:11:14

hogy tényleg az emint belül nagyobb teret kapjon, vagy jobban felhasználható legyen.

Átirat · 2:11:20

Lássunk először pár kérdést.

Átirat · 2:11:22

Tehát az egyik oldalon egy olyan matrixot látunk, amelyik nem csak egészségügyi területen, mint itt a példában,

Átirat · 2:11:29

hanem bárhol, hogyha az ember aszociációkat figyel meg, nagyon sok változó között,

Átirat · 2:11:33

előáll gyakran egy ilyen szénabogja jellegű formula,

Átirat · 2:11:39

tehát egy ilyen kovariancia matrix, vagy egy ilyen korrelációs matrix,

Átirat · 2:11:42

hogyha gráfként vizualizáljuk,

Átirat · 2:11:44

akkor egy nagyon gazdag, kibogasztatlan kapcsolati hálót kaphatunk.

Átirat · 2:11:48

És fölmér az emberben egyrészt, mint laikus, hogy vajon mi lehet a mögöttes generatív modell,

Átirat · 2:11:56

oksági generatív modell.

Átirat · 2:11:58

Itt elhangzott, hogy a generatív modellek azok 2010X-től, 4-től, 5-től, 6-tól datálhatóak.

Átirat · 2:12:03

Tehát generatív modellet sokan használnak, tehát a valószínűség generatív modellek,

Átirat · 2:12:07

amelyek egy eloszlást modelleznek, azok is generatív modellek.

Átirat · 2:12:10

És az egy matematikai kérdés, hogy vajon egy kovariancia matrix,

Átirat · 2:12:14

annak mi lehet egy ritka őt generáló oksági reprezentációja.

Átirat · 2:12:21

Magunk ezt betegségek kapcsán szoktuk elkövetni.

Átirat · 2:12:23

Ez egy gyakori példa is.

Átirat · 2:12:25

Az ember egy stabil, ritka modellre vágyna, amelyik megmagyarázza rengeteg aszociációt,

Átirat · 2:12:30

amit megfigyelhet egy tájterületen.

Átirat · 2:12:33

Ahonnan indulhatunk, mondjuk így egyszerű kérdések, hogy következni szeretnénk,

Átirat · 2:12:39

tehát a géptanulás praktikusan erről szól, hogy passzívan megfigyeljük a világot,

Átirat · 2:12:43

és valamit jósoljuk.

Átirat · 2:12:44

Tehát felteles valószínűségi modelleket építünk.

Átirat · 2:12:48

Itt látható, hogy tehát az evidenciáink azok így a feltételben állnak,

Átirat · 2:12:51

és valamilyen kérdésre következtetünk.

Átirat · 2:12:54

Hogyha van egy együttes eloszlásunk, ez a felteles eloszlás persze kipotyog,

Átirat · 2:12:58

de hát ami nincsen benne a statisztikában és a valószínűség számításban,

Átirat · 2:13:04

tehát nem hogy nem része, hanem direkt az előző évszázad azzal telt,

Átirat · 2:13:07

hogy ez valahogy különválasztott.

Átirat · 2:13:10

A priorokat és az oksági következtetéseket.

Átirat · 2:13:13

Tehát ennek viszont egy kardinális eleme a beavatkozás.

Átirat · 2:13:16

Tehát erre egy új matematikai formalizmust kellett létrehozni, ez a doux szemantika.

Átirat · 2:13:22

Akkor egyszerűen bevezetünk egy operátort, hogy ha mi beavatkozunk,

Átirat · 2:13:25

és egy valószínűségi változót mi állítunk be egy értékre,

Átirat · 2:13:28

akkor ennek mi lesz a következménye.

Átirat · 2:13:30

Ez látszik, hogy ez kilóg azért a valószínűség számításból,

Átirat · 2:13:33

hiszen hogyha van egy együttes eloszlásunk, csak így két változóra,

Átirat · 2:13:36

és netán tudjuk, hogy ez egy oksági kapcsolat,

Átirat · 2:13:38

akkor az ember elvárná, hogy olyan matematikát kapjon, amelyik biztosítja,

Átirat · 2:13:43

hogyha az okot, itt az x-el jelölt változót mozgatjuk, beavatkozunk,

Átirat · 2:13:48

az hasonló az y-ra, de fordítva ez ne legyen meg.

Átirat · 2:13:51

Hogyha egy standard valószínűségi következtetést hajtunk végre,

Átirat · 2:13:54

akkor az y feltéve x persze, az valamit fog mondani, ettől különbözni fog.

Átirat · 2:13:59

Tehát itt látszik, hogy eltér a dolog, és kellene egy új matematika mondhatni, amelyik ezt kezeli.

Átirat · 2:14:04

És tovább is mehetünk, hiszen az emberi világ az,

Átirat · 2:14:07

és a mesterséges intelligencia is, azért tele van olyan kérdésekkel,

Átirat · 2:14:10

amelyek arról szólnak, hogy valahogy beavatkoztunk, és látjuk a következményét is.

Átirat · 2:14:15

És azt szeretnénk tudni, valamilyen emberi, vagy mély emberi tulajdonságunk miatt,

Átirat · 2:14:20

hogy vajon egy másik alternatívában, egy másik világegyetemben,

Átirat · 2:14:24

vagy egy paralell univerzumban ugyebár, ha más döntöttünk volna,

Átirat · 2:14:28

vajon annak mi lett volna ebben a konkrét, aktuális esetben a következménye.

Átirat · 2:14:32

Tehát még egyszer, itt a kontrafaktális következtetés,

Átirat · 2:14:36

ami ugye nagyon régóta, de formálisan mondjuk a 60-as, 70-es évek óta mozgatja a statisztikusokat,

Átirat · 2:14:42

mind jelöléstan szempontjából például.

Átirat · 2:14:45

Itt x-veszővel jelöltem ezt a hipotetikus változót, aki egy ilyen képzeletbeli világban van,

Átirat · 2:14:50

hiszen ott beavatkoztunk, de hát ez már egy elképzelt világ.

Átirat · 2:14:55

Nos, tehát ebben szeretnénk következtetni.

Átirat · 2:14:57

És az emberi világban, például a jogászkollegákra gondolva, ez egy véremelő kérdés.

Átirat · 2:15:01

Tehát ugyebár az, hogy ha máshogy döntünk, akkor a következmények azok bekövetkeztek volna el.

Átirat · 2:15:07

Tehát ez egy nagyon mély kérdés, hogy ha más döntöttünk van és nincs tétje,

Átirat · 2:15:11

akkor az ember ugye azért a felelősség úgymond kicsit lekerül a válláról.

Átirat · 2:15:14

Tehát ez nagyon fontos volna ennek a formalizációja.

Átirat · 2:15:18

Egy érdekesség, tehát az 1600-as évektől, most én nem tudom melyik Bernoulli,

Átirat · 2:15:22

de maga a valószínűségi érvelésnek a formalizálása is egy jogász ágból következik.

Átirat · 2:15:29

Tehát a mesterséges intelligencia,

Átirat · 2:15:31

a görögöktől a logika, a valószínűségi ág az pedig akár a Bernoullittól indítható.

Átirat · 2:15:36

Egy iparibb példa.

Átirat · 2:15:40

Tehát gyakran adott az mondjuk egy ilyen reklámok elhelyezésénél,

Átirat · 2:15:44

hogy van-e egy protokollnak egy megfigyelthetásossága.

Átirat · 2:15:47

Tehát mondjuk egy reklám kihelyezési protokollnak látjuk azt, hogy a populáción ez mit ér el,

Átirat · 2:15:52

milyen-milyen sikereket, vagy click-through-rétet és egyeteket.

Átirat · 2:15:56

És azt szeretnénk tudni a megfigyeléseinkből, hogy egy ilyen off-policy módon,

Átirat · 2:16:00

hogyha mondjuk beavasszunk,

Átirat · 2:16:01

hogyha egy másik protokollt használtunk volna, akkor az mit ért volna el.

Átirat · 2:16:05

Tehát azért a kontrafaktuális elemzés az nem teljesen légből kapott.

Átirat · 2:16:08

Ez egy nagyon fontos kérdés, hogy nem csak az orvosi gyakorlatban egy protokoll megváltoztatása,

Átirat · 2:16:13

mondjuk egy szűrőprogramnak a konfigurálása, hanem ipari környezetben is ez fontos.

Átirat · 2:16:20

Ja, és végül mondjuk egy mostani human-centered és AI act-nek is adózzunk.

Átirat · 2:16:26

Tehát még a fairness fogalma is definiálható kontrafaktuális,

Átirat · 2:16:30

hogy kontrafaktuálisan mondhatni.

Átirat · 2:16:33

Nem csak arra törekedhetünk, hogy mondjuk egy adósság elbíráló szoftver,

Átirat · 2:16:40

döntési algoritmus az ne támaszkodjon védett változókra,

Átirat · 2:16:49

ne támaszkodjon indirekten védett változókra.

Átirat · 2:16:52

Azt is meg lehet kérni, hogy ne hozzon létre olyan szituációt,

Átirat · 2:16:56

amikor mondjuk feltesz egy kérdést, ebből kitalál valami olyasmit,

Átirat · 2:16:59

amelyik ezt a hipotetikus módon ki tudja következtetni a védett változók értékét.

Átirat · 2:17:05

Tehát egy ilyen elképzelt világban se legyen úgymond nem fair a döntésünk.

Átirat · 2:17:10

Nos, hol van ennek a tudománynak a helye a mesterséges intelligencián belül?

Átirat · 2:17:15

Tehát itt látszik, hogy az egyik oldalon jól megszokott dolgok sorjáznak,

Átirat · 2:17:19

mint a valóságszámítás, a döntéselmélet, és a másik oldalon pedig az oksági következtetés,

Átirat · 2:17:25

ez a Do-kalkulus, amit már próbáltam felvillantani,

Átirat · 2:17:28

illetve a kontrafaktuális érvelés, vagy az intelligens érvelés.

Átirat · 2:17:31

Most a nagynyelvi modellek kapcsán persze egyből mondhatja az ember, hogy biztos tudják,

Átirat · 2:17:35

ez majd elő fog jönni, hogy tudják, vagy nem tudják.

Átirat · 2:17:38

Most lássuk akkor a causal inference testet, tehát ennek a tudományának így a neve,

Átirat · 2:17:42

ez mikkel is küzd és meddig is jutott.

Átirat · 2:17:45

Tehát ez egyik alapproblémája a filozófiának, tehát a mesterséges intelligenciának is így,

Átirat · 2:17:51

mint modern filozófia.

Átirat · 2:17:53

Ugyebár, hogy ha van két változónk, látjuk, hogy aszociáltak,

Átirat · 2:17:56

ez alul látszik, hogy a függési térképük, itt két változónak ugyebár,

Átirat · 2:18:00

vagy van összefüggés, vagy nincs, ez bináris dolog.

Átirat · 2:18:03

Hogy lehet kibogozni, hogy vajon egyik okozza a másikat, a másik az egyiket,

Átirat · 2:18:07

vannak-e zavaró tényezők, a zavaró tényezők, hogy lehet lehámozni a dologról,

Átirat · 2:18:10

hogyha mi a hatáserőségre vagyunk kíváncsiak, és így tovább.

Átirat · 2:18:13

Tehát pláne, ha többen vannak, elnézést, szétcsúszott le kicsit a confounding.

Átirat · 2:18:17

De a lényeg az, hogy itt tudjuk, hogy valamelyiknek fenn kell állni,

Átirat · 2:18:23

akár persze lehet egy feedback is az egészben,

Átirat · 2:18:25

de ezt statisztikailag ugyebár belátható, hogy két változónál nem lehet kibogozni.

Átirat · 2:18:32

Természetesen a tudományos oldalról persze sok elvárás meg lehet fogalmazni,

Átirat · 2:18:36

hogy ez legyen stabil, legyen hordozható, legyen egy ilyen dózeffekt hatás,

Átirat · 2:18:40

tehát hogyha mozgatjuk az okot, egyre jobban mozgatjuk, akkor a hatás egyre jobban jelezze ezt.

Átirat · 2:18:46

Tehát vannak természettudományos elveink, de hát ez nem leprogramozható könnyedén, nem algoritmizálható.

Átirat · 2:18:52

És hát egy intuitív jelölt, hogy használjunk ilyen irányított gráfokat.

Átirat · 2:18:57

Ez a DAG, ez a Directed Recyclic Graph, tehát használjunk ilyen gráfokat,

Átirat · 2:19:01

és az ember úgy gondolja, hogy ez biztos működni fog,

Átirat · 2:19:04

tehát ez a reprezentáció annyira adja magát intuitívan,

Átirat · 2:19:07

hogy ezt felhasználhatjuk az ilyen oksági diagramokként,

Átirat · 2:19:11

és az oksági reakcióknak a reprezentálására, formális reprezentálására.

Átirat · 2:19:15

Na most 70-es, 80-as évekbeli eredmény, hogy sajnos ez a reprezentáció,

Átirat · 2:19:22

ez nem képes megragadni minden függést és függetlenségi mintát, amit egy eloszlásban láthatunk.

Átirat · 2:19:29

Máshogy fogalmazva, hogyha itt az alul látható, ez a, itt ugyebár három aspektusa van,

Átirat · 2:19:37

így mondjuk egy, a modellezésnek, tehát van egy sokdimenziós eloszlásunk,

Átirat · 2:19:42

mondjuk egymillió változóval,

Átirat · 2:19:44

és szeretnénk ezt az eloszlást csak strukturálisan, kvalitatívá jellemezni,

Átirat · 2:19:49

akkor mondhatjuk azt, hogy faktorizálni szeretnénk, de úgy, hogy kis faktoraink legyenek.

Átirat · 2:19:53

Tehát szorzatalakra szeretnénk bontani, mert az ugyebár nekünk exponenciális nyereség,

Átirat · 2:19:58

szeretnénk egy ilyen ritka modellt kapni.

Átirat · 2:20:02

Egy másik olvasat, amit szeretnénk elérni, és még belül van a valószínűségszámításnak a területén,

Átirat · 2:20:07

hogy egy logikai vázat, egy logikai modellt szeretnénk kapni, szeretnénk felsorolni ebben a P eloszlásban,

Átirat · 2:20:14

a felteles függetlenséget.

Átirat · 2:20:16

Sok változónk van, de hát ez kombinatórikusan, még ha sok is, véges, felsorolható.

Átirat · 2:20:21

Tehát ez az úgynevezett függetlenségi vagy függőségi modell, ez egy a legabstraktabb,

Átirat · 2:20:27

amely tudjátok, hogy egy nagyon absztrakt, de mégis egy nagyon vonzó leírása az eloszlásnak,

Átirat · 2:20:33

hiszen nincsenek benne számok, nem kvantitatív, és mégis teljesen jellemzi az eloszlást.

Átirat · 2:20:38

És hát volt egy elvárás így a 70-es, 80-as években, hogy hát hogyha gráfokkal,

Átirat · 2:20:43

hogyha nem irányítatlanokkal, nem irányítottakkal, akkor bármilyen netán hiperéleket tartalmazó hipergráfokkal,

Átirat · 2:20:50

majd csak leírjuk valahogy ezt az eloszlást, hogy tudjuk kommunikálni a szakértőknek.

Átirat · 2:20:54

Hát sem irányított, sem irányítatlan gráfokkal nem lehet leírni egzakt módon,

Átirat · 2:20:59

tehát nincsen véges karakterizációja ezeknek a modelleknek, tehát nem lehet egy olyan kalkulust csinálni,

Átirat · 2:21:05

amelyik mondjuk egy részlegesen specifikált függési modellnél az összes

Átirat · 2:21:12

Átirat · 2:21:13

igaz függetlenségi állítást még ki tudná következtetni.

Átirat · 2:21:18

Sem gráfokkal, sem más kalkulussal.

Átirat · 2:21:21

Tehát mindenképpen van egy aszimetria, hogy el kell engednünk bizonyos függetlenségeket,

Átirat · 2:21:26

mert gráfokkal nem megragadhatóak, meg véges karakterizációval sem.

Átirat · 2:21:31

Tehát csak arra törekedhetünk, hogy csináljunk olyan gráfokat, amelyek többnyire helyesen írják le a függetlenségeket.

Átirat · 2:21:38

Pontosan azt megköveteljük, hogy helyes legyen a kalkulussunk, csak nem ez teljes.

Átirat · 2:21:42

Tehát amit a gráf azt mond, hogy független, azt elvárjuk, hogy tényleg legyen függetlenség.

Átirat · 2:21:48

A függetlenség az az érték, ugyebár az könnyű asszociációkat gyártani,

Átirat · 2:21:52

de a világban az igazi érték, hogy ha valahol függetlenség van, azal tudunk spórolni.

Átirat · 2:21:57

Tehát a függetlenséget szeretnénk megtartani.

Átirat · 2:22:00

Tehát egyrészt arra azt kellett realizálni, hogy a gráfokat fel lehet használni egy függetlenségi térképként.

Átirat · 2:22:08

Tehát polinomidőben ki lehet belőlük olvasni az összes függetlenséget,

Átirat · 2:22:11

amit reprezentálnak, de ehhez nem lesz minden igaz függetlenség, amit mondjuk egy eloszláshoz elvárnánk.

Átirat · 2:22:18

És itt láthatod egy másik kardinális eredmény, amit tényleg a Güldelti-t ehhez szoktak hasonlítani

Átirat · 2:22:27

az elvakult filozófusok és matematikusok. Ez azt mondja ki, hogy ha több változónk van,

Átirat · 2:22:33

akkor az előző kapcsolat gráfok és eloszlások között az lehetőséget ad arra,

Átirat · 2:22:40

hogy bizonyos esetekben kijelenthessük, hogy egy kapcsolat az legalábbis nem önkényes.

Átirat · 2:22:47

A tudomány nem arról szól, hogy valamit bizonyít, de hogy legalább nem tudjuk, hogy ott érdemes kutatni,

Átirat · 2:22:52

mert nem mutatható ki, hogy ott önkényes lenne.

Átirat · 2:22:56

És igazán a gondolat pofon egyszerű, a bizonyítások persze mögötte igen komplikáltak,

Átirat · 2:23:01

de az elképzelés az, hogy titelzünk fel, hogy passzív megfigyelő vagyunk és gyűjtünk adatokat,

Átirat · 2:23:06

haladunk tehát ott egy kis szemtől elindulva.

Átirat · 2:23:10

Egyszerűség kedvéért felteszünk, hogy végtelen sok adatunk van,

Átirat · 2:23:12

csak azért, hogy a függetlenségeket jól feltérképezzük.

Átirat · 2:23:15

Megkossalunk egy olyan modellt, amelyben az adott eloszlásnál,

Átirat · 2:23:18

tehát megfigyelünk egy idegen kommunikációszét, egy idegen fajt,

Átirat · 2:23:25

és látjuk, hogy náluk hogyan működik a világ, de ezt passzívan tesszük meg,

Átirat · 2:23:29

nem tudunk beavatkozni, mert még távolról érkeznek a jelek.

Átirat · 2:23:31

Ott van egy függetlenségi modell.

Átirat · 2:23:33

Ekkor elvileg megtehetjük azt, véges számú változónk van,

Átirat · 2:23:37

hogy az összes lehetséges oksági diagramot, azt felsoroljuk, összegyűjtjük,

Átirat · 2:23:43

és méghozzá azokat gyűjtjük persze össze, amelyek minimális modelljei,

Átirat · 2:23:49

itt jön be okkam, tehát amelyek minimális modelljei ennek az eloszlásnak.

Átirat · 2:23:56

Tehát egy eloszláshoz szoktak egy ilyen analógiát használni,

Átirat · 2:23:59

hogy egy eloszlás az rengeteg vetület, tehát egy, bocsánat, elfordítva,

Átirat · 2:24:06

hogy egy eloszlás nagyon sok dag generálhat, és most ezeket gyűjtjük össze, de csak a minimálisakat.

Átirat · 2:24:14

És megkérdezhetjük, hogy ebben a hatalmas halmazban milyen közös gráftulajdonságok,

Átirat · 2:24:19

oksági tulajdonságok vannak, például van-e olyan él, amelyik mindenféleképpen egy irányban van irányítva.

Átirat · 2:24:26

A szalmára kipotyog, hogy ezeknek a váza, irányítatlan váza ugyanaz kell, hogy legyen,

Átirat · 2:24:30

tehát ahol közvetlen kapcsolat van valószínűségű változók között, azt el tudjuk kapni.

Átirat · 2:24:36

Ott nincs vita, az irányítás a kérdés.

Átirat · 2:24:38

És sok esetben, ha sok változónk van, akkor kijön az, hogy bizonyos változóknál kijelenthető,

Átirat · 2:24:46

hogy ott nem önkényes az irányítás, mindig egy irányba kell állni az irányításnak.

Átirat · 2:24:53

Sőt, néha az is kimondható, hogy nem lehet rejtett változó.

Átirat · 2:24:57

Most nem szeretnék ilyen kvantum-elnikai belféle vonalba belemenni,

Átirat · 2:25:00

de ez akár ahhoz is köthető, hogy a rejtett változókat ki tudjuk zárni,

Átirat · 2:25:05

bizonyos esetekben.

Átirat · 2:25:07

Nos, ez létezik, tehát itt látható, hogy mondjuk ez három műben is elérhető.

Átirat · 2:25:13

Az első Judea Pearl-nek, a 88-as könyve, ezt még én diákként olvastam,

Átirat · 2:25:20

de utána a 2000-ben kijött ennek egy teljes, egy transziktív lezártja mondhatni,

Átirat · 2:25:24

de utána kijött egy olyan, amelyik segít abban, hogy elolvassuk a 2000-es könyvet.

Átirat · 2:25:28

Tehát így, aki szeretné kezdeni, azt kezdheti mondjuk a legutolsóval,

Átirat · 2:25:31

a bukafovállyal, ami segít abban, hogy a mondjuk a,

Átirat · 2:25:34

mondjuk a

Átirat · 2:25:35

lexikális és biblikus műt is elolvassassuk középen.

Átirat · 2:25:39

Tehát, hogyha ezek mind elérhetőek, és most csak így a teljeség igénye nélkül végigrohannék,

Átirat · 2:25:45

hogy mi mindent tudunk elvégezni ezekkel a valószínűségi, okcsinálgi valószínűségi modellekkel,

Átirat · 2:25:51

tehát tudunk benne logikailag következtetni.

Átirat · 2:25:54

Tehát nem csak azt tudjuk megmondani, hogy egy passzív predikcióban kik a releváns változók,

Átirat · 2:25:59

ezt a géptanulásban a jegykiválasztás problémának szokás hívni,

Átirat · 2:26:03

a Fisher-Subsidized Selection probléma,

Átirat · 2:26:05

hanem azt is, hogyha ez okságilag történik.

Átirat · 2:26:07

Hol érdemes piszkálni a változókat, ha egy hatást akarunk elérni?

Átirat · 2:26:10

Ha tudjuk, hogy már itt mondjuk ismerjük a változókat, és itt már piszkáljuk,

Átirat · 2:26:14

érdemesen még valahol beavatkozni a rendszerbe.

Átirat · 2:26:16

Ez logikailag szépen polinomidőben kihozható.

Átirat · 2:26:20

Minden numerikus dolognél kül.

Átirat · 2:26:22

Valószínűség következtetés.

Átirat · 2:26:24

A megszokott géptanulási dolgok, azok potyognak itt el,

Átirat · 2:26:27

felteles eloszlásokat tudunk származtatni könnyedén.

Átirat · 2:26:30

Ha nincsen teljes megfegyelésünk, az összes ilyen megszokott kis neurális hálónk útba esik,

Átirat · 2:26:36

hiszen mindenki tudja, aki valaha próbált nem teljes adattal dolgozni,

Átirat · 2:26:40

hogy az barkácsolás.

Átirat · 2:26:42

Tehát egy olyan hálót használni, ahol nem teljes az adat, az kinlódás.

Átirat · 2:26:46

Ez itt magától egzakt módon adódik.

Átirat · 2:26:48

Tehát minden missing at random, tehát ahol a hiányzás az nem szisztematikus,

Átirat · 2:26:53

az matematikailag korrekten van kezelve.

Átirat · 2:26:56

És akkor jön az oksági rész, és most ezen nem mennék végig.

Átirat · 2:26:59

Tehát itt csak fölvillantanék, hogy például ez a logikai következtetés,

Átirat · 2:27:03

hogy mi releváns, mi nem.

Átirat · 2:27:04

Van egy ilyen híres fogalom, ez a Markov határ, tehát van egy ilyen gráfunk.

Átirat · 2:27:08

Akkor ezek a szomszédok azok, akik nekünk relevánsak.

Átirat · 2:27:11

A valószínűségi következtetés, ezt már vett, vagy nézegettük,

Átirat · 2:27:16

de az, hogy mondjuk mi a legvalószínűbb konfiguráció, ezeket kiszámolhatóak a beavatkozás.

Átirat · 2:27:24

Itt megemlíteném, hogy a beavatkozás egy ilyen oksági gráf esetében rendkívül egyszerű,

Átirat · 2:27:29

van egy gráftörlési szemantika.

Átirat · 2:27:31

Azt mondja ki, hogy töröljük ki az összes bejövő élet annál a változónál, ahol mi állítjuk be az értéket.

Átirat · 2:27:37

Ez értelemszerű, hiszen nem a természet, hanem mi fogunk beavatkozni.

Átirat · 2:27:41

És használjunk standard valószínűség következtetéseket.

Átirat · 2:27:44

Tehát egyetlen ilyen trükkkel megoldható az oksági következtetés.

Átirat · 2:27:48

Az előbben mit tett elképzelt világokbeli következtetés, ez a mi lett volna, ha máshogy döntök,

Átirat · 2:27:55

ez egy ilyen IKR struktúrával, dual graph struktúrával oldható meg.

Átirat · 2:27:58

Vesszük a valós világunkat, beavatkozunk, látjuk, mi a következménye, következtetünk a gráfban.

Átirat · 2:28:05

És ami trükkös, hogy bevezetünk ilyen speciális változókat, amelyek azt írják le, hogy ebben az aktuális esetben milyen mechanizmusok,

Átirat · 2:28:15

milyen parametrikus mechanizmusok is vannak jelen.

Átirat · 2:28:18

Tehát például egy konkrét egyénben kiválasztunk egy terápiát, egy gyógyszert, megnézzük, hogy hogyan hatott,

Átirat · 2:28:22

és ha látjuk a hatását a gyógyszernek, igazából arról tanulunk, hogy abban a konkrét egyénben,

Átirat · 2:28:27

a genetika, a környezeti hatások és minden egyéb, hogyan kulminálódott össze, a mechanizmusok hogyan vannak felparaméterezve.

Átirat · 2:28:35

És ezt át lehet vinni egy elképzelett következtetésre, ha azt kérdezzük, hogy na jó, de hogyha egy másik terápiát választottunk volna,

Átirat · 2:28:41

abban a konkrét egyénben, ahognak mi lett volna a hatása?

Átirat · 2:28:45

Ekkor egyszerűen ez a mechanizmusoknak, amit megtanultunk róluk, ez átvéhető.

Átirat · 2:28:50

És ez nagyon egyszerűen egy ika struktúra, ugyanúgy következtetünk.

Átirat · 2:28:54

Tehát igazából mindig arra megy ki a trükk, hogy hogyan lehet,

Átirat · 2:28:57

illetve a megszokott valószínűségi következtetésre visszavezetni a kérdéseinket.

Átirat · 2:29:01

Most adódik, hogyha ez tényleg ilyen sok mindent tud, akkor azért miért nincs jobb reklámja,

Átirat · 2:29:07

vagy miért nem látható ez a technológia jobban?

Átirat · 2:29:09

És hát megnézhetjük, hogy akkor jó, hát tényleg ez a technológia hol helyezkedik el,

Átirat · 2:29:14

gondoljuk, hogy talán csak arról van szó, hogy most kapaszkodik föl, még ma is, most fog teret nyerni.

Átirat · 2:29:21

És a 2023-as ilyen hype cycle különféle AI technikákat mutat,

Átirat · 2:29:26

tehát itt látszik, hogy azért a computer vision, azért az érthetően már elől tart,

Átirat · 2:29:32

tehát az már túl van ezen a hype cycle, tehát már tényleg a használhatósági kategóriában.

Átirat · 2:29:38

Ez a causal AI, mondhatjuk, hogy még ott elől küzd.

Átirat · 2:29:43

Hogyha megnézzük viszont, hogy mi történt, vagy mi volt a jóslás 22-ben, 21-ben, 20-ban, 19-ben,

Átirat · 2:29:50

tehát valahogy az emberek az a benyomás, hogy ez mindig csak próbálkozott, tehát ez soha nem jutott át,

Átirat · 2:29:55

ezen az alagút effektust hiányzik, és az embereknek van egy ilyen gyanús dolog,

Átirat · 2:30:01

hogy ez valahogy csak olyan ígéret, tehát így nagyon szép ez az elmélet, de miért nem realizálják?

Átirat · 2:30:08

És visszalépünk 2007-ben, nincs is fönt, de az Artificial General Intelligence, az AGI, az itt van,

Átirat · 2:30:15

és az ember megnézze a 21-es, 2-es, akármiket, akkor ez mindig előtte van, tehát elvárnánk, hogy ez annyira emberi,

Átirat · 2:30:22

hogy ezt biztos meg kell oldanunk azelőtt, mielőtt egy AGI tudunk csinálni.

Átirat · 2:30:25

Tehát valahol ott kéne neki lenni, de 2017-ben is, tehát még mindig ugyanott a startvonalon búklászott.

Átirat · 2:30:32

És ha most lépünk 20 évet vissza, ez egy 97-es cikk, ahol a kutatók, akik már 10 évet gyötörték ezt az elméletet,

Átirat · 2:30:42

feltették a kérdést, hogy where is the impact?

Átirat · 2:30:45

Tehát, hogy sajnos már 97-ben is szemed szúrt ez az embereknek, hogy ez mind nagyon szép,

Átirat · 2:30:51

de valahogy ezt soha nem sikerül átvinni a gyakorlatba.

Átirat · 2:30:55

Bekereteztem azokat, amiket már elmondtam, hogy tényleg a modell érthető, a modell döntéselméletileg berakható.

Átirat · 2:31:01

A Transparency AI adná magát, hogy erre támaszkodja az Explainable AI-ban.

Átirat · 2:31:05

Ennek kell lennie a közepének a dolognak.

Átirat · 2:31:08

Hozza ugyebár a hiányos adatkezelést, a zajos adatkezelést, tehát mindent hoz, mégse használja senki.

Átirat · 2:31:15

Miért nem?

Átirat · 2:31:18

Tehát a skállázás. Ugyebár ez szépen működik mondjuk 10 változóra,

Átirat · 2:31:22

de hát az ember arra gyanakztik, hogy biztos nem.

Átirat · 2:31:25

Ez most nem felskállázható, és valóban itt bármihez nyúlunk, az biztos, hogy nehéz lesz, nem traktábilis.

Átirat · 2:31:30

Tehát NP Complete vagy NP Hard, azért függ, mennyire volt ideje az embereknek éppen bizonyogatni.

Átirat · 2:31:36

Tehát ha megnézzük, hogy mondjuk egyáltalán, ha van egy pontszámunk a struktúrákra,

Átirat · 2:31:42

és szeretnénk kiválasztani egy jó modellt, akkor mennyi DAG van,

Átirat · 2:31:48

mennyi ilyen kauzális diagram potenciálisan n csomópont felett.

Átirat · 2:31:53

Sajnos formula sincs,

Átirat · 2:31:54

és az ember tudja, hogy ez rosszat jelent.

Átirat · 2:31:56

Tehát itt, ha megnézzük a legszélső oszlopot, az mutatja a DAG számot,

Átirat · 2:32:00

ez már látszik, hogy ilyen szuperexponenciális, már tizenkörnyékén elírja a mostani ledarálható,

Átirat · 2:32:06

tehát egy felsorolásos támadást kivitelezhető számosságot.

Átirat · 2:32:11

Száznál ez már kezelhetetlen nagyságrendű.

Átirat · 2:32:14

A többi oszlopban olyasmik láthatók, hogyha maximáljuk a szülők számát,

Átirat · 2:32:18

hogyha egyetlen sorrendet választunk,

Átirat · 2:32:21

tehát igazából, hogyha van egy sorrendünk,

Átirat · 2:32:24

egy változó sorrendünk,

Átirat · 2:32:25

mondjuk az okszsági sorrendünk,

Átirat · 2:32:27

n-faktoriális sorrendünk van,

Átirat · 2:32:29

tehát akkor is azért egy ilyen n az n-edikenes jellegű gráfot tudunk összepakolni,

Átirat · 2:32:33

tehát még akkor is nagyon sok gráfunk van.

Átirat · 2:32:35

Tehát azért n az n-ediken az nem egy szép szám.

Átirat · 2:32:38

Tehát másrésztről az ember tudja, hogy a gépi tanulás meg mérnökként

Átirat · 2:32:45

semmi másról nem foglalkozunk, csak NPI-teljes, megoldhatatlan feladatokkal.

Átirat · 2:32:49

Tehát így nem is foglalkozunk azzal, ami úgy könnyen megoldható.

Átirat · 2:32:53

Tehát, hogy a mély tanulásnak az optimalizációja sem egzakt módon megoldható,

Átirat · 2:32:58

mégis mindenki használja, tehát az ember egy kicsit irigy, hogy...

Átirat · 2:33:02

Ezt is lehetne volna, hogy aproximálni talán, hiszen van adat,

Átirat · 2:33:06

tehát láthatóan beavatkozásos adat, az a világunk beavatkozási.

Átirat · 2:33:11

Tehát ugye bár az egész az ember, mint intencionális lény,

Átirat · 2:33:14

egyfajta beavatkozik, tehát tele vagyunk adattal.

Átirat · 2:33:17

Az, hogy nem vagyunk motiváltak ezt megérteni,

Átirat · 2:33:20

biztos, hogy motiváltak vagyunk, az egészségügy persze is.

Átirat · 2:33:23

Ez egy triviális példa.

Átirat · 2:33:25

Talán mondhatnánk, hogy visszafogja valahogy az etikusság.

Átirat · 2:33:29

Itt nem avatkoznánk be, csak kihasználnánk, hogy már beavatkoztunk,

Átirat · 2:33:32

tehát az sem igaz, hogy ezt a modellet egyből betennénk egy ilyen vezérlő pozícióba.

Átirat · 2:33:36

Másik gyanú, hogy talán nincs gradiens, és ez azért elég erős, mert gráfokról beszéltem,

Átirat · 2:33:41

tehát gráfoknál diszkrét matematikai optimalizációról beszélhetünk, tehát nincs gradiens.

Átirat · 2:33:45

Ez kétségkül igaz.

Átirat · 2:33:47

A lokalitás is sérül, hiszen ez egy DAG, egy Directed Acyclic Graph, egy globális kényszerünk van,

Átirat · 2:33:52

tehát igazából lokalitás sincsen.

Átirat · 2:33:54

Tehát ez már azért tényleg gyanús, hogy ez lehet az ok.

Átirat · 2:33:58

És hát Palli még nem jelez, de szerintem kelletne volna neki,

Átirat · 2:34:05

hogy igazából azt szeretném felvillantani, hogy ezek mind igazak, és tényleg a felskalázásra múlik,

Átirat · 2:34:13

de a helyzet egy picit javult.

Átirat · 2:34:16

Még többi pár évvel megjelent pár olyan technológia, amelyik ezt a felskalázást, ezt segít approximálni.

Átirat · 2:34:21

Az első óriási áttörés, igazából már jelen volt 2010-ben, csak nem figyeltünk fel annyira rá,

Átirat · 2:34:27

de 2018-ban aztán egyetemben leírták, hogy hát hogyha nem gráfokat optimalizálunk,

Átirat · 2:34:32

hanem magát, az agyacenciamátixot súlyozottan és megfelelően reguláljuk,

Átirat · 2:34:37

akkor ez egy folytonos optimizációként egész jól approximálható.

Átirat · 2:34:40

Tehát egy ilyen folytonos optimizációjú gráftanulások jelentek meg,

Átirat · 2:34:44

annak most már mindenfajta leelgazásával.

Átirat · 2:34:46

A másik dolog, hogy persze bízimódon ebben a tanszéki kutatócsoportunk is aktív,

Átirat · 2:34:51

hogy bízimódon nézzük a dolgot, tehát egy ilyen véletlen bolyongással rengeteg modellt megvizsgálunk.

Átirat · 2:34:58

A következő, hogy aktív tanulással, oda összpontosítunk, ahol tényleg érdekes a gráf,

Átirat · 2:35:02

tehát a számítási erőforrásokat menet közben is optimáljuk, ezt is banditázunk éjjel-nappal.

Átirat · 2:35:08

És végül pedig egy nagyon meglepő dolog, ez szintén friss, most nem tudom, hogy ez több, mint egy hetes azért,

Átirat · 2:35:14

de ez is azért friss.

Átirat · 2:35:16

Mostani NIPS-es történetek, hogy ezek a nagynyelvi modellek, ezek olyan segítséget adnak, amit egyáltalán nem reméltünk.

Átirat · 2:35:23

Tehát az ilyen modelleknél az a mondás, hogy az a priori tudás az tényleg aranyat érne,

Átirat · 2:35:29

megmondani azt, hogy milyen élek kizártak, csoportok közötti nagyjából irányítások,

Átirat · 2:35:34

oksági relációk legalább, ha nem is változó között, de csoportok között, ez mind-mind aranyat érne.

Átirat · 2:35:39

A valószínűségi beszélésekről arról nem is beszélek.

Átirat · 2:35:44

Tehát...

Átirat · 2:35:46

Azt derült ki, hogy ezeket a nagynyelvi modelleket remekül fel lehet használni arra, hogy szakértők helyett, akik irgalmatlan drágák,

Átirat · 2:35:53

őket, a nyelvi modelleket használjuk arra, hogy megkérdezzük, hogy tényleg A okozhat-e B-t.

Átirat · 2:36:00

És ezeket mint egy ilyen gyenge prior be lehet pakolni, sőt a kvantitatív információkat is egész jól tippelik.

Átirat · 2:36:06

Tehát az ember, a szakértők mindig azzal szoktak védekezni, különösen az orvos kollégák, hogy ők nem tudnak valószínűségeket becsülni.

Átirat · 2:36:12

Aztán kiderül, hogy teljesen jól tudnak valószínűségeket becsülni, csak éppen mondjuk egy skálán kell nekik egy grafittal húzni egy vonalat,

Átirat · 2:36:19

és akkor már is kiderül, hogy tényleg jól tudnak.

Átirat · 2:36:22

Tehát különféle trükkökkel az emberek nagyon hatos-hattizedésig jól tudnak becsülni, de a nagynyelvi modellek is egész jól tudnak becsülni.

Átirat · 2:36:30

Úgyhogy ha ezeket összepakoljuk, akkor lehet, hogy ez a skálázgódás ez végre megtörténik,

Átirat · 2:36:34

és akkor egyszerűen iparibb vagy emberibb léptékű problémákon is meg lehet nézni ezeket a technikákat.

Átirat · 2:36:41

Köszönöm a figyelmet!

Témák

MI-támogatott

Gépi tanulás Adattudomány

Összefoglaló

MI-támogatott

Antal Péter az oksági modellezés alapfogalmait, következtetési lehetőségeit és skálázási problémáit tekinti át. Bemutatja, miben különböznek az oksági kérdések a puszta statisztikai együttjárásoktól, hogyan kezelhetők beavatkozások és kontrafaktuális kérdések oksági gráfokkal, valamint miként kapcsolhatók ezek a modellek döntéstámogatási problémákhoz. Az előadás központi kérdése, hogy a módszerek miért nem terjedtek el szélesebb körben: a gráftér kombinatorikus robbanása és a diszkrét optimalizáció komoly akadály. A záró rész olyan új irányokat ismertet, mint a folytonos gráftanulás, a bayesi és aktív tanulási megközelítések, illetve a nagy nyelvi modellek használata szakértői előzetes tudás becslésére.

Videó navigáció

Fejezetek

MI-támogatott