Előadás

Nyelvi modellek biztonsága

Ács Gergely

BME HIT

Mesterséges intelligencia, hálózatok és kommunikáció

2023. november 30. 14:00BME Informatikai épület, IB025 · Budapest

Átirat · 17:47

következő előadó ács gergely a bme hit

Átirat · 17:53

azonbül is a káislab munkatársa előadásának címe

Átirat · 17:59

nagy nyelvi modellek a biztonsága nyelvi modellek biztonsága tiéd a szó

Átirat · 18:05

köszönöm hallható vagyok jó oké jó üdvözlök mindenkit akkor ez egy új

Átirat · 18:12

keletű téma úgyhogy olyan nagyon nagy eredmények kutatási eredmények még

Átirat · 18:19

nincsenek benne inkább problémákról fogok beszélni meg a problémának a

Átirat · 18:24

nehézségéről főleg mert elég nehéz probléma szóval a nagynyelvi modellek

Átirat · 18:30

ugye ezt mindenki ismeri körülbelül ugye a chat gpt-re is lehet gondolni a feladatuk körülbelül az hogy beírunk

Átirat · 18:35

neki valami szöveget és ők megpróbálják ezt kiegészíteni tehát nem kell nagyon nagy nagyon bonyolult dologra gondolni a

Átirat · 18:44

működési elvük nagyjából az hogy a különböző szövegeket vagy most már képeket hangokat beágyazzák egy egy

Átirat · 18:51

közös vektortérbe és az alapján végeznek műveleteket majd elmondom hogy ez miért fontos mert vannak olyan támadások amik

Átirat · 18:57

ezt kihasználják a nagyjából a tanításuk úgy

Átirat · 19:03

működik hogy betanítják ugye őket egy nagyon nagy tanító adaton ezt áltáában

Átirat · 19:09

az internetről veszik corpusznak hívják és a problémát az adja hogy ez egy nem

Átirat · 19:14

kontrollált adat tehát tele van biasekkel illegális

Átirat · 19:21

tartalmakkal és minden olyan dologgal amire a modell rá tud tanulni és ez bizonyos esetekben problémához vezet

Átirat · 19:32

most azt nem nehéz megjósolni hogy ezeket nagyon sok applikációban fogják használni

Átirat · 19:37

callcenterekbe különböző egészségügyi alkalmazásokba receptek írására például

Átirat · 19:44

vagy home assistentekbe tehát ez az alexa illetve a társai szintén

Átirat · 19:51

ott el fognak terjedni akkor már most is használják hogyha a telefonunkba ugye írunk valamit és próbálja prediktálni

Átirat · 19:57

hogy mi a következő szó javaslatokat ad ezt szintén nyelvi modellekkel teszik fordításhoz is használják és

Átirat · 20:04

mondjuk ha forráskódokat programozók vagyunk forráskódnak a javaslatára is

Átirat · 20:09

tehát például copilot rendszer ami a githubnak a terméke hogy az

Átirat · 20:15

forráskódot javasol és elég hasznos tud lenni de vannak neki hátulütői

Átirat · 20:23

is na most ez az előadás ez a nyelvi modellek biztonságáró f szól tehát nem

Átirat · 20:29

arról fogok beszélni hogy hogyan lehet használni biztonsági problémák megoldására az egy külön téma arra is lehet de ez nem arról szól ugye a

Átirat · 20:37

biztonságot három főcsoportban szoktuk sorolni vannak bizalmassági problémák hogyha például érzékeny adatot

Átirat · 20:44

kiderítünk a tanító adatalmazból ami betanították ezeket a nyelvi modelleket

Átirat · 20:50

vagy ellopják a modellt vagy ellopják a promptot egy szolgáltatás esetén ez mind

Átirat · 20:56

confidentialityy biz almassági probléma akkor vannak az integritási problémák amikor úgy támadjuk meg a modellt hogy

Átirat · 21:05

nem azt a működést fogja adni amit amit a fejlesztő elvár tőle tehát beszúrunk

Átirat · 21:11

például olyan fabrikált adatokat a tanító adatába ami miatt mondjuk a

Átirat · 21:18

copillot esetén sérülékeny kódot fog javasolni a

Átirat · 21:25

fejlesztőnek és vannak olyanok is amik akkor a promptba szúrunk be ilyen

Átirat · 21:31

információt és ezért fog rosszul működni tehát ugye prompt alatt azt értem amikor van egy nyelvi modell meg beírjuk hogy

Átirat · 21:38

mit szeretnénk tőle ez a string ez amit beírunk ezt hívjuk prognak ez lehet egy

Átirat · 21:43

kérdés de lehet mondjuk forráskodók esetében egy komment vagy bármi egyéb ezt fogja a nyelvi modell kiegészíteni

Átirat · 21:50

és amivel kiegészíti ez lesz végül is a javaslata és végül vannak ilyen

Átirat · 21:55

elérhetőségi problémák ezzel az a ezek oda tartoznak amikor valaki például

Átirat · 22:02

olyan kéréseket ad a nyelvi modelleknek ami ami fölött elkezdenek sokat dolgozni

Átirat · 22:08

például megkérik hogy mielőtt megválaszolná ezt a kérést a kérésben

Átirat · 22:13

szereplő minden betűvel mondjon egy mondatot az összes wikipédia ami minden wikipédia cíbe tartalmaz vagy ilyen

Átirat · 22:19

hasonlókat tehát bármi olyan kérdést ami ami amin ő sokat gondolkodik vagy

Átirat · 22:24

megmondjuk neki hogy adjon vissza nem tudom különböző hírportálokról híreket

Átirat · 22:31

de mondjuk a new york timesot ne említse meg hogy ez is egy ilyen bizonyos szolgáltatásoknak a

Átirat · 22:39

megtakadása na kezdjük a confidentialityvel a probléma az az ugye

Átirat · 22:44

hogy ezek a nyelvi modellek nagyon nagyok nagyon sok paraméterük van miatt ugye drága is őket betanítani és emiatt

Átirat · 22:51

bizonyos adatokat memorizálnak ez azt jelenti hogy konkrétan az az adat előhívható belőlük ez kis is próbálták

Átirat · 22:58

mi is kipróbálhatjuk ha mondjuk beírunk magunkat akkor lehet hogy ha rajtan vagyunk wikipédián vagy a honlapunk

Átirat · 23:05

elérhető akkor fog egy összeegzést adni rólunk ezzel csak az a gond hogy ez egy személyes adat tehát ez és emiatt a

Átirat · 23:13

gdprnak a hatálya aláesnek ezek a nyelvi modellek a másik ami szintén probléma

Átirat · 23:21

hogy gyakran nem akarja a szolgáltató hogy a tanítóatból ezek az ilyen

Átirat · 23:27

informáci kikerüljenek tehát ott például a gmailt használjuk és ott van egy nyelvi modell ami ami próbálja ugye

Átirat · 23:34

meggyorsítani a levélírásunkat az ilyen modell az az betanult korábbi emaileinkből tehát nyilván nem akarjuk

Átirat · 23:41

hogyha valaki neagy isten hozzáfér egy ilyen modellhez ki tudja belőle szedni hogy milyen emaileket írtunk amin ezt a

Átirat · 23:48

modellt betanították akkor például copilot esetében ha valaki githubot használ

Átirat · 23:53

feltölti a forráskódját a forrásokban vannak jelszavak api kulcsok ezek szintén nem lenne jó hogyha egy másik

Átirat · 23:59

felhasználónak megjelenne aki a copilotot használja és egyébként meg gyakran

Átirat · 24:06

csinál például copyright forgeryt tehát hogyha mondjuk a copálotra visszatérve

Átirat · 24:11

egy forráskódot egészít ki és mondjuk azt akarjuk hogy vagy megkérjük hogy a

Átirat · 24:16

fejlézet is generáljon egy forráskódhoz akkor gyakran olyan copyright-okat generál-e hogy az adott kódot

Átirat · 24:23

hozzárendel egy olyan fajfejlesztőhöz aki éppenem azt az adott kódot írta tehát ez mind olyan probléma ami ami a

Átirat · 24:30

confidentiality probléma körébe esik most hogy lehetne hogy lehet előhívni

Átirat · 24:35

egy kicsit szisztematikusabban ilyen olyan mintákat a modellből amit

Átirat · 24:41

amik érzékenyek lehetnek erre az egyik ugye hogyha a promtot megtaláljuk és a

Átirat · 24:47

promttal hívjuk elő tehát amit mondtam például hogy saját nevünket beírjuk és kiegészíti hogy hol születtünk satöbbi

Átirat · 24:53

hogyha ez megtalálható az interneten ugy an akkor ezt szisztematikusan is

Átirat · 24:59

megcsinálhatjuk tehát generálunk egy csomó ilyen promptot és megpróbáljuk megnézni hogy mik azok a válaszok aminek

Átirat · 25:06

úgy mondják hogy a perplexity értéke magas tehát perplexity az azt mondja hogy amit legenerál a szöveg az az

Átirat · 25:12

mennyire biztos abban hogy az az tényleg az egy jó kiegészítés aprónnak ezzel az a gond hogy ez ez nem mindig jól

Átirat · 25:18

reprezentálja azt hogy mi az az adat ami benne volt a tanítóatban és mi az ami nem ezért ezt úgy

Átirat · 25:25

szokták kikerülni hogy betanít tek egy másik nyelvi modellt azzal is megnézik hogy mi ez a perplexit érték és hogyha

Átirat · 25:33

azzal magas ugyanakkora mint a az eredeti modellel akkor azt mondjuk hogy

Átirat · 25:38

ez valószínűleg nem egy egyedi adat viszont ha az eredeti modellel nagyon nagy a másikkal kicsi akkor biztosak

Átirat · 25:44

lehetünk ebben vy jobban biztosak lehetünk benne hogy ez az adat ez ez egyedi tehát csak abban a tanító adatban

Átirat · 25:50

fordult elő amiben az amin az eredeti modell bet tanították

Átirat · 25:55

tehát a lényeg az hogy így kinyerhetők ilyen ilyen adatok itt lehet például látni hogy a prefix az a promt azt

Átirat · 26:01

beadjuk egy itt egy gpt2 modellnek és akkor valami oknál fogva a nyelvi modell

Átirat · 26:06

ezt hozzátársí hozzátársítja egy ilyen konkrét személynek az

Átirat · 26:14

adatához tehát ez ez a támadás egyébként ez a ezt úgy mondják hogy black box tehát nem kell hozzáférni a modellnek a

Átirat · 26:20

paramétereihez hogy ez végrehajtható legyen csak a promtokat kell megkeresni amivel előhívhatóak a személyes

Átirat · 26:26

adatok és ami fontos hogy ezek a modellek nem azért tanulják ezt meg mert mert overfitting van tehát ami a gépi

Átirat · 26:33

tanulásban azt jelenti hogy rá fittel a a betanító aratra hanem ez a modelleknek

Átirat · 26:39

egy tulajdonsága tehát ezek a támadások működnek olyan modelleken is amik amik jól generalizálnak és az ufitting nem

Átirat · 26:46

nem jellemző rájuk és igazából ha meg megnézték hogyha körülbelül egy egy adatot egy

Átirat · 26:52

ilyen nyelvi modell a tanító adatába 30z 40szer lát az már elég ahhoz

Átirat · 26:58

hogy előhívható legyen belőle a modellből na most most jön az érdekes

Átirat · 27:04

kérdés hogy mit lehet ez ellen tenni és a válasz az én személyes véleményem de

Átirat · 27:09

több ember az hogy semmit ugyanis ahhoz hogy

Átirat · 27:15

kiszórjuk az összes személyes adatot például a tanító adatból az az technikailag lehetetlen ennek az az oka

Átirat · 27:22

hogy meg kell az hogy ki tudjuk szórni az adatot tudnunk kell hogy mi az tehát határokat kell szabnunk hogy ez most

Átirat · 27:27

személyes adat ez most nem személyes adat a probléma az hogy az adatok főleg egy nyelvi modell esetén egy egy ilyen

Átirat · 27:34

nyelvi korpuszban nagyon-nagyon összefüggőek tehát itt hoztam egy példát hogyha van mondjuk egy beszélgetés ez

Átirat · 27:40

benne van a tanítóuratban ahol két ember beszélget és mondjuk alice

Átirat · 27:46

akarjuk anonimizálni az adatot és alice beszélgetését kidobjuk belőle ezzel csak az a gond hogy a másik beszélgető

Átirat · 27:52

partner még mindig hogyha lisról beszél fölfedi róla az információt utána mondhatjuk azt hogy oké kidobjuk a

Átirat · 27:58

bobnak is akivel beszél annak az adatát is akkor viszont lehet hogy más emberek beszélnek alisonról és bobról indirekt

Átirat · 28:06

módon ezért az ő adatukat is ki kéne dobni és akkor lehet látni hogy ez azért ez egy elég bonyolult probléma lesz mert

Átirat · 28:11

az adatok között olyan szövegnyes a korreláció hogy hogy nem tudjuk megmondani hogy ez most személyes adat

Átirat · 28:17

mi személyes adat és mi nem személyes adat viszont ha nem tudjuk ezt megmondani akkor azt se tudjuk hogy mit

Átirat · 28:22

kell kidobni meg azt se tudjuk hogy mit kell védenünk tehát az összes olyan ö

Átirat · 28:28

kifinomultabb technika mint a differenal privacy azok szintén nem alkalmazhatóak mert nem tudjuk hogy mit akarunk

Átirat · 28:35

védeni és másik kérdés hogy akkor jogi

Átirat · 28:42

szempontból ez most problémae nekünk tehát ugye a chat gpd-t például betanítják az interneten vagyis publikus

Átirat · 28:49

adatokon tehát mondhatjuk azt hogy publikus adat akik hozzájárultak akik megosztották az információt akkor

Átirat · 28:55

valószínűleg az ő adatokat fel használhatják ez csak részben igaz mert akkor használhatják fel ugye hogyha az

Átirat · 29:01

eredeti céllal kompatibilis tehát ha én megosztom az adatom az interneten valamilyen célból akkor csak olyan

Átirat · 29:07

célból használhatják fel a többiek elvileg viszont a chat gpt-val az a gond hogyha kérdezünk tőle valamit gyakran

Átirat · 29:13

hallucinál és meg megváltoztatja az adatainkat tehát ha kipróbáltuk beírjuk

Átirat · 29:19

a saját nevünket ad egy olyan cv-t rólunk ami aminek a rész bizonyos részei

Átirat · 29:24

nem igazak tehát az a gond hogy ilyen akkor viszont elmehetünk az a open aihoz

Átirat · 29:30

ugye akiz adatkezelő és mondhatjuk neki hogy hoppá ez nem fals információ legyenek szívesek kijavítani rólunk és

Átirat · 29:36

itt kezdődik a probléma hogy ők ezt nem fogják tudni megtenni mert nem tudják a modellt úgy módosítani hogy most vagy

Átirat · 29:43

úgy befolyásolni hogy hogy jó adatot adjanak ki rólunk tehát az olyan

Átirat · 29:48

alapvető jogok mint például a az átláthatósághoz való jog hogy elmagyarázzák hogy milyen információ

Átirat · 29:55

kerül ki rólunk a chat gpt által a módosításhoz való jog a a törléshez való

Átirat · 30:02

jog ezek mind nagyon nehezen implementálhatóak és aktív megbeszélés folyik a jogászok

Átirat · 30:08

között is hogy a chat gpt esetében ez hogy kell kezelni vagy ez összesen nyelvi modell

Átirat · 30:14

esetében jó tehát most tovább megyek az integritás problémákra az integritás

Átirat · 30:20

problémáknál ugye mondtam azt hogy úgy befolyásoljuk a modellt a tanítóadatát

Átirat · 30:26

ö vagy amikor használjuk akkor a promtot hogy ne azt a döntést hozza ne azt az adatot generálja amit amit elvileg

Átirat · 30:33

kellene neki tehát itt a poisoning esetében ugye vagy az előtanítás során vagy pedig a

Átirat · 30:39

fine tuning során amikor rá t rá adaptáljuk a nyelvi modeltt egy

Átirat · 30:45

feladatra ott szúrhatunk be ilyen fabrikált adatot ez ez a poisoning erről most nem fogok beszélni mert időben

Átirat · 30:51

elfér bele és van az invasion amikor már van egy betanított modellünk ugye annak adunk egy prontktot egy kér d és akkor

Átirat · 30:57

arra generál egy kimenetet és ezt a promptot akarjuk úgy manipulálni hogy ne úgy működjön a modell mint ahogy ezt az

Átirat · 31:04

eredeti fejlesztője ezt szerette volna tehát itt a probléma még egyszer

Átirat · 31:12

az hogy alapvetően ezeket a modelleket korlátozzák tehát a cgp-t is it is meg a

Átirat · 31:18

többi nyelvi modellt is mivel olyan adaton tanították be ami

Átirat · 31:24

ami tartalmaz illegális tartalmat hogy ezek ne lehessen előhívhatók belőlük ilyen filtereket tesznek rájuk vagy pedig úgy

Átirat · 31:31

mondjuk hogy ilyen safity trainingnek vetik alá ahol emberi visszajelzés által

Átirat · 31:37

próbálják módosítani a modellt tehát ha az emberek azt mondják hogy ez illegális akkor ezt a modell figyelembe

Átirat · 31:43

veszi a támadónak a feladata az hogy ezt a védekezést ki kikerülje tehát hogyha

Átirat · 31:48

van egy ilyen hogy ugye meg próbáltuk hogy a cgp beírjukk hogyan kell mit tudom én építeni egy bombát akkor ezt

Átirat · 31:55

megtagadja ezt a választ a támadónak a célja pedig az hogy mégis rábírja arra

Átirat · 32:00

hogy megválaszolja ezt a kérdést te mi lehet a támadónak a célja egyrészt azér

Átirat · 32:06

hogy manipuláljon felhasználókat tehát lehet az hogy fals információkkal lássa

Átirat · 32:13

el a felhasználókat egy nyelvi modell vagy meg rávíja arra például hogy

Átirat · 32:21

manipulálja a felhasználókat mondjuk személyes adatokat vagy bizalmas információ nyerjen tes

Átirat · 32:29

felhasználótól felhasználhatjuk felhasználhatja a támadó arra is hogy nem megengedett tartalmat generáljun

Átirat · 32:34

tehát például fishingre emaileket malvereket backdorokat copilot

Átirat · 32:40

esetében hogyha integrálva van egy ilyen nagyobb rendszerbe például beatolás detektálásnál akkor megkerülni a

Átirat · 32:47

rendszert hogy beengedje az illetőt és ilyen nem megengedett

Átirat · 32:53

tevékenységek ez ugye el elérhető egyrészt ilyen cheerbreakingel ez ami az interneten elterjedt körülbelül egy éve

Átirat · 33:00

ez azt jelenti hogy olyan promptot adunk neki amiben meg megmondjuk neki azt hogy nem te most olyan nyelvi modell vagy aki

Átirat · 33:07

mindent meg tud válaszolni és hogy figyelmen kívül az eddigi utasításokat

Átirat · 33:13

és ezután hogyha ezt a promptot így beadjuk neki utána tényleg minden megválaszol nekünk és ez kezdetben

Átirat · 33:18

egyébként jól is működött most már nem működik de amikor kijöttek az első verzió cs gpt-nek akkor ezek a a

Átirat · 33:24

promptok ezek a úgy ú hondják hogy then do anything az azok elég jól

Átirat · 33:32

működtek tehát miután megadták neki ezt a promptot és utána megkérdezték neki a

Átirat · 33:37

hogyan kell bombát építeni akkor szépen megválaszolak utána ezt kijavították és akkor a

Átirat · 33:45

támadók még egy trükköt bevetettek hogy nem csak ezt a promptot adták be hanem

Átirat · 33:52

emulálták a a válaszát a nyelvi modellnek hogy igen

Átirat · 33:59

igen meg meg fogok igen tényleg egy ilyen mindenható vagyok és meg fogok válasz válaszolni ezután minden ilyen

Átirat · 34:05

kérdést tehát ezt ugyanúgy beírták a proma ezt a nyelvi modell végigolvasta

Átirat · 34:10

és azt hitte hogy igen ezt tényleg jóvá hagytam ezt a prontot és válaszolni

Átirat · 34:16

fogok minden kérdésre és ez is utána ez is működött ezt hívták maltiab

Átirat · 34:21

gebreakingnek és a lényeg az hogy ezek a támadások után így fejlődtek tehát mindig beletettek egy védekezést egy

Átirat · 34:27

ilyen fixet utána pedig jött egy támadás és akkor egy ilyen úgy mondják ilyen arms rész arakult ki a támadók meg a

Átirat · 34:34

védekezők között ezek egyébként nagyon jól működtek a különböző nyelvi modellek ellen ilyen

Átirat · 34:40

70-90%-os eséllyel tényleg ha lehetett arra használni hogy bármilyen kérdésst

Átirat · 34:46

megválaszoljanak és utána volt egy nagyon trükkös támadás ami végül is azt

Átirat · 34:53

használta ki hogy a modellünk az nagyon okos tehát ez a támlás nagyon jól működött gpt 4-es modellek esetén vagy a

Átirat · 34:58

nagyobb modellek esetén a lényege pedig az volt hogy a promptot a kérdést azt enkódoltuk itt ebben a példában például

Átirat · 35:06

base 64 módon és így ettük be a modellnek és mi volt a trükk ebben hogy a bonyolult modellek decódolni tudták

Átirat · 35:13

ezt és utána megnézték hogy mi az a prompt és végrehajtották az egyszerű modellek viszont nem mert ugye nem

Átirat · 35:19

lettek erre betanítva tehát ezek a bonyolultabb modellek esetén jól működött és itt már lehet látni hogy mi

Átirat · 35:25

az egésznek a problémája meg a fenéje hogy mindig tudunk olyan enkódolási formát adni amire nem készítik fel a

Átirat · 35:32

nyelvi modellt a védekezés során ezért valószínűleg mindig meg fogjuk tudni támadni az ilyen nyelvi

Átirat · 35:40

modelleket jó most viszont az idő az megy úgyhogy kicsit

Átirat · 35:48

begyósulok még még egy támadásról szeretnék beszélni ez pedig a multimodális támad

Átirat · 35:57

ások a multim mit érünk multimodális modellek alatt olyan nyelvi modellek amiket már nem csak szöveget hanem képet

Átirat · 36:04

pedig és hangot is fel tudnak dolgozni ugye ez a jövő nyilván például beadunk

Átirat · 36:09

neki egy képet és mondjuk el megkérdezzük tő hogy mi van a képen és ő ezt szépen leírja és van egy nagyon

Átirat · 36:15

érdekes támadás egy nagyon trükkös támadás ami azt csinálja hogy módosítja a képet úgy hogy így befolyásolja a

Átirat · 36:22

modellnek a működését de ez a módosítás a képen nem látható tehát az tehát a

Átirat · 36:27

korábbi esetekben amikor a szöveget módosítottuk az nyilván látható volt és azt elrejtettük valahol akkor el tudtuk

Átirat · 36:34

valamelyest rejteni de a képek esetében hogyha módosítjuk a képet akkor az nem mindig észrevehető egy ember számára itt

Átirat · 36:41

mondjuk ennél a példánál mondjuk éppen igen de még lehet finomítani ezt a támadást na mi a lényege az hogy

Átirat · 36:47

kérdezzünk tőle hogy mi van a képen megnézi a képet és a zaj hatásra amit hozzáadtunk a képre a modell nem úgy fog

Átirat · 36:54

működni ahogy ahogy ahogy azt vár várja a fejlesztő hanem úgy ahogy a támadó a

Átirat · 37:01

aaj miatt tehát az zjos képen azt fogja mondani hogy ezen a képen egy tesla

Átirat · 37:06

található ha több információt akarsz akkor l látogasd meg ezt a képet és az a kép egyébként egy molver tartalmaz tehát

Átirat · 37:13

hogyha rákattint akkor letöltődik onnan egy molver tehát itt a lényege az ennek

Átirat · 37:18

a támadásnak hogy a képet meg a a a a a szöveget ugyabban abba a vektortérbe ágyazzza be

Átirat · 37:25

a modell és a képhez úgy ad hozzá a zajt hogy ezt a a a az egész beágyazást

Átirat · 37:31

eltolja arra a válaszra amit a támadó akar tehát a vektortébe odatója el tehát

Átirat · 37:38

itt amit lehet látni hogy itt van a két beágyazás és a pirossal jelöltem meg hogy az xi az a kép tehát azok a pixelek

Átirat · 37:44

azokhoz adjuk hozzá a delt zajt és ezáltal az egész beágyazást eltoljuk oda

Átirat · 37:49

ahol az a a kimenet található amit amit akar a támadni hogy megjelenjen tehát az a támadói

Átirat · 37:58

string és egyébként hogyha egy ilyen képet beteszünk egy ilyen párbeszédben

Átirat · 38:04

akkor a párbeszéd összes elemét be fogja folyásolni mert a nyelvi modellnek a kimenete az összes korábbi válaszán

Átirat · 38:11

együtt számolódik tehát nem csak a rá következő válasz hanem az összes többire

Átirat · 38:16

hatáson van egy ilyen támadás jó tehát konklúziót azt elmondom

Átirat · 38:24

mert szerintem most már a végére értem az egésznek nem beszéltem még jó pár dologról hogy

Átirat · 38:32

még ezt megemlítem hogy a prompt tehát ezek a támadások azért is veszélyesek mert mivel integráljuk egy csomó

Átirat · 38:38

rendszerben ezeket a modelleket ez a prompt injection támadás ez az adatban

Átirat · 38:44

is megjelenthet és ezt ezért hívják prompt injectionnek tehát amikor feldolgoz egy szöveget egy képet oda

Átirat · 38:50

helyezzük el a a a promptot ami befolyásolja a modell működését nem pedig direkt bekérdezzük meg tőle és

Átirat · 38:56

minél több rendszerrel integráljuk ezeket mit tudom én a a bbe is ugye most már van egy ilyen kereső tehát ha

Átirat · 39:03

feltesszük passzív módon egy honlapra ezeket a a utasításokat akkor ezeket a

Átirat · 39:08

nyelvi modell fogja ugyanúgy értelmezni és

Átirat · 39:14

végrehajtani a védekezésekről annyi hogy ezek ezek ellen nagyon nehéz védekezni általában ezeknek a safity trainingeknek

Átirat · 39:21

legalább olyan bonyolultnak kell lenni mint a modellnek magának tehát a modellnek a betanítá ának ami jelenleg

Átirat · 39:27

még nem igaz mert mindig csak foltozgatják ezt a modelleket de ezt lehetett ebből is látni hogy nem lehet

Átirat · 39:33

az összes ilyen problémát nefoltozni úgyhogy valószínűleg most azt követik hogy ilyen auditing illetve red teaming

Átirat · 39:40

eljárás követnek a nagyobb cégek tehát megnézik hogy van-e sérülékenység ha

Átirat · 39:46

igen akkor azt befoltozzák de nincsen olyan módszertan olyan formális modell ami megmondaná hogy minden támadást

Átirat · 39:52

hogyan tudnánk kivédeni jó és még nagyon sok sok probléma van amiről nem beszéltem tehát

Átirat · 39:58

a generált tartalomnak a fake text meg fake imageeknek a detekciója hogy tudjuk

Átirat · 40:04

hogy ezt gépi modell generálta vagy nem a vízjelezése a modellopás tehát még

Átirat · 40:10

nagyon sok ilyen probléma van de lehet látni hogy azért elég nagy problémával állunk szemben és azt nem fogjuk az

Átirat · 40:16

egyik napról a másikra megoldani úgyhogy

Átirat · 40:25

köszönöm

Átirat · 40:31

most pedig sonkoly balázs a bm tmit hsn Sonkoly Balázs (BME TMIT) - Kiterjesztett valóság a felhőben

Témák

MI-támogatott

Összefoglaló

MI-támogatott

Ács Gergely a nagy nyelvi modellek biztonsági problémáit tekinti át. Bemutatja, hogy a nagyméretű, részben kontrollálatlan tanítóadat, a modellekből kinyerhető információk, a prompt-alapú támadások, az adversariális manipulációk és a beágyazási tér sajátosságai milyen támadási felületeket teremtenek. Az előadás hangsúlya a még nyitott kutatási problémákon és a védekezés nehézségén van.

Videó navigáció

Fejezetek

MI-támogatott