Előadás

Egyedi MI copilot a Sematic Kernel SDK segítségével

Naplózástól az Avatarokig - Adat és M.I.

2024. április 25. 13:00SAP Graphisoft Park · Budapest

Átirat · 43:18

Az első útra a képen láthatóhoz hasonló két ütemű trabantal indultunk.

Átirat · 43:22

Ausztria festői szépségű hegyei között jártunk,

Átirat · 43:25

amikor felfoglalta a hűtővíz,

Átirat · 43:27

és így nem írtunk oda Olaszországba.

Átirat · 43:29

Szerintem amikor a nyers nagynyelvi modellekkel dolgozunk,

Átirat · 43:32

akkor nagyjából ezzel a két ütemű trabantal dolgozunk.

Átirat · 43:35

Sok helyre el lehet velük jutni, de azért vannak korlátai.

Átirat · 43:38

Viszont mi lenne, ha ezt a trabantot egy kicsit feltuningolnánk,

Átirat · 43:41

mondjuk plusz hűtést tennénk benne,

Átirat · 43:43

ellátnánk pár extra funkcióval,

Átirat · 43:45

akkor talán át tudnánk jutni Ausztria hegyei között.

Átirat · 43:48

Blaske Bence vagyok, az SAP Labs vezető-fejleszője,

Átirat · 43:52

és az előadásom egy olyan technikáról fog szólni,

Átirat · 43:54

amivel az alap nagynyelvi modelleket tudjuk új képességekkel felruházni,

Átirat · 43:58

és ezáltal az alap modelltudásánál jóval többet tudunk belőlük kihozni.

Átirat · 44:02

Az előadásom címe Egyedi EMMI Copilot a Microsoft Semantic Kernel SDK-val.

Átirat · 44:07

Körülbelül egy hónappal ezelőtt volt Andrew NG-nek, a híres EMMI kutatónak egy tweetje,

Átirat · 44:12

amiben arról ír, hogy mindenkinek érdemes megismerkednie az...

Átirat · 44:16

Köszönöm.

Átirat · 44:17

Az ágéns fölökföl alapú EMMI rendszerekkel.

Átirat · 44:20

De mit is jelent ez?

Átirat · 44:22

Ezeknek a rendszereknek négy ismérve van.

Átirat · 44:24

Az egyik, hogy képesek a saját válaszaikra reflektálni.

Átirat · 44:27

A másik az, hogy képesek eszközöket, tehát például külső apikat,

Átirat · 44:31

vagy más akár...

Átirat · 44:32

Vállalati jelentés rendszerek, vagy bármilyen egyéb tetszőleges rendszernek a funkcióit felhívni.

Átirat · 44:37

Utána pedig képesek egy formális tervet, egy több lépéses, banyolult tervet létrehozni ezeknek az eszközöknek a felhasználásával,

Átirat · 44:44

és azokat végre is tudják hajtani.

Átirat · 44:46

Végül adott esetben esetleg egy több különböző specializált ágénsből is létrehozhatunk egy ilyen csapatot,

Átirat · 44:53

és ezek a specializált ágénsek fogják végrehajtani ezt a banyolult feladatot, mint mondjuk tényleg egy ilyen csapat.

Átirat · 44:59

Bizonyos értelmezések szerint ez a fajta megközelítés már akár egy ilyen weak AGI-nak is,

Átirat · 45:03

tehát egy ilyen gyengébb általános célú mesterséges intelligenciának is tekinthető,

Átirat · 45:07

mivel már manapság is számtalan munkafolyamatot lehet ezekkel részben vagy egész évben kiváltani.

Átirat · 45:13

De mit is jelent ez a CoPilot szó, amit az előadásom címében használtam?

Átirat · 45:17

A CoPilot egy olyan ME-asszisztens, amelynek fő célja a felhasználói produktivitás nevelése,

Átirat · 45:22

és a felhasználók munkájának kisegítése, egyszerűsítése.

Átirat · 45:26

A Microsoft manapság minden ME termékére ezt a szót használja, de ez nem véletlen.

Átirat · 45:30

Ez igazából arra utal, hogy ezek az ME rendszerek még csak besegítenek nekünk, de még nem veszik el a munkánkat.

Átirat · 45:35

Bár Magyarországon szerintem ezt amúgy se tehetnék meg.

Átirat · 45:38

Fontos része ennek az egész történetnek, hogy van ez a tervezési lépés, ez a tervező komponens.

Átirat · 45:45

Amennyiben látjuk, hogy hogyan gondolkodik az ME, tehát hogyan akar végrehajtani egy feladatot,

Átirat · 45:50

és adott esetben ezt az általa létrehozott tervet adott esetben még finomhangolhatjuk is,

Átirat · 45:54

akkor szerintem ezzel jelentősen növekszik ebben a megoldásba vetett bizalom,

Átirat · 45:59

aminek hiánya egyébként az ME rendszerek kapcsán sokszor előkerül.

Átirat · 46:03

Egyébként nemcsak az általam nem sokára bemutatandó semantic kernel SDK az egyetlen ilyen framework,

Átirat · 46:08

lehet, hogy sokan használtátok már a langchain frameworkot, illetve a Microsoftnak is vannak más hasonló megoldásai.

Átirat · 46:14

De mi is ez a semantic kernel SDK, amiről eddig beszéltem?

Átirat · 46:18

Ez egy olyan nyílt forráskódú framework, ami integrálja a nagy nyelvi modelleket,

Átirat · 46:23

és ad hozzájuk számtalan hozzávalókat.

Átirat · 46:24

Az egyik, és szerintem legfontosabb ilyen hasznos funkció az, hogy bővítményeket vagy plug-in-eket tudunk definiálni,

Átirat · 46:31

és ez nagyjából úgy néz ki, hogy ha a nagy nyelvi modell számára eláruljuk, hogy vannak bizonyos eszközeink, amiket ő tud használni,

Átirat · 46:40

és érkezik egy ilyen felhasználói lekérés, például milyen az időjárás Budapesten,

Átirat · 46:46

és amennyiben a rendszer számára biztosítottuk ezt a funkciót, hogy van egy get-weather függvényünk, ami visszaadja egy adott helyszínen az időjárást,

Átirat · 46:53

akkor abban az esetben, hogyha ezt megkérdezzük tőle, akkor vissza fogjuk kapni, hogy a get-weather funkciót érdemes felhívni Budapest paraméterezéssel.

Átirat · 47:01

Egyébként akik használták már ezeket a nagy nyelvi modelleket korábban, azok esetleg tudhatják, hogy milyen finom felhasználói szándékot képesek ezek a nyelvi modellek felfedezni,

Átirat · 47:10

tehát ez már sokkal komplexebb, mint mondjuk a korábbi NLP-s intent detection megközelítések.

Átirat · 47:17

Tehát, hogyha mondjuk például egy olyan kérdést tennék fel a modellnek, hogy a hétvégén szeretnék egy grill partyt szervezni,

Átirat · 47:22

Magyarország fővárosában.

Átirat · 47:25

És igazából az az érdekes, hogy ebben az esetben is visszakapnánk azt, hogy hát ehhez azért valószínűleg érdemes lehet felhívni ezt a get-weather függvényt,

Átirat · 47:32

illetve azt, hogy Magyarország fővárosa Budapest, az ugye szintén a nyelvi modell számára ismert,

Átirat · 47:37

tehát gyakorlatilag ugyanezt a funkcióhívást kapnánk vissza, hogy ezt kell felhívni ahhoz, hogyha mondjuk grill partyt szervezünk, az tényleg egy hasznos információ.

Átirat · 47:45

Ugye említettem korábban ezt a tervezési részt a dologban, ez is egy nagyon fontos része ezeknek a rendszereknek.

Átirat · 47:52

Ugye ezeknek az eszközöknek a felhasználásával, vagy a plug-in-eknek a felhasználásával össze fog állítani nekünk az emi rendszer egy tervet,

Átirat · 47:58

és utána ezt a tervet végre is tudja hajtani.

Átirat · 48:01

Maga a framework egyébként, hogyha valaki ilyenekkel már foglalkozott korábban, ilyen különböző framework-ökkel, SDK-kkal,

Átirat · 48:08

akkor tudhatja ugye, vannak ilyen mondjuk ilyen általános best practices-ek, vagy általános ilyen építőkövek,

Átirat · 48:12

amiket ismernek ezek a rendszerek, tehát ugye általában ilyen chat felületen fogunk ezekkel a nyelvű modellekkel interakcióba lépni,

Átirat · 48:21

van ez a funkciói hívás, amit említettem, illetve van különböző fajta memória komponensük is ezeknek.

Átirat · 48:26

És itt érdemes lenne kitérni, nem tudom, lehet, hogy ez a rövidítése bizonyos emberek számára már egy ismert fogalom,

Átirat · 48:33

de érdemes erre kitérni, hogy mi ez a RAG, a Retrieval Augmented Generation szónak a rövidítése egyébként,

Átirat · 48:38

de ugye igazából nagyjából arról van szó, ugye vannak a nagy nyelvű modellek, például a GPT-4,

Átirat · 48:43

amelyek egyszerre egy bizonyos mennyiségű úgynevezett token tudnak a memóriájukban, az úgynevezett Context Window-ban tárolni.

Átirat · 48:50

Tehát, hogyha mondjuk akarnánk építeni egy olyan rendszert, ahol mondjuk egy nagyobb adatmennyiségű dokumentáció alapján szeretnénk,

Átirat · 48:58

hogy az emi modell válaszoljon, akkor ugye ezt nem tehetjük meg, hogy ezt egy az egyben betöltjük az adott nagy nyelvű modellnek a memóriájában,

Átirat · 49:06

vagy Context Window-jában, mert ugye nem férne el benne.

Átirat · 49:08

És erre nyújt megoldást gyakorlatilag ez a RAG pattern, ami arról szól, hogy ezeket a szövegeket előzetesen áttranszformáljuk egy úgynevezett vektoradatbázisba,

Átirat · 49:18

és utána a lekérdezés függvényében bizonyos szövegdarabkákat kiszedünk ebből a vektoradatbázisból, és megkérjük a modellt, hogy az alapján válaszoljon.

Átirat · 49:26

Ez egy fontos építőkör.

Átirat · 49:28

Egyébként, hogyha valaki már korábban ilyen foglalkozott ilyen nyelvű modellekkel és játszódózott ezekkel a különböző ilyen Advanced DAB-nak nevezett ilyen prompting technikákkal,

Átirat · 49:37

Chain of Thought, Reasoning, React Pattern, meg stb. ilyen dolgokkal, ezeket itt is lehet használni, illetve a maga framework is épít ezekre a patternekre elég jelentősen.

Átirat · 49:47

Nézzük meg egy kicsit konkrétabban, hogy amit demót, amit nem sokára mutatni fogok, hogy milyen is képes ez a Co-pilot rendszer.

Átirat · 49:56

Ez egy ilyen CET-es alapú szabály.

Átirat · 49:57

CET-es alapú szöveges felületen lehet ezt az alkalmazást majd használni.

Átirat · 50:02

Parancsolós felületen keresztül ezt majd mindjárt látni fogjátok.

Átirat · 50:05

És itt is lesznek ezek a bővítmények.

Átirat · 50:08

Igazából az egész demo-nak ez lesz a fő mondanivalója, hogy ezek a bővítmények hogyan működnek.

Átirat · 50:14

Ugye itt fogjuk használni ezt a korábban ismerhetetett React Pattern, de nem csak dokumentáció feldolgozására,

Átirat · 50:20

hanem egy szerintem viszonylag újszerű megközelítés az, hogy a terv létrehozására,

Átirat · 50:25

tehát hogyha kap egy feladatot majd hozzátok,

Átirat · 50:26

ha kap egy feladatot majd tűrünk az EMI, itt ebben az esetben az lesz, hogy konferenciaszervezés,

Átirat · 50:30

akkor a terv létrehozásához is egy dokumentációba fog kinyúlni, és gyakorlatilag ez alapján hozza létre a tervet.

Átirat · 50:38

Ez azt jelenti, hogy nem hagyjuk azért annyira, hogy szabadjára engedje a fantáziáját ez az EMI modell,

Átirat · 50:43

hanem adunk neki egyfajta iránymutatást, mondjuk nevezzük ezt egy receptkönyvnek.

Átirat · 50:46

Tehát egy ilyen receptkönyvből fogja megkapni azt az iránymutatást, ami alapján a tervet létrehozza.

Átirat · 50:51

Be fogom mutatni a demón keresztül, hogy milyen funkciókat tud használni, internetkeresés, e-mail küldés, file létrehozás, stb.

Átirat · 50:59

És itt ugye a tervező megint előkerül, ezt majd látni fogjátok, hogy ez pontosan hogyan működik.

Átirat · 51:03

Illetve amit még érdemes megemlíteni, az, hogy akik már használtak ilyen nyelvű modelleket ilyen programozási környezetben,

Átirat · 51:11

azok tudhatják, hogy van egy ilyen speciálisabb úgynevezett System Prompt,

Átirat · 51:14

amiben megadhatjuk ezeknek a nyelvű modelleknek mondjuk így a motivációját, vagy bizonyos helyzetekben hogyan reagáljon.

Átirat · 51:20

Tehát ez egyfajta ilyen alapinstrukció a modellnek, hogy hogyan működjön.

Átirat · 51:25

Itt a mi esetünkben ez nem egy olyan bonyolult dolog,

Átirat · 51:27

azért azt fogjuk kérni tőle, hogy viselkedjen egy ilyen általános személyi asszisztensként, hogyan használjon bizonyos eszközöket.

Átirat · 51:34

Hát ez a szekvenciadiagram, nem tudom mennyire látszik a háttérben,

Átirat · 51:37

de csak így nagyon röviden elmondanám, hogy az egyes ilyen összetevők hogyan vesznek részt ebben a folyamatban.

Átirat · 51:43

Belépési pontunk ez a chat felület lesz, majd itt fogjuk megfogalmazni a feladatot,

Átirat · 51:49

amit adunk az EMI-nek.

Átirat · 51:51

Itt az lesz a feladat, hogy szeretnék egy konferenciát szervezni,

Átirat · 51:54

mesterséges intelligencia témákörben április 25-én,

Átirat · 51:57

és a téma igazából az, mint ennek a konkrét workshopnak,

Átirat · 52:00

tehát egy ilyen feladatot fogunk adni az EMI-nek.

Átirat · 52:02

És ebben az esetben vissza fog menni a backendhez ez a lekérés,

Átirat · 52:08

és fel fogja fedezni, hogy ez egy feladat, amit neki végre kell hajtani.

Átirat · 52:13

És igazából itt ebből a receptkönyvből, amit előbb említettem,

Átirat · 52:16

ebből fogja kikeresni azt a részt, hogy hogyan lehet konferenciálni,

Átirat · 52:19

hogyan lehet szervezni, és ez alapján egy ilyen formális tervet fog létrehozni,

Átirat · 52:23

amit utána visszaküld a felhasználónak.

Átirat · 52:26

És hogyha a felhasználónak ez a terv tetszik, illetve hogyha nem tetszik,

Átirat · 52:29

akkor finomhangolhatja, tehát megmondhatja, hogy jó, ez nagyon tetszik,

Átirat · 52:31

de igazából még egy picit módosítsunk rajta, akkor visszaküld,

Átirat · 52:34

de akkor ezt megint módosítja az EMI-rendszer,

Átirat · 52:37

és utána pedig végre lehet hajtani, és akkor ezeknek az eszközöknek,

Átirat · 52:42

vagy funkcióknak az eredményét vissza fogja küldeni a felhasználó irányába.

Átirat · 52:46

De nézzük meg akkor így konkrétan a demót, mert szerintem ez kicsit látványosabb lesz.

Átirat · 52:54

Remélhetőleg így elindul.

Átirat · 52:56

Ezzel a szemantikánál készítettem ezt a demót, ez tényleg egy ilyen parancsolós fel,

Átirat · 53:02

tehát kérdezzünk, van mi egyszerűbb kérdése, mondjuk, who are you?

Átirat · 53:05

Ugye tudjuk, hogy ezek a nagynyelvű modelleknek az ilyen tanítókorpusza az jellemzően angol nyelven,

Átirat · 53:11

angol nyelven történt, tehát ugye ezek leginkább angol nyelven a legmegbízhatóbbak.

Átirat · 53:16

Ja, bocsánat, nincs semmi kivetítve.

Átirat · 53:18

Jó, akkor nem kattintottam át rendesen az elnézést, a képernyőt.

Átirat · 53:26

Ja, igen, igen, köszönöm, igen, duplicate, és akkor most lesz jó, hogy azt mondom, hogy keep changes.

Átirat · 53:31

Szuper. Na, szuper.

Átirat · 53:33

Na igen, tehát, hogy megkérdeztem a modelltől, hogy ki csoda valójában, és akkor mondja, hogy egy személyi asszisztens,

Átirat · 53:37

aki is tud nekünk segíteni mindenféle dologban.

Átirat · 53:39

Ez eddig még semmilyen extra dolog nem történt.

Átirat · 53:41

Folytassuk egy olyanra, hogy what is machine learning, tehát mi a gépi tanulás.

Átirat · 53:48

Ez egy ilyen egyszerű kérdés, amire úgy általában a nyelvi modellek is remekül tudnak válaszolni,

Átirat · 53:51

viszont itt már rögtön nem ez fog történni, hanem az fog történni, hogy itt definiáltam neki egy olyan függvényt,

Átirat · 53:58

ezt a retrieve rack contentet, ez végülis az első eszköz, aminek a működését itt látni fogjuk ebbe a demóban,

Átirat · 54:03

ami gyakorlatilag ebből a vektor adatbázisból ki fogja nyerni, hogy mi ez a machine learning, és az alapján válaszol.

Átirat · 54:09

Különös helyeken úgy hívják, hogy grounding, tehát hogy adunk egy ilyen iránymutatást a modellnek,

Átirat · 54:13

hogy ne próbáljon halucinálgatni mindenféle hülyességet, hanem konkrétan az alapján válaszoljon, amit megadunk neki.

Átirat · 54:19

Tehát ez egy ilyen egyszerű példa a funkció használatra, illetve erre a rack patternre is,

Átirat · 54:24

és ez alapján fogunk kapni egy választ a modelltől. Tehát ez már az első funkcióhívás itt megtörtént,

Átirat · 54:29

de ez még mindig nem annyira nagy durranás szerintem.

Átirat · 54:32

A következő viszont már egy olyan kérdés lesz, hogy mondjuk I would like to,

Átirat · 54:38

organize a conference-et, hogy szeretnék egy konferenciát szervezni,

Átirat · 54:42

ugye nem voltam túl konkrét, nem adtam meg túl sok adatot,

Átirat · 54:45

és igazából igen, a modell is gyakorlatilag vissza fog térni hozzám, hogy jó, hát ez nagyon jó, szívesen segítek,

Átirat · 54:53

ebben csak adjam meg a részleteket, tehát hogy mikor van a konferencia, kik a részfevői, illetve hogy mi a témája.

Átirat · 54:59

Na most ezzel kicsit itt puskázni fogok, mert most nem akarom ezt megépelni, ezt a hosszú szöveget,

Átirat · 55:03

de gyakorlatilag itt megadom neki, hogy április 20-adat igen van a konferencia,

Átirat · 55:06

a témakör, az AI használata, a log analízisban van AI avatárok, stb.,

Átirat · 55:12

meg egy néhány tetszőleges e-mail címet felsoroltam neki, ugye ők a konferencia részfevői.

Átirat · 55:16

És mi fog történni itt mindjárt? Remélhetőleg betöltödik, sajnos egy kicsit néha lassú ez az egész.

Átirat · 55:22

Fölhív egy funkciót, ez a Create Process Plan, gyakorlatilag szintén egy olyan funkció, amit fel tudunk használni,

Átirat · 55:28

ez fogja létrehozni ezt a formális tervet, abban leírja, hogy milyen feladatot adtunk az EMI-nek,

Átirat · 55:34

és az első lépés, amit említettem az előadásban, hogy Getting Planned Guidance from Cookbook,

Átirat · 55:38

tehát, hogy ebből a receptkönyvből fogjuk kiszedni azt, hogy hogyan kell ilyet csinálni.

Átirat · 55:42

És mivel ez egy kicsit sokáig tart, ezért meg is mutatom, hogy itt a motorház tető alatt mi történik,

Átirat · 55:46

tehát itt két ilyen dokumentumom van, amit itt felhasználtam ebben a demóban,

Átirat · 55:50

az egyik ez a receptkönyv, ez az Organizing a Conference, hogy hogyan kell konferenciát szervezni,

Átirat · 55:55

ez gyakorlatilag egy ilyen szöveges leírása, vagy szöveges algoritmusa mondjuk így a konferencia szervezésnek,

Átirat · 56:00

hogy nézzük meg az interneten, hogy vannak-e már konferenciák ezen a dátumon,

Átirat · 56:04

de csak abban az esetben érdekes, hogyha ugyanebben a témában, mint ami ennek a konferenciának a témája,

Átirat · 56:10

küldjön meghívót a résztvevőknek, hozzon létre egy szinopszist,

Átirat · 56:15

a szinopszist pedig szintén ne ő halucinálja be, hanem használja ezt a dokumentációt, amit megadtunk neki,

Átirat · 56:22

utána pedig hozzon létre egy HTML oldalt, aminek a HTML oldalnak az oldott konferenciának az részletei tartalma,

Átirat · 56:30

tehát kik a részvevői, mi a témakör, a szinopszis, stb., tehát ezeket hozzon létre egy HTML oldal formájában,

Átirat · 56:36

és hogyha esetleg van más konferencia ezen a dátumon, akkor csinálja egy másik HTML oldalt,

Átirat · 56:41

amiben pedig ezeket az ilyen mondjuk így konfliktusos konferenciákat fogja listázni.

Átirat · 56:45

A végén pedig foglalja össze, hogy mit művelt. Nézzük meg úgyit.

Átirat · 56:49

Hát igen, itt még mindig a tervet hozzon létre, ez itt egy kicsit sokáig tart, mert tényleg egy elég nagy promptot kap a modell,

Átirat · 56:55

illetve adott esetben akár több iterációra is szüksége van a terv létrehozásához,

Átirat · 56:59

úgyhogy akkor visszatérek ide a dokumentációhoz.

Átirat · 57:03

Ugye ez a másik, amit föl fogok használni, ez egy ilyen ragdog, tehát ebben nincs túl sok adat,

Átirat · 57:09

tehát nyilván ezeket a ragparteneket más nagyobb adatmennyiségekre szokták használni.

Átirat · 57:13

Itt ebben az esetben néhány ilyen módicka példa van, tehát az előző, amit mutattam példát,

Átirat · 57:18

ez a Wattis Machine Learning, ez itt ez alapján került meg válaszolásra,

Átirat · 57:22

illetve a konferenciához a synopszist pedig ebből a két szövegdarabkából fogja visszaadni nekünk ez a rendszer.

Átirat · 57:29

Nézzük meg, hogy itt a terv még mindig készül, jó, nem baj.

Átirat · 57:32

Akkor megmutatom azt is, hogy hogyan lehet ezeket a funkciókat, tehát ezeket az eszközöket az MI tudomására hozni.

Átirat · 57:40

Tehát itt ez egy C-Sharp-os implementáció, de egyébként ennek a frameroknak van Pythonos megfelelője is,

Átirat · 57:45

úgyhogy gyakorlatilag nagyjából ugyanaz történne egy Python implementációnál is.

Átirat · 57:48

Ez gyakorlatilag egy teljes értékű C-Sharp osztály, aminek igazából most nem kell megijedni attól, hogy most itt kódot látunk,

Átirat · 57:56

de igazából az a lényege, hogy vannak definiálva egyszerű mezei metódusok, funkciók,

Átirat · 58:01

és van egy ilyen, hát mondjuk nevezzük annotációt, ami keresztül megmondjuk az MI modellnek, hogy milyen esetben és hogyan kell ezt a funkciót használni.

Átirat · 58:09

Tehát hogy eláruljuk neki, hogy ezt e-mail küldésre használjuk, illetve az egyes paramétereket szintén így ezekkel az annotációkkal ellátjuk,

Átirat · 58:17

hogy ez gyakorlatilag amikor készül.

Átirat · 58:18

Ha ki akarja tölteni a lekérés alapján ezeket a paramétereket, akkor ezt hogyan tegye.

Átirat · 58:22

Tehát gyakorlatilag ennyi neki elegendő, hogy ezt fel tudja hívni ezt a funkciót.

Átirat · 58:25

Nézzük a tervet, létre is jött, szuper.

Átirat · 58:28

Nem kell ettől szintén megijedni, ez egy ilyen Handlebuzz nevű szintaxissal elkészült terv, de igazából viszonylag jól szerintem követhető.

Átirat · 58:36

Első lépés, illetve nulladik lépés, itt ilyen változóknak a beállítása.

Átirat · 58:40

Első lépésként az internetet keresi, ugye ez az amit mondtuk, majd kértünk tőle, hogy csináljon, internetkeresést végez.

Átirat · 58:46

Van egy ciklus a részvevőkön, e-mailt küld, tehát itt egyébként ezt majd meg is nézzük, hogy ezt ténylegesen el fogja küldeni.

Átirat · 58:53

A szinopszist létrehozza ebből a ragdoksiból, html oldalt gyárta a konferencia adataiból,

Átirat · 59:00

és utána ha voltak más konferenciák ezen a dátumon, akkor létrehozza egy másik html oldalt, egyébként pedig összefoglalja az eredményt.

Átirat · 59:08

Ez már önmagában is szerintem viszonylag jól érthető, de olyat is tudunk csinálni ezzel a megoldással, hogy mondjuk visualize the plan.

Átirat · 59:15

Tehát, hogy gyakorlatilag szeretnénk azért egy kicsit jobban felfogható formátumot kapni ebből a tervből.

Átirat · 59:21

Van egy ilyen, nem tudom, lehet, hogy páran ismeritek, van egy ilyen mermaid chart nevű formátum, ez egy ilyen szöveges folyamatábra nyelv,

Átirat · 59:28

nem tudom, tehát, hogy amit igazából szövegesen lehet megadni egy ilyen folyamatábrának a részeit,

Átirat · 59:33

és abból igazából egy nyelvű modellre megkül tud generálni egy ilyen szöveget.

Átirat · 59:38

Csinálunk egy ilyen mermaid chart-ot erről a tervről, amit utána mindjárt meg is fogunk nézni élőben, hogy ez hogyan néz ki, ha betöltődik.

Átirat · 59:46

Igen, tehát ez gyakorlatilag ez a szövege ennek a chartnak, és utána ezt egy böngés szövegben meg is tudjuk nyitni.

Átirat · 59:52

Tehát gyakorlatilag az történt, hogy ezt a tervet, ezt a formális tervet, amit ugye végre tud hajtani ez a rendszer,

Átirat · 59:58

ezt ő átalakította, a nyelvű modell átalakította erre a mermaid chart-nak a formátumra.

Átirat · 1:00:03

Egyébként ez benne van valószínűleg a GPT-4-nek a tanítóadatai között.

Átirat · 1:00:07

Nekem ehhez nem kellett semmilyen példákat adni, gyakorlatilag csak egy kicsit megmondtam neki, hogy milyen fajta mermaid chart-ot csináljon,

Átirat · 1:00:13

de őt remekül tudott belőle egy mermaid chart-ot generálni.

Átirat · 1:00:16

És itt igazából ezeket a lépéseket látjuk, ugye e-mail küldés minden része vőnek, illetve van egy elágazás, hogy ha van más konferencia, akkor csináljon egy HTML adat, egyébként meg nem.

Átirat · 1:00:26

És akkor igazából a következő lépés, gyakorlatilag az utolsó az, hogy megkérjük, hogy hajtsa végre, do it, az gyakorlatilag önmagában már kifejezi ezt a szándékot, hogy szeretnénk végrehajtani ezt a tervet,

Átirat · 1:00:35

és itt igazából lépésről lépésre végre fogja hajtani azokat a lépéseket, igen, tehát azokat a funkciókat fogja felhívni, amiket itt a tervben ő megállapított.

Átirat · 1:00:46

Itt az internetkeresés, annak az eredményét is látjuk, e-mail küldés az egyes résztvevőknek meg fog történni,

Átirat · 1:00:53

illetve itt van ez a rész, amikor a szinopszishoz összevadász a vektoradatbázisból az információkat, tehát ez alapján fog csinálni egy, igen, egy szinopszist, amiben rak a HTML oldal,

Átirat · 1:01:03

vagy egyébként most meg tudjuk nézni, hogyha gondoljátok, igen, itt nem ez, igen, invitation to conference, jaj, de jó, kaptam egy meghívót ettől az emi-től,

Átirat · 1:01:12

itt gyakorlatilag egy kicsit ilyen búdjuta példa, hogy itt leírja ennek a konferenciának a dolgait, de hát ez végül is azt szemléltet, hogy ezt a funkcióhívást valójában végrehajtotta a rendszer.

Átirat · 1:01:22

Itt valószínűleg, igen, most már le is futott a többi rész, tehát létrehozta, jó eséllyel, itt ebbe az output könyvtárba ezt a két HTML oldalt, úgyhogy nézzük is meg,

Átirat · 1:01:31

jaj, bocsánat, ez a conflicting conference, nem baj, tehát ugye csinált egy olyan HTML oldalt, amiben az egyéb konferenciákról, itt egy kicsit így berhányta, nem baj, nem annyira túl szépre csinált ezt a HTML oldalt,

Átirat · 1:01:41

a másik pedig a konferenciának az adatai, hát ez sem egy olyan csodálatos HTML oldal, de azért viszonylag jó munkát végzett szerintem, tehát itt a konferencia dátumát, a témáját, a szinopszist belerakta, illetve a részlevőket így felsorolta egy ilyen, nem tudom, egyszerű listában.

Átirat · 1:01:57

De gyakorlatilag ezeket a funkciókat így remekül végre tudta hajtani ez az EMI rendszer, tehát ugye adtuk neki ezt az iránymutatást a receptkönyvben, az alapján létrehozta a tervet, az egyes funkciókat, amiket definiáltunk neki,

Átirat · 1:02:10

persze akármilyen funkciókat megadhatunk volna neki, külső apikat, bármit gyakorlatilag, ezeknek a felhasználásából ő létrehozta a tervet és végre is hajtotta.

Átirat · 1:02:19

Igazából ennyi lett volna az én demóm, nem tudom, itt most kérdésekre valószínűleg nincs lehetőség, de hogyha az e-mail címemre, erre a bence.blaskékkukac.com-ra szeretnétek valami kérdést küldeni, akkor ezt nyugodtan megteljítettek,

Átirat · 1:02:34

illetve ezt a demót, amit bemutattam nektek, ezt a C-sharp-os demót ezzel a frameworkhez feltöltöttem a GitHub oldalamra,

Átirat · 1:02:39

tehát ott is el lehet tölteni, elméletileg viszonylag egyszerűen be lehet setup-olni, ki lehet próbálni, persze ezzel kapcsolatban is bármilyen kérdésre szívesen válaszolom. Köszönöm a figyelmet.

Átirat · 1:02:49

Köszönjük szépen Bencinek az előadást, és lesznek kérdésre lehetőségek, a következő előadás után lesz egy rövid szünet, és az előadás után is lehet kérdezni.

Átirat · 1:03:13

A következő előadás után is lehet kérdezni.

Átirat · 1:03:17

A következő előadás után is lehet kérdezni.

Átirat · 1:03:18

Következő előadónk Szeményei Márton,

Átirat · 1:03:28

A következő előadás után is lehet kérdezni.

Átirat · 1:03:36

Köszönöm szépen, szeretettel üdvözlök mindenkit, ahogy a pad is elmondta, Szeményei Márton vagyok, az irányításteknikatanszékről jövök a BMÉ-n belül,

Témák

MI-támogatott

Összefoglaló

MI-támogatott

Blaske Bence azt mutatja be, hogyan lehet a nyers nagy nyelvi modellek képességeit egy alkalmazási környezethez igazított MI-copilottá bővíteni. A Semantic Kernel SDK segítségével ismerteti a promptok, pluginek és külső funkciók összekapcsolását, valamint azt, hogyan válhat egy nyelvi modell egyszerű szöveggenerátorból üzleti folyamatokban használható, eszközöket meghívó komponenssé. Az előadás gyakorlati példákon keresztül tárgyalja az orchestration, a szemantikus funkciók és a természetes nyelvű felhasználói interakció szerepét.

Videó navigáció

Fejezetek

MI-támogatott