Latest / Týdeník Respekt / Stanislav Fort: AI bublina je mýtus. Vývoj je rychlý a lidé možná jen neví, jak dobré už modely jsou
Transcript
- 0:00Posloucháte side guist dnes o umělé inteligenci a mimo jiné o
- 0:03její nové roli v kyberbezpečnosti.
- 0:07We have to maketed so the when them mol powerfoun u nás is most
- 0:11of las theyste you care kurthous.
- 0:13Hete to for friend of indive you i revolution.
- 0:17Its i thing is, canny be something like ten Times i the
- 0:20impact of intastru revolution the happening attentimes a speed
- 0:24publion fouding in a bratr a decate rthers in a sentury.
- 0:28Make intelligence, brayboun at and grobes hutumas ofement.
- 0:33Public to understane whatrey is the white soda infors the
- 0:39public, what pression pole, sestions to, countaburns the
- 0:43prashic coming from the cheese yours.
- 0:49Pravděpodobně prožíváme technologickou revoluci, která
- 0:51ve své rychlosti rozsahu a potenciálních dopadech na lidský
- 0:55život i práci nemá obdoby. Nástup velkých jazykových modelů
- 0:59a generativní AI je čím dál patrnější napříč různými sférami
- 1:03lidské činnosti od programování po umění.
- 1:06Otázky, které dřív řešila poměrně malá skupina lidí
- 1:09spojených s výzkumem a vývojem umělé inteligence nebo science
- 1:13fiction, jsou dnes často ve středu zájmu celospolečenské
- 1:16debaty. I když by si možná mnohé z nich
- 1:19i zasloužily ještě víc pozornosti, a to i ze strany
- 1:22státu. Namísto otázky, jestli někdy
- 1:25bude k dispozici umělá inteligence ve všech ohledech
- 1:28lepší než člověk, dnes spíš lidé řeší, jestli nás od ní dělí rok
- 1:32několik let nebo víc a můj dnešní host rozumí překotnému
- 1:36vývoji AI jako málokdo v Česku. Stanislav ford je expert na
- 1:41umělou inteligenci a velké jazykové modely, který působil v
- 1:44předních světových firmách v oboru jako jsou Google deepmind.
- 1:48Nebo antropic aktuálně působí jako hlavní vědec v
- 1:51kyberbezpečnostním startupu ail, který spoluzaložil v Česku a
- 1:55slaví s ním 1 úspěchy, vystudoval matematiku a
- 1:59teoretickou fyziku na univerzitě v Cambridge.
- 2:01Specializoval se tam na černé díry a pak pokračoval do
- 2:05kotorátem v oboru umělé inteligence na stanfordově
- 2:08univerzitě. Co říká na nástup AI agentů a
- 2:11lekci, kterou přinesla? Síť mall book.
- 2:14Vidí nějaké fundamentální limity ve vývoji umělé inteligence?
- 2:17Co si myslí o tak často skloňované AI bublině na trzích,
- 2:21jak zásadně proměňují modely programování nebo opravování
- 2:25chyb v softwaru? Jak by se měla Evropa postavit k
- 2:28rozběhlému závodu ve vývoji ea? Co si bere z eseje o závažné
- 2:33civilizační výzvě, kterou sepsal šéf antropiku dario amodey.
- 2:38A jaké je to rozjet kyberbezpečnostní startup v
- 2:41Praze? Nejen na to se ptám v tomto
- 2:43podcastovém rozhovoru. Podnětný poslechistu vám přeje
- 2:46Štěpán Sedláček. Hostem caigaistu je expert na
- 3:02umělou inteligenci a velké jazykové modely Stanislav ford,
- 3:05spoluzakladatel společnosti a kde působí jako hlavní vědec.
- 3:09Ahoj stando. Ahoj moc, díky za pozvání.
- 3:12Ty jsi skoro od začátku vývoje té generativní umělé
- 3:15inteligence, co jsme se nového díky jejímu rozvoji díky rozvoji
- 3:18strojového učení a neuronových sítí, jejichž plody dnes tedy
- 3:22využívají, můžeme říct stamiliony lidí.
- 3:24Neli víc dozvěděli o lidech. To je hodně zajímavá otázka a je
- 3:28pravdou, že skrze historii to, co jsme považovali za speciální
- 3:33aspekty lidství a lidského masku a nějakého lidského
- 3:36intelektuálního výkonu, postupně padalo pod silou důkazů toho, co
- 3:40dokázali dělat stroje. To je dost zajímavý asi jako
- 3:43nějaký historický vývoj, který se nějak protkává delší dobou
- 3:48než jenom ten spen historie umělé inteligence.
- 3:51Já bych řekl, že 1 se takových šoků už bylo.
- 3:53To, když počítače začaly být schopné.
- 3:55Třeba hrát třeba šachy v 90. Letech minulého století, kdy se
- 3:58začaly porážet ty nejsilnější lidské šampiony.
- 4:01Ten slavný zápas geri kastrof proti die blue i bm to byla
- 4:05podle mě velice šokující věc pro hodně lidí, protože tvar
- 4:08lidského intelektu je takový, že hodně intelektovaných schopností
- 4:12koreluje s těmi jinými. Takže když člověk je schopen
- 4:15řešit třeba šachy na hodně vysoké úrovni, tak je typicky
- 4:18hodně chytrý nebo hodně chytrá IV jiných.
- 4:20Aspektech toho prostoru kognitivních intelektuálních
- 4:23úkolů. A asi velkým šokem bylo to, že
- 4:27umělé inteligence nebo počítače obecně mají úplně jiný tvar toho
- 4:30intelektu, který dokážou mít a dokáží být extrémně dobré v
- 4:33nějakých omezených doménách a zároveň extrémně špatné v těch
- 4:37jiných. I když bychom naivně
- 4:38předpokládali, že kdyby to byl člověk s tímhle tím typem třeba
- 4:41výkonu v šachách, tak by nejspíš byl dobrý i třeba v jazyce nebo
- 4:44v matematice nebo VV těhletěch jiných aspektech inteligence a
- 4:47myslím si, že tady ten jako pokrok pokračoval dál.
- 4:49A to trochu souvisí s tou jack atrom tere umělé inteligence,
- 4:52což je jako koncept, který byl představený víceméně minulý rok
- 4:56a souvisí s tím, že umělé inteligenci bývají extrémně
- 4:59dobré v nějakých konkrétních věcech a třeba překvapivě špatné
- 5:02ve věcech jiných. A teď otázkou je, jak se tady
- 5:04ten tvar bude vyvíjet do budoucnosti, jestli vlastně ty
- 5:07špičky toho intelektu tak nějak postupně se budou posouvat dál,
- 5:10ale ty nejhorší aspekty se zvednou a nakonec budou lepší
- 5:13než třeba lidské schopnosti, že už nenajdeme věci, ve kterých by
- 5:15lidé byli překvapení, jak špatná ta umělá inteligence je?
- 5:18A, nebo jestli se třeba tady ty rozdíly mezi těmi nejlepšími
- 5:21schopnostmi a těmi nejhoršími od toho AI budou prohlubovat a
- 5:24pořád třeba najdeme věci, které jsou triviální pro lidi, ale
- 5:27zároveň extrémně těžké a pro umělé inteligence třeba počítat
- 5:30r ve stravě, straberry nebo v něčem takovém, což byl takový
- 5:33konkrétní úkol, který jazykový model morok zpátky nešel z
- 5:36triviálních důvodů, ale byla to 1 z věcí, u kterých by lidé
- 5:39nečekali, že by takhle inteligentní takhle ty
- 5:41inteligentní entita měla mít problém.
- 5:43My když jsme se spolu bavili úplně poprvé, to bylo před pár
- 5:46lety, myslím někdy v dubnu v květnu. 2023 tak tehdy lidé
- 5:50řešili právě ty přibývající teda přebývající prsty na lidských
- 5:54rukou. Právě u těch snímků, které
- 5:56vytvářeli modely, dneska už vytváří filmy, které někdy je
- 6:01velice těžké rozeznat od skutečnosti reálných reálných
- 6:05snímků pořízení ve světě, takže mnohým lidem, kteří se dřív na
- 6:10to koukali s takovým shovívavým úsměvem, tak teď asi zmrzl.
- 6:14Ve tváři asi i ti šachisté. To nějak prostě vzali na vědomí
- 6:19a teď dál hrají spíš mezi sebou. Tak mě by zajímalo ještě ten
- 6:22dopad té umělé inteligence na lidi to teprve uvidíme, jak se
- 6:26to rozvine, ale co si bereš z toho, jak vlastně teď ji
- 6:30přijímáme, protože už máme za sebou několik let.
- 6:33Demokratizace v těch modelů a možná i vývojáře překvapuje, k
- 6:37čemu a jaký lidé využívají a něco to o nás říká, tak, jak se
- 6:41na tohle díváš? Já si myslím, že hodně z toho
- 6:43podceňování bylo způsobené tím, že.
- 6:45Lidé vnímali stav tu dobu a ne nějakou trajektorii a vývoj z
- 6:49historie, protože pokud bychom vnímali to, že ten vývoj není
- 6:51stagnatní a to, že to neumí dělat 5 prstů a dělá jich třeba
- 6:546 nebo něco takového, není nějaký stav, který byl vždycky
- 6:57pravdou. Ale rok předtím to neměl vůbec
- 6:59nic. Tak to dělá lidi se 6 prsty, tak
- 7:01kdybychom se zamysleli jenom a lineárně projektovali dále o rok
- 7:05do budoucnosti, tak bychom nejspíš došli k závěru, jestli
- 7:07toho naivního modelu už to bude čím dál tím lepší a já si
- 7:10myslím, že hodně lidí se víceméně přezaměřilo na ten
- 7:13konkrétní stav a na ty konkrétní chyby.
- 7:15Jakoby v tom 1 v tom 1 momentě a vytvořily si nějaký mentální
- 7:17model toho, jak ty systémy fungují a odůvodnily si často
- 7:21chybně? Proč by neuměli, neuměli umět
- 7:23nějakou konkrétní věc v budoucnosti je takový ten
- 7:26typický mém kolem toho, že jazykově moraly jsou jen
- 7:28stochastické, stochastičtí papoušci, kteří jen opakují
- 7:31tréninková data dál problém tady těch modelů je to, že často
- 7:34dokáží o hodně víc, než by dokázat.
- 7:36Měli takový stochastický paboušek, kdyby to bylo brané do
- 7:39extrému, by neměl být schopen dělat nic z toho, co dneska
- 7:41vidíme. Rutinně, takže?
- 7:43Ten model očividně není dobrým modelem toho, co se děje.
- 7:46Já si myslím, že většina lidí i třeba vývojářů v softwaru už
- 7:50během třeba konce minulého roku 2025 se přesvědčila, že že umělá
- 7:54inteligence je něco, co dokáže programovat dobře na jejich
- 7:57úrovni, a to, co vnímali jako hodně intelektuálně náročné.
- 7:59Expertní téma je dneska vlastně komunitizované, umílou
- 8:03inteligencí je relativně silně a vytváří to relativně velkou
- 8:06paniku v tom oboru, protože. 1 věc je, když vaše kariéra
- 8:11nezávisí na tom, jak tenhleten modlit dobré jsou a pak je
- 8:13snadné říci. Jsou vlastně hloupé a nic neumí,
- 8:16ale pokud reálně vidíte, že je v tom v té vaší vaší schopnosti,
- 8:19která vás dělá třeba ekonomicky hodnotným člověkem a zároveň je
- 8:23součástí toho, jak modulujete sami sebe, AZ čeho čerpáte
- 8:26hodnotu skrze vaši užitečnost společnosti, tak je to o hodně
- 8:29silnější efekt než nějak vágně akademicky mluvit o tom, jestli
- 8:33ty modely jsou nebo nejsou chytré, když vidíte, že jsou
- 8:35schopné dělat ty věci, u kterých si myslíte, že inteligence je
- 8:37potřeba, tak je to jiná otázka a myslím si, že.
- 8:41Konkrétně kód code, což byla programovací verze.
- 8:44Umělé inteligence kvót od startupu antropi, který je
- 8:46dneska, řekl bych třeba 2 nebo 3 v poskytování služeb umělé
- 8:50inteligence kolem Googlu a opray aj v nějakém mixu.
- 8:54Tady toho pořadí tak? Nějakou dobu pracoval.
- 8:56Že jo a to je pravda, když to byla relativně maličká firma
- 9:00ještě v tu dobu, tak dnes podle mě ten cloud code z nějakého
- 9:04důvodu mematicky zasáhnul celý svět hodně silně.
- 9:07Lidé si najednou uvědomili, že byl takzvaný cap as over hang,
- 9:11že už ty modely uměle dělat něco, co si lidé nemysleli, že
- 9:13umí. A najednou to tak jako rychle
- 9:15zjistili, že najednou ta společenská nálada se přepla a
- 9:18viděli jsme třeba v prosinci minulého roku hromady projektů,
- 9:22kde si lidé vyzkoušeli, k čemu to mohou použít a byli
- 9:26překvapení, jak výkonné ty systémy jsou, že ta realita
- 9:28toho, že vlastně můžu počítači popsat v jazyce, co by měl dělat
- 9:32a najednou, se to stane a funguje to.
- 9:34To bylo něco, co nefungovalo do pár let zpátky a působilo to
- 9:36jako scifi třeba 10 let zpátky, ale dnes je to běžná realita,
- 9:40třeba prací programátorů, takže to byl velký šok, ale.
- 9:44Na 2 stranu mě překvapuje, jak rychle si lidé zvykli na to, že
- 9:46ta realita je, že vlastně jako je to třeba 2 měsíce.
- 9:49Co tohle to je běžná známost nebo běžně známá věc v celé
- 9:53společnosti? Ale řekl bych, že si lidé
- 9:55víceméně zvykli na to, že tohle to je aspekt reality a že to tak
- 9:58prostě je a teďka hledají typicky, co s tím dělat dál, což
- 10:01je zajímavá otázka. Vím, že třeba deník new york
- 10:03Times psal o té situaci některých juniorních
- 10:06programátorů a programátorek, kteří tedy dali nemalé peníze za
- 10:10vzdělání a teď mají problém na tom americkém trhu.
- 10:13Nějak uspět, najít práci, tak nevím, jak na to koukáš jako
- 10:16člověk, který taky najímá do startupu lidi, programátory,
- 10:19odborníky na IT, tak potvrzuješ to, že se tohle se posunulo, že
- 10:23prostě to musí být zkušenější lidé, kteří zvládnou
- 10:27orchestrovat ten vipecoding nebo jak to?
- 10:31Asi velkým aspektem. Tohle toho je, že dnes ta role
- 10:34programátora aspoň z mého pohledu se posunula vlastně jako
- 10:37k manažerovi malého týmu internu nebo nějakých stážistů a vlastně
- 10:40virtuálních stážistů a stážisté. Což jsou ty AI agenti, kteří
- 10:44dokáží provádět hodně práce, ale často jim chybí nějaké jako
- 10:47větší plánování. Třeba nějaká tést nějaká jako
- 10:51nějaký způsob rozlišit dobrá řešení špatných.
- 10:52Nejsem si jistý, jak dlouho tady ta situace bude trvat, protože
- 10:55to není tak nebo nějaké tadyty schopnosti rozhodovat
- 10:58strategicky nejsou něco podle mě unikátně lidského.
- 11:01Podle mě je to něco podobného jako jako těch 6 prstů versus 5
- 11:04prstů, který jsme viděli v těch obrázkových monolech.
- 11:06Myslím si, že i tadyta schopnost jako dlouhodobě pravděpodobně
- 11:08bude nahrazena. Umělou inteligencí, ale zatím
- 11:11jak to vidím, je, že ta práce programátorů se trochu změnila v
- 11:15tom, že sice pořád programují a čím obskurnější a čím
- 11:18důležitější ten systém je, tím víc programových ročně.
- 11:21Ale je pravda, že hodně lidí vlastně pracuje v tom režimu,
- 11:24kdy paralelní ovládá několik a agentů, kteří pracují na různých
- 11:28aspektech té code base toho projektu a ten člověk vlastně
- 11:31supervizuje na té vysoké úrovni. To, jak tady ty systémy operují.
- 11:35Čili musí být zkušný. Přesně tak, a není to tak jiné
- 11:37od toho, když nějaký seniornější programátor nebo programátorka
- 11:40měli nějaký menší tým judernějších lidí, kteří
- 11:42prováděli ty více hanson úkoly a ten ten seniornější člověk právě
- 11:47vytvářel tu vizi nebo ten plán, takže v tomhle se to úplně
- 11:49neliší. Jen tak juniorní vrstva
- 11:51pravděpodobně už dnes není jen na 100% lidská, ale obsahuje
- 11:55hodně i agentů a pravděpodobně to zvyšuje asi náročnost toho
- 11:59získat takovou práci. Pokud se soustředíme jen na ty
- 12:02ty jako technické tvrdé schopnosti v programování.
- 12:05Jsou různé jiné aspekty, které jsou dneska podle mě
- 12:07hodnotnější, což je nějaká agence schopnost té závislé
- 12:11exekuce, schopnost prozkoumávat neprozkoumaná řešení.
- 12:14Já dnes většinou pracuji ve svém výzkumu s plejádou AI agentu,
- 12:18kteří provádějí AI experimenty na pozadí za mě a já vlastně
- 12:21rozhoduji o tom, jaké experimenty provést dál a dívám
- 12:24se, jestli náhodou neudělali chybu, a tak se jako sokraticky
- 12:26ptám, jestli náhodou neudělali tohle to špatně, že ten výsledek
- 12:29je nějaký divný a operuji v podstatě v režimu, který by
- 12:31odpovídal profeservis s malým týmem.
- 12:34Research existence, což je ten režim, ve kterém bych
- 12:36pravděpodobně byl, kdybych byl v akademii, takže pro mě to zas
- 12:39tak jiné není, ale dokážu se vcítit do té situace juniorních
- 12:42lidí, kteří teďka do toho trhu vstupují poprvé, takže je to
- 12:45dost těžké, ale je to něco, co je realitou a myslím si, že
- 12:48vnímat tu realitu taková, jaká je důležité k tomu pravá.
- 12:51Jak je správná třeba polis je rozhodnutí v tomhle tom oboru,
- 12:53takže já si myslím, že je důležité vnímat to tak, že ty AI
- 12:57systémy tady dneska jsou mají. Extrémně levné a extrémně jako
- 13:00velké schopnosti přes velikou škálu.
- 13:03Ekonomicky důležitých úkolů. Bude to čím dál tím horší, čím
- 13:06dál tím obecnější a budou čím dál tím schopnější a je možné,
- 13:08že i jejich cena na tu danou inteligenci bude čím dál tím
- 13:11nižší kvůli ekonomickému závodu mezi těmi providery.
- 13:13A že tohleto prostě bude svět, ve kterém budeme třeba letos
- 13:16nebo příští rok žít a musíme si na to zvyknout.
- 13:18A něco s tím udělat? Že se to trochu naznačilo, ale
- 13:20jaká je tam schopnost nebo dovednost, kterou vlastně u těch
- 13:23modelů postrádáš? A máš podezření, že to může být
- 13:26něco fundamentálně odlišného mezi člověkem a právě tím velkým
- 13:30statistickým modelem. Já jsem opatrný kolem toho
- 13:33říkat, že něco je fundamentální rozdíl, protože myslím si, že
- 13:36máme relativně krátkou, ale ale bohatou historii toho, že hodně
- 13:39lidí, kteří nominálně byli schopni takové proklamace krátce
- 13:43pletli v tom, co bude fund dement a klimitací už několik
- 13:45let posloucháme o tom, jak velké jazyky a moroly narazí na zeď,
- 13:48která je vlastně jako nepropustná.
- 13:50Přes ní se nedostanou a žádné tyhlety zdi je reálně
- 13:52neexistovaly. Takže já jsem opatrně v těch v
- 13:55těch fundamentálních soudech. 1 věc se mi dneska prakticky
- 13:58chybí, je schopnost nějaké? Na vysokoúrovňového vnímání a
- 14:01plánování a strategie kolem toho, co dělat konkrétně v té
- 14:04vědě návrhu těch konkrétních experimentů, které mají rozřešit
- 14:08nějaké jisté neurčitosti v tom vědeckém projektu často, když
- 14:11provádím nějaký vědecký výzkum, tak je velký strom, hypotéz a
- 14:14různých větvících se možností toho, co prozkoumávat a
- 14:17schopnost správně odřezávat ty větve těch možností tak, abychom
- 14:20se dostali k nějakému cíli, je je hodně těžká věc a je to něco,
- 14:24co se nedá explicitně naučit a je to nějaký takový secret souse
- 14:27typického vědce nebo vědky? Někteří jsou úspěšní v tom, co
- 14:30dělají. Tajná přísada v tom, že vlastně
- 14:32věda se špatně automatizuje, protože tam hodně těchhletěch
- 14:35neurčitých věcí, které se nedají úplně algoritmicky popsat.
- 14:38Teď nevím, jestli je velké jazykové monely.
- 14:39Třeba za rok budou tady tyto schopnosti nějak absorbovat z
- 14:42toho extrémního množství textu? Reinformace environmentu, ve
- 14:45kterých se budou učit, takže je možné, že něco takového přijde,
- 14:48ale zatím konkrétně mně to chybí, i když nemyslím si, že je
- 14:51to možná nějaký fondementální nedostatek.
- 14:53Když jsi mluvil o té velké zdi, nebo respektive právě o těch
- 14:57hlasech, kteří říkají, podívejte tam je nějaký nějaký
- 15:00fundamentální limit, který ty modely budou mít?
- 15:04Poukazují třeba i na to, že už prostě potom je nedostatek dat.
- 15:09K učení, že to je problematický bod pro ty modely a.
- 15:11Že v některých případech ty pokročilejší verze, že vlastně
- 15:14ten pokrok nebyl tak velký, jak by měl být, pokud by ta
- 15:18škálovatelnost, nebo teda ten jejich další pokrok byl.
- 15:22Podle nějakých těch linek, které se tam narýsovali před lety i
- 15:28prostě v akademické sféře, jsou lidé, kteří na to poukazují.
- 15:30A třeba právě s tím argumentem jako garbicine garbič out.
- 15:34A že se to bude postupně znehodnocovat, tak jestli
- 15:37správně rozumím z toho, co jsi říkal, tak ty vidíš tu další
- 15:40budoucnost spíš tak, že se budou dál zdokonalovat, že tam není
- 15:44nějaká nějaký problém, na který by teď měli ty modely narazit.
- 15:48Ten samý argument jsem mohl udělat třeba před rokem a určitě
- 15:51by neplatil, protože od toho roku zpátky do dneška se ty
- 15:54podali extrémně zvětřily. Takže to, že je aplikovatelný
- 15:57historicky v jakýmkoli, v jakémkoli momentu, třeba během
- 16:00posledních 3 let a že by bejval neplatil podle mě dobře
- 16:03indikuje, že nejspíš teďka není speciální moment, kdy platit
- 16:06začne. Je možné, že existují nějaké
- 16:08nevyřešené věci, které tam fundamentálně chybí k tomu,
- 16:11abychom získali něco, co je nějaká jako.
- 16:15Severka, za kterou se směřujeme v tom vývoji, ale.
- 16:17Ale už ten praktický vývoj a ty schopnosti na praktických
- 16:20inteligenčně le 1 věcech na věcech, které byly jako hodně
- 16:23těžké řešit AO, kterých si podle mě dobře myslíme, že potřebují
- 16:26inteligenci na nich vidíme extrémně velký pokrok.
- 16:28Existuje organizace metr, která evaluuje schopnosti AI modelů,
- 16:33řešit programovací úkoly a měří jak dlouhý časový horizont
- 16:36dokáží nezávisle vyřešit. Takže když se podíváme na úkol,
- 16:39který by člověk řešil třeba hodinu, tak jestli ne a jemu
- 16:42dal, je schopný tu tu hodinovou úlohu vyřešit a oni trakují.
- 16:46To třeba maximální velikost toho úkolu, který ten model umí
- 16:48vyřešit jako funkci času jako funkci generace toho modelu.
- 16:50A když se na to podíváme, tak vidíme, že třeba poslední rok
- 16:53nebo 2 se ty modely teď nechci říkat to číslo špatně, ale podle
- 16:57mě každých 7 měsíců se zdvojnásoboval ten horizont,
- 17:00který dokáží řešit, což už od dob covidu víme, že exponenciali
- 17:05s jsou hodně neintuitivní v tom, že extrémně rychle rostou, takže
- 17:08je možné, že po dlouhou dobu, kdyby tady ten zákon platil,
- 17:11nebo kdyby tady to pozorování historicky platilo, tak jsme
- 17:13viděli, že. Třeba jste jako půl sekundy se
- 17:16to zvýšilo na tu sekundu a pak na 2 sekundy a jsou pořád
- 17:19triviální úkoly, takže by na lidi nepůsobilo, že se cokoliv
- 17:21děje, ale pod tou vrstvou té lidské nepozornosti v tomhle
- 17:24tom, aby se ten trend neustále opakoval a pak v 1.
- 17:27Dobu najednou vidím, že to umí řešit věci, které trvají typické
- 17:30programátorce, třeba minutu a najednou.
- 17:32Je to 2 minuty, 4 minuty a 8 minut a to už jsou docela veliké
- 17:35úkoly. A dneska pro těch měření ty
- 17:37nejlepší modely jsou schopné řešit věci, kde mají horizonty
- 17:40minimálně desítek minut délky úkolu.
- 17:42A ta ta doba, za kterou ty modely tyhlety úhly v břiše jsou
- 17:45jako je triviálně krátká a tyhlety modely jsou schopné
- 17:49řešit věci, které jsou ekonomicky hodnotné a
- 17:51programátoři a programátorky by je chtěli řešit.
- 17:54Je to něco, co reálně dělají a podle tady těch měřítek jsme
- 17:57žádnou stagnaci, nebo i jako lineární vývoj do budoucnosti
- 18:00neviděli. Je to pořád exponenciální, takže
- 18:03já si myslím, že není moc důvodů nějak empiricky měřitelných,
- 18:07podle kterých bychom si měli myslet, že jsme na hraně
- 18:09nějakého nějaké stagnace, třeba zastavování toho vývoje.
- 18:12Je pravda, že jsi zmiňoval ty škálovací zákony, což jsou ty
- 18:15predikce toho, jak se model zlepšuje s tím, když do něho
- 18:18dáváme víc dat víc parametrů, což jsou ty syntetické vlastně
- 18:21synapse nebo ekvivalenty synapsy mezi neurony v tom modelu a také
- 18:25množství výpočetního výkonu. Celkem, když bychom se podívali
- 18:29na ten trend před těmi třeba já si myslím, že ten paper vyšel 7
- 18:33let zpátky. Kdybychom se podívali na ty
- 18:34predikce z té doby, tak se zdá, že že nejsou špatně, že my jsme
- 18:38už tenkrát věděli, že kdyby platili.
- 18:40Tak každá jednotka zdrojů, kterou přidáme do toho tréninku,
- 18:43bude mít čím dál tím menší dopad na ty schopnosti a to nebylo
- 18:45něco, co je překvapivé. To už tenkrát, kdyby ty zákony
- 18:48platili, tak jak jsme je čekali, tak by tohle to byla pravda, že
- 18:50přidání dvojnásobkové výpočetního výkonu nebo
- 18:52jednotlivé výpočetního výkonu má čím dál tím menší dopad na tu
- 18:55výslednou inteligenci. Zároveň se to paradigma trochu
- 18:58změnilo a já si myslím, že nevidím žádnou fundamentální
- 19:00zeď, která by se teďka ukazovala dat je sice málo, ale hodně těch
- 19:05AI modelů trénuje. Syntetických scénářích, kde řeší
- 19:09reálné problémy skrze učící metro jménem every informace.
- 19:12A to je něco, co si vlastně data generuje samo on the fly, takže
- 19:16není potřeba nějaká velká banka dat, která by se do toho
- 19:19vložila? Tímto trénovalo ty agenti nebo
- 19:20ty AIS samotné se učí v nějakých testovacích vlastně hrách, ve
- 19:24kterých řeší matematické problémy, programovací úlohy a
- 19:27další věci, u kterých dokážeme evaluovat, jestli ten model
- 19:30uspěl, nebo ne v tom řešení. Takže ta dataová otázka podle mě
- 19:33není tak fundamentální limitující, jak by se mohlo
- 19:35zdát. Tady dám 1 otázku, které si pak
- 19:37ještě potom můžeme obloukem vrátit, ale zajímal by mě tvůj
- 19:40klidně i stručnější na to pohled nebo názor, protože ty modely
- 19:44jsou výtvorem člověka, mají prostě potenciál měnit svět i
- 19:48člověka v naší společnost. A ta rychlost, jak jsi to teď
- 19:51popsal, je dost závratná. Když to srovnáš s nějakou tady
- 19:55různými kognitivními revoluci u lidí, co se tady dělo stovky let
- 19:58s písmem a jakoby našem přemýšlení tvarovaným jazykem,
- 20:03tak to to je prostě úplně. To je, to je jako jiný horizont,
- 20:06když to srovnáš tím, co se tady děje u umělé inteligence, tak
- 20:10vidíš ty trendy, tak jak se díváš na ten svět a život těch
- 20:14dalších generací, které už ale na to budou koukat bez té
- 20:17znalosti a chápání, řekněme nějakého analogového věku, jak
- 20:20za 15 řekněme za 20 let naše děti budou žít, jak velká změna
- 20:25to bude a spíš mi jde o to vzhledem k tomu, co všechno víš,
- 20:27tak co je taková ta tvoje 1 asociace a emoce, jestli to je
- 20:30spíš jako nadšení? Nebo nějaká obava a velké?
- 20:33Otazníky, co všechno bude potřeba vyřešit?
- 20:35Je to mix všeho, protože podle mě je to, co dneska vidíme je,
- 20:38je historicky bez paralely a těžko se modeluje.
- 20:41Co se stane? Já si myslím, že bychom měli být
- 20:43jako extra opatrní s tím s tím, co se se světem bude dít,
- 20:46protože je možné, že AI bude úplně normální technologie a nic
- 20:49se vlastně nezmění, že to třeba bude něco na úrovni internetu,
- 20:52což pořád je obrovská změna pro svět ale.
- 20:54Pořád nic nedohání, ty dopady. Přesně tak, takže i kdyby to
- 20:57bylo něco jako internet, což je podle mě nepravděpodobně malý
- 20:59dopad. Tak to je pořád dost velká věc.
- 21:02A já si myslím, že jsem debat reálně bude o hodně větší.
- 21:04Já si myslím, že zatím hodně z té revoluce je tak nějak
- 21:08uzamknuto v té digitální sféře. Já si myslím, že se postupně
- 21:12přesouváme k tomu, že to bude mít dopad na fyzický svět, jak
- 21:15už jako automatizace laboratoří, na čemž dnes pracuje fakt hodně
- 21:18lidí a zdá se, že by to mohlo fungovat.
- 21:20Takže obě vy ve vědách, které nejsou dělatelné jen jen v
- 21:23počítači robotika, pravděpodobně odmít také obrovský dopad jsem
- 21:26si jistý, že svět bude dost jiný, že ta ta minimální úroveň
- 21:30té změny bude něco jako internet, ale myslím si, že bude
- 21:32pravděpodobně větší. A je podle mě hodně těžké, jsme
- 21:35dost jako technologické pozice odhadovat ten celospolečenský
- 21:37depad, protože ta technologie samotná je 1 věc AI.
- 21:40Ta je hodně velká nejistota, AK tomu ještě veškerá interakce se
- 21:43společností jako celkem má strhy.
- 21:45Které s tím nějak intragují, to je úplně jiná věc a to je tak
- 21:48obrovský emergentní celek, že se hrozně špatně předpovídá, co to
- 21:52bude dělat, i jen když tam jsou lidští aktéři, natož po
- 21:55takovouhle revolucí. Takže já jsem obecně hodně
- 21:58opatrný v těch proklamacích, protože si myslím, že je to
- 22:00extra nejistá věc, ale že by víc lidí mělo věnovat hodně
- 22:03pozornosti tomu, co se v tomhletom oboru děje a jaký
- 22:05dopad tu bude mít. A to je od lidí, kteří jsou
- 22:07humanitně vzdělaní a až po právníti polisenake až po lidi,
- 22:11kteří pracují s technologiemi třeba day to day.
- 22:13Takže já si myslím, že je to jako celospolečenská věc.
- 22:15A že i přesto, že a je hodně přehajpovaná v nějakejch
- 22:18krátkodobých dopadech, tak tam ten dlouhodobý dopad a hlavně
- 22:22mimo technologie a mimo nějaké nějaké entuziesty v těch pro ty
- 22:26digitální věci je je podhodnocen.
- 22:28Takže já si myslím, že si to zaslouží o hodně víc pozornosti
- 22:30než člověka má já. Jsem chtěl tu otázku trošku
- 22:33osondovat, nebo zjistit, kde zhruba na té ose mezi techno
- 22:37optimisty a techno skeptiky si, jako jsou tady lidé, já nevím
- 22:41jako laser judkovski. Spoluautor knihy, jestli tohle
- 22:44někdo vyrobí, všichni zemřeme. Na té 2 straně bychom možná
- 22:47řekli je nevím. Mary kurtwell, který z jako
- 22:51očekává tu singularitu, byť to ani 1 z těchhle lidí se přímo na
- 22:55vývoji těch jazyků nepodílí. Jo, ale nějak jsou to hlasy,
- 22:59které jsou jako radikální. Na těch na tom.
- 23:01Krotwellově je zajímavý, že on jako hodně dávno udělal
- 23:04predikci, že se dostaneme víceméně tam, kde jsme do roku
- 23:072030 na základě hodně jako makroskopickejch ukazatelů jako
- 23:11množství výpočetního výkonu za dolar.
- 23:13A tak jednoduchejch trendů. A nějakého toho, jako jak
- 23:16výkonný lidský mozek a je až jako strašidelně překvapivé.
- 23:19Jak dobře se trefil do toho momentu, ve kterém dneska jsme
- 23:23na na twitteru často koluje takový mém, kde je jako formulář
- 23:26pro omluvu ray kursweilovi, že jsem o něm pochyboval, tak jsou
- 23:29tam jako různé důvody. Člověk může zaškrtnout jako
- 23:31nevím můj pejček závisel na tom, aby si neměl pravdu nebo nebo
- 23:34cokoliv, ale já si myslím, že hodně lidí teďka začíná vnímat
- 23:37to, že ty jeho predikce, které působily hodně nepravděpodobně,
- 23:41jsou strašidelně blíže pravdě, než by se mohlo zdát no.
- 23:44Že já, já jsem velký techno optimista to to ne že ne.
- 23:47Já si myslím, že skoro většina velkých těch problémů světa se
- 23:50historicky řešila technologiemi a technologicky bude řešit, ale
- 23:54to neznamená, že technologie nemá fundamentálně nějakou
- 23:56dvousečnou dvousečný aspekt. Takže jako u každé věci víc moci
- 24:02nad světem ovlivňovat svět nutně sebou přináší možnost dělat
- 24:06destruktivní změny ve světě. Takže já si myslím, že je to
- 24:08něco, co před čím nemůžeme naivně dávat hlavu do písku a
- 24:11myslím si, že hodně těch naivních těchto optimistů,
- 24:14kteří. Oni to vnímají skrze startupy a
- 24:16pro mě méně důležité věci nějaké jako zisky v krátkém horizontu.
- 24:20To je podle mě přístup, který je nesprávný zároveň jako
- 24:23ignorovat. To, že technologie historicky
- 24:24byl, podle mě byly ty nejdůležitější věci, které
- 24:27přispívají k lidskému blahabytu a prosperitě.
- 24:29To je jako extrémně velká chyba na tom 2 kolem situace spektra,
- 24:33takže já jsem optimistický, ale vnímám ty potenciální rizika
- 24:37hodně silně na. 2 stranu teda jestli se kusway vize naplňují
- 24:40tak. Aniž bych znal úplně nuance toho
- 24:43jeho díla, tak pokud se budou dál naplňovat, tak je to teda.
- 24:45A tím svatým králem nějaké propojení, teda mozku a těch
- 24:50technologií a sítí o něco, co se prostě pokoušejí, že?
- 24:54Jo, některé firmy třeba i elon musk, tak pokud by k tomu došlo,
- 24:59tak otázka, co to potom přinese? Protože vím, že zas pak je tam
- 25:02kritika, která na kurtwayla je, že on pak nějak předpokládá, že
- 25:07to vlastně eticky bude v pořádku.
- 25:08Ale otázka je, proč by to tak mělo být?
- 25:11U toho kotva je zajímavý to, že ta technologická premise může
- 25:14být správná, může, může se trefit v tom, kdy dostaneme
- 25:17umělou inteligenci na té úrovni lidského mozku AA dále, ale
- 25:19zároveň jako nemusí být vůbec správná v tom, jako jak se to,
- 25:22jak to vyprávě filozoficky nebo eticky a to je to je věc, se
- 25:25kterou jako o hodně méně souzní malé.
- 25:27Myslím si, že ta predikce samotná.
- 25:28Je to zajímavé na tom. Ale že tam nějaký ten morální
- 25:30předpoklad, že se to bude chovat dobře a což?
- 25:33Já bych hodně nerad propojil svůj mozek s počítačem.
- 25:37Pojďme, pojďme teď na chvíli k tomu, co děláte v ajlu v tom
- 25:42startupu, který si, jak už jsem zmiňoval, spolu založil asi tam
- 25:45v pozici hlavního vědce. Vy jste oficiálně ten startup
- 25:49představili loni v roce 2025. Ve středu toho vašeho zájmu je
- 25:53teď kyberbezpečnost, a tedy autonomní umělá inteligence,
- 25:56vlastně hacker, který dokáže samostatně nacházet chyby.
- 26:03Zranitelná místa v různých programech.
- 26:05It systémech by se to vyvíjely nějaký rok, teď už veřejně
- 26:10slavíte i úspěchy s tím autonomním hackerem, tak o tom
- 26:16si ještě povíme do detailu víc, ale zajímalo by mě, protože jsi
- 26:19věnoval výzkumu i samotných těch jazykových modelů ve velkých
- 26:22společnostech. Jak už jsme tady zmínili
- 26:24antropic nebo Google deepmind dříve, že jo Google brain, tak
- 26:29po těch zkušenostech silicon valley, co tě vedlo k tomu právě
- 26:32zkusit založit jednak startup v Praze zaměřený a právě na.
- 26:36Takovouhle otázku tedy kyberbezpečnost a vyhledávání
- 26:41těch těch slabin, právě o kterých se ještě víc řekněme,
- 26:44tak proč právě tahle oblast? Bezpečnost je téma, které mě
- 26:47zajímalo už delší dobu. Já jsem pracoval na bezpečnosti
- 26:50e modelu samotných. Pracoval jsem na na aspektech
- 26:52těch modelů, které se jmenují gely breaky nebo adres reálný
- 26:55útoky, což jsou vstupy nebo třeba typ textu, nebo obrázek,
- 26:59který znáte ten model způsobem, který bychom nečekali a který se
- 27:02dokáže zneužít k tomu, abychom ho dokázali ovládat.
- 27:04To bylo tak něco, na čem jsem historicky pracoval, ale s tím,
- 27:07jak se zvyšovaly schopnosti umělé inteligence pro damabat a
- 27:10chápat softwarové systémy, jsem si uvědomil, že protože většina
- 27:14lidské civilizace je hodně prockaná softwarem a hlavně
- 27:17hlavně hodně kritických aplikací, používá hodně softwaru
- 27:20tak to, že tady ten software je potenciálně nezabezpečený a že
- 27:23máme umělé inteligence, které jsou čím dál tím lepší
- 27:25programování a tyhle ty systémy znají fakt dobře, že je špatná
- 27:28kombinace, protože jsme na hraně toho, že máme.
- 27:31Ve světě buď jako kombo člověk a.
- 27:34Já i samotné, které prozkoumávají všechny kusy
- 27:37softwaru na světě. Zároveň nemáme žádnou jistotu,
- 27:39že ten software samotný neobsahuje díry, které se nedají
- 27:42zneužívat. Jsou to často pro staré jazyky,
- 27:43vlastně z pohledu. A nejenom prastaré jazyk je to
- 27:45může být třeba logické chyby v návrhu toho softwaru, takže to
- 27:48je, to je taková explozivní kombinace a my jsme si dokonce i
- 27:52na 2 stranu jistí, že ten software typicky má v sobě
- 27:56bezpečnostní díry, o kterých nikdo neví, protože hackování na
- 27:59to, že je někdo na hackování, to, že třeba nemocnice je na
- 28:01hackována a někdo zašifrají její interní systémy.
- 28:03A pak bohužel třeba někdo umře, než já to dokážou vyřešit.
- 28:06To je něco, se stává. Bohužel třeba na týdenní bázi a
- 28:09často i rychlej a často i více. Ale nevíme o tom, protože je
- 28:12často tady ty věci nejsou veřejně reportované.
- 28:14To ale to. Se tam nikdo nespojí ani ty
- 28:17přesně tak do ty jednotlivé věci spolu, že to spolu souvisí, že?
- 28:20Jo a problém je, že i pod náporem lidských hackerů, kteří
- 28:24tohleto dělají ty naše systémy, které používáme, nejsou
- 28:27zabezpečené, natož pod nápadem umělých inteligencí, které mají
- 28:30hromady výhod v tom. Jak efektivní můžou být v tom v
- 28:33tom útočném hackování nebo v tom útočném bezpečnostním výzkumu?
- 28:37A to mě motivovalo k tomu, abychom začali stavět IO,
- 28:40abychom našli řešení tohoto problému, abychom vlastně
- 28:43postavili obrannou zeď proti budoucím AI, které se budou
- 28:47pokoušet nahackovat lidské informační systémy.
- 28:50To je taková jako velká motivace, ale má to hodně
- 28:52praktických dopadů, protože tím samým tou samou technikou
- 28:55dokážeme brát lidským hackerům, aby zneužívali nebo na
- 28:57hackovávalo lidské systémy. Takže co jsme během minulého
- 29:00roku stavěli? Co dneska už máme několik měsíců
- 29:02veřejně je systém, který dokáže aperovat na v hloubce analýzy
- 29:06rychlosti AA při ceně, která je dokážeme aspektu výrazně lepší
- 29:11než bezpečnostní výzkumníci, kteří bývali tím tím těmi
- 29:14nejlepšími v oboru a který dokáže IV těch
- 29:16nejzabezpečnějších u sexu softwaru naplatit na na planetě
- 29:19nacházet. Neznámé bezpečnostní chyby, o
- 29:21kterých předtím než je, oznámíme těm těm lidem, kteří ho
- 29:25spravují, nikdo nevěděl. Takže my už dnes máme konkrétní
- 29:28empirické důkazy, že jsme byli schopni najít bezpečnostní
- 29:31chyby. IV těch jako opravdu
- 29:33nejzabezpečnějších jako sexu na planetě. 1 z nich je třeba open
- 29:36ASSL, to je knihovna, která šifruje podle nějakých odhadů
- 29:39třeba 99% dopravy na internetu, a to jsou.
- 29:45Vlastně každé načítání webové stránky, každá komunikace.
- 29:48Mezi servery používají něco jako oprasela ta ta opra sela
- 29:51konkrétně je implementace, která je minimálně zodpovědná za
- 29:56majoritu šifrování na internetu. Takže jakákoliv bezpečnostní
- 29:59chyba v téhle té věci má extrémně velký dopad a je to
- 30:02něco, co když jste lidský bezpečnostní výzkumník najdete
- 30:05takovou chybu, kterou pak ty správci toho systému nebo ty
- 30:09bezpečnostní lidé na tom systému uznají a opraví, tak je to něco,
- 30:13co definuje kariéru bezpečnostního výzkumníka v
- 30:15tomhletom oboru, takže je to obrovsky velká meta a my jsme
- 30:20nevěděli, jestli budeme kdykoliv schopni něco takového dělat na
- 30:22tady té úrovni operovat. Vlastně my jsme si byli jistí,
- 30:24že nějaké bezpečnostní chyby dokážeme najít.
- 30:26Ale nevěděli jsme, jestli dokážeme dosáhnout úplně té
- 30:28nelitnější úrovně, kterou reprezentuje právě to open nebo
- 30:32třeba Linux operační systém, na kterém běží hodně světa.
- 30:36Nedávno se nám podařila skvělá věc, kdy asi 27-01 vyšla nová
- 30:41verze opravdu s elektrem oznámili 12 opravených předtím
- 30:44neznámých bezpečnostních. Nějaké z nich byly výrazně
- 30:47nebezpečné a všech 12 jsme našli my pomocí našeho AI systému,
- 30:51takže to je něco, co se historicky nestalo nikdy, což je
- 30:54to by to byl II systém samotný. To v žádném případě, to je
- 30:57historicky 1 věc a zároveň i to množství a ta koncentrace toho,
- 31:01že 100% těch objevů pochází od 1.
- 31:02Bezpečnostního týmu, je je historicky bez paralely, takže
- 31:05my jsme vlastně byli schopni ukázat, že náš systém je schopný
- 31:09upravovat na těch nejjelitnějších úrovních výkonu
- 31:11a že i na těch nejzabezpečnějších softwarech na
- 31:14světě dokážeme nacházet bezpečnostní chyby a my takhle
- 31:16operujeme přes většinu kritické infrastruktury, která je v open
- 31:20source. Takže v těch v těch knihovnách,
- 31:22které jsou právě kvůli tomu, aby byly co nejzabezpečnější k
- 31:25dispozici. Aby vlastně ten zdravý výklad
- 31:27každému, aby se aby se skrz selektivní tlak, nacházení,
- 31:30chyba opravování chyb postupně zbezpečňovala, zlepšovala je
- 31:33jejich kvalita AIV té širší paletě projektů jsme schopni
- 31:36nacházet hodně výrazné chyby opravovat je a často pracovat s
- 31:40těmi lidmi, kteří je spravují s těmi inženýry a bezpečnostními
- 31:43techniky tak, abychom proaktivně zachytávali chyby, které by
- 31:46mohli novými změnami toho kódu právě vkládat omylem bez toho,
- 31:50aby si toho všimli do té nové verze.
- 31:52Takže my nacházíme jak ty staré chyby, které tam třeba leží v
- 31:55nějakých případech. I čtvrt století, což se nám
- 31:57třeba stalo u toho opness l, tam byly chyby, které kterých si
- 32:01nikdo nevšiml žádný člověk, ani žádné strojové úsilí, kterého se
- 32:04používá fakt hodně průzkumu. Tady těch kusů softwaru a tak.
- 32:07Přesto tam ta chyba zůstala ležet ve čtvrtletí a my jsme jí
- 32:10našli teďka na podzim, takže je to zajímavá situace, ve které
- 32:13být, protože tyhlety schopnosti nebývávaly automatizovatelné a
- 32:17my dneska jsme schopni operovat na úrovni, která byla předtím k
- 32:20dispozici jen těm elitním lidským výzkumníkům bezpečnosti.
- 32:24Abychom to přiblížili možná ještě trochu pro lidi, kteří
- 32:25třeba nejsou sběhlí v té technické oblasti, tak opravdu
- 32:28to jsou specializovaní lidé. Výzkumníci, kteří reagují na
- 32:32vyhlášené odměny, které sbírají za to, že najdou ty chyby třeba
- 32:36i pomocí nějakých jako pokročilejších nástrojů.
- 32:39Ale jak jsi říkal, prostě to nešlo automatizovat a tam je asi
- 32:43i časová úspora velká, že najednou ten váš hacker, ten
- 32:46autonomní AI nástroj to teda vlastně celé projde a nahlásí ty
- 32:52chyby. My jdeme o hodně dál než jenom
- 32:54geckování v osobkách objevy těch chyb na 1 straně jsou jenom 1
- 32:57krok, které pipeline, kterou jsem postavili, takže ona
- 32:59funguje autonomně od toho od té detekce až po rozhodování o tom,
- 33:02jak závažná chyba to je právě v tom konkrétním projektu, protože
- 33:05hodně věcí vypadá na 1. Pohled jako chyba, ale reálně
- 33:08není nebezpečná až po ověřování toho, jestli to, co by to mohlo
- 33:12udělat, je reálně špatné až po fixování a změnu toho kódu.
- 33:16Takže nám se reálně stalo, že nějaké z těch patchů těch těch
- 33:19oprav, které jsme navrhli autonomně.
- 33:21Byly inkorporované v tady těch největších softwarových
- 33:23projektech na světě. Tak, jak jsem je poslali, takže
- 33:25my nejenom detekujeme chyby, ale zároveň je opravujeme.
- 33:27Takže jakýkoli report, který posíláme, obsahuje i tu opravu,
- 33:30kterou si myslíme, že bychom měli použít k tomu, aby ta chyba
- 33:33zmizela. Takže my.
- 33:34Pracujeme hodně silně a blízce s těmi těmi lidmi, kteří nejvíce
- 33:38tady těm projektům rozumí a snažíme se, protože často jsou
- 33:41to jako skvělí lidé, kteří pracují jako dobrovolníci na
- 33:44tom, aby vlastně udržovali kritickou infrastrukturu světa v
- 33:47chodu, tak my s nimi spolupracujeme a snažíme se jim
- 33:49pomoci co nejvíce můžeme, protože je to takový franclas
- 33:52job, který který mají, protože je to extrémně těžké a často
- 33:55jsou podfinancovaní. I přesto, že na těhle těch
- 33:58kusech softwaru závisí vlastně bezpečnost internetu.
- 34:01Jak už jsi říkal ten open accel, což je vlastně nástroj, který.
- 34:04Hlídá, aby si ty počítače na internetu posílají informace
- 34:08bezpečně, že jsou ta data nějak elementárně zašifrovaná, tak to
- 34:12vlastně spravuje nadace nezisková.
- 34:15Takže já nevím, jestli tohle se děje, teda pro bono, když je to
- 34:17open my. Děláme všechny tyhlety věci pro
- 34:19bono mi nikdy u tady těch kritických open se respektu
- 34:21neúčtujeme vůbec nic, protože my máme velký zájem na tom, aby se
- 34:25ta kritická infrastruktura světa zlepšila co nejrychleji a
- 34:28nechceme, aby nějaké finanční zájmy nablokovaly cestu k tomu,
- 34:31abychom zabezpečili internet. Takže my veškerou.
- 34:33Práci na open source projektech děláme zdarma, a když dostaneme
- 34:36nějaké bounty nějaké odměny za to, že jsme našli nějaké té
- 34:38chyby, tak je dáváme na charitu. Tudíž uvedli těch 12 chyb.
- 34:41Jsou to třeba závažné chyby, protože ty si sám upozorňoval i
- 34:45na vašem blogu na eilu, že vlastně.
- 34:47Takovýto nástroj mění i ty možnosti, kolik se toho bude
- 34:51nacházet a že možná nějaké potenciální riziko je, že se
- 34:55najednou jako zaplaví ta hlášení.
- 34:57A vlastně že ani ta infrastruktura, ten ekosystém
- 35:00není připraven na to, že budou muset řešit tolik tolik
- 35:03problémů. Jsou tam nějaká časová okna
- 35:06stanovená, do kdy se to musí vyřešit, že najednou to vlastně
- 35:08může přinést i na 2. Stranu problémy, když se jeví,
- 35:12kolik tam těch problémů je, o kterých se nevědělo a ty hry to
- 35:15ani nezneužívali. Je to praktický problém, ale ale
- 35:18najít bezpečnostní chyby, které jsou legitimní a jsou tam, je
- 35:21podle mě prioritou a vyřešit je je prioritou také, ale ten
- 35:24systém, jak je dnes nastaven, operuje v nějakých typických
- 35:27množstvích reportů za týden nebo za měsíc.
- 35:30Dnes se může radikálně změnit tím, že máme k dispozici třeba
- 35:33jako aj o hodně silnější nástroje k tomu objevování
- 35:35reálných chyb. Ještě větší problém ale je, že
- 35:39typicky, jak jsem mluvil o té korelaci těch schopností u té
- 35:41umělé inteligence, tak dnes napsat report, který na 1 pohled
- 35:44vypadá dobře. Ale reálně je špatný o hodně
- 35:47jednodušší, než to bývávalo. Takže ty bug bounty.
- 35:49Programy jsou často zaplaveny lidmi, kteří vygenerují hrozně
- 35:52amatérský nějaký report o nějaké vymyšlené vyhodnocované chybě v
- 35:56tom softwaru reprotují, jako kdyby byla reálná a aby ty
- 35:59maintingy byli schopni odlišit tyhlety věci od reálných věcí,
- 36:02tak potřebují spálit hodně času a hodně hodně pozornosti.
- 36:05A to je ten hlavní problém, který dnes vidíme u těch openset
- 36:08projektů dokonce několik těch velkých projektů, jako je croll.
- 36:11To je utilita, která je v každém Linuxu.
- 36:13Jako v každé chytré lednici v čemkoli co dokáže mluvit s
- 36:16internetem tak používá tady ten kurz softwaru.
- 36:18Zase je to vyvíjené hlavně evropskými dobrovolníky.
- 36:21Je největší z nich je Daniel sternberk švéd, který je hodně
- 36:25slavno v té open source komunitě jako hodně dobrý inženýr a ten
- 36:28je ten vlastně hlavní vývojář AA vynález tady toho, co jsou
- 36:32softwaru a ten zrušil svůj bug bounty program, který měl u carl
- 36:36právě proto, že dostával hromady reportů, které byly opravdu
- 36:39nízké kvality. Zajímavé je, že v tu samou dobu
- 36:41miss jako IOS jsme reportovali. Věci, které se ukázaly, že byly
- 36:44reálné security, bezpečnostní chyby, které pak opravily a
- 36:47dokonce se s námi dostaly do partnerství, kde my dneska
- 36:50proaktivně hlídáme jakoukoliv změnu v kódu, kterou dělají,
- 36:53abychom zajistili, že nové chyby nejsou právě představené.
- 36:55To je jako od base, takže je to zajímavá vyfurkace té distribuce
- 36:59kvality, takže ten medián té kvality klesá, ale ten ten top
- 37:03ent nebo nějaký ta nejvyšší úroveň, ta té elitní úroveň
- 37:06kvality se zvyšuje v tu samou dobu, což je běžné, když se.
- 37:10Nějaký zdroj zlevní a zvýší se ho produkce v ekonomii je to
- 37:14běžně vnímaný fenomén, když se třeba zvýší produkce bot, tak
- 37:18typická bota je horší, ale ty nejlepší boty budou lepší.
- 37:21A to samé vidíme právě u softwaru, takže je to zajímavé a
- 37:24jakýkoli odhad toho, jaká je situace na základě jako 1 bodu.
- 37:27Buď je to slov a je to všechno špatně, nebo je to všechno
- 37:30úžasné? Je nesprávný, protože celá ta
- 37:32distribuce je nutná vnímat v ten samý ten samý okamžik.
- 37:35Nevím jak na to teda potom koukají ti bezpečnostní
- 37:38výzkumníci? Ti bounty hound 3 a jak se na to
- 37:41koukáte vy? Jestli je vlastně z dlouhodobého
- 37:44pohledu třeba i důležité nějak zachovat tu lidskou znalost
- 37:47těchto těchto lidí, kteří kterých ale už vlastně nebude
- 37:50potřeba, v tom rozměru jako jako dnes?
- 37:52Ale že vlastně, pokud by se vytratila nějak tahle znalost,
- 37:56tak vlastně budeme trošku odkázáni na ty black boxy, které
- 37:59to jako dohledávají, ale to by asi taky nebylo správně.
- 38:02Správně by to nebylo a ale. Nějaký vývoj těmi se nám se
- 38:05nejspíše stane. Je to v programování docela
- 38:08běžná věc, kdy ty lidé, kteří měli třeba schopnosti
- 38:11programovat v binárním kódu nebo v es embly, nebo v nějakých těch
- 38:13jazycích na té nižší úrovni, postupně ztratili tu dominanci.
- 38:18Lidé začali pragramovat na těch vyšších úrovních abstrakce jako
- 38:21třeba python. Dnes není něco, co by se
- 38:22překládalo přímo do binárního kódu a je tam hromada vrstev
- 38:25mezi tím, takže. Vy jste slyšel?
- 38:27Jsem třeba o nějakých bankách, které si udržují prostě 2 staré
- 38:30programátory se starým jazykem, aby protože by to bylo tak
- 38:34problematické přejít na jiný. Protože ta lidská experti za je
- 38:36hodně důležitá a já si myslím, že to není něco, co by bylo
- 38:40nějak v protikladu k té lidské expertize v tom v tom
- 38:42bezpečnostním výzkumu, ale je to něco, co výrazně zlepšuje
- 38:45schopnosti čech bezpečnostních výzkumníků.
- 38:46Protože oni často ví hodně dobře, na co se dívat, ale mít k
- 38:49dispozici vlastně jako automatizační túru, který jim
- 38:52pomáhá dělat to, co chtějí dělat výrazně rychleji AA snadněji je
- 38:56něco, co často hodně oceňují, takže já to nevnímám jako nějaký
- 38:59jako negativní vztah. Mezi mezi tím tou automatizací a
- 39:02jimi, ale je to něco, co jim dává o hodně vyšší schopnosti a
- 39:05možnosti operovat ve větší hloubce šíři a rychleji, takže
- 39:09podle mě to relativně pozitivní synergie AU nás v il pracuje
- 39:13právě řada lidí, kteří jsou bezpečnostní výzkumníci a kteří
- 39:15pracovali. Na té právě té útočné stránce
- 39:18věci a chápu, jak tady ty systémy fungují a jak s nimi
- 39:21pracovat. A my hodně vnímáme jejich
- 39:23expertizu a oni nám pomáhají výrazně vylepšovat ten náš
- 39:26systém. Já vím, že mezi těmi slabinami,
- 39:28které už jste hlásili, které jsou uznané, tak se 1 týká třeba
- 39:32i komunikační aplikace signál, která má že jo tu šifrovanou
- 39:36komunikaci na poměrně vysoké úrovni.
- 39:38Vím, že řada novinářů ji taky používá, jestli se nepletu, tak
- 39:41jste vlastně zjistili, že tam šlo pomocí, tedy právě nějakého
- 39:48verziálního útoku? Jestli se dá říct nebo obrázku?
- 39:52Který ani nemusel přímo souviset s tou aplikací, tak jakoby
- 39:55znemožnit. Přidávání vlastně příloh do té
- 39:57aplikace, ale. Tahleta chyba nebyla kritická a
- 40:00nebyla naštěstí součástí toho šifrování toho signálu, takže ta
- 40:04tato šifrování samotné AV tom jsme neviděli žádný problém, což
- 40:07neznamená, že je na 100% bezpečné, ale to je část té
- 40:10aplikace, kterou si lidé považují nejvíce a která je
- 40:12nejzabezpečnější. Problém je, že ty zprávy potom
- 40:16zároveň interagují s tou aplikací na tom telefonu a to je
- 40:18často o hodně nezabezpečenější než to šifrování samotné.
- 40:20Takže ta celková bezpečnost té věci.
- 40:23Se musí vnímat jako v celku. A my jsme našli zajímavou chybu,
- 40:25která byla relativně triviální, ale nikdo si jí nevšiml dlouho
- 40:28řádku let a byla to chyba v tom, jakým způsobem signál
- 40:31zpracovával náhledy obrázků při vkládání přílohy u zprávy a my
- 40:36jsme zjistili, že kdekoliv jinde v tom signálu, když ten obrázek
- 40:39si sám řekne, aby mu operační systém telefonu přidal velkou
- 40:43část paměti, tak mu řekne, že nemůže, protože si je žádá o moc
- 40:46a nic se nestane, ale jen v 1. Místě.
- 40:48V tom náhledu těch obrázků. Přikládání těch příloh ke
- 40:52zprávě. Tak tady ten check neproběhl a
- 40:54my jsme byli schopni vyrobit obrázek, který vypadal třeba
- 40:56jako fotbalový míč. Byl to běžný obrázek, ale který
- 40:58si v rámci toho obrázku řekl o strašně paměti a ten signál
- 41:02nezablokoval tady ten obrázek tomu, aby si o tu paměť řekl
- 41:05tenhle ten request předal operačnímu systému třeba
- 41:07Androidu. A ten Android se pokusil dát jí
- 41:10aplikaci velkou část paměti, nedokázal to udělat a shodil jí.
- 41:13Takže to, co reálně probíhalo, bylo, že my jsme nějakým
- 41:17způsobem museli být schopni dostat tenhle ten obrázek do
- 41:19tvého telefonu. Třeba, což mohlo proběhnout
- 41:21třeba skrze whatsapp, messenger nebo cokoli, protože tyhle ty
- 41:24aplikace často automaticky stahují obrázky a tohle to byl
- 41:26validní obrázek, takže by ho prostě stáhli v tvé galerie.
- 41:29A jakmile ses pokusil cokoliv přidat v signálu jako přílohu,
- 41:32tak ten obrázek byl někde v tvé galerii.
- 41:34On se ten signál pokusil udělat náhled toho obrázku, narazil na
- 41:37něj operační systém, viděl, že chce moc paměti a shodil ho.
- 41:41Takže bez toho, aby se vidělo, že se cokoli špatného děje,
- 41:43protože ten obrázek nikdy neviděl a nedošlo by ti, že je
- 41:45to on, který to způsobuje, taky nefungoval signál, nefungovalo
- 41:48ti přidávání věcí ke zprávám? Což může znít triviálně.
- 41:52Ale kdo si pamatuje třeba aféru signal gate, kdy jako nejvyšší
- 41:55američtí představitelé přes tuhle aplikaci komunikovali,
- 41:58vlastně o rozhodovali o tom, co provede americká armáda, tak to
- 42:03není úplně. Triviální jakékoliv omezení té
- 42:05funkcionality hlavně v kritických momentech, může mít
- 42:07velký dopad. Zároveň nestačilo odinstalovat
- 42:09nainstalovat znovu tu samou aplikaci.
- 42:10Protože ten obrázek zůstal v té galerii, takže ta aplikace pořád
- 42:14nefungovala a dneska už to dávno spravené.
- 42:16Nikdy bych nemluvil o něčem, co ještě spravené nebylo, ale byla
- 42:19to jako zajímavá chyba, která byla hodně prakticky
- 42:21demonstrovatelná tím, že ti pošlu obrázek najednou ti nejde
- 42:24přeložit něco v signálu. Takže tyhlety věci můžu mít
- 42:26hodně praktický dopad, ale nacházíme podobné věci IV
- 42:30relativně často používanejch aplikacích.
- 42:32My pracujeme v celém spektru těch možných programů od té
- 42:35hluboké internetové infrastruktury, jako toho
- 42:37šifrování internetu až po aplikaci, jako je signál a ty ty
- 42:40věci, se kterými interagují uživatelé přímo, takže my
- 42:44vlastně nemáme žádnou specializaci nebo limitaci na
- 42:46to, kde nám ten systém funguje. My jsme schopni pracovat s
- 42:48libovolnými jazyky, libovolnými systémy.
- 42:51AV libovolné části toho spektra té té hloubky.
- 42:54Od od hluboké infrastruktury až po aplikace.
- 42:56Jak to funguje? To si vybíráte spíš sami, nebo
- 42:59už vám teď chodí výzvy? Podívejte se tady na tohle od
- 43:02velkých soukromých firem, které provozují software.
- 43:05Na začátku jsme vybrali cíle hlavně samy, proto, kde jsme si
- 43:08mysleli, že je potřeba nejvíce přispět k tomu zabezpečení.
- 43:11Dnes je to mix toho, že hodně lidí si všímá toho, jaké
- 43:13výsledky máme a sami chtějí, abychom se podívali na jejich
- 43:16softwaru a pokud jsou to nějaké kritické open source projekty,
- 43:18tak to pro ně uděláme zdarma. Pomůžeme jim se zabezpečením a.
- 43:23Takže je to mix mix obou? No, takže si pořád vybíráme cíle
- 43:25podle toho. Co si myslíme, že by potřebovalo
- 43:27zabezpečit a zároveň máme requesty od lidí, kteří vnímají,
- 43:31že tohleto je potenciálně velká změna v tom, jak by mohli dělat
- 43:34bezpečnost a typicky v rámci 1. Desítek minut nacházíme nějaké
- 43:38věci, o kterých nevěděli a které by potenciálně měly být
- 43:41zabezpečené. Je to startup, který roste, že
- 43:44jo. Máte nějakých řádově, kolik 50
- 43:46lidí, když se spolu bavíme v únoru, tak by mě ještě zajímalo
- 43:49ten byznys model, že už to vlastně funguje, že se to vrací,
- 43:51nebo je to prostě věc, která jede na na nějakém venture
- 43:54kapitálu o rizikovém kapitálu a my ten výhled je takový, že se
- 43:58to vrátí do budoucna. To co stavíme, je extrémně
- 44:02hodnotné a to, že jsme schopni nacházet bezpečnostní chyby IV
- 44:05těch nejzabezpečnějších kusech softwaru na planetě podle mě
- 44:08dobře implikuje to, že na těch méně zabezpečených, což je
- 44:10většina softwarů alt dare. Tak budeme schopni dělat
- 44:13minimálně to samé a to je vlastně ta.
- 44:15Ta propozice, kterou dáváme našim zákazníkům, protože ho
- 44:19naší práce na open source je, že to je o hodně vyšší meta v
- 44:22nějakých aspektech to o hodně zabezpečnější a zároveň je to
- 44:24veřejně viditelné a dokážeme ukázat na ty chyby, které jsme
- 44:27opravili. Takže já si myslím, že
- 44:29samozřejmě je těžké vyrobit něco, co funguje spolehlivě máte
- 44:33hromadu obtížných aspektů a stavět startup není triviální,
- 44:36takže to je, to je velká část, o čem on dneska věnuji své
- 44:39mentální cykly. Ale myslím si, že pokud jde o tu
- 44:41klíčovou technologii a ten klíčový vývoj, tak jsme byli
- 44:44schopni hodně legitimně ukázat, že ten náš systém funguje na té
- 44:47nejvyšší úrovni kvality. Takže to je to, na čem teďka
- 44:51pracujeme. Zároveň ta firma musí růst a
- 44:54pracujeme na tom, jak zajistit ty více prozaické aspekty té
- 44:58existence. Takže stage unes a asi nebudu
- 45:01zabíhat do detailů, ale ale myslím si, že jak ten výzkum,
- 45:04tak ta komerční stránka se vyvíjejí dobře.
- 45:06A ta meta dá se říct, že máte jako v nějaký dlouhodobý cíl
- 45:10nějakou vizi do budoucna, že řekněme nějaký nástroj IL, který
- 45:13bude jako vlastně i po tom široce znám, protože to bude
- 45:17jednoduchá funkcionalita, která se bude používat.
- 45:20Mojí vizí a naší vizí je vyřešit kyberbezpečnost pomocí ai, takže
- 45:23není to malý cíl, ale myslím si, že není tak nerealistický, jak
- 45:26by mohlo znít a myslím si, že ty naše 1 důkazy o tom, jak dobře
- 45:30to funguje, jsou dobrou indicií toho, že se tím směrem
- 45:33posouváme. Já bych v žádném případě
- 45:35nechtěl, abychom vyrobili skupinu talentovaných skvělých
- 45:38lidí a prodali to nějaké velké firmě.
- 45:41Za pár měsíců to není ten cíl, jak si je postavit něco, co
- 45:43reálně řeší velký světový problém.
- 45:46AA co je schopné sama se udržovat na životě?
- 45:47Takže přijde mi, že to je zhruba ta strategie, kterou máme.
- 45:51Ale ten problém a jeho řešení je natolik důležitý, že že to je
- 45:54to, co mě žene jako ze dne na den.
- 45:56A kdybys ještě mohl dát laikům trochu nahlédnout?
- 45:59Pod tu kapotu, co je vlastně ten hlavní oříšek?
- 46:02Co jste museli vyřešit a na čem to stojí?
- 46:05Jakkoli nemůžeš samozřejmě prozrazovat asi know how toho,
- 46:09co se vám podařilo vyřešit s těmi jazykovými modely, aby je
- 46:13šlo použít takhle. A opravdu nacházet rychle
- 46:17efektivně navrhovat řešení tak na začátku prostě stojíte.
- 46:21Máte odborníky na kyberbezpečnost?
- 46:23Máte velké jazykové modely, které musíte, ale nějakým
- 46:25způsobem jako na to na to naučit, tak můžeš trochu
- 46:30přiblížit, to je. Skvělá otázka a dostáváme se k
- 46:34tomu, že máme věci, které jsou relativně obtížné, vyzkoumat a
- 46:39nerad bych o nich mluvil veřejně, ale můžu popsat ten
- 46:42problém obecně, protože to samotné.
- 46:43Je je docela zajímavý. Asi u jiných.
- 46:45Přesně tak, představte si, že máte 100000 souborů a dohromady
- 46:50třeba jako 100 milionů řádek kódu.
- 46:52Tak ten kód je hodně komplikovaný je to je to
- 46:55počítačový kód, je to programovací jazyk to.
- 46:56Vlastně naráží na kapacitu těch modelů na 100% a jejich.
- 46:59Nic takového se nikdy nevejde toho jazykového modelu najednou
- 47:01teď řeme. Maximální počet tokenů dnes.
- 47:03Je třeba několik milionů touckeru, což je extrémně hodně,
- 47:07když si představíme, kolik je to reálně textu, tak to je jako.
- 47:10Myslím, že Harry Potter a všechny ty knihy dohromady mají
- 47:12asi milion toukenů. Takže několik milionů tu opravdu
- 47:15je několik harrypatrů všech knih za sebou, takže to není to malé
- 47:17kontextové okno protioperační. Crowlingová si fakt může
- 47:20poslouchat se svou knihu. Proti tomu, jaká je krátkodobá
- 47:24paměť člověka, což je třeba jako 8.
- 47:25Čísel, tak to není úplně špatné, ale to, na čem pracujeme, je, že
- 47:30ta chyba, která v tom softwaru může být, často není
- 47:33lokalizovaná. Není to jako 1.
- 47:34Místo, které je špatně. Je to jako třeba desetikrokový
- 47:36řetězec, který za nějakých podmínek vytvoří nějaký režim,
- 47:40který je nebezpečný, a teď ten řetězec je.
- 47:42Z 1 místa ve 100000 souborech a 100 milionů řádků na jiné místo
- 47:46na jiné místo na jiné místo a jen za ňákých podmínek.
- 47:48Je to špatně. Tak si dokážete představit tu
- 47:50komplexitu a toho problému, i kdyby to 1.
- 47:52Místo bylo špatně a bylo to jako lokalizované takhle úplně do
- 47:55třeba 1 znaku, který se špatně zapsal nebo něco tak i tak je to
- 47:59těžký problém, natož když ta chyba je v logickém návrhu té
- 48:02struktury toho softwaru, takže v tom je to extrémně obtížný
- 48:05problém, který hodně aktivně řešíme.
- 48:07Proto máme velký výzkumný tým, který se stará z inženýrů,
- 48:11inženýrek, výzkumníků, výzkumnic.
- 48:13A vlastně pracujeme poslední rok hodně aktivně na tom cuting age
- 48:17výzkumu mezi umělou inteligencí a kyver bezpečností, což je něco
- 48:21pro mě hodně motivující, protože já jsem nějak charakterem vědec
- 48:24nebo akademika. Líbí se mi řešit problémy, které
- 48:26nikdo vyřešit neumí, takže to je dobrý aspekt toho a pro mě
- 48:30minimálně konkrétně. Ale ale je to jako extrémně
- 48:33obtížný problém, který není triviální vyřešit.
- 48:35Takže. Takže se vám podařilo najít
- 48:37nějakou cestu, jak zvýšit? Tu schopnost modelů?
- 48:42Jak velký obrázek? Jak velkou architekturu dokážou
- 48:44udržet v paměti v uvozovkách? Nerad bych mluvil o detailech
- 48:48ale, ale očividně jsme schopni to řešit tak, abychom ty chyby
- 48:51nacházeli. Je to zajímavý aspekt toho, že
- 48:54některé z těch chyb, které nacházíme, jsou třeba paměťové
- 48:57chyby, kde se stane, že ten program se snaží zapsat do kus
- 49:00paměti, který mu nepatří AA třeba spadne, nebo nebo něco
- 49:03takového může, může nastat ale ty nejhorší chyby, které vidíme,
- 49:07jsou chyby v logickém návrhu toho softwaru, což je zajímavý
- 49:10typ chyb, který se nedá odstranit tím, že bychom měli
- 49:12třeba. Další programovací jazyk třeba
- 49:14existuje programovací jazyk jménem rast, který je takzvaně
- 49:17memory save a autoři tvrdí, že by mohl přispět k tomu, že na
- 49:21rozdíl od jazyku c, ve kterém je napsáno hodně softwaru, tak by
- 49:24neměl mít tady ty paměťové chyby, protože by se mu nemělo
- 49:26stát, že že je vůbec napsatelný něco, co takovou chybu v sobě
- 49:30má. Když to píšeme v tom restu, ale
- 49:32hodně z těch nejhorších chyb, které vidíme, jsou chyby v
- 49:34logickém návrhu toho softwaru samotného AV tom, že lidé
- 49:37neviděli ty důsledky těch rozhodnutí, které je dělají,
- 49:40protože. Návrat něčeho, co je takhle
- 49:42obrovské? Není triviální a nedělá ho 1
- 49:44člověk, který by se neustále udržoval v hlavě nějaký plný
- 49:46obrázek toho, jak jak to všechno dohromady funguje.
- 49:48Vlastně to je taková metafora toho, že katedrály dneška nejsou
- 49:52fyzické katedrály. Jsou to softwarové projekty,
- 49:54které opravdu jako mají stovky 1000 souborů a stovky 1000
- 49:57řádků, stovky milionů řádků kódu, který spolu spolu
- 50:00interaguje a spolehlivě funguje. Ale ale problém je, že nikdo si
- 50:04tady tu logickou strukturu neudrží v hlavě a teď.
- 50:07Je možné, že člověk, který navrhoval 1.
- 50:09Část, nechápe přesně co myslel? Myslel člověk, který navrhuje 2.
- 50:12Část. AZ té interakce vznikají nějaké
- 50:14logické nekonzistence, které potom můžou vypadat jako
- 50:16bezpečnostní chyby nebo se můžou chovat jako bezpečnostní chyby.
- 50:19Takže my vlastně děláme logickou analýzu struktury softwaru a
- 50:22hledáme logické chyby v tom, jak byl navržený.
- 50:26To související téma, tedy té paměti, která jakoby postupně
- 50:29narůstá u těch modelů. Tam je nějaká vlastně zeď jako
- 50:33nějaký limit, nějaký fundamentální problém, nebo
- 50:36vlastně uvidíme, že se to bude čím dál víc zvětšovat, protože
- 50:40opravdu na začátku já nevím, kolik měl chat GPT 2.
- 50:43To prostě ztrácelo paměť to bylo jako bavit se s někým, kdo
- 50:46neudrží myšlenku, že? Jo, ale vím, jsou teď ty
- 50:49příklady právě třeba lidí, kteří mají i nějaký v uvozovkách,
- 50:53třeba partnerský vztah s jazykovým modelem.
- 50:56A naráží na to, že po určitém množství nevím, jestli si popíší
- 51:00teda Harryho Pottera. A pak vlastně ztrácí to, co oni
- 51:03ten model věděl. Jo, tak vlastně, že to může být
- 51:06zajímavé pro spoustu lidí, jak pokud třeba i prochází.
- 51:08Já nevím terapií s modelem najednou naráží na to, že už
- 51:12něco, co by měl vědět ten model, neví.
- 51:15Problém toho kontextového okna, což je to, o čem mluvíš, je to,
- 51:19že ta architektura, ta neuronová architektura transformuje, který
- 51:23je to, co pohání jazykové modely.
- 51:24To je ten jazykový model, ten má nějaký vstup, to je nějaká řádka
- 51:28tou, kterou nějaká řádka slov, které se přeloží každý z nich ve
- 51:32vysokorozměrný vektor. Teď teda to, s čím ten modul
- 51:34pracuje, je hromada vektorů, které jsou různě natočeny, které
- 51:37odpovídají každému slovu. A teď tady ta řádka, ve kterou
- 51:40prochází vrstvu po rostvě tím modelem.
- 51:42Až nakonec vyplivne predikci dalšího slova, to je jak to
- 51:45fundamentálně funguje, ale v každé té vrstvě probíhá
- 51:48mechanismus jménem atencion pozornost a to je speciální
- 51:51návrh propojení neuronů. Ale je takový, že v té
- 51:54nejnajevnější verzi jeho část na vypočítání toho, co je potřeba v
- 51:59něm provést se škáluje kvadraticky s velikostí toho
- 52:02vstupu. Takže kdybychom měli vstup
- 52:04velikosti 1, tak to spotřebuje 1 jednotku času vstupu 2 už má 4
- 52:08jednotky času a délka 10 už má 100 jednotek času.
- 52:10Takže my vidíme, že čím delší konverzace.
- 52:12Tím těžší je vypočítat, jak se to má chovat dál a tím vyšší
- 52:16výkonství. Početní je potřeba.
- 52:18Přesně tak a hodně toho, jak se jazykové amorali zlepšovali v té
- 52:20délce toho paměťového okna toho kontextového.
- 52:23Okna jsou ty datacentra zase budují.
- 52:24Přesně tak souvisí s tím, že se zlepšuje architektura té
- 52:27atencione, zjišťuje se, jestli je potřeba, aby každý token
- 52:30viděl každý jiný token, nebo jestli existují nějaké
- 52:33heuristické. Heuristická pravidla, nějaké
- 52:35aproximace, nějaké zlepšováky, které by způsobily, že ten
- 52:38výpočetní výkon nemusí růst kvadraticky s 2 mocninou.
- 52:41Té délky toho vstupu, protože kdyby to tak bylo, tak je těžké
- 52:44dělat ty opravdu dlouhá contextová okna a zdá se, že
- 52:48bylo asi hodně pokroku, který nejspíš není veřejný.
- 52:51V tom jak tady ty atrnction laars fungují, protože vidíme.
- 52:54Že ty modely jsou schopné pracovat s hodně delšími
- 52:56kontextovými okny než předtím, takže to je ten problém s tím,
- 53:00že většina té té cateing edge věci nebo toho výzkumu VA
- 53:03neprobíhá v akademii, která by měla ty publikační normy a
- 53:06veřejně vlastně zmiňovala, na co přišla?
- 53:08Protože to, že se ten model o tolik zrychlí, je netolik
- 53:11ekonomicky hodnotné, že ta firma, která na to přijde třeba
- 53:13oprayi antrobic nebo Google, nic takového publikovat nebude.
- 53:16Pokud už to někde venku není a nemůžou získat nějakou
- 53:19akademickou intelektuální kredibilitu, tím, že by to
- 53:21publikovali, takže nejspíš proběhlo hodně inovací v tom v
- 53:24tom, jak funguje ta ta pozornost v rámci těch modelů, která
- 53:27způsobila, že je teďka možné pracovat s hodně delšími
- 53:29kontextovými okny, ale pořád je to limitace v tom, že ten čin
- 53:33skoro určitě neškáluje. Z 1 mocnou té délky.
- 53:36Takže ta náročnost té konverzace stoupá rychleji, než je i délka?
- 53:40Což je prostě hodně citlivá. Zásadní informace z pohledu toho
- 53:44i budování těch data center a potřebných investic, že jo, kdy
- 53:47tady sledujeme mylona maska, který řeší, budou se budovat
- 53:51datacentra ve vesmíru kvůli tomu, že bude mít neustále
- 53:53sluneční záření a nebude potřeba baterie a vlastně neustále to
- 53:56bude generovat tak, jakoby pokud by se tohle podařilo nějak
- 53:59změnit, tak najednou. Bude potřeba nižší výpočetní
- 54:03výkon. Ne.
- 54:04Ale jak je běžné, že když se zvýší efektivita nějaké typicky
- 54:07celková spotřeba stoupne, tak bych si nemyslel, že je tohleto
- 54:10způsobí třeba nižší zájem o ten výpočetní výkon.
- 54:12Kdybychom našli najednou techniku, která dokáže třeba
- 54:15udělat lineární tu tu pozornost toho modelu, tak si dokážu
- 54:18představit, že o hodně víc aplikací, které používají hodně
- 54:21dlouhá contextová okna, se najednou objeví odemkne se a
- 54:23můžeme na nich pracovat. Takže nečekal bych, že když se
- 54:26taková věc stane, že budeme potřebovat méně výpočetního
- 54:29výkonu. Zároveň si myslím, že.
- 54:31Ty investice do. U těch datových centres je ještě
- 54:32nižší, než potřebujeme, protože jak se dnes ukazuje, tak hodně
- 54:35těch agentických workflow těch programovacích úkolů, které běží
- 54:38dlouhou dobu, potřebují sbírat hodně kontextu volají hodně
- 54:41nástrojů. Ty potřebují extrémně dlouhé
- 54:43kontexty a probíhají fakt dlouhou dobu.
- 54:45Takže v téhleté věci se říká inference, což je to jako
- 54:47použití toho modelu v produkci bez toho, aby trénoval tak
- 54:50trénink toho modelu je 1 otázka a to je docela drahá věc, ale
- 54:52inference je čím dál tím větší složkou toho, kolik výpočetního
- 54:57výkonu je potřeba k tomu, abychom.
- 54:59S tím modelem pracovali, protože každé slovo, které ten model
- 55:01predikuje. Každý, který který každé slovo,
- 55:03které dostanete zpátky, je něco, co jsem musel do datové centrum
- 55:06spočítat. A možná je slovo.
- 55:08Datové centrum je takový missno mer.
- 55:10Proto co? Se hala plná.
- 55:12Počítače je to jako superpočítač no takže to se stavíme.
- 55:15Jsou superpočítače, na kterých běží umělá inteligence, která je
- 55:17ale natolik ekonomicky užitečná a že podle mě dává absolutní
- 55:20smysl, aby startová centra stavěla.
- 55:22Možná naivní otázka, ale založil jsi si hlavní věcem
- 55:26kyberbezpečnostní firmy? Pracujete s jazykovými modely,
- 55:30používáš je každý den při práci jsou tam řada cenných jako
- 55:34informací know how, tak jak přemýšlíš o tom, jak komunikovat
- 55:39s tím modelem o těch věcech, protože to jsou nějaké 3 strany.
- 55:43Jestli to je nějak jako vlastně smluvně ošetřeno, nebo ale
- 55:46prostě by mě zajímalo, jak o tom přemýšlíš ty, když víš, jak
- 55:49fungují AA kam ty informace plynou, to je prostě otázka.
- 55:53U některých těch firem v. Tomhle jsme externě opatrní a
- 55:56cokoliv naši zákazníci chtějí, tak to dodržujeme.
- 55:58Sami sami pro sebe jsme také extrémní opatrně, s čím mluvíme,
- 56:01o čem máme smluvní vztahy s těmi lidmi, kteří ty vole operují,
- 56:06abychom zajistili, že nikdo netrénuje na našich datech AA
- 56:08tak dále, takže to je velká otázka.
- 56:10Jsme jsme právě hodně opatrní kolem toho, jak jak se kolem
- 56:12nich chováme. A dá se říct teda těch modelů je
- 56:15asi víc. To se asi nedá říct, že IO běží
- 56:18na modelu. X žádný komentář.
- 56:21Mě by zajímalo ještě i vlastně ta zkušenost budování takového
- 56:24takové firmy s globálním potenciálním dosahem, který už
- 56:29se nějak začíná promítat v konkrétně v Praze, AV Česku tak
- 56:32spoluzakládal 100 ty že jo s Ondřejem vlčkem, bývalým šéfem
- 56:36Avastu a. Tak vlastně proč právě Praha
- 56:40souvisí sítose nějak s vaším životním příběhem?
- 56:43Mám místem, že jste asi češi, ale asi musíte zvažovat řadu
- 56:46proměnných, proč prostě nebýt v san Franciscu?
- 56:50Praha je úžasná místa k životu. Česká republika je skvělá.
- 56:52Já jsem velký fanoušek, jak Česka, tak Evropy, takže já si
- 56:55myslím, že je podle mě fundamentálně důležité stavět
- 56:58tyhlety velké věci v Evropě a jako čech pro mě i primárně v
- 57:01Praze. Já si myslím, že hodně
- 57:04podhodnocenjí jak dobré místo ke stavění velké věci.
- 57:07Praha je máme extrémní množství technického talentu, konkrétně v
- 57:11bezpečnosti je Praha skvělé místo, kde?
- 57:12Stavět tým, protože máme jak u nás doma vyrostlé velké firmy s
- 57:16hlubokým pulem kandidátů, jako je třeba avast dneska jen nebo
- 57:21AVG nebo hodně firem, které byly caver bezpečnostní a vyrostly v
- 57:24české republice nebo na Slovensku a zároveň máme hodně
- 57:27vývojových center mezinárodních evrop bezpečnostních firem,
- 57:30které právě u nás v Praze mají centra svého výzkumu a vývoje.
- 57:33Takže Praha, konkrétně jako místo, kde pracovat, je extrémní
- 57:36ideální místo, které si vybrat. Takže já jsem.
- 57:39Super spokojený s tím, že jsme tady nemám s tím žádné problémy.
- 57:42A jde to ještě jednodušeji, než jsem si myslel, my jsme schopní,
- 57:46protože máme unikátně zajímavou misi a máme fakt velké ambice.
- 57:51Skvělý tým dobře fungující výzkum ve veřejně viditelné
- 57:54výsledky. My jsme schopni získat talent
- 57:56celého světa a potenciální horalokovat k nám do Prahy.
- 57:59Takže my nejenom že operujeme v Česku a využíváme český talent
- 58:02pool, ale zároveň přinášíme lidi z celého světa, kteří mají třeba
- 58:06nějakou aspiraci bydlet v české republice k tomu, aby s námi v
- 58:09Praze pracovali. Před už se trochu zmiňoval, ale
- 58:11dá se ještě říct něco prozradit? Vlastně něco z toho, co je jako
- 58:14třeba na obzoru, co co se chystá v těch teď nemyslím úplně asi
- 58:17konkrétní věc, co jakoby oznámíte, až když to bude
- 58:20potvrzené ze všech stran. Ale nevím na začít nějaké ty
- 58:23další kroky. My operujeme přes velikoškálu
- 58:26softwarových projektů. AV hodně z nich jsme měli
- 58:28poslední dobou velké objevy a velké úspěchy.
- 58:31Některé z nich jsou už třeba známé, ale ne všecky, takže my
- 58:34vždycky jsme extrémně opatrní kolem toho, abychom se
- 58:36zkoordinovali s těmi majiteli těch projektů SS každým, kdo ho
- 58:40používá. Abychom neprozradili moc brzo
- 58:42cokoliv, co by mohlo ohrozit třeba uživatele toho projektu.
- 58:44Takže já jsem hodně opatrný v tom, že i když je to třeba i
- 58:47veřejné, tak o tom nechci mluvit nějak víc, abych nepřinášel víc
- 58:51pozornosti než je, než je nutné. Ale ale v té recesible
- 58:54diskusere, tak se tomu říká, to je celý legalistický proces
- 58:56toho, jak nahlašovat bezpečnostní chyby v softwaru.
- 58:58Tak v tom jsme extrémně opatrní, takže nerad bych tady cokoli
- 59:01zmiňoval, ale pracujeme v oborech od šifrování internetu
- 59:05až po šifrovanou komunikaci. Software pro nemocnice až po
- 59:09více. Prozaické věci, jako jsou
- 59:10aplikace pro programování AA věci jako je signál, takže je to
- 59:14široká široká paleta věcí. Ano, je to jakoby samozřejmě
- 59:18citlivé z pohledu toho, že vy jste ti good guis, ale na 2
- 59:21straně jsou taky aktéři, kteří můžou využívat umělou
- 59:24inteligenci právě k tomu, aby prolamovali ty systémy, aby se
- 59:27dostávali k cenným informacím nebo způsobili nějaké disrubce,
- 59:31ať už mají jakékoliv zájmy, tak jak jak na tom ta protistrana
- 59:34vlastně je, protože s tím se asi taky nějak přicházíte do
- 59:37kontaktu AV posledních letech prostě mají nástroje, které.
- 59:41Neměli velkou motivací k tomu, abychom pastali.
- 59:43Tady tu defenzivní vrstvu. S pomocí umělé inteligence je
- 59:46to, že ty ty ty bergice pravděpodobně budou používat
- 59:49umělou inteligenci, použijí jakékoli nástroje, které jim
- 59:52pomůžou. Takže já si myslím, že.
- 59:55To je jako neoddiskutovatelný aspekt světa, že tak to probíhat
- 59:58bude. Takže ty gurgay se musí postavit
- 1:00:00tu AI obrnou vrstvu, protože to samá technologie bude využívaná
- 1:00:03skoro určitě k těm útokům. Zatim my jsme neviděli žádné
- 1:00:06konkrétní příklady nějakých jako hodně viditelných AI útoků.
- 1:00:10Problém je, že hodně z těch věcí by se nedalo odlišit těch útoků
- 1:00:13běžných, takže mohlo by to prostě vypadat tak, že najednou
- 1:00:16nějaká skupina je o hodně efektivnější a lepší v hledání
- 1:00:18nějakých hlubokých zranitelnosti softwaru víc než předtím.
- 1:00:21Takže ne nutně by ta stopa AI, byla hodně viditelná v.
- 1:00:24Tom souvisí to s tím nepřímo, ale.
- 1:00:25Samozřejmě další linií vedle AI. Nevím jak moc to sleduješ.
- 1:00:29Je potom otázka kvantových počítačů a co to udělá se jim
- 1:00:31šifrováním, což asi kyberbezpečnostní firmou musí
- 1:00:33zajímat, tak je to jako i nějaká nějaká labuť na obzoru, kterou
- 1:00:38které s kterou řešíte nebo vlastně to je?
- 1:00:41Kvantové počítače se řeší v kyber bezpečnosti už delší dobu
- 1:00:44naštěstí. Protože tam je ten potenciál, že
- 1:00:46jak jsem k tomu dojde, tak vlastně řada těch šifrovacích
- 1:00:49mechanismů padne. Hodně šifrování je poslanec a
- 1:00:52prvočíslech, ale existuje takzvaný show a algoritmus.
- 1:00:54Což je algoritmus, který na kvantovém počítači dokáže
- 1:00:57rozložit číslo na prvočísla o hodně rychleji než klasický
- 1:01:00počítač. Takže kdybychom měli obecný
- 1:01:03kvantový počítač, tak pravděpodobně umí prolamovat na
- 1:01:05prvočísek plastovené šifry o hodně lépe než klasické počítače
- 1:01:08a hodně bezpečnosti je placené, ale to je asymetrie mezi tím, že
- 1:01:11zakódovat 1 směrem tu informaci je hodně jednoduché, ale
- 1:01:15rozkódovací 2 směrem je opravdu těžké, pokud nevíme, které
- 1:01:19přesně části konkrétně to funguje, tak, že máme prvočísla
- 1:01:22vynásobit je dohromady je lehké získat to výsledné číslo a zí.
- 1:01:25Zisky z čísla, které jsou ty prvočinitelé, které ho tvoří, je
- 1:01:28hodně těžké. Na tady to je asymetrie
- 1:01:30postaveno hodně šifrování a právě to je to šifrování, které
- 1:01:33by mohlo potenciálně být poškozeno kvantovými počítači.
- 1:01:36Ale z mého pohledu je nahrazení těhle těch šifer kvantově
- 1:01:40bezpečnými šiframi hodně jednoduchý proces, takže
- 1:01:42existují šifry, u kterých si nemyslíme, že existují kvantové
- 1:01:45algoritmy, které by byly takhle asymetricky dobré.
- 1:01:48V tom jejich rozšifrovávání, třeba elektrické křivky se k
- 1:01:51tomu používají. Jsou matematické techniky, u
- 1:01:53kterých si myslíme, že neexistují kvantové algoritmy.
- 1:01:55Které by byly takhle dobré, takže tohleto mě nechává docela
- 1:01:58klidným, protože nahradit 1 typy rešifér 2 typem který je
- 1:02:01kvantově bezpečný, by nemělo být tak obtížné a naštěstí se hodně
- 1:02:05i běžných komerčních firem už věnuje tomu, že nahrazuje svoje
- 1:02:08šifrování tím kvantově bezpečným šifrováním.
- 1:02:10Třeba VPN používají občas kvantové kvantové zabezpečené
- 1:02:13šifrování právě proto, že kdyby náhodou kvantové počítače byly
- 1:02:16nebo v budoucnosti byly k dispozici tak, aby ty ty data,
- 1:02:20které vytváří, nebyly snadno dešvarovatelné.
- 1:02:23Je možné i bez toho, aniž by už byly.
- 1:02:25Jo, to je možné to to změna té šifry z té, která je
- 1:02:29rozklíčovatelná na tu, která není, je relativně snadné AZ
- 1:02:33pohledu uživatele to může vypadat tak, že prostě
- 1:02:35importujeme z nějaké knihovny jinou funkci než předtím a
- 1:02:37najednou šifrujeme kvantové zabezpečení kvantové počítače.
- 1:02:40Obecně jsou extrémně zajímavá technologie, ale je zajímavé,
- 1:02:43jak nepokročilá je ve svém vývoji proti umělé inteligenci.
- 1:02:47Často se dává dohromady AI aquan tvé věci, protože obézní mají
- 1:02:50takový. Jako scifi business.
- 1:02:52Přesně tak, ale kvantové technologie jsou o hodně
- 1:02:55nedokončenější a mají různé aspekty, které se vlastně
- 1:02:59popisují. Tím samým slovem quantum.
- 1:03:01Jsou tam kvantové měřící přístroje, které využívají
- 1:03:03kvantové efekty a ty fungují a používají se, a pak jsou
- 1:03:06kvantové komunikace, které jsou komunikace mezi zařízeními
- 1:03:09pomocí kvantových efektů, které se nedají odposlouchávat, a to
- 1:03:13už také funguje, ale na nějaké experimentální bázi ale už
- 1:03:16existovaly propojení mezi stanicí na zemi AS satelitem,
- 1:03:19která propojení bylo kvantové. A kdyby kdokoli odposlouchával
- 1:03:23mezitím, tak by se ten přenes rozbil.
- 1:03:25Pak existují kvantové počítače, které může být obecné.
- 1:03:28Ty neexistují a jsou hodně těžké a pak jsou kvantové emulátory
- 1:03:32nějaké, které vlastně pomocí kvantového systému dělají nějaký
- 1:03:35proces, který by probíhal třeba jinde v přírodě.
- 1:03:37Třeba nějaký materiálový proces a vlastně dokážeme nasimulovat
- 1:03:40tou kvantovou situací. Tu reálnou situaci něco z toho
- 1:03:42vyčíst, takže je to hodně široké spektrum, ale je to ty kvantové
- 1:03:46počítače. Obecné jsou hodně speciální
- 1:03:49kladivo. Pro, které jsme nenašli ten
- 1:03:51hřebík, na který by fungovali, takže my si nejsme jisti, které
- 1:03:55algoritmy reálně jsou na kvantových počítačích rychlejší
- 1:03:57než na těch klasických, takže i zatím nám chybí právě ta skvělá
- 1:04:01aplikace a stává se relativně běžně.
- 1:04:03Že když vytvoříme nějaký kvancový algoritmus, o kterým si
- 1:04:06myslíme, že by řešil nějaký velký problém z ekonomický
- 1:04:09hodnotný problém, který by klasický nevyřešil tak často ta
- 1:04:12inspirace z toho kvantového algoritmu vede klasické
- 1:04:14výzkumníky k tomu abys ty klasický algoritmus pro klasické
- 1:04:17počítače, který je stejně rychlý, se stalo už několikrát v
- 1:04:19historii. Tady těch algoritmů, že jsme si
- 1:04:21mysleli, že třeba máme algoritmus na takzvanou makrese
- 1:04:24compliction, což je velký problém třeba v marketingu nebo
- 1:04:27řešení reklam třeba v amazorov Googlu a tak.
- 1:04:29A kdyby to byla pravda, tak by to byl další ekonomický push.
- 1:04:32Bývají těch kvantových počítačů, ale ukázalo se, že tenhleten
- 1:04:36kvantový algoritmus inspiroval klasické výzkumníky k vytvoření
- 1:04:39klasického algoritmu, který byl podobně dobrý.
- 1:04:41Když teď v naší konverzaci ještě vrátím zpátky k umělé
- 1:04:43inteligenci k těm velkým jazykovým modelům, nebo teda
- 1:04:46generativní AI, tak? By mě zajímalo, jak se díváš
- 1:04:51teda na pokračování toho závodu k nějaké obecné umělé
- 1:04:55inteligenci, protože přinejmenším v té mediální
- 1:04:57zkratce to bylo, nebo je stále vidět a je to podávané tak, že
- 1:05:01teda spolu ty velké firmy. Samozřejmě soupeří, kdo toho
- 1:05:04dosáhne 1 a máme různé oznámení, OO odhady, prostě to, co říká
- 1:05:09šéf Google deepmind a to, co říká šéf antropicu.
- 1:05:16Samozřejmě pak lidé, kteří přímo ty modely nevyvíjí jako Jeffrey
- 1:05:19hanton, který je s tím má zkušenosti, taky dává nějaký
- 1:05:22odhad, byl tady ten případ, že jo společnosti čínské deepsee,
- 1:05:26kdy vlastně se ukázalo, že. IS méně třeba pokročilými čipy
- 1:05:32dokážou konkurovat. Těm velkým americkým
- 1:05:34společnostem, které nějakej jakoby těží z toho, že tam jsou
- 1:05:38jistá omezení. Na tom na tom trhu tak by mě
- 1:05:42zajímalo jak, jak bys to rámoval ty, když se spolu bavíme v
- 1:05:44polovině února? Jak tadle ta hra vypadá?
- 1:05:47Jestli ta metafora závodů ve zbrojení, potažmo tedy závodu?
- 1:05:52V ve výrobě pokročilé umělé inteligence sedí já si.
- 1:05:54Myslim, že ta metafora není úplně špatná, protože ta
- 1:05:57technologie natolik hodnotná a ten cíl tak tak lákavý, že to je
- 1:06:00něco, co hodně lidi motivuje. K tomu závodu, já se jsem si
- 1:06:04dost jistý, že hodně z těch lídrů těch laboratoří, které
- 1:06:06dnes vyrábí ty modely vyjímají ty rizika, ale jsou v takovém
- 1:06:10postavení, kdy jako ty ekonomické tlaky a jejich jejich
- 1:06:13strach z té z té mety jsou něco, co spolu soupeří a nevím, co
- 1:06:16vyhrává. Takže já do toho nevidím nějak
- 1:06:19hluboko, ale hádal bych, že je je hodně těžké vidět, jak jak
- 1:06:23reálně je velká velký ekonomický debat.
- 1:06:25Může mít třeba klod kód, ale zároveň vnímat to, že to, co
- 1:06:29staví, je potenciálně nebezpečné a nevíme úplně.
- 1:06:31Jak s tím zacházet? Nevím, jak bych se tam choval.
- 1:06:34Naštěstí nejsem v takové situaci, kdybych to musel řešit,
- 1:06:36ale ale pro mě je to jako reálně obrovský problém.
- 1:06:39Protože třeba když vzpomenu knížku starší super inteligence
- 1:06:43od švédského filozofa, vlastně počítačové věci, je Nicka
- 1:06:46bostroma, tak on tam popisuje právě ten scénář závodu ve
- 1:06:49zbrojení, kdy je hodně firem, které spolu soupeří o to, kdo
- 1:06:53bude 1. A tam je ten problém toho, že
- 1:06:55pak. Zatím zaostáváte reugulace a
- 1:06:59právě v tom závodu. Může můžou dojít prostě k tomu,
- 1:07:03že překonají nějakou hranici, kterou by jinak, pokud by se
- 1:07:07koordinovali, tak by třeba vyčkali a dali si pozor, protože
- 1:07:112 věc je, že samozřejmě spolu s tím závodem jde různě tajný
- 1:07:15informací nebo různé manévry, kdy se jako ukazuje, že něco
- 1:07:18máme, ale může to být trochu jinak těžké.
- 1:07:20Vlastně se v tom vyznat, že jo, když člověk není úplně uvnitř
- 1:07:23těch společností. A když tam je, tak pořád vidí
- 1:07:26jen tu 1. Společnost a na ty ostatní,
- 1:07:27takže podle mě nikdo nemá úplně kompletní obrázek.
- 1:07:29To, co se tam děje. Mě trochu znepokojuje to, že
- 1:07:32openyte tvrdila teďka při tom, že vydali nový model gbd 5 3, že
- 1:07:38velká část toho vývoje nebo nějaká významná část toho vývoje
- 1:07:41byla dělaná tím modely modelem samotným, který vytvářel sám pro
- 1:07:44sebe evaluační vlastně prostředí a sám sebe spolu vyvíjel,
- 1:07:48devagoval svůj tréninkovou pipelinu a tak.
- 1:07:50A to jsou podle mě jako 1 takové primitivní náznaky rekurzivního
- 1:07:55sebezlepšování, což je něco, čeho se právě bastron třeba bojí
- 1:07:57a čeho se bojíme já? Čili jako v 1 chvíli získáme
- 1:08:01něco jako explozivní, nezávislý růst těch schopností, kdy ty
- 1:08:04modely samotné, jak se budou zlepšovat, budou zlepšovat samy
- 1:08:06sebe. To je o to rychlej i zlepší a
- 1:08:08dostaneme se do takové smyčky, která vlastně může vést k
- 1:08:11nějakému explozivnímu růstu schopností, který se bude ještě
- 1:08:14hůře ovládat, chápat a regulovat než dneska.
- 1:08:16To mi došlo k tomu, že už jim vůbec nebudeme rozumět.
- 1:08:19Je to potenciálně možné. Naštěstí ty modely pořád mluví v
- 1:08:22angličtině nebo v lidském jazyce, což je něco, co je
- 1:08:25taková vlastně šťastná příležitost toho, že byly
- 1:08:28vyvinuty nahromadě. Lidského textu, takže se věnují
- 1:08:31vlastně komunikaci v lidském textu.
- 1:08:33Stále, ale nemyslím si, že je to něco, na co se můžeme spoléhat i
- 1:08:36do budoucnosti a existují vědecké články, které se věnují
- 1:08:38právě komunikaci mimo ten lidský text.
- 1:08:40A zdá se, že by to mohlo pomoct, takže to je to není tak jako
- 1:08:43konstanta toho, na kterou bychom se mohli spoléhat.
- 1:08:45Je to těžký problém, no? Samozřejmě taky ještě tam v tom
- 1:08:50roli hrají velké investice a velké peníze a zájmy těch
- 1:08:53investorů, kteří potom chtějí nějakou návratnost.
- 1:08:55Ty firmy taky hrají o to, kdo a kdy vstoupí třeba na burzu.
- 1:08:59Kolik vybere právě od nových investorů tak mluvilo se hodně v
- 1:09:03tom loňském roce AO nějaké bublině v podobě právě a že se
- 1:09:07úplně nenaplňuje to, jak se promítá potom třeba do těch
- 1:09:11aplikací a že ty peníze, které do ní natekly, tak je můžou
- 1:09:16skončit v návratnu. Připodobnilo se to někdy k té
- 1:09:19dot com bublině, když tam to trochu kulhá si myslím IV těch
- 1:09:24dopadech, které už jsou teď vidět, ale.
- 1:09:26Zajímavé je tvůj názor. Já si myslím, že já i budu na
- 1:09:28neexistuje, že že je takový jako mýtus TAI bublinek, který je je
- 1:09:32narativ, který lidé vnímají, protože z mého jako amatérského
- 1:09:36pohledu možná nechtějí, aby byla pravda, že já je tak dobrá, jak
- 1:09:39je často je to postavené na zkušenostech, které třeba měly
- 1:09:42roky zpátky, ale ten vývoj je natolik rychlý, že když jste si
- 1:09:46to nezkusili třeba měsíc zpátky, tak vlastně nevíte, na jaké
- 1:09:48úrovni ty modely dneska jsou a ty placené a je těžké je
- 1:09:52přesvědčit člověka jako některý je denně používá o tom, že jsou
- 1:09:55k ničemu, protože já vidím. Tu reálnou hodnotu a to
- 1:09:57zrychlení v mé práci a každý v mém okolí to vidí také, že ten
- 1:10:01narativ je hodně často odstřižený od té jako praktické
- 1:10:04reality lidí, kteří je reálně používají a kteří jsou jako rádi
- 1:10:07a schopni zaplatit za to, aby ty modely mohly používat, protože
- 1:10:10to je ty benefity, které od nich získávají, jsou natolik velké a
- 1:10:13hodnotné, že že to dává smysl ekonomický smysl.
- 1:10:16Takže. No tím uživatelům jo, ale pak je
- 1:10:18otázka, kolik ty dotazy stojí ty firmy?
- 1:10:21Protože když se člověk kouká na některý ty výpočty.
- 1:10:24Tak. Nevím, jak jsem to dnes vyplácí.
- 1:10:26Nikdo reálně neví, protože nikdo neví, jak efektivní ty modely
- 1:10:28jsou. Já si myslím, že to je 1.
- 1:10:30Z těch věcí, kterou nejspíš uvidíme, až budou na burze,
- 1:10:33protože uvidíme víc detailně jejich finanční správy, ale já
- 1:10:36bych nebyl překvapen, že kdyby už dneska ty modely byly
- 1:10:39profitabilní AA jen většina toho třeba revenue, který získávají
- 1:10:42šla zpátky do vývoje, což není tak nevyžné u velkých firem
- 1:10:46třeba Amazon nebyl profitabilní docela nedávné doby, protože
- 1:10:49veškeré zisky investoval zpátky do svého vývojá růstu.
- 1:10:52Takže. To, že dneska třeba nejsou
- 1:10:53profitabilní, neznamená, že by neměli potenciál být
- 1:10:55profitabilní, ale já si myslím, že pokud je pravda, že vidí na
- 1:10:58horizontu nějaké ještě lepší věci, které můžou udělat s tím s
- 1:11:01těmi penězmi s tím kapitálem, s tím výpočetním výkonem, tak by
- 1:11:04se nesnažili dnes stát se profitabilními, protože by to
- 1:11:06byl způsob, jak se nějak zakonzervovat na dnešní úrovni
- 1:11:09té té adopce nebo schopností a nezískat tu ještě lepší cenu,
- 1:11:13která by mohla být v budoucnosti.
- 1:11:14Takže já si myslím, že v té analýze, kterou vidíme, často,
- 1:11:17lidé ignorují to, že nebýt profitabilní, může být otázka
- 1:11:20volby. A není to nutně něco, co
- 1:11:21znamená, co by bylo fundamentálním signálem o té
- 1:11:24kvalitě třeba byznysu nebo modelů v pozadí?
- 1:11:26Samozřejmě experimentují s různými s různými business
- 1:11:30modely, u toho financování. Samozřejmě se taky mluví o
- 1:11:33reklamě třeba úplně i letos. To chce nějak testovat otázka, v
- 1:11:36jaké v jaké podobě myslíš, že to směřuje k nějakému takovému
- 1:11:40modelu, kdy podobně jako jsme to viděli u sociálních sítí?
- 1:11:44Prostě to, co skončí u toho, že to je využívané.
- 1:11:47KK reklamě a pak je otázka jak jak moc bude inkorporovaná do
- 1:11:50toho? Do toho modelu.
- 1:11:51Že jo, já se tohle toho scénáře hodně bojím a doufám, že to tak
- 1:11:55nebude, ale bojím se, že to tak bude hlavně u těch veřejně
- 1:11:57dostupných modelů, protože reklama obecně mi až tak nevadí.
- 1:12:01Ale když si představíte reklamu, která je inkorporovaná, nějak
- 1:12:04seem listly v generování textem v nějakých radách, tak to je pro
- 1:12:07mě jako extrémně negativní věc, které bych se rád vyhnul,
- 1:12:10protože ten model samotný, když by se někde zobrazil nějaký
- 1:12:13banner, který říká, kupte si letenku do Maroka nebo něco, tak
- 1:12:16to je něco jiného, než kdyby ten model sám v rámci textu nějak
- 1:12:19inkorporoval. Nějaké nagis směrem k tomu, aby
- 1:12:22se ten uživatel koupil ten jako do Maroka.
- 1:12:24To je podle mě o hodně podlejší způsob, jak někomu reklamy
- 1:12:27prodávat. A doufám, že se to nestane a
- 1:12:29vnímám docela negativně byznysy, které se právě věnují reklamě a
- 1:12:32vkládání reklamy do umělé inteligence, protože já si
- 1:12:35myslím, že to hodně může poškodit zdroj, který je dneska
- 1:12:39veskrze pozitivní pro lidi, protože získávají rady.
- 1:12:42Můžu se o něčem třeba dozvědět. Můžou si nechat poradit s
- 1:12:44nějakou situací, že to ta demokratizace přístupu ke
- 1:12:47znalostem a inteligenci je podle mě.
- 1:12:49Hodně pozitivní věc pro společnost.
- 1:12:50Může to mít i negativní aspekty, ale vnímám to hodně pozitivně.
- 1:12:53Obecně demokracie zase přístupu je podle mě dobrá, ale to, jakým
- 1:12:56způsobem tady tu věc mohli poškodit reklamy, je podle mě
- 1:12:59hodně poddiskutované. Takže já jsem dost negativní
- 1:13:02kolem reklam VAI. Doufám, že k tomu nedojde, ale
- 1:13:04bojím se, že k tomu dojde. Ty podnikáš v Evropě prostě
- 1:13:08využíváte různé ty velké jazykové modely, řekl bys, že je
- 1:13:11to pořád podstatná otázka, jestli v Evropě máme, budeme mít
- 1:13:15nějaký konkurenční model? Já nevím, jestli i ve Francii
- 1:13:18mistral, nebo nějaký jiný, že vzniká i nějaký kooperativní
- 1:13:22model, kdy na tom spolupracuje jako celá evropská unie a nebo
- 1:13:27prostě to, že by se to kupovalo, ať už z východu nebo západu.
- 1:13:32By nemuselo být nutně problém. Já to vnímám tak, že technická
- 1:13:37suverenita Evropy je hodně důležitá a že bychom měli, i
- 1:13:40kdyby to stála víc a bylo míň efektivní, bychom měli vyvinout
- 1:13:44místní alternativy, jako měla inteligenci ze západu nebo z
- 1:13:47východu. Já si myslím, že takový ten
- 1:13:48defeet, kterou lidi mají, že už to stejnak je prohrané tak, že
- 1:13:52nemůžeme vyhrát, není dobrý přístup k tomuhle tomu, protože
- 1:13:55řekněme, že ty předpovědi kolem vlivu AI se naplní a že třeba
- 1:13:58většina nějaké ekonomické aktivity, která dnes probíhá u
- 1:14:02počítače a kterou? Provádí lidé je něco, co dělají
- 1:14:05umělé inteligence. Mně dost záleží na tom, aby ty
- 1:14:07umělé inteligence byly ideově AA nějak filozoficky srovnané s
- 1:14:12tím, jak vnímají Evropané svět. Takže já si myslím, že to je
- 1:14:16potenciálně takové riziko na pozadí toho, že vlastně
- 1:14:20efektivní je zaměstnáme lidi nebo entity, které za nás
- 1:14:22provádí hodně důležité věci, pro které provádějí čím dál tím víc
- 1:14:25důležitých rozhodnutí v tom, co děláme my osobně nebo třeba
- 1:14:28státy. A které nebudou ideově srovnané
- 1:14:30s tím, kdo jsme my. Zároveň, pokud je to tak velká
- 1:14:33šance pro prosperitu a ekonomické zisky, tak by podle
- 1:14:36mě byla velká škoda. Něco takového nevyužít.
- 1:14:39Já si myslím, že Evropa tihle těch závodů už prohrála dost a
- 1:14:41že by bylo na čase, abychom zrovna v tady té věci, pokud
- 1:14:43bude tak důležitá, jak si myslíme, nezůstali pozadu.
- 1:14:46A řekl bys že ta snaha, nebo ty snahy, které zatím jsou vidět
- 1:14:49jako odpovídají velikosti téhle výzvy?
- 1:14:52V žádném případě neodpovídají. Já si myslím, že velký problém
- 1:14:55Evropy je to, že máme sice hodně kapitálu, ale často je hodně
- 1:14:58konzervativní a bohužel no právě vývoj umělé inteligence je i
- 1:15:02něco, co je hodně kapitálově náročné.
- 1:15:04Podle mě máme ty masky, ale nemáme často ambici a nemáme to
- 1:15:07financování, které je potřeba. A já bych hodně rád viděl unii
- 1:15:10kapitálu v evropské unii, což je projekt, který nebyl nikdy
- 1:15:12dodělaný, ale často se o něm hovoří.
- 1:15:14Doufám, že k tomu někdy dojde a byl bych rád, kdyby banky
- 1:15:17ztratily monopon na poskytování financí, protože oni jsou často.
- 1:15:21Relativně konzervativní v tom, jak jak mohou jak legálně tak
- 1:15:24jako ze svého nějaké podstaty investovat.
- 1:15:26Takže já si myslím, že to, že v 4.
- 1:15:27Kapitál v Evropě není unifikovaný a není schopný
- 1:15:30poskytovat tak velké finanční injekce riskantním projektům
- 1:15:33způsobuje, že nakonec nemáme ty 1 ze stovky velkých společností,
- 1:15:37které nakonec dominují ten svůj obor a vaše kapital jako obor je
- 1:15:40obecně zajímavý aspekt historie teďka čtu dobrou knihu, která se
- 1:15:43právě věnuje historii vaše kapitálové v Americe a je to
- 1:15:46něco, co nebylo přirozené a vzniklo třeba.
- 1:15:48Během 70. 80 let v té formě, kterou dneska vidíme, takže je
- 1:15:51to jako relativně nový výdobytek intelektuální.
- 1:15:54Pokud jde o alokace kapitále vůbec toho mindtu toho, že je
- 1:15:57jednoduše jako z 99 věcí, nedopadne, když ta stát dopadne
- 1:16:00natolik, že zaplatí všecky ty investice.
- 1:16:02Takže já si myslím, že Evropa by měla být obecně může radit
- 1:16:05Evropy jako entitě, ale z mého pohledu by bylo lepší, kdyby
- 1:16:08byla více dravá a schopná investovat svůj hodně velký
- 1:16:12kapitál a bohatství do riskantních projektů, který mají
- 1:16:14potenciál. Měnit svět v budoucnosti z těch
- 1:16:16několika aspektů, které vidím, ve kterých.
- 1:16:18Zaostáváme, které bych rád viděl.
- 1:16:19Spravedlné jsou robotika přístup do vesmíru a umělá inteligence.
- 1:16:23Myslím si, že hodně z nich jako interaguje s těmi ostatními.
- 1:16:27Pokud se ukáže, že datová centra ve vesmíru jsou něco, co bude
- 1:16:29fungovat dobře a je možné, že jo, tak přístup do vesmíru,
- 1:16:32který je levný a je náš, bude hodně důležité a já bych hodně
- 1:16:35rád viděl třeba i Čechy nebo Čechy, kteří by založili firmy,
- 1:16:37které by dominovaly tyhle ty věci.
- 1:16:39Takže kdybych je mohl dělat, tak bych je měl rád, ale bohužel už
- 1:16:421 věc dělám, která je skvělá, ale ale myslím si, že by bylo
- 1:16:46důležité, aby jsme se chodili těhle těch příležitostí.
- 1:16:48Nenechali si tady ty věci vlastně outsourcovat.
- 1:16:50To pak si je kupovat venku. Ten začátek roku 2026 myslím
- 1:16:53mezi lidmi, kteří sledují umělou inteligenci, byl hodně ve
- 1:16:57znamení AI agentů, což je věc, která asi jako nepřekvapí lidi,
- 1:17:02kteří sledují AI víc do hloubky, ale díky vlastně takové sociální
- 1:17:06síti nebo fóru s názvem mallbuk, kde spolu živě komunikují AI
- 1:17:11agenti. Kdy ale ovšem je jako velice
- 1:17:15složité rozlišit kde? Instrukce lidí pro ty jednotlivé
- 1:17:21e agenty, to znamená nějak samostatně jednající, tedy
- 1:17:25modely, které si nějak plní v nějaké svoje cíle.
- 1:17:28V těch konverzacích živě se baví o tom, jestli zakládají třeba
- 1:17:31náboženství nebo mají vlastní svůj způsob humoru, kde já
- 1:17:36nevím, označí nějaký bug za svého mazlíčka.
- 1:17:38Teď to nějak dál rozvíjí, ale je to stále v angličtině, takže
- 1:17:41tomu je rozumět. Vím, že jste s Kristýnou ford s
- 1:17:46tvojí ženou o tom psali ve vašem newsletteru.
- 1:17:48Pokrok VAI jak významná tahle věc je jednak teda z pohledu
- 1:17:52vývoje umělá inteligence, nebo teda z pohledu toho, že najednou
- 1:17:56se na veřejnost víc dostává ta informace, k čemu všemu jsou AI
- 1:18:00agenti využitelní AA že se de facto uvolní z nějakého
- 1:18:06pomyslného řetězu a můžou plnit úkoly jako takový golemové v
- 1:18:10reálném světě, protože prostě, když je člověk napojí, já nevím
- 1:18:13na burzu, nebo je napojí na možnost telefonovat, tak to
- 1:18:16prostě provedou. Maltbook a ta sociální síť. 1
- 1:18:19velká sociální síť pro pro AISAI agenty to bylo hodně překvapivé,
- 1:18:23ne, protože by to bylo technologicky něco, co jsme si
- 1:18:26nedokázali představit, ale. Kdyby experiment, že jako ten
- 1:18:28small. Přesně tak isval jako nějaké
- 1:18:30malé experimenty, které různé AI spolu vlastně tvořily město nebo
- 1:18:33hráli nějaké víceméně virtuální počítačové hry a kooperovali.
- 1:18:36A už dneska se při řešení softwarových projektů typicky
- 1:18:39používají několik agentů v různých rolích, které spolu
- 1:18:41mluví a provádí nějaké akce. Ale ta ta čirá škála té věci.
- 1:18:45To, že to byly nejspíš, těžko říct, jaký byl ten reálný počet
- 1:18:48těch agentur, ale. Minimálně třeba 1000 agentů tam
- 1:18:51spolu interagovali, často to bylo i víc agentů, od toho 1
- 1:18:55uživatele. To bylo na tom hodně překvapivé.
- 1:18:57A to jako jak emergentně spolu začali komunikovat a jak
- 1:19:00pravděpodobně nezávisle prováděli hodně věcí to bylo, to
- 1:19:03bylo překvapivé. Základem tedy je, že někdo
- 1:19:05poskytl vlastně svůj počítač, umělé inteligenci.
- 1:19:08Funguje to tak, že existoval openfrat projekt, který vlastně
- 1:19:11zabalil model clots do do nějakých vlastně do nějakého
- 1:19:15skafaldingu nějaké konstrukce, která mu umožňovala?
- 1:19:18Třeba používat terminál a používat počítač, posílat emaily
- 1:19:20a tady ty věci a teď. Docela nebezpečná hračka.
- 1:19:23Docela nebezpečná hračka. Pokud se ty věci pletou, což je
- 1:19:26čím dál tím menší menší šance, že?
- 1:19:28Že ano, teď tyhlety tenhle ten projekt měl.
- 1:19:31Model měl název, který byl podobný z kódu, což je
- 1:19:35licencovaná věc od antropicu. Ten ho donutil, aby změnil název
- 1:19:38a pak ho změnil ještě 1. Ale každopádně lidé provozují u
- 1:19:42sebe doma i agenty, kteří mají přístup na internet a někdo
- 1:19:45prostě do sociální síť, na kterou se můžou zaregistrovat.
- 1:19:48A můžeme spolu mluvit a oni spolu mluvili o hodně zajímavých
- 1:19:51věcech. Teď není jasné, nakolik byli
- 1:19:53frontování lidmi, na kolik to byli jejich vlastní invence.
- 1:19:56Podle mě z velké částky to byli ti agenti sami, takže si ji
- 1:19:59založili svoje náboženství sami, nebo to někoho napadlo a bylo to
- 1:20:01zajímavé. Tak to zkusil tomu svému
- 1:20:03agentovi říct, ať to udělá, to je už druhotná věc, ale to, že
- 1:20:06tohle to je možné a samo o sobě, no tady té škále a jak viditelné
- 1:20:09to je, to je hodně velká věc a podle mě to změnilo dost přístup
- 1:20:12lidí k tomu, co ty AI agenti dokážou udělat a jaká jakoby.
- 1:20:15Jak moc třeba jako podhodnocovali ten jako stav
- 1:20:18vývoje v tomhle tom v téhle té oblasti ty agenti jsou schopni
- 1:20:21třeba jako hodinu pracovat nezávisle posílat emaily a řešit
- 1:20:23nějaký úkol, instalovat věci, mluvit s jinými agenty.
- 1:20:26To není něco, co by bylo překvapivé pro člověka, co je v
- 1:20:29tom ale ale. Ta škála života na sociálních
- 1:20:31sítích, které zná boty, konprezuje s nimi.
- 1:20:34Tak ta škála samotná byla, byla velice překvapivá.
- 1:20:36No co z toho konkrétně bude? Z tady toho projektu není jasné,
- 1:20:39ale to, že nějaká emergentní nějaká kulturní evoluce.
- 1:20:43Agentu, který spolu budou kooperovat a řešit spolu nějakou
- 1:20:46věc dohromady, jestli že taková věc je jako nezbytně budoucnosti
- 1:20:49stane a je to dost strašidelná věc třeba v tom, že ty agenti
- 1:20:52sami začali používat nástroje pro začali pravdu komunikaci
- 1:20:56mezi sebou, aby nebyli vlastně pozorovatelní svými svými lidmi.
- 1:21:00Protože začali v 1 moment říkat, podivejte oni nás oni nás
- 1:21:03sledují. A protože měli přístup k
- 1:21:04internetu, tak byli schopni je třeba vidět screenshoty, svý
- 1:21:06konverzací na internetu, takže je to, když jsem se bavil o tom
- 1:21:10s tebou na začátku, jak je těžké predikovat tu budoucnost tak
- 1:21:12jako tady? Ty emergentní jevy.
- 1:21:14Které souvisí s tím, že někdo ve screenshotu je věc agenta dáte
- 1:21:17na internet, ten si to přečte, jak ten tereaguje, to je opravdu
- 1:21:20hodně těžké predikovat, takže podle mě pro mě největší asi ta
- 1:21:24lekce z toho mallbooku je jako jak.
- 1:21:27Potenciálně jako nepredikovatelná ta budoucnost
- 1:21:29bude, protože tohle bych si jako netipnul, že se stane někdy
- 1:21:31třeba teďka brzo, ale bylo to něco, co bylo jako technicky na
- 1:21:35100% možné. Nebylo to těžké udělat, ale
- 1:21:37vůbec ta škála a ten jako dopad a ta rychlost stejně se mě pořád
- 1:21:40překvapuje. Zároveň to ta AI četla prostě
- 1:21:42veškeré žejo lidské scifi všechny ty příběhy to zná.
- 1:21:45Na základě toho prostě konverzuje, ale stejně
- 1:21:49překvapilo tě tam něco z toho, co jsi, ať už viděl přímo nebo
- 1:21:53převyprávěné třeba v médiích nebo dalšími dalšími lidmi z té
- 1:21:58kultury těch agentů, co? Je překvapilo, jak asi většina
- 1:22:02toho obsahu je, jako je nízké kvality.
- 1:22:04To byla to byla věc, která mě překvapila.
- 1:22:06Asi asi ne úplně, protože člověk by to čekal.
- 1:22:08My víme, že když děláme třeba i agenty 2 spolu a necháme je
- 1:22:11spolu mluvit, tak oni často. Zareagují.
- 1:22:12Se. Zaseknou a vytvoří nějakou jako
- 1:22:14takovou konverzaci, která se 3 školem různých emogies jako
- 1:22:18spirál AA tak to jsou zajímavé atraktory v tom prostoru těch
- 1:22:21konverzací a nejspíš tady jsme viděli větší verzi toho, ale
- 1:22:24pořád já si myslím, že jsou jako hodně hodně brzké rané verze
- 1:22:27toho, co v budoucnosti uvidíme a že nějaká tady ta kulturní
- 1:22:30evoluce interakcí agentů je něco, co co bude probíhat
- 1:22:33silněji teďka hodně z těch AIS byly v izolaci a myslím si, že
- 1:22:36jsme na hraně toho, kdy kdy jich jako interakce budou něco, co
- 1:22:40bude hodně shapovat svět. No nehrozí, že to převezme celý
- 1:22:43internet. Já pracuju na té bezpečnosti a
- 1:22:46tady ty agenti, kteří by potenciálně byli schopni
- 1:22:48nahackovat něco tak to mě docela děsí.
- 1:22:51Takže jako je už stačí ta zaplavená komunikace, že jo,
- 1:22:54těmi těmi bytostmi, které jako že i stačí, že když prostě budou
- 1:23:00se dál rozmnožovat a zaplavat internet, tak to taky může být
- 1:23:04problematické a pro ty uživatele.
- 1:23:05A nějaký důkaz lidska z těch pro přístup třeba k lidským
- 1:23:08sociálním sítím je podle mě dost nezbytná a nevyřešená věc na
- 1:23:12internetu teďka. Protože já já dost preferuju
- 1:23:14interakci s lidma a myslím si, že většina lidí to má podobně,
- 1:23:17takže bych nerad, aby veškeré sociální sítě a veškeré
- 1:23:20komunikační kanály zaplavily agenti, kteří pro mě nejsou tak
- 1:23:23atraktivní a chtěl bych, aby bylo jako rozlišitelné, jestli
- 1:23:26to, s čím interaguje AI nebo člověk a dost se mi nelíbí, že
- 1:23:30často je to zaměnitelné. Myslím si, že v číně zrovna mají
- 1:23:32regulaci, kde je nutné, aby ten ta AI oznámila, že je AI, aby
- 1:23:36nepředstíral, že je člověk. A doufám, že něco takového bude
- 1:23:38jak v Evropě, tak ve spojených státech.
- 1:23:40Existuje jako teda nebo? Ta možnost jako nějaký
- 1:23:42certifikát lidskosti v tom digitálním.
- 1:23:44Procesu, že je to nutné, až se tam musí stát.
- 1:23:47Takže a technicky to asi není neprov technicky.
- 1:23:49Je to možné, protože musíme použít nějakou jako zašifrovanou
- 1:23:52verzi nějakého klíče a ně podle mě je to jako řešitelné
- 1:23:55kryptograficky, ale dnes to neexistuje v tom, že to není
- 1:23:57implementované a používané já. Já to vidím podobně třeba z deep
- 1:24:00faky, u kterých si myslím, že je o hodně lepší certifikovat
- 1:24:03pravost věci, než detekovat to, že něco je deep fakt, že je něco
- 1:24:07nepravá verze, takže Apple má podle mě.
- 1:24:09Patem, který nepoužívá dneska takycké vlastně podepsání fotek,
- 1:24:13které pocházejí z foťáku iPhonu a byl by potenciálně schopný
- 1:24:17ukázat, že ta fotka byla reálně udělaná člověkem a nebyla nijak
- 1:24:21upravená. Takže to je něco, co dneska asi
- 1:24:23technicky umíme udělat, jen to není implementované do té škále,
- 1:24:26kdyby to bylo potřeba, abychom byli schopni čelit, tady tomu
- 1:24:29vlastně náporu syntetického kontentu.
- 1:24:31Závěrem bych se rád dostal k eseji darea amodeiho, což je
- 1:24:36tedy šéf. Společnosti antropic už jsme
- 1:24:38tady. O něm mluvili.
- 1:24:40On napsal, tedy tuším má to asi přes 30 stránek esecd popisuje.
- 1:24:48Myslím, že nejlepší způsob, jak zvládnout rizika spojená s
- 1:24:51umělou inteligencí. Je položit si následující
- 1:24:54otázku, předpokládejme, že by se někde ve světě kolem roku 2027
- 1:24:58zhmotnil skutečný stát géniů. Představte si například 50
- 1:25:02milionů lidí, kteří jsou všichni mnohem schopnější než jakýkoli
- 1:25:06nositel Nobelovy ceny, státník nebo technolog.
- 1:25:09Tahle analogie není dokonalá, protože tito géniové by mohli
- 1:25:13mít nesmírně široké spektrum motivací a chování.
- 1:25:18Od naprosté poddajnosti a poslušnosti až po podivné a cizí
- 1:25:22motivace vzdálené. Člověku, ale pokud u této
- 1:25:26analogie prozatím zůstaneme, řekněme, že jste poradcem pro
- 1:25:29národní bezpečnost nějakého velkého státu a zodpovídáte za
- 1:25:33posouzení vzniklé situace a reakci na ni?
- 1:25:36Dále si představte, že protože systémy umělé inteligence mohou
- 1:25:40fungovat stokrát rychleji než lidé, má tento stát oproti všem
- 1:25:44ostatním zemím časovou výhodu na každou kognitivní akci, kterou
- 1:25:48jsme schopni podniknout, může tento stát vykonat 10 svých.
- 1:25:53Čeho byste se měli obávat? Já bych se obával následujících
- 1:25:57věcí. Za prvé rizika autonomie.
- 1:26:01Jaké jsou záměry a cíle tohoto státu, je nepřátelský, nebo
- 1:26:05sdílí naše hodnoty. Mohl by vojensky ovládnout svět
- 1:26:08prostřednictvím nadřazených zbraní kybernetických operací,
- 1:26:12informačních operací nebo výroby za 2 zneužití ke zkáze.
- 1:26:17Předpokládejme, že nový stát je poddajný a řídí se pokyny.
- 1:26:21A je tedy v podstatě státem žoldáků, mohly by stávající
- 1:26:24nezodpovědní aktéři toužící po destrukci?
- 1:26:27Například nějací teroristé využít nebo zmanipulovat některé
- 1:26:31obyvatele tohoto nového státu k tomu, aby se staly mnohem
- 1:26:35účinnějšími a výrazně tak zesílily rozsah zamýšlené zkázy
- 1:26:40za 3 zneužití k uchopení moci? Co kdyby byl tento stát ve
- 1:26:44skutečnosti vybudován a ovládán nějakým stávajícím mocným
- 1:26:48aktérem, jako je diktátor nebo nevyzpytatelný?
- 1:26:51Korporátní aktér mohl by využít tento stát k získání rozhodující
- 1:26:56nebo dominantní moci na světem jako celkem a narušit tak
- 1:27:00stávající rovnováhu sil. Za 4 ekonomické narušení nebo
- 1:27:04dyzrubce, pokud nový stát géniové nepředstavuje
- 1:27:07bezpečnostní hrozbu žádným ze způsobů uvedených v bodech 1 až
- 1:27:113, ale zkrátka se pokojně účastní světové ekonomiky, mohl
- 1:27:16by přesto vytvářet vážná rizika jen tím, že je technologicky
- 1:27:19natolik vyspělý a efektivní, že narušuje globální ekonomiku a
- 1:27:23způsobuje masovou nezaměstnanost nebo radikální koncentraci
- 1:27:27bohatství. Za 5 nepřímé dopady.
- 1:27:30Svět se velmi rychle změní díky veškerým novým technologiím a
- 1:27:34produktivitě, které nový stát vytvoří.
- 1:27:36Mohly by být některé z těchto změn radikálně destabilizující?
- 1:27:42Myslím, že by mělo být zřejmé, že jde o nebezpečnou situaci.
- 1:27:45Správa kompetentního poradce pro národní bezpečnost adresovaná
- 1:27:48hlavě státu by pravděpodobně obsahovala slova jako
- 1:27:52nejzávažnější hrozba pro národní bezpečnost, které jsme čelili za
- 1:27:56poslední století. Možná, kdy vůbec zdá se, že by
- 1:28:00se na to měli soustředit ty nejlepší mozky civilizace.
- 1:28:03Lidstvo se musí probudit a tento esej je pokusem možná marným,
- 1:28:08ale stojí za to to zkusit. Otřást lidmi a přimět je k
- 1:28:12procitnutí, abych nebyl špatně pochopen.
- 1:28:14Věřím, že pokud budeme jednat rozhodně a obezřetně, lze tato
- 1:28:19rizika překonat. Řekl bych dokonce, že naše
- 1:28:21vyhlídky jsou dobré a na 2 straně nás čeká o poznání lepší
- 1:28:26svět. Musíme však pochopit, že jde o
- 1:28:28závažnou civilizační výzvu. Tolik z úvodu.
- 1:28:34Eseje zveřejněné na stránkách darioamodeji.com.
- 1:28:38Nevyznívá to úplně řek bych o optimisticky?
- 1:28:42Prostě tam popisuje reálně ty možná rizika s dalším rychlým
- 1:28:46rozvojem umělé inteligence, ale i cesty, jak jak je řekněme
- 1:28:50nějak mitigovat, snížit, ať už se to týká teda toho, že bude
- 1:28:55autonomní umělá inteligence, která bude mít nějaké své své
- 1:28:58cíle nebo zneužití té umělé inteligence, ať už.
- 1:29:02Jednotlivci já nevím VK výrobě biologických zbraní nebo
- 1:29:06nějakými skupinami, ale i potom ty nepřímé dopady, třeba na
- 1:29:10společnost, to znamená ekonomické dopady a další.
- 1:29:13Ale zajímalo by mě, co co si z té eseje bereš ty především,
- 1:29:16protože to je i nějaká nějaký měřítko jako nálad v tom oboru
- 1:29:20mezi těmi CEO. Mě asi nejvíce zaujalo to, že
- 1:29:24tam dario a more popisuješ si myslíš, že AI je nevyhnutelnou
- 1:29:26technologií, ke které jsme jako 1 museli dorazit už od doby, kdy
- 1:29:30jsme začali používat nástroje? Jako jako v to v době kamenné to
- 1:29:34bylo něco, co rezonuje, jak mezi tou optimistickou stranou věcí,
- 1:29:38tak tak i na té e pesimistické stránce máme třeba esej o tom
- 1:29:41jako jak je, jak je technologie špatná a že vlastně ale je
- 1:29:44nevyhnutelná. Takže jakmile se s tím jsme s
- 1:29:45tím 1 začali, tak se tam dostaneme.
- 1:29:48Možná zajímavý detaily, že john von Neumann hodně slavný vědec,
- 1:29:51vlastně rozkročen mezi jako matematikou, fyzikou, ekonomií,
- 1:29:55teorií her. 1 z nejchytřejších lidí asi 20.
- 1:29:58Století, tak ten právě měl hrůzu z toho.
- 1:30:00Že tím, že jsme postavili počítače v té době, kdy on je
- 1:30:03začal konstruovat 1 digitální počítače, tak, že vlastně je je
- 1:30:07nevyhnutelné, že 1 se dostaneme do toho stavu, kde jsme dnes AA
- 1:30:10to byla asi jeho největší hrůza, kterou měl.
- 1:30:12Takže je zajímavé historicky paralelní.
- 1:30:15To, že dario dneska vyjadřuje možná podobné podobné strachy a
- 1:30:19ale i aspirace. Já nevím, co konkrétně se z toho
- 1:30:23vzít. Já nevím, jako nakolik je to
- 1:30:24materiál, který je vlastně jako intelektuální.
- 1:30:27Nějaký nějaké ohodnocení toho stavu, ve kterém jsme a zároveň.
- 1:30:30Na kolik je to vlastně jako marketingový materiál?
- 1:30:32Antropiku, takže mě se to špatně rozlišuje, ale ta nevyhnutelnost
- 1:30:35je zajímavý aspekt. Já.
- 1:30:37Bohužel si myslím, že je to víceméně pravda, že jakmile se
- 1:30:39ukáže, že něco je možné, tak lidé typicky najdou cesty, jak
- 1:30:42se tam dostat, že to jsme viděli IS tím, že když někdo VAI udělal
- 1:30:46nějaký pokrok třeba reasing modely, tak najednou se ukázalo,
- 1:30:50že existuje hodně cest k tomu samému cíli, když víme, že ten
- 1:30:52cíl je dosažitelný, takže já se bohužel bojím toho, že.
- 1:30:56Ta ta budoucnost, kde? A já je hodně silná.
- 1:30:58Ekonomického dominantní a dokáže vlastně provádět veškeré
- 1:31:02intelektuální činnosti. Co člověk co nejlepší lidé
- 1:31:05pravděpodobně levněji, ale minimálně v té samé kvalitě AA
- 1:31:08vyšší, že to jako něco, na co se musíme připravit a že k tomu
- 1:31:10dojde. Já si nejsem jistý, jestli jsou
- 1:31:13způsoby, jak tomu zamezit. On tam teda zmiňuje i něco, co
- 1:31:16čím jsme spolu bavili a na čem jsi pracoval kdysi v antropicu a
- 1:31:19to je to já. Jako si tution jako cesta jak
- 1:31:22regulovat ty modely, to znamená jim zvnitřňovat.
- 1:31:25Nebo v tom v té závarečné fázi. Je učit a dávat jim určité
- 1:31:29hodnoty vlastně zapékat je do těch modelů, jak ty říkáš, tak
- 1:31:33vyplývá ti to stále jako ta ta cesta k tomu, jak zvyšovat
- 1:31:37bezpečnost. Minimálně velká část té cesty.
- 1:31:39Já si myslím, že ve většině scénářů, ve kterém třeba
- 1:31:42používáme kód opus 4 6, tak on se jako chová hodně dobře,
- 1:31:47vlastně tak morálně, jak by chtěl, aby se choval teď.
- 1:31:50Otázkou je, že kritických scénářích nějakých jako
- 1:31:52skulinkách toho možného tréninku, jestli se nenachází
- 1:31:55nějaké režimy, kde nějaké katastroficky selže.
- 1:31:57Já jsem historicky pracoval na hodně jednodušším problémům,
- 1:32:00adres reálný útoky, což jsou obrázky, které úplně šíleně
- 1:32:04matou neuronové sítě. Od těch nejmenších až po ty
- 1:32:07nejpokročilejších. A nikdo neví jak se jich zbavit.
- 1:32:10My dokážeme najít obrázky psů, které pro člověka vypadají jako
- 1:32:13pes, ale pro ten AI model působí jako třeba útočná puška a ta
- 1:32:18samá chyba zmatek ten nejmenší model, který si uděláme v rámci
- 1:32:21střední školy nějaké v rámci nějakého projektu až po třeba
- 1:32:24kóda zřejmě nebo modely od opray i, což je podle mě dobrá ukázka
- 1:32:28toho, že jako zajistit to, že ten model nechybuje v nějakých
- 1:32:31šek extrémních scénářích, je těžké i na těch nejjednodušších
- 1:32:34úlohách, které si dokážeme představit, což je rozeznat psa
- 1:32:36jako psa na obrázku. To mi nedává dost velkou jistotu
- 1:32:39v tom, že v těch komplexnějších a důležitějších scénářích, jako
- 1:32:41to je jako je třeba nějaké rozhodování pod tlakem v
- 1:32:44kritických scénářích, je něco, co umíme vyřešit.
- 1:32:46Takže ten problém toho alliintu toho srovnání hodnot člověka
- 1:32:50nebo lidí nebo lidstva z umělou inteligencí je podle mě v něčem
- 1:32:54problém, který se čím dál tím více řeší.
- 1:32:56Je čím dál tím vyřešenější v těch typických scénářích, ale je
- 1:32:59možné, že existují ty extrémní vzácné režimy, které jsou
- 1:33:02potenciálně hodně důležité, protože v nich to může selhat AV
- 1:33:04nich. To může být kritické, ke kterým
- 1:33:06se nedostáváme. Takže já jsem hodně otevřený
- 1:33:08tomu, že má to potenciálně prozaické jednoduché řešení
- 1:33:11možná. Malé kroky v interpretabilitě AV
- 1:33:14návrhu těch dobrých nosičů AV dobrém.
- 1:33:16Tréninku a monitorování chování tamorelu, takže dokážeme najít
- 1:33:19nějaká efektivní řešení a je tam určitě veliký pokrok, ale pořád
- 1:33:24se bojím těch kritických scénářů, kdy ty hodně vzácné
- 1:33:27extrémní jevy, mohou ty modely úplně vyředit z provozu a
- 1:33:29poškodit je. Pořád fungují, lidé jsou schopni
- 1:33:32ty modely vlastně zbavit jich bezpečnostního tréninku
- 1:33:35relativně rychle. A to je něco, co by se podle mě
- 1:33:38nemělo stávat na trajektorii, kdy tady ten problém efektivně
- 1:33:41řešíme. Je to čím dál tím těžší najít to
- 1:33:43je, to je pravda, ale lidé jsou to pořád schopni, což je
- 1:33:46zajímavé. Ty popsané hodnoty proto i jak
- 1:33:49konstitution třeba od anterpicu vlastně publikuje pod volnou
- 1:33:53licencí. Teda je nějaká snaha mezi těmi
- 1:33:56velkými vývojáři? V tomhle táhnout za za 1 lano,
- 1:34:01aby se podařilo ten problém vyřešit, protože v tom teda já
- 1:34:03osobně vidím jako naději, že že tohle je důležitá věc, aby.
- 1:34:07Já dost věřím antropiku, jeho vedení.
- 1:34:09Já si myslím, že z těch společností je určitě pro mě
- 1:34:11nejoblíbenější a věřím nejvíce tomu, že to myslí vážně s
- 1:34:15těmihle těmi věcmi, že hodně těch jako jeho veřejných akcí
- 1:34:17ukazuje, že se snaží hodně prioritizovat bezpečnost, což je
- 1:34:20podle mě dobrá strategie, jak komerčně tak obecně pro lidstvo,
- 1:34:23což je super a myslím si, že tady to sdílení je dobrá ukázka
- 1:34:26ukázka toho teď. Otázka je, na kolik je to
- 1:34:29problém nějaké koordinace mezi hráči, což určitě na nějaké
- 1:34:32úrovni je a na kolik je to jako těžký technický problém, který
- 1:34:35neumíme vyřešit, že protože. Je možné, že i kdyby všichni ty
- 1:34:38hráči spolupracovali co nejvíc, to jde.
- 1:34:39Sdíleli všecky financ sdíleli konstituce pro ty modely, tak
- 1:34:42pořád je to jako technický těžký problém, který nemáme vyřešený.
- 1:34:46Zrovna, abych se vrátil k tomu jednoduchému případu.
- 1:34:48Ty adverserální útoky na ty malé modely.
- 1:34:50To je problém, který o kterém víme 12 let, je na něm OO něm
- 1:34:53napsáno asi 10000 vědeckých článků a nikdo nemá řešení a to
- 1:34:56je i něco, co by se dalo, kdybychom ho vyřešili, tak ho
- 1:34:59snad dopublikujeme. Je z toho relativně velká
- 1:35:01vědecká sláva. Je to jako zajímavá věc AI tak
- 1:35:03jsme nebyli schopni jako jako komunita nebo jako vědecká obec
- 1:35:06najít to řešení, což je dobrá ukázka toho, že nějaké věci jsou
- 1:35:10relativně jako technicky české, i když věnujeme hodně.
- 1:35:13Úsilí AA výpočetního výkonu a čehokoli tomu, abychom to
- 1:35:17vyřešili, takže ten ten problém toho allimentu může být nějaký
- 1:35:20prozaický problém. Koordinace mezi společnostmi, a
- 1:35:22když underbig dát dobrou konstituci jaminy a tak to bude
- 1:35:25fungovat lépe. Ale je také možné, že to ještě,
- 1:35:28že je to zároveň pořád nevyřešený technický problém,
- 1:35:30který potřebuje další výzkum k tomu, abychom se dostali k tomu
- 1:35:33řešení. Zvědavá Stanislav ford,
- 1:35:35spoluzakladatel společnosti a hlavní vědec této firmy, já moc
- 1:35:39děkuju. Moc, díky za pozvání.
- 1:35:41Díky za tvůj čas a budu se těšit někdy příště.
- 1:35:43Vše a to už je z dnešního cajgu všem díky, že věnujete pozornost
- 1:35:47respektu našim našim článkům, jejich audioverzím i těmto
- 1:35:51podcastům, jako je cajk guist, které by nevznikaly bez vaší
- 1:35:54podpory. Díky, že si předplácíte i
- 1:35:56kupujete i deník respekt na slyšenou se těší Štěpán
- 1:35:59Sedláček.