Latest / Verbos: AI og Softwareudvikling / AlphaDev: DeepMinds Nye Sorteringsalgoritme 👨‍💻 AI, Reinforcement Learning, Assembly 🔥 Verbos EP #13

Transcript

AlphaDev: DeepMinds Nye Sorteringsalgoritme 👨‍💻 AI, Reinforcement Learning, Assembly 🔥 Verbos EP #13 · Verbos: AI og Softwareudvikling

0:00
Hej allesammen og velkommen til hvad bruges podcast nummer 13 i
0:03
den her episode skal vi snakke om et nyt break through, Der er
0:07
lavet indenfor den gode AI verden, og Det er selvfølgelig
0:12
Det er noget der ikke er lige så sexet som alt det her.
0:15
Large language model halløj, der foregår i øjeblikket, men hvis
0:19
man er lidt nørdet, så er det stadig rimelig sexet ved at
0:22
påstå, for Det er nemlig det gode deep mind, det originale
0:27
research lab indenfor kunstig intelligens deepmind.
0:30
Som har opfundet en ny eller kan vi sige trænet?
0:34
En ny algoritme er det vel i virkeligheden, som er en en ny
0:38
sorterings algoritme, som er hurtigere, end hvad man hidtil
0:41
har set? Og og det?
0:45
Lyder måske lidt tørt når man tænker på at Der er mange der
0:49
snakker om agil i øjeblikket, men Det er faktisk ret ret juicy
0:54
stof det her og det. Det får nok lidt mindre
0:57
opmærksomhed end det egentlig. Altså det fortjener mere
1:00
opmærksomhed end de får. Jeg tænker Jonas, kan du ikke
1:03
bare lige hurtig flyves ind på hvad der foregår?
1:07
I deepmind og sorterings algoritme land.
1:11
Så de blinde. Det er som du siger grand old
1:15
indenfor AI, og hvis Der er nogen, der måske har set den her
1:19
alpha go. Dr dokumentar hvor at deepmind
1:25
udvikler med deres alpha zero algoritme en reel forskning
1:29
learning model, som Det er helt vildt god til at spille det her
1:32
spil. Go som er Jeg tror Det er en
1:34
stor japansk ting. Det der spil.
1:37
Nå men det Det er Sådan noget. Det er vildt komplekst.
1:40
Det er mere komplekst end skak og og så vinder den over
1:43
verdensmester så det Der er sket nu Det er at de har brugt den
1:48
samme type forsknings learning metode til at spille et spil som
1:56
de så kalder for. Det her, de er simple game og
2:00
det lyder Det er Det er mega nørdet, ikke fordi.
2:04
Okay, så dem der måske kan kan høre den sammensætning af ord.
2:09
Simple, Det er jo de her cpu instructions som når man skriver
2:15
et programmeringssprog som for eksempel c plus plus eller noget
2:17
andet, og man compiler det ned, så compiler den her compiler ned
2:20
til noget simple sprog og så tager en assembler, assembler
2:25
sproget og laver maskinkode altså nuller og etter og den her
2:30
den forskning lonning løsning her den har så spillet spillet
2:34
find en af de bedste assembly moves ligesom på et skakbræt.
2:40
Til at løse den her sorterings opgave, altså.
2:44
Det man kan Det er Sådan forestille sig Sådan mentalt i
2:46
hovedet, at Der er en masse veje den kan gå ikke så kan den bruge
2:50
den her instruktion, så kan den putte den her på og Det er Sådan
2:52
en sekvens af instruktioner som cpu'en arbejder med.
2:56
På mange måder er det ret intuitivt at at det her er en en
2:59
Sådan mega god bliver en forskel learning case, men at den så
3:04
kommer op med en sorterings algoritme Der er på Sådan kørte
3:09
hvad? Hvad det rækker af værdier kan
3:12
sortere op til 70% hurtigere end stiller til start.
3:17
Det er Det er mig, og Det er faktisk allerede og det det Det
3:22
var Sådan helt for mig var Sådan helt wow Det er allerede en del
3:26
af c plus plus kort library, så det vil sige at at det her bare
3:32
Det er også udgivet som artikel i nature.
3:34
Det har bare instant impact ikke bare alle ms go home så så Det
3:39
har bare sortering af noget der. Der sker.
3:44
Hver dag i datacentre trillioner af gange i minuttet eller hvad
3:50
man altså. Jeg ved ikke engang hvor står
3:52
det. Det er helt vildt meget.
3:53
Altså man kan sige Der er ret mange der sorterer tal, altså
3:56
lister, af tal ting og sager. Sorterings algoritmen Sådan
4:00
fundamental ting ind for alle former for øvrige algoritmer, så
4:04
Det er Sådan den low level algoritmen kan man sige ikke så
4:07
det her, Det er jo bare Det er jo helt vildt crazy fedt altså
4:12
så Det er jo ja og min blå Jeg synes også Det er sindssygt det
4:16
her. Ved at man kan du ved det her,
4:18
Det er bare en en. En ny teknologi eller en ny
4:22
algoritme som er opfundet, og så slipper den bare IC plus plus
4:26
library altså Sådan. Altså Det er bare nå okay, så
4:30
opdaterer vi lige bare lige plus plus compileren og så går det
4:34
bare vanvittigt meget hurtigere altså vi prøver det her Det er
4:38
LVM den her compiler sweetheart altså Sådan et.
4:44
Lad os framework for at lave compilere, og det ligger ligesom
4:47
Sådan som jeg forstår det, så har de lagt det ind i det.
4:49
Det vil sige det. Jeg tror nok Det er ikke kun c
4:51
plus plus der ligesom benefit er det, men Der er nogle andre ting
4:53
fordi Det er så fundamentalt en ting.
4:57
Inden for for hvad hedder det? Ja for computer science, Jeg er
5:03
ikke sikker at påvirker andre sprog der også bruger LVM men
5:07
men c plus plus er det i hvert fald.
5:08
Allerede i skriver de, at det havde været Sådan et eller
5:12
andet, hvis der var et research lab inden for et eller andet.
5:15
Du ved medicin eller et eller andet biologisk biokemi eller
5:19
noget som jeg ikke ved en skid om der havde opfundet et eller
5:21
andet. Du ved breakthrough, så er det
5:23
bare Sådan Vi har fundet det her breakthrough, og Det er bare
5:25
vanvittigt og det kommer til at revolutionere hele verden, men
5:29
vi kan først sende det på markedet om om 30 år, ikke?
5:32
Ja præcis, Sådan er det bare ikke i software land altså, og
5:37
det synes jeg selv er ret crazy ikke også?
5:40
Det er bare Sådan de har. De har formentlig haft det her
5:42
paper i review nature i ret lang tid ikke?
5:45
Og det vil sige altså Det er jo ikke noget der lige det udgivet
5:48
her for for for ikke så lang tid siden ikke så Det er jo ikke
5:51
noget der Sådan. Altså jeg.
5:56
Jeg ved ikke om de har fået resultaterne eventuelt i review
6:00
og de får lov at implementere det IC plus plus, men jeg
6:03
forestiller mig de ligesom har fået det lidt sideløbende med
6:06
det her paper skulle review og Sådan nogle ting for ligesom at
6:08
gøre det tilgængeligt hurtigt som muligt ikke?
6:10
De er også fordi det her med. At Det er sikkert noget som
6:14
altså Google. Jeg tror helt ærligt Jeg tror
6:17
man kan se det på strømforbruget, altså Sådan når
6:20
man når man implementerer det der og ligesom og ruller det ud,
6:23
hvis Det er nok ikke Sådan bare rulle det ud alle steder.
6:26
Man skal ligesom reklame og Sådan noget, men Jeg tror
6:28
simpelthen Det er noget, hvis man ligesom forestiller sig at
6:31
man bare kunne rulle ud et helt datacenter på alt Der er c plus
6:33
plus koden, så man kunne se det på strømmen som strømforbruget
6:37
er datacenter for den her algoritme og så efter ikke Det
6:41
kan være Sådan og og Det er sjovt det der med, fordi Der er
6:43
jo mange der ikke tænker på. Deep learning research og Sådan
6:48
computer science research på den måde der, at Det er noget, der
6:51
rent faktisk kan have en impact på den måde ikke Det er på en
6:54
eller anden abstrakt for folk at forstå, hvorimod de her larch
6:58
mødes og generative og Sådan. Det er meget Sådan mere Sådan
7:01
wow ikke men fuck hvor er det sindssygt altså det de kalder
7:06
den jo alfa deve. Ja Det er en lidt spiller af
7:10
simple game. Måske interessant prøver Sådan
7:14
at prøve at snakke lidt mere om Sådan den her metode de har
7:16
brugt til at udvikle det her, fordi nu har vi jo begge 2 lavet
7:20
lidt research op til det her og og har prøvet ligesom at forstå
7:25
hvad hvad de har gjort for at få det her til at ske og du sendte
7:28
mig en video med en gut der hedder west roth som vi
7:31
eventuelt lige kan linke til II shoo til her på podcasten, men
7:36
han forklarer jo han går fra en rigtig fin gennemgang af det her
7:39
paper og formidler et rigtig godt.
7:43
Det fungerer altid bare lidt bedre.
7:44
Det der med når man har nogen til at forklare end de har
7:46
papers, ikke Sådan en god gennemgang af det og han og han
7:52
er Sådan og han synes egentlig han brækker det godt med det her
7:54
med at. De har i virkeligheden taget,
7:58
man kan sige, Der er en en, man kan sige, Der er en approach for
8:01
at forbedre investerings algoritme det, og Det er at
8:04
forbedre de algoritmer, man allerede kender altså.
8:08
Bubble sort Jeg er ikke ekspert ekspert på alt sorterings
8:12
algoritmer, men der findes sikkert en en del forskning
8:15
derude, som har taget alle mulige forskellige.
8:18
Hvad skal man sige algoritmer i brug?
8:21
Og 1 1 1 den Sådan mest menneskelige approach jo ligesom
8:24
være og sige hvad er det, og hvordan kan vi forbedre det der
8:26
allerede er? Men der har der virker det som
8:29
om at deepmind her, de har ligesom valgt at sige okay fuck
8:33
det, vi gør lige steppet længere ned til et sted, hvor der ikke
8:37
er særlig mange der kigger særligt tit, og Det er nemlig i
8:40
af simple land altså det her ubehagelige sted som som Der er
8:44
meget få mennesker. Der faktisk har lyst til at
8:47
komme ned, fordi Det er et en assemblerkode.
8:50
Det er vel i virkeligheden det der ligger under Sådan noget som
8:53
c og c plus plus. Og altså Det er Sådan det
8:56
tætteste måske Det er jo maskinkode så vidt Jeg kan
8:58
forstå ikke helt, men tæt på tæt på ikke er i hvert fald det
9:02
sidste inden du lige rammer maskinkoden og Det er et
9:05
ubehageligt sted at være fordi der kommer du tæt ned på
9:09
metallen og du skal eller metallet og du skal.
9:12
Virkelig altså Der er ikke særlig meget der bliver gjort
9:14
for dig. Du skal sgu selv holde styr på
9:16
memory og registre og instruktioner og så videre, så
9:20
så Det er et et ubehageligt sted for mennesker at være, og derfor
9:23
er der heller ikke særlig mange mennesker der kigger derned så
9:25
tit. Og der har deepmind så tænkt.
9:28
Gad vide om Der er nogle muligheder for ligesom at lave
9:30
noget research på det her niveau i stedet for?
9:33
Og det de har gjort, så vidt jeg forstår forstår Det er ligesom
9:35
at tage de her. Assembly instruktioner, du må
9:40
lige rette mig Jonas, hvis jeg hvis du hvis du hvis du har et
9:43
eller andet siger helt off, men de tager simpelthen de her
9:45
simple instruktioner og laver som Sådan en form for actions
9:50
til 1 1 reinforcement learning agent altså Sådan en en action
9:54
eller eller også laver de det til agenter, hver action eller
9:58
hver operation. De sætter i hvert fald en eller
10:01
anden form for involvement og en eller anden form for agenter op,
10:03
som ligesom kan bruge de her instruktioner til at løse de her
10:07
sorterings alkohol altså. Sorterings problemer, og så
10:12
bliver de de her instruktioner og sekvensen af de her
10:15
instruktioner ligesom rewarded for hvor hurtigt de ligesom
10:19
ender op med at sortere en algoritme.
10:22
Og det, det leder til til nogle ting som eller det leder har så
10:29
åbenbart ledt til et resultat som som som ligesom er.
10:34
Utrolig en, altså ikke særlig intuitivt for mennesker.
10:39
Ligesom da alpha go deres alpha go vandt verdensmesterskabet
10:44
tror jeg nok Det var II alpha go der havde den også det her
10:47
berømte 37, hvor den ligesom gjorde noget hvor alle var tænkt
10:51
Sådan der. Okay hvad laver den?
10:52
Den er helt den er helt væk den her gut, men nu fordi det
10:55
virkede så en Counter intuitivt for professionel go spiller at
10:59
at man ligesom vil lave det her move, men så viste det sig så at
11:02
Det var en del af Sådan en større plan den der super human
11:08
alfa go algoritme havde. Og så næ og så nåede den det
11:12
bare og tog ham der verdensmesteren eller et eller
11:14
andet i gå ud. Og det virker som om Det er lidt
11:19
af det samme de har gjort her. Altså de har ligesom.
11:23
Og bare ligesom i assembly land, altså de har.
11:26
Fået den til at lavet en form for enviroment, en form for
11:31
spil, som bruger de her simple instruktioner til at løse de her
11:35
sorterings problem, og der har de ligesom fået den her
11:37
algoritme til at komme frem til Sådan en lidt Counter intuitiv
11:40
sekvens af instruktioner. Som viser sig at være hurtigere
11:45
end det mennesket, ligesom Sådan.
11:49
Har kunne komme op med. Og Det er.
11:54
Det er sgu vildt nok, så så Sådan som jeg forstår det spil
12:00
som de har sat op fordi Det er jo Sådan med reel forskel
12:02
lønninger, hvis bare man kan tænke i spil så så kan man
12:06
ligesom definere et et problem som en reinforcement learning
12:09
algoritme kan løse. Der skal altid være en eller
12:12
anden ward og der skal altid være et eller andet Google.
12:16
Og der skal altid være et eller andet element, som er Sådan
12:19
nogenlunde det det det bedste scenarie for at blive en
12:22
forskellen. Det er når miljøet er Sådan.
12:25
Fight. I hvert fald teoretisk.
12:29
Så kan der være mange udfaldsrum altså mulige kombinationer
12:33
ligesom i skak og og det her go spil, som er altså større end
12:37
antallet af atomer i verset. Alle de der ting der, det ved vi
12:40
godt. Men, men det skal ligesom på en
12:43
anden måde have nogle fastsætter regler, som som kan bygges op
12:46
til noget. Det er Sådan en rigtig god case
12:48
for reel forestilling, og Det er så det de har gjort det her ved
12:51
at sige, jamen, du har de her instructions.
12:53
Det er lidt ligesom du kan sige du kan flytte bunden hertil ikke
12:55
du kan flytte kongen her og den kan gøre Sådan at den kan gøre
12:59
Sådan. Og så har du de her n cookies,
13:02
og du bliver forwardet ud fra Der er så 2 ting de blev
13:06
beordret ud fra. Det er det her med hastigheden
13:09
selvfølgelig, men også korrekthed selvfølgelig IIII
13:13
algoritmen sorteret og Jeg tror det, men jeg ved jeg ved det
13:19
ikke med sikkerhed, men Jeg tror de.
13:23
Reviewer korrekthed på en skala og ikke bare nuller et, for
13:28
eksempel ikke Sådan så, at de på en eller anden måde har Sådan.
13:33
Måske har din intuition om, at at hvis man reporter på på en
13:37
skala som noget kontinuerligt dagene en art, så kan man måske
13:42
hjælpe dem til, ligesom at bruge Sådan en risik til, at når den
13:46
får nogle Awards, der alligevel er de ikke lave de måske tættere
13:50
på end de er på nul jamen så kan, så kan den måske godt se,
13:53
at Der er noget af det jeg gjorde her, som var godt for for
13:56
det, og så lærer den på en eller anden måde.
13:58
For nogle gange så kan det der forskning, der har Sådan noget
14:00
binært udfald. Det kan godt blive rigtig svært
14:03
at optimere på. Fordi der ligesom ikke rigtig er
14:05
nogen hovedstykker. Den kan få tilbage på samme
14:08
måde, så hvis den havde noget kontinuerligt at lære af de der
14:11
report ting. Det er Sådan mit space på en
14:17
eller anden måde, så Det er søgbare space.
14:19
Nu snakker vi bare ikke. Det er som om Vi er os der har
14:22
opfundet det. Ja, Vi er jo ikke eksperter i
14:25
vil en forskel lønning skal lige siges derude.
14:29
Men men ja jeg. Jeg tror Det er Sådan noget i
14:31
den dur ikke? Altså det vil jo give god
14:33
mening. Det er jo stadig en loss
14:35
funktion som vi kender det den her funktion.
14:37
Den er bare ligesom vendt om altså Det er i stedet for at
14:39
løse og det noget positivt ikke, men Det er stadigvæk en eller
14:43
anden form for difference. Derfor kalder man den bare web
14:46
ikke har stadigvæk en lærings algoritme som opdaterer en eller
14:52
anden vægt. Det er ikke fordi det på den
14:55
måde Sådan er meget anderledes end det andet, men det.
14:59
Men Det har bare et andet flow, nogle andre innovationer, det
15:02
her miljø der ligesom styrer det.
15:04
Jeg tænker også egentlig når man tænker over det, så er er simple
15:07
kode et ret godt environment for reinforcement learning, som
15:11
altså hvis man ligesom med de karakteristikker, du ligesom har
15:14
givet af det det her med at de har godt af en altså ren formål.
15:17
Første løsning kan godt lide Sådan en relativt veldefineret
15:20
enviroment, som ikke er alt for open ended kan man sige og og og
15:26
og og og og og det Der er det interessante ved det her
15:28
sorterings problem. Det er, at man kan jo bare
15:30
generere data, altså Det er jo ikke noget med du skal ud og.
15:33
Få mennesker til at lægge et eller andet eller reagere eller
15:36
reward altså Sådan et eller andet.
15:38
Du kan jo bare generere lister som ikke er sorteret, kan man
15:41
sige ikke og så og så kan du bede 1 1 1 den her algoritme om
15:44
ligesom at generere simple instruktioner som ligesom
15:46
sorterer det. Og jeg tænker egentlig Sådan.
15:51
Hvad? Hvad er egentlig?
15:54
Hvad skal man sige, hvorfor skal det?
15:57
Hvorfor? Jeg kan.
15:58
Altså nu er jeg simpelthen ekspert overhovedet, men jeg
16:01
tænker Sådan, umiddelbart virker det til, at den her måde at søge
16:05
efter optimale algoritmer. Godt kunne bruges til andre
16:10
algoritmer også, altså Sådan andersens klassiske.
16:13
Det tror jeg også at de det gør de også i det her paper de.
16:17
Det sortering er ikke det eneste de de finder også optimerede
16:20
hash, algoritmer og eller hashing algoritmer og ting og
16:24
sager. Altså så jeg de udforsker flere
16:28
forskellige typer af algoritmer. Det skal også siges.
16:30
Der er også noget med, at de der resultater der de holder rigtig
16:33
godt på kortere sekvenser, men når du Norge og Sådan noget
16:36
250.000 sekvenser så benefit ved at bruge den løsning.
16:40
Det bliver det, det bliver mindre, men de har også brugt
16:43
mere tid, tror jeg på ligesom at træne den til de her til til den
16:48
her sorterings alkohol fordi de så Det var den der havde mest
16:51
impact, altså hvis de kunne få en løsning der.
16:56
Men Jeg tror simpelthen at at der vil være mange applikationer
16:59
indenfor, for at altså. At finde algoritmer altså det.
17:03
Det skal vi jo også sige det det her, fordi det synes Jeg er
17:05
interessant i sig selv. Det er jo ikke vi vi Jeg tror Vi
17:08
skal. Vi skal tage Vores opfinder.
17:12
Du ved genie have et lidt og lægge den lidt på hylden
17:15
efterhånden fordi. Det der egentlig sker her.
17:18
Det er at Der er nogen der leder efter.
17:21
De sandheder der findes derude i forvejen, altså algoritmer som
17:25
er hurtig. Der end andre.
17:29
Og på den måde så kan man også bare sige, jamen Sådan en
17:33
løsning her til ligesom at lede efter den sandhed.
17:37
Det giver rigtig god mening, at den skulle at at ville
17:39
forskellen skulle være meget, meget bedre end mennesker til
17:42
det, så så på et andet tidspunkt, så lader vi nok de
17:45
her ã r løsninger lader det ligesom være op til dem til at
17:50
finde. Det kunne for eksempel også være
17:52
det, skriver de også i deres blogpost, som som jeg også
17:55
læste. At at de tænker også, at det her
17:58
Det kan placeres II andre sammenhænge altså.
18:02
At, måske kan de kan man finde optimeret hardware arkitektur
18:07
for cpu'erne selv. Eller du ved altså Sådan nogle
18:10
ting der ikke at man ligesom har leder efter nogle nogle mønstre
18:14
som er mere optimale til et eller andet ikke?
18:18
Men Der er ligesom en masse mennesker der sidder og designer
18:21
de her algoritmer og designer den hardware, ligesom tænker
18:24
Sådan. Åh nu har jeg bare fundet den
18:25
fedeste lille komponent, som gør den her lille del af min memory
18:29
mere effektive eller et eller andet, men sandheden er bare at.
18:33
De her arkitekturer de her algoritmer og så videre er bare
18:36
så komplekse, at det ligesom er. De mennesker bilder sig ind,
18:42
eller de de laver ligesom kun det de ligesom kan grave spil
18:44
ligesom det de kan forstå og det de kan inducere sig frem til og
18:49
har svært ved ligesom at. Hvad skal man sige?
18:52
Kom ud af den der verden den der forståelses verden Vi har hvor
18:56
at de her modeller at de har reinforcement learning setups.
18:59
De er ligeglade. De prøver bare alle mulige
19:02
mærkelige ting. De har masser af tid, de har
19:04
masser af tid til at prøve ting og sager ikke, og de kan bare
19:07
prøve alle mulige kombinationer indtil de finder et eller andet
19:09
der virker og så kan de. Fuldstændig uden.
19:14
Følelser uden logik uden noget som helst andet end optimering.
19:17
Benhårde optimering bare. Finde det der.
19:23
Man kunne også stille sig selv det spørgsmål.
19:26
Det ville jeg så Sådan sige. OK, Det er super fint, hvis nu
19:28
jeg var klassisk fysiker, ikke? Det er rigtig godt med det der,
19:31
men hvorfor? Hvorfor simulerer man bare ikke
19:34
alle mulige løsninger? For det her space, og så leder
19:38
man og laver en komplet søgning og optimering efter det her i.
19:42
Og så tager jeg bare en super computer og så lader vi den bare
19:44
at køre. Ikke også fordi Det har man jo
19:46
gjort i fysik i mange år. Sikkert ikke.
19:48
Og og Der er det jo bare Sådan, at der ved vi jo godt at.
19:51
Det ved fysisk er også godt, at Der er nogle problemer, som man
19:55
ikke kan lave Sådan et internet service space ud af og så bare
20:00
tromle igennem det, fordi Det er simpelthen.
20:02
Ja, Der er noget med en power law som bare siger gå hjem ikke
20:07
og derfor så. Så Det er der jo egentlig sker
20:10
her. Det er jo at at de her løsninger
20:13
de. De de bruger på en anden måde en
20:16
kombination af den her hurtigst til ligesom at guide sig ind og
20:18
og Sådan udelukke et space af muligheder for for ligesom at
20:24
være noget, der giver nogle reward og derfor så på en måde
20:28
kan de nå nå nå frem til nogle resultater på på en hurtigere
20:34
bedre måde at de kan lære de her resultater på en hurtigere og
20:37
bedre måde, end hvis vi lavede Sådan en, hvor vi bare søgte at
20:39
søge efter løsningen, så var vi måske heldige, at vi fandt den,
20:42
og måske var vi ikke. Det r det tror jeg altså er
20:48
Sådan en applikation, hvor man kan sige i alle de tilfælde,
20:51
hvor vi ikke kan søge os til til optimale resultat, så vil de her
20:57
algoritmer eller de her forskellige løsninger.
21:00
De vil de vil. Det er lidt crunchy nogle
21:03
problemer så vi ikke har coachet for Det var sjovt.
21:06
Ikke fordi Det er ligesom om Jeg synes Der er mange der snakker
21:09
om Sådan en formodning som om du ved Det er der meget fint og Det
21:13
kan spille supermarkeder og så videre og så videre ikke?
21:15
Men du ved Der er ikke det Der er mange der Sådan men Der er jo
21:18
Det kan jo ikke bruges til noget noget pragt altså i praksis kan
21:21
man sige, men alligevel ser man bare at du ved Det er også
21:25
reinforcement learning from human feedback.
21:28
Rimelig game changer hvad hedder det alfa go alfa tensor alpha
21:34
drev? Altså.
21:38
Der er Sådan ok smadder på på reinforcement learning.
21:40
I hvert fald Sådan eller Sådan research setting ikke så Det er
21:43
Sådan. Det kan være noget.
21:46
Det kan altså bare et eller andet som som intet andet kan,
21:49
og Jeg tror også Det er derfor Jeg synes også når man hører de
21:51
der man hvis man lytter til de der research, hvad skal man sige
21:55
podcasts ovre fra fra Californien ovre fra USA, så er
22:00
det også bare de laver alt sammen din formidling, altså
22:02
det, Det er bare Sådan ligesom. Det er bare basics, du skal bare
22:05
kunne blive en forudsætning, hvis du skal være relevant i det
22:08
der spås. Altså ellers så er det ligesom
22:09
go home, men jeg tænker Sådan hvad nu?
22:11
Hvis altså hvis man også tænker det her videre, ikke kunne man
22:14
forestille sig at man kunne træne Sådan rent reinforcement
22:17
learning. Altså Det er måske lidt et
22:20
longshot, måske et lidt for stort space at udsætte de her
22:24
agenter for, men kunne man forestille sig, at man kunne
22:26
træne dem til ligesom at lave et bindeled mellem nu bliver det
22:29
vildt Jonas et bindeled mellem for eksempel python og assembly.
22:36
Altså Sådan så python bare det kørte bare direkte fuldt
22:39
optimeret og MI Sådan nogle underlige juicy eksotiske
22:44
instruktioner, kombinationer af ting og sager.
22:46
Altså Sådan fordi jeg forestiller mig at at python
22:49
bliver komplet ned til c eller bliver internettet ned til c så
22:52
vidt jeg ved og så eller c plus plus og så bliver det så
22:57
compilet til assembly code og bliver eksekveret på computeren
23:00
så vidt jeg forstår det, men kunne man forestille sig at man
23:02
ligesom bare kunne? Lave custom af simply.
23:07
On the fly. Til python koden.
23:10
Altså Sådan du ved skræddersyet custom assembly til whatever
23:14
kode du bare kører. Man kunne jo uden at gå ned i
23:18
det der, hvordan en triple den virker og Sådan nogle ting der.
23:20
Men men så kunne man jo forestille sig.
23:22
At parterne er et sprog og. Sådan bliver et et sprog og
23:27
kunne man bare bruge en translater?
23:30
Altså Det er Sådan en LM der ligesom kan translate mellem 2
23:33
sprog, så kunne du bare sige translate det her til at simple
23:38
og så var det jo en form for en compiler, fordi Det er jo dybest
23:40
set Det er en compiler der gør. Det er at den tager et sprog og
23:44
omformer det til andet. Ja, Jeg tror så.
23:50
Language model ting at. Det er Det er nok rigtigt, at
23:56
man godt vil kunne det. Jeg overvejer det her.
23:59
Prøv at overveje det her ikke du kører noget problem Vores
24:02
problem jo unge Det er, Vi har jo ikke.
24:06
Vi har jo ikke særlig meget simple kode liggende på github.
24:13
Der er ikke Sådan, vi gemmer ikke det Vores Vores.
24:19
Compilet af semble fra forskellige programmer.
24:23
Det er ligesom noget. Der sker, så bliver det til
24:26
maskinkode og så det der intermediate der hedder
24:28
eksempler. Det forsvinder jo så den der
24:31
translation Vi skal bruge. I data.
24:36
Imellem de 2 sprog for at komme ned til Sådan.
24:38
Det har vi bare ikke tilgængeligt, og derfor så har
24:40
vi jo ikke kunnet træne en LM på det data, men måske er der nogen
24:47
der finder på? En løsning, hvor vi kan hårdere
24:51
en masse af de her compilere ting og så rent faktisk lærer.
24:57
At kompilere ting med en eller det tror jeg faktisk bliver en
25:00
ting på et tidspunkt rigtig vildt det her.
25:03
Prøv at følg mig her fordi du ved sorteret lister.
25:08
Altså Det kan du altså usorterede lister kan du ligesom
25:10
bare generere lige så tosset du har lyst til, ikke?
25:13
Og så kan du tage en reel forskel, lønninger eller en
25:17
sætte en reinforcement learning agent til at generere tilfældige
25:20
assembly instruktioner til at få det outcome, som du også
25:25
automatisk generere, så du kan generere uendelig data.
25:29
Du kan. Hvad hedder det label
25:32
automatisk? Og så er det bare simple
25:37
instruktioner og renforcement lyng derudad.
25:41
Jeg forestiller mig, har mig at man har ret meget python kode
25:44
liggende i verden, som kan køre, og som man ligesom kan køre og
25:47
få et output. Og så har man.
25:51
Kode. Og output og så skal du bare
25:55
have 1, 1 1 1 Formel learning agent til at tage python kode
26:00
ind. Banke random assembly
26:03
instruktioner er sted til det får det output.
26:07
Og så report den for at gøre det hurtigt og præcist.
26:11
Ja det kunne godt være så så det kunne være en form for altså
26:15
lidt ligesom reinforced løn med super feedback.
26:17
Du har LM som en del af Det kan man sige, og Det er i øvrigt
26:21
også en en ting, når nu Vi er i reel forskning i snakken at.
26:25
At det som som der jo ligger i det der nu sagde jeg jo på et
26:28
tidspunkt at reformerne problemer rigtig gode hvis man
26:31
har Sådan et finder et environment og et rewards base
26:35
og Sådan nogle ting. Men det som åbner jeg jo
26:37
egentlig har vist mig den der reinforcing, lønning, human
26:39
feedback Det er behøver man faktisk ikke fordi at den her vi
26:44
board model, Det er lidt svært at sige.
26:48
Hvad er dens reward space egentlig er det i hvert fald
26:51
ikke nødvendigvis noget, Der er det samme som næste gang man
26:56
ligesom har trænet den til at reparere du noget eller med det
26:58
næste sæt af data fra mennesker der har.
27:01
Feedback. Kan du følge mig, så Det er
27:03
ligesom Sådan det der space bliver Sådan lidt mere.
27:08
Det bliver lidt mere op for grabs igen ikke at nå jo, men
27:12
Der er faktisk løsninger, hvor man kombinerer det her med noget
27:16
løsning, som kan gøre, at man måske endda også kan komme komme
27:20
ud over det. Det der conference space, det
27:23
synes jeg i sig selv er ret interessant, og det kunne man
27:25
også forestille sig, at Der er nogle problemer, som er er Sådan
27:28
ved at søge på der har den karakter.
27:33
Ja fordi Det er jo i virkeligheden bare Sådan at sige
27:34
hvad for nogle problemer findes der?
27:35
Hvad for nogle? Altså fordi jeg får jeg
27:38
forestiller mig, der findes mange problemer derude, altså
27:40
virkelig mange jeg. Jeg tænker lidt den der python
27:43
til direkte altså forestiller python kode compilet til custom
27:48
assembly som bare jerner derudaf.
27:52
Jeg tror jeg jeg jeg ringer til deep mind her lige om lidt tror
27:57
jeg hvad hedder det? Hvad hedder det?
27:58
Men hvad hedder det man kan sige i den i det her alpha drev der
28:03
har vi jo ligesom en en sorteret, en usorteret liste og
28:07
en sorteret liste. I den anden ende kan man sige
28:09
ikke Det kan man sige. Det er et relativt meget mere
28:12
begrænset space end du ved random python kode med alle de
28:15
libraries der måtte følge med det her og så et eller andet
28:18
output ikke så Det kan godt være der skal Det kan godt være den
28:21
bliver lidt svær at løse. Men men men det Jeg synes også
28:24
Det er interessant det du siger det der med at Det er rigtig nok
28:26
hvad er det der fordi det ja jeg føler også på en måde at at open
28:31
yes reinforcement learning with the feedback.
28:34
Hvor de ligesom modellerer folks vurdering af chat svar og så
28:38
bruger det som reward model. Det er også bare Sådan et forsøg
28:41
på at hacke det der meget Sådan begrænset investment man skal
28:46
have for at for at lykkes med reinforcement learning, fordi
28:49
det de i virkeligheden gør. Det er at de er at de tager med
28:54
den menneskelige opfattelse og reaktion på 1 1 1 stykke tekst
28:58
og så koger det ned til en score.
29:01
Og det virker åbenbart bare pisse godt ikke?
29:03
Og Det er jo Sådan, Det er jo Sådan.
29:07
Ja ja, det skulle interessant også ja.
29:10
Wow wow Det kan være Vi skal nævne også at vi havde.
29:16
Jo jeg ved ikke om om Vi har talt om det også på podcasten,
29:20
men men Det var jo ikke det første resultat af den her
29:23
slags, hvor der var en algoritme der blev opfundet.
29:25
Vi havde jo også algoritmen som blev lavet.
29:28
Jeg tror Det var den der hed alpha tensor som som som jo
29:33
lavede den her. Matrix multiplikationsfaktor
29:38
algoritme som var hurtigere også.
29:42
Og jeg. Jeg tror simpelthen deepmind de
29:44
har sat sig på det der med at de skal bare.
29:47
De skal simpelthen bare udforske det der helt helt vildt, hvor,
29:51
hvor hvor god er det her den her tilgang til tingene til at
29:57
optimere altså computer science problemer i det hele taget.
30:05
Jeg tror Jeg tror de er impact man også kan have.
30:10
Det er et impact. Jeg tror lige pludselig så alle
30:12
dem der sidder og kigger på de der lemmer i dag og Sådan noget
30:15
Det er med så så tager de sgu røven på dem inden deepmind og
30:18
så kommer de simpelthen med noget som som bare bare så har
30:22
de så har de nået til et eller andet hvor de hvor de har
30:26
optimeret selve det at bygge elementerne eller et eller andet
30:30
en eller anden læringsmateriale de måske har fundet ud af og
30:34
hvad ved jeg som er bedre end den vi bruger i dag og Sådan
30:36
nogle ting og så er vi som kan være i din lomme.
30:40
Timer. Altså så kunne man lige
30:43
pludselig forestille sig, at så omkostningerne de kunne, de
30:46
kunne få de omkostninger helt vildt.
30:49
Det kunne jo være fantastisk. Det ville være mejorado.
30:52
Jeg synes også Det er Sådan lidt.
30:52
Jeg synes det det Det er på en eller anden måde.
30:55
Det er jo jeg altså den. Den har jo ikke fået nær så
30:59
meget opmærksomhed den her alfa. Det er jo som den måske burde,
31:04
fordi der ligesom er en anden kæmpe hype eksplosion i gang med
31:08
language models og så videre ikke, men Jeg synes også Det er
31:11
ret cool at deepmind at de bare Sådan.
31:14
Fuck den der hype altså de de de kunne ikke.
31:17
De kunne ikke carols og det kunne den carols altså det synes
31:21
jeg også bare er er båret på en eller anden måde altså research
31:23
balls og så bare være. Vi sad heller ikke fortsætter
31:28
bare ud af den stil der vi tror på.
31:30
Det er superstærkt, men de har jo selvfølgelig altså.
31:33
De har jo også. De har også udviklet go for og
31:35
Sådan så de har jo også gang i landbrugsmodels.
31:38
Ja selvfølgelig altså hallo. Men men Jeg synes Jeg synes det
31:42
Det er sgu balls af dem at de de laver den her grundforskning
31:44
også bare det her med på en anden måde, så er der også en.
31:49
Det er også det Der er smukt ved computer science og data science
31:52
og Sådan noget. Det her med at de her algoritmer
31:54
som så bliver lavet de kan bare chippes.
31:56
Du ved en eller anden opdatering af 1 1 1 c plus plus compiler
31:59
ikke? Der er også bare noget noget, og
32:03
Det er også det, vi ser med Lars sandwich models innovation.
32:06
Der sker der ikke, altså Der er bare noget tilgængelighed af
32:08
cutting edge forskning, så man ikke ser i andre.
32:11
Hvad skal man sige? Research felter altså du, du ser
32:15
jo ikke du har. Vi har fundet et eller andet
32:17
vildt nyt materiale til at. Du ved gør broer meget stærkere,
32:23
eller så kan vi lave. Et eller andet vildt Sådan meget
32:27
Sådan et eller andet ny medicin eller Sådan noget der.
32:30
Det er jo ikke noget der bare lige kommer på markedet lige om
32:33
lidt. Altså Det er jo noget der skal
32:34
ud og der skal testes er det der skal.
32:38
Alle mulige ting, og hvis du skal finde et nyt materiale til
32:41
at bygge broer med, så skal der først lige bygges nogle nye
32:43
broer for det ligesom kommer ud og lever ikke hvor det her.
32:46
Det er bare Der er en eller anden form for.
32:50
Natur i den måde som som som kode og software og Sådan nogle
32:55
ting der fungerer på, så bare gør de her ting.
32:58
Hvad skal man sige den der rate af improvement potential
33:04
improvement som de her ting har gør bare Det er et innovations.
33:10
Innovations mekka. Det er det, men Det er også.
33:15
Det er derfor, at Det er fedt at arbejde i denne industri synes
33:17
jeg også altså Det er, at Der er ikke særlig langt fra video
33:21
search til applikation og til business være liv og alt det
33:25
der, så er det bare her og og skyde en masse engelske termer
33:30
men. Altså det det ja Det er onkel
33:35
super. Hvad tænker du hvad tænker du
33:38
hvad tænker du det næste der? Hvad hvad?
33:41
Hvad er det næste er det? Er det python direkte til custom
33:45
simple? Hvad hedder det modellen eller
33:47
Jeg tror de mine skriver selv noget hvor de ligesom prøver at
33:51
komme nogle som Jeg tror Vi har også haft det her alpha føle det
33:54
her med at. At kunne jeg.
33:57
Jeg har aldrig forstået det der med at kunne folde at proteiner
34:02
protein folding først. Nu ikke altså ja, men men du
34:07
ved, Det er en kæmpe ting og og har altid været et meget tungt
34:11
at simulering og Sådan at løse de der få lidt problemer der nå.
34:16
Der er mange applikationer hvor hvor de kunne komme ud af det,
34:19
men Jeg tror simpelthen det der med at kunne optimere på på
34:24
mikro fysiske strukturer på en eller anden måde.
34:27
Det er jo Det er jo, Det er jo nok, når Vi er den virtuelle
34:30
verden, så er det rart nemt at definere, hvad Der er rekord,
34:33
ikke? Men hvis du skal teste noget af
34:36
den fysiske verden, du skal have et system for at få et feedback
34:40
fra et fra en iteration af af en learning cycle for den data ind
34:46
og reagere på den. Der er et eller andet der.
34:49
Sådan siger mig, at koblingen mellem det der med at få noget
34:53
fysik ind så data i Sådan en reel forskning i en live
34:56
setting. Jeg ved godt, det lyder totalt
34:58
crazy, men men Der er noget nanoteknologi, hvor du hvor det
35:01
tit handler om Sådan noget med at optimere på nogle strukturer
35:03
og nanostrukturer og Sådan nogle ting.
35:05
Jeg tror rent forsikringsløsning har en applikation, der ikke er
35:07
udforsket nu, og Det er jo på hardware, som vi kender det i
35:11
dag også. Prøv lige at overveje det, men
35:14
så vidt jeg forstår det ikke også, så er der en ret stor
35:17
begrænsning i det her med fysiske ting.
35:20
Fordi at de her, hvad skal man sige de her rent?
35:22
Forskellige algoritmer skal jo tit på hvor mange millioner,
35:25
hvis ikke milliarder af iterationer for at de ligesom.
35:30
Bliver bedre end random agtigt og og, og Det er jo der hvor at
35:34
hvis du kan hvor at du skal bruge så meget.
35:39
Hvad skal man sige du skal? Du skal, hvis du skal have så
35:42
mange traditioner i den virkelige verden, så vil det
35:44
tage Sådan noget 1000 år eller et eller andet og og lave det
35:47
samme på den måde ikke? Og Det er jo også derfor, at at
35:50
Sådan folk de laver Sådan nogle fysiske simulations, hvor de
35:53
ligesom kan simulere robotarme, for ligesom at kunne simulere de
35:57
her bevægelser og Sådan noget III altså at køre det så mange
36:02
gange ikke. Ellers kunne man forestille sig,
36:04
at hvis man skulle løse det problem wow det bliver bare en
36:06
det det meste af Det er ikke, men hvad hedder det hvor vi bare
36:09
sidder og? Men så skulle man altså hvis man
36:11
skulle ligesom have den der fysiske.
36:13
Feedback i så stor skala med så mange iterationer, så skulle man
36:17
måske mere tænke i Sådan noget fysisk censor på et
36:20
distribueret. Hvad skal man sige på
36:23
distribuerede skala, som ligesom løser små, rent fysiske young
36:28
problemer for rigtig fysiske du ved observationer konstant hele
36:32
tiden i forskellige. Jo jamen Der er jo også og Det
36:36
er jo det. Man kan også bare forestille sig
36:38
at man man starter ligesom de der babysteps i en en virtuel
36:43
fysisk verden, ikke ligesom Vi har set de der.
36:48
Boston robotics der de de startede jo også med at bare
36:52
okay, hvis Vi skal have algoritmen til at kunne klare
36:53
sig i en Sådan en eller anden fiks agent på på på en gpu ikke
36:58
og så, og så kan man jo få indsendt feedback der.
37:01
Der vil være nogle ting, hvor man ikke rigtig kan simulere det
37:04
fysiske tænker jeg på på en maskine på den måde, men der vil
37:08
nok også være nogle problemer, man kan simulere fysisk og
37:10
Sådan, og så gør jeg allerede i dag, hvor den kan explore ikke.
37:15
Jeg, Jeg tror faktisk Det er de problemer, hvor man er begrænset
37:18
af at man havde brug for en eller anden form for fysisk
37:20
miljø, men også brug for noget feedback fra det Der er et eller
37:24
andet, Der er intuitive siger mig, at Der er Sådan en
37:26
udforskes fase der, og jeg ved godt at opgaven er down ting og
37:29
det der med at kunne få data ind fra den fysiske verden i Sådan
37:33
en skala som min forskning algoritmiske kan bruge af crazy.
37:38
Men altså Vi er jo skøre vi laver elvej ikke?
37:42
Altså vi Vi har i forvejen kæmpe mængder af datacentrene.
37:45
Kina ikke? Vi kunne godt forestille os
37:47
robotter, der gik ud og agerede på Sådan en agents vegne i
37:51
parallelt verden ikke? Og Det er sjovt, fordi på en
37:54
eller anden måde det der med sport.
37:57
Du lærer om det i virkeligheden ikke?
38:00
Mere af data problem end det i virkeligheden er et model
38:03
modellerings problem, altså selvfølgelig også computer, ikke
38:06
computer data problem, men man kan sige, hvad havde l ommer
38:09
været uden internettet. Du ved, hvis ikke der havde
38:14
været alt det tekst man har kunnet indsamle før før
38:16
internettet. Hvad så havde der jo jo, så
38:19
havde der været en masse bøger, men du ved hvem så skulle man
38:22
rende rundt og lave OC er på alle bøger i hvad eller hvad?
38:26
Altså Sådan. Men du ved, Det var også noget
38:29
med de der teknologier er også noget som udvikler sig i takt
38:33
med der ligesom er datagrundlag for at.
38:35
De kan udvikle sig, og Der er nemlig det du siger med bare det
38:38
her med at. Indsamle fysisk data og
38:43
tilhørende feedback på så stor skala.
38:46
Det er jo Sådan et. I virkeligheden er
38:48
dataindsamlings problem, ikke? Men Det er jo de er jo data
38:52
hungrende de der løsninger læringssted.
38:56
Så de skal bare have virkelig meget igennem den der boks der
38:59
og så på et eller andet tidspunkt så kommer der noget
39:01
godt ud af det ikke? Det har jo altid været et data
39:04
problem og skala problemer og data og skala og nu er der så
39:08
selvfølgelig sad tit ikke så det vil det nok være i noget tid.
39:13
Jeg tror ikke at at man får nogle læringsreform rytmer ind
39:16
pludselig der ikke kræver særlig meget data, så lærer de bare
39:18
pludselig helt vildt crazy på ingen data det Der er der noget
39:23
der siger mig, det kommer ikke til at ske, fordi Det er
39:25
ligesom. Tid og og data og et eller andet
39:30
altså der var noget der siger mig at det det tager tid at gro
39:34
noget der rent faktisk er noget værd.
39:36
Ikke så. Wow Det er vildt tiden lever af
39:40
Jonas hold kæft. Og med disse sidste ord, så skal
39:45
vi til at slutte af, tror jeg ikke Vi har lige rundet.
39:48
Jeg kan se ned på min timer hernede kan jeg se vi lige har
39:50
rundet 40 minutter, så jeg tænker Det er et godt tidspunkt
39:53
at at runde af. Men hey alfa dev.
39:59
Super interessant innovation. Er simply reinforcement
40:03
learning. Det, Jeg tror ikke det sidste Vi
40:05
har set til det muligvis hvem ved og hvis man også begynder at
40:09
lave udvikle nye computer arkitektur på den her måde.
40:13
Det kan være det kommer til at løse til, altså også løse nogle
40:16
problemer ILM, spacex og hele computerproblem space så super
40:21
interessant at følge med i den her udvikling.
40:23
Helt vildt men. Lad os så småt sige farvel for i
40:27
dag, hvis i godt kunne tænke jer at støtte Vores podcast derude,
40:30
så skal i hoppe ind på LinkedIn og følge i skal hoppe ind på
40:33
youtube og subscribe. I skal hoppe ind på Apple
40:36
podcast og. Spotify og følge like eller
40:41
andet hvad man kan derinde. Og ellers må i bare have det
40:44
rigtig godt til. Vi ses igen.
40:46
Hey.