Latest / Verbos: AI og Softwareudvikling / #80 - Vi tager temperaturen på AI-hypen og taler DeepSeek-R1 med Mads Henrichsen

Transcript

#80 - Vi tager temperaturen på AI-hypen og taler DeepSeek-R1 med Mads Henrichsen · Verbos: AI og Softwareudvikling

0:00
Helt allesammen og velkommen til hvad bos podcast afsnit nummer
0:02
80 i dag har vi mads Henriksen den gode mads Henriksen på
0:06
besøg. Velkommen til mads.
0:07
Tak. Og Det er ikke første gang du er
0:09
med. Jo vi plejer gerne at hive fat i
0:11
dig når Der er nogle nogle tunge LM ting som vi gerne vil tale
0:15
om, og Det er nemlig lige præcis det vi gerne vil i den her
0:17
episode. Man kan sige den er lidt tour
0:19
del, fordi jeg føler i hvert fald mig og Jonas føler at Der
0:23
er behov for at vi ligesom lige prøver at tage temperaturen på
0:26
hypen omkring alt det her. De her reasoningmodeller som Der
0:30
er begyndt at komme op i forbindelse med overenays relata
0:34
o one. I starten af december, men så
0:36
især også jeep 6 aroh one model, som de udgav her for et par uger
0:43
siden er det jo efterhånden nu her, så hvor de ligesom har,
0:46
hvor de ligesom er blevet mere åbent omkring hvordan man kan
0:48
træne de her reasingmodeller så så det skal vi snakke om i dag.
0:52
Vi skal snakke Sådan lidt om hypen omkring det, kan de tænke
0:55
laver de rigtige reasning, nu må vi se.
0:58
Der kommer nogle holdninger på bordet i hvert fald.
1:01
Det ved jeg, Der er meget stærke følsomme omkring derude, så.
1:05
Så hvad hedder det? Og så skal vi også lige prøve at
1:06
dykke lidt ned i de her konkrete innovationer Der er i selve
1:10
Leipzig i run pay bland andet Sådan den her mixed ekspert
1:15
arkitektur. De kører den her reforce
1:17
learning, algoritme, destilleringsmetoder og Sådan
1:20
lidt godt blandet. Ja så men velkommen til mads,
1:24
Det er godt at have dig med igen.
1:26
Træk sig. Ja og velkommen til også til dig
1:29
Jonas du ja Det er nu er det bare mig der snakker.
1:31
Men ja du er commehost jo. Ja Det kan man godt kalde det
1:35
så. Yes.
1:38
Og det men altså jeg tænkte bare på om vi ikke bare prøver at
1:40
skulle starte hårdt ud og sige Sådan Sådan helt konkret.
1:44
Der kommer det her debat seak paper i one paper her for ja
1:48
hvad er det 2 3 uger siden efterhånden?
1:52
Har det ændret? Din jo måske altså måske jeg ved
1:56
ikke skal vi lige hurtigt give en bare Sådan en 10 sekunders
1:59
intro mads bare Sådan hvis folk ikke har hørt.
2:03
De sidste afsnit med dig eller ikke ved hvem du er.
2:05
Så 1 1 1 intro til mig. Jo mads Henriksen.
2:12
Første gang jeg var med i malebos var omkring dansk
2:15
bibliotek, som jeg lavede en en dansk sprogmodel, som jeg træner
2:18
udelukkende på. Dansk data som egentlig en GDPR
2:24
venlig version af chatbibliotek som som kulkæst snakke dansk.
2:28
Den kan ikke snakke andre sprog. Så Det var egentlig mit Sådan
2:33
cam 2 plagen came og så har jeg bare videreudviklet på den og
2:37
Jeg har lavet væske, som er en dansk portion af af westber og
2:41
Vi har også en dansk tekst i talemodel, som vi ikke har
2:47
udgivet endnu eller ikke kommer til at udgive højst sandsynlig.
2:51
Så vi laver bare. Alt med sprogmodeller og machine
2:55
learning inden for dansk. Jeg skal lige huske at plukke
2:58
din virksomhed også. Ja 7 a. 7 a og Sådan megafedt OK
3:04
lad os bare det jeg tænkte Det var bare godt lige at få plads
3:06
til bare Sådan for en kort skyld.
3:09
Mads siddende du du træner jo lars lang with models har
3:13
forskellige typer modeller. Det er Sådan meget centralt II 7
3:16
AI og alt det du du laver. Siden af det her deep seak og
3:20
one paper kommer ud. Har det ændret din måde at tænke
3:23
på i forhold til hvordan man træner sprogmodeller?
3:29
Ikke Sådan grundlæggende. Vi Vi har jo hele tiden vidst
3:33
at. Hvad skal man sige Sådan noget
3:36
real forcement learning har jo altid været brugt i alle Vores
3:39
modeller, men ikke som Sådan et grundlæggende spænd for at lære
3:45
modellen. Hvad den skal afputte, men mere
3:48
i hvilket format. Altså i hvilken stil den skal
3:51
putte det. Men Det har altid været typisk
3:53
det aller allersidste trin i træningen.
3:56
Det har været Vores realforsmand dirting, hvor man har brugt det,
3:58
man kalder direct colicy optimization.
4:02
Det vil sige du har. Du giver den 2 promps et prompt
4:05
Der er dårligt og en prompt Der er god og så prøver du så at
4:07
dreje den hen mod den skal producere den den gode prompt i
4:12
stedet for. Så det.
4:14
Det er det Vi har brugt min forsmand lønning til Vores
4:16
modeller til indtil videre. Og så kom der jo alle de her
4:20
modeller fra åben jeg uge et og u et pro et miljø.
4:27
Som så har brugt på min forskimmin lønning på en 2 måde.
4:32
Hvor de så egentlig prøver at bruge reenforskel learning,
4:34
inden man giver svaret i stedet for at bruge reportman learning
4:38
til at dreje svaret i den retning, man gerne vil.
4:43
Lige prøve. At forklare det der lidt mere
4:45
fordi i sidste afsnit prøvede i unge og jeg jo at gå ned Sådan
4:49
high level i Sådan vi. Vi tog Sådan et step by step for
4:52
dem der lyttede med sidst fra en blockposten.
4:55
Hvordan hang det Der er et træning sammen og der sker jo
4:58
rigtig rigtig mange ting. Men noget af det betyder, som vi
5:00
netop også er blevet lidt mærke i.
5:02
Det var det her altså det her target for hvor optimering sker
5:05
mod hvad og Sådan noget. Det er ligesom flyttet en lille
5:07
smule. Kan du ikke prøve lige at sige
5:08
lidt mere om det mads. Jo altså.
5:13
Det vil det vil vi have plejet at læne os rigtig meget op af.
5:17
Er et paper fra meta Facebook som alarm af 3 paper fantastisk
5:24
paper på alle mulige måder. De kommer med rigtig mange gode
5:26
ting i forhold til Sådan noget syntetisk data, hvordan man
5:29
skaber det på den gode måde og så videre, som vi også har taget
5:31
rigtig meget til os. En måde det skaber syntetiske
5:36
data. Som man kan verificere Det er
5:39
Sådan noget som matematik. Altså hvis du spørger den hvad 2
5:43
+ 2 jamen så sker, så kan du verificerede svaret skal være 4
5:47
Det kan man være episeret udenfor modellen når den
5:49
producerer det. På den måde, så kan man altid
5:52
kun producere data som. Hvor svaret i hvert fald er
5:56
korrekt givet spørgsmål. Det samme kan du gøre med koder
5:58
og og så videre. Det er lidt sværere, hvis du
6:02
skal bede den om at lave en opsummering af tekst, Der er det
6:07
Der er det sværere at verificere indholdet er 100% korrekt.
6:13
Jeg synes Det er god den det fede eksempel altid det der med
6:16
det der skriv skriv et digt om et eller andet ikke altså.
6:20
Hvor hvor at tingene skriv noget kode der kan det her ikke.
6:22
Det kan man køre og så kan man verificere det med nogle
6:24
impnettasten. Måske?
6:25
Eller et eller andet ikke? Så så larmer 3 peber af rigtig
6:29
godt til synteste eller, men det snakker vi meget om syntetisk
6:33
data i den her. Det her fine toingcplomat, så de
6:37
snakker jeg slet ikke om min forsmand-løkken, så vi snakker
6:39
om hvordan man skaber et et datasæt som har givet et
6:43
spørgsmål. Her kan vi verificere et svar,
6:46
så der kan man Sådan skalerer datasættet op til ekstreme
6:49
mængder, altså flere millioner næsten milliarder rækker.
6:53
Med korrekt data som modellen så kan lære fra.
6:59
Forskellen på på den her fine tuning, som man normalt gør, er
7:02
instruktioner og så ren forcement learning er at.
7:08
Man sætter nogle i stedet for kun at validere.
7:10
Svaret er korrekt, som man gør med den her med det her datasæt,
7:13
så sætter man også nogle andre kriterier op.
7:16
Det er for eksempel, at den ja. Fylde en vis format.
7:21
Den skal altid det første tågen skal altid være et eller andet
7:24
enkelt tågen, og så skal den producere en eller 2 længde
7:28
tekst, så teksten næsten ligegyldig, men den skal bare
7:31
have en eller 2 længde, så skal den afslutte med et nyt kliking
7:34
toppen og så skal den så give det her svar som så kan være
7:38
interesseret. Så optimerer man mere efter hvor
7:40
mange pointen får altså at sige hvis man bliver al formale
7:44
korrekt og hvis man er svaret korrekt jamen så kan det på 2
7:46
point, men hvis den kun får formalet korrekt jamen så får
7:48
den et point så optimerer man mere imod det end end end at få
7:53
kun svaret korrekt og der har det så vist sig at hvis man.
7:58
Sådan kort og godt, hvis den bare producerer rigtig mange
8:02
tokens inden den svarer. Tænker rigtig meget.
8:07
Tænker ja ja så skal vi. Snakke om det om lidt.
8:10
Det skal vi snakke om. Så jamen, så producerer jeg den
8:14
faktisk bedre svar eller i hvert fald svar bedre svar, som vi kan
8:18
verificere er korrekt. Og og nu vi plejer også rigtigt
8:23
tit at sige, at det her tænkeparadigme.
8:26
Det kommer ligesom lidt og inspireret fra det her change of
8:29
though men men så er der jo også det her sjove som vi også læste
8:33
sidst i den der blogpost at en af var det den der dipseq zero
8:37
eller Sådan et eller andet. Den var egentlig trænede, og det
8:40
så de bare. Den kunne jo bare producere
8:42
jeerage topkens indimellem det der også og stadigvæk komme
8:46
super gode gode svar som ikke havde noget med chand of flot at
8:49
gøre nødvendigvis når man læste ned igennem det Sådan i ord, og
8:52
Det er jo lidt en sjov ting fordi.
8:54
Altså så du du siger det bare bare Det er mange tung så er det
8:58
godt er Det er det virkelig der vi?
9:00
Er jamen problemet er. Der er forskel på om.
9:05
Om det skal være human realable, eller om det skal være relevable
9:08
for model fordi tokilsene og alle tokens jo har en eller 2
9:11
semantisk værdi, og Det er også derfor mange af modellerne de
9:15
Sådan language mixer, altså de bruger jer både engelsk og
9:18
kinesisk og så videre. Men Det er fordi de ved at det
9:21
Det er specifikke toden som de producerer.
9:25
Og højst cementisk, fordi i forhold til det det prøver at
9:27
løse og ikke ikke fordi at Vi skal kunne forstå det altså.
9:33
Vi er egentlig vi, vi vi. Vi går kun op i outputtet, men
9:36
hvis den har fundet ud af, at jamen, hvis Jeg kan tænke i
9:39
forskellige sprog, og det giver mig den mest optimale løsning,
9:42
jamen, så gør jeg det bare det. Det er det jo så fikset II dipse
9:47
modellen ved efterfølgende at fine toomodellen til at tænke på
9:51
det sprog, som der nu er prompet på.
9:55
Der er sgu også sjovt. Det er meget svært fordi fordi
9:58
Jeg synes noget af det, som Jeg er blevet rigtig meget mærkelig.
9:59
Jeg synes at bare mega interessant i virkeligheden.
10:02
Det er at man rent faktisk kan tage Sådan en rå prætrænet
10:05
basemodel. Altså hvis man bare er blevet
10:06
trænet på en masse tekst til at på random tekst til at forudsige
10:09
det næste togen, og så kan du putte den ind i det her
10:11
reenforcement learning with ver fidle rewards setup hvor Der er
10:15
de her opgaver som er verificerbar.
10:19
Og så kan den ligesom bare så lære den ligesom bare det der
10:21
med at tænke tænke hvad hedder det i de her thinking?
10:26
Tænke hvad skal man sige tax her.
10:29
Og så så opstår der bare det der.
10:32
Det der tankemønstre. Det kan så også virke som om at
10:35
Det er Det er ikke nødvendigvis human realable det skal man
10:38
virke som om man skal træne den til at være human reabable, men
10:41
jeg tænker Sådan hvad ja bare Sådan tankeeksperiment hvad vil
10:45
der ske hvis man bare tog en helt random indicaliseret giga-t
10:49
11 og så bare trænede den til at lave reinforce learning mod at
10:53
lave? Løse verificerbar opgaver.
10:58
Sådan altså du ved gabble mellem det og så en færdig prægrænet
11:03
language model der må være et eller andet Sådan.
11:07
Der der må være et eller andet mål for, hvor meget verdensviden
11:10
der bliver bragt ind i den praktrænet bordel, hvor hvor
11:13
brugbart det ligesom er jeg. Tror Jeg tror praktæningen er
11:17
faktisk ekstremt vigtigt. Det det fordi Det er nemlig også
11:20
Det er nemlig også min Sådan lidt Sådan.
11:22
Wow OK beretræning er vigtigere end man lige troede hvis man
11:25
bare kan tage ja. Altså vi kan jo se på dansk
11:29
dansk ekstrem underrepræsenteret i alle open source modeller og
11:33
hvis du bare Sådan. Du ved bare en lille smule dansk
11:36
ind i en model og så træner den på præcis samme instruktions
11:41
datasæt, så er den meget langt ude at pridch du kan se med den
11:46
første model mistral udgav for snart 2 år siden.
11:51
Den performede faktisk ekstremt godt på benchmarke stadig.
11:55
Men og altså selvom bare. Selvom både instruktionsdatasent
11:59
og så videre er blevet bedre siden da.
12:02
Men Det er da bare sindssygt god fordi de bare har trænet på en
12:05
større del dansk end end mange af de andre.
12:09
Lagde mig modeller og så videre lagde man 3 performer heller
12:13
ikke særlig godt på på dansk. Sådan outlook-padoks.
12:18
Altså Det er åbenbart mere vigtigt, at man lige tror det
12:20
her. Den her grundmodel.
12:23
Ja og så en ting er for eksempel legeme 3.
12:27
Modellerne er næsten. Hvad kan man sige overtræner?
12:31
De er trænet på så vidt jeg husker eller Sådan noget kanten.
12:35
Nu skal jeg lige huske billejens på engelsk Der er trillioner på
12:38
dansk så 15 trillioner opens. H så de træner fuldstændig
12:45
absurde mængder tekst. Og, hvilket gør, at de faktisk
12:49
også rigtigt er svære at træne videre på, fordi modellerne er
12:52
bare blevet så sindssygt sikre i de tåbens, så Det er svært at at
12:56
træne dem til noget nyt. Mistralmodellerne er oprindeligt
12:59
kun trænet på. En eller 3 triller.
13:04
OK så Det er simpelthen bagt så hårdt ind i modellen på en eller
13:07
2 måde at det Sådan er svært. At sten og o.
13:10
K Det er vildt nok at tænke på. Man skal virkelig ryste den for
13:13
at få den ud af de der vægte der.
13:15
Ja. Hvad hedder det mads?
13:17
Jeg kan ikke lade være med at at Sådan tænke lidt at junge og jeg
13:20
Vi har sovet i timen når når når du fortæller at at meget af det
13:23
der. Hvad kan man sige syntetiske
13:25
data, den måde at se de forskellige Sådan verificerbare
13:28
ting det ene kom fra lagma 3 paper.
13:31
Og og noget af det, som jeg også kan huske.
13:33
Jeg sagde også sidst når afsnit Det var.
13:35
Når de havde Sådan 1 1 1 hvor de viste netop det her med nå, men
13:39
der var så trænede de den så til de her verifyble ting, men de
13:42
skulle også lige træne den til lav et digt og så havde den også
13:45
ligesom den 2 pipeland og så havde de delt det her data op på
13:47
den her måde og så sad jeg og tænkte Sådan, nå men Det er sgu
13:49
da egentlig meget godt tænkt både at tænke på og det her det
13:51
lyder ret nyt. Det er overhovedet ikke nyt
13:53
fordi Sådan noget der. Det er syntetiske data det jo
13:57
beskriver i lama 3 paperde Det er til.
14:01
Winforsmal learning from human feedback er det ikke?
14:03
Nej, Det er det. Nej Det er til verificerbar
14:05
output. Eller.
14:08
Output OK Emilie har også drik rigtig godt matematik datasæt
14:12
som de har genereret når reddet. Jeg tror bare det hedder et mit
14:14
hjem med eller Sådan noget i den stil.
14:17
Som nok var det Sådan den første matematik datasæt med med rigtig
14:20
mange instruktioner og og matematik som skulle løses.
14:26
Via pytive altså så du Sådan producerede python kode som så
14:29
kunne køres og så kunne den. Producere outputtet.
14:34
Så Det er ikke mere. Konceptet er ikke noget nyt, men
14:37
det bliver anvendt på en på en 2 måde.
14:40
Hvordan bliver det anvendt i lama?
14:42
Er det så bare noget supervis? Ja præcis, så er de bare
14:46
fintunet. Så Der er det ikke nødvendigvis
14:49
verificeret det output, den så genereret, når træningen har
14:54
været korrekt. Det man kan sige Det er jo så
14:55
det når du siger det. Ja præcis Det har været korrekt,
14:58
så Det er ligesom at renset for støj, fordi man har ligesom
15:01
kunne verificere verificeret det her q and a target her er
15:05
korrekt. Og på den måde, så så det giver
15:09
jo nok også noget til træningen kan man sige, men ja, så bliver
15:12
det så brugt på en måde, hvor man så rent faktisk verificerer.
15:16
Det er op imod et eller andet, men det som jeg så det synes jeg
15:19
jo er lidt interessant. Så måske er der alligevel noget
15:21
nyt i det kunne man forestille sig.
15:23
Vi kommer til at se nogle datasæt, som bliver bygget op på
15:26
en måde, hvor man lige har ligesom har kategoriseret de her
15:28
input output. Hvad kan man sige ja
15:34
træningscases og så har man også lige givet Sådan en her.
15:38
I øvrigt hvordan du validerer lige præcis det her
15:40
træningseksempel, og så får du Sådan en suite med.
15:44
Til som du så kan køre med ind, så får vi bare Sådan en kæmpe
15:47
suite af alle mulige funktioner i python, der skal verificere
15:50
det her. Eller hvad tænker du med altså?
15:54
Med åben air one. Nu og de passer ret langt i
15:59
forgårs udgav de en 7 milliarders version model som
16:03
egentlig er. Den er bare altså PT er den bare
16:07
destilleret fra. Fra den store r et, men den
16:12
model jeg udgivet er bedre end end der eller et bedre end
16:17
diesel destilleret 7 mia. Mere model så så Det er rimelig
16:23
hurtigt og Der er god god proggers og Der er jo mange.
16:25
De har jo mange GPU er de har jo Sådan noget 512 GPU er som bare
16:28
kører 24. 7 for at producere data til dem.
16:31
Har i ikke også hørt nu nu? Jeg har faktisk tænkt mig at
16:33
have dem med som ugens rapport, men Der er også Der er nogen der
16:36
lige har lavet, eller Det har jeg i hvert fald lige læst om i
16:38
hvert fald. Der er nogen der har lavet den
16:40
hedder deep scala, hvor de har fået en 1,5 b eller m til at
16:46
performe på matematik, altså på samme mundt niveau som open som
16:50
over one preview på matematik. Altså Det er 1,5 b model som er
16:56
performance på samme måde som o one preview.
16:58
Jeg jeg jeg i min verden, så er der bare Sådan noget helt.
17:03
Altså i gamle dage o relatech of dagene, der trænede man de her
17:07
modeller til at imitere chat og optimere mod menneskelig
17:10
præference. Ikke, men det virker bare som
17:12
Sådan et kæmpeparadig for mig. Det her med at nu træner du rent
17:15
faktisk modellerne til at sikre bestemte outcoms givet en eller
17:19
2 opgave, ikke? Jeg ved ikke.
17:22
Jeg tror bare Der er bare en gammel.
17:24
Parandido vi finder tilbage jamen.
17:26
Det er jo Sådan lidt superfedt machine learning.
17:29
Bagefter wonder one. Men men som de er bare meget
17:33
mere generelt de her modeller end Det var med de gode gamle
17:35
birding carters, for eksempel hvor det bare var en eller 2,
17:38
nogle nogle kategorier eller et eller andet man prøver at
17:39
klassificere ikke hvor de her de er meget mere Sådan generelle.
17:42
De kan bare Sådan de er mere meget mere gente c hvis man skal
17:45
sige det på den måde ikke? Jeg tror den der 1,5 mia.
17:48
premierer model. Den er elendig til alt andet
17:50
mellem 10. Det er jo lidt god til det.
17:53
Hvor er det. Det virker også bare som om at
17:54
man kan det virker som om man kan få nogle ret man kan komme
17:57
til at få nogle ret hidsige modeller nogle ret hidsige små
18:00
modeller til nogle bestemte ting.
18:03
Den første model vi kommer til at udgive her reasing model.
18:07
Det er en, Vi har jo gået og leget lidt med det her
18:09
animalisering. Hvad Sådan noget GDPR fjernne
18:14
CPR. Numre og så videre.
18:17
Der findes nogle relativt OK Sådan nemmehvertity regnmission
18:21
modeller gliener og og Sådan noget.
18:25
Det er nogenlunde på dansk, men du fanger.
18:29
Omkring 90%. Og Vores første visningsmodel
18:34
kommer til at være en en LM, som er trænet med den her nye min
18:39
forsmagsmand lønning, men optimeret til at fange altså
18:44
navne adresser. Altså ting i tekster, altså
18:49
outputtet det som svar altså så du får en du får en liste af
18:53
dectioneries ud som så. Kan bruges til at erstatte ting
18:58
i din tekst. Hvad og det synes Jeg er mega
19:00
spændende det der fordi Det er jo bare god gammel dame
19:02
leverkunation. Hvorfor giver det mening at tage
19:05
Sådan en LLM en visning eller LM efter det problem i forhold til
19:09
bare 1 1 1 1 helt normal byrding code og Sådan hvad hvad bare
19:14
Sådan tag os lige igennem det. Analysering er lidt et unikt
19:21
problem fordi at. I forhold til at GDPR så er det
19:26
ikke bare analysering det det skal være altså hvis noget
19:30
person henførbart, så hvis jeg siger en.
19:35
En mandlig sygeplejerske i København, så okay så er der
19:39
1000 mennesker. Det kan jeg ikke.
19:40
Du kan aldrig finde den person, hvis jeg siger en mandlig
19:42
sygeplejerske i Thy jamen så kan det godt være, at Der er bare en
19:44
enkelt person. Så så Det er Sådan noget, som du
19:48
aldrig ville kunne fange med med en eller 2 en code og model
19:52
nogensinde. Fordi Det er simpelthen for.
19:56
Altså den der bliver lidt simpelt for komplekst.
19:59
Fordi Det er lidt for dynamisk det den skal output i forhold
20:02
til altså Sådan ja OK. Og du kan så kan du bare sige OK
20:05
så er det den nemme løsning. Det er bare vist Sådan så
20:07
censurerer vi altså, men så er der ikke noget tekst tilbage, så
20:12
så kan du. Så så er det jo lidt ligegyldigt
20:15
så det. Her hvor at hvor det bliver
20:18
Sådan, altså hvor Det er Sådan en dynamisk skala for hvornår
20:21
man skal gøre det og og og ej, så så bliver vi nødt til at
20:25
bruge nogle modeller, som har en lidt større forståelse for hele
20:30
konteksten. Men.
20:31
Jeg tænker også man kan begynde at lave dem på.
20:33
Altså hvis man hvis man kan begynde at lave dem på 1,5 b
20:36
altså så er det jo ikke. Så er det jo Sådan noget 3 gange
20:38
bert eller Sådan et eller andet ikke?
20:41
Og og du ved, og og hvis du også skal begynde at lære dem at
20:44
bruge trolls og Sådan noget. Altså de kan begynde at du ved
20:47
søge på Google for eksempel. Altså for eksempel altså Sådan.
20:52
Der Det er bare en interessant Sådan sammensmeltning af
20:56
generative AI og Sådan du det gode gamle supervis learning
20:59
ikke hvor at ja det Det er bare mind blowing synes jeg.
21:03
Det er Sådan. Jeg kan ikke huske det, at da u
21:06
et kom ud der var jeg Sådan. Jeg er lidt skuffet fordi.
21:10
Jo rigtig de rigtig dyre for. For brugerne og køre fordi de
21:16
skal output alle de her thinking tobons før de valg kommer med
21:20
svar, så brugeren kan bruge til noget.
21:22
Det kan godt være at det her med at den tænker nå men Det kan
21:25
godt være spændende at se hvad den hvad den tænker, men men
21:27
svaret kommer først efter. Nu skriver jeg alt efter dit
21:31
hardware, og jeg skal da godt kunne gå op til et minut eller
21:32
et eller andet i stil. Hvilket er ekstremt lang tid.
21:36
Og jeg ville jo bare ønske at Sådan.
21:37
Nå men hvorfor kan de ikke bare lave en god model på den gode
21:39
gammeldags måde, hvor den outputter svaret med det samme?
21:44
Men Det er meget at putte Sådan computeren over på på brugeren.
21:47
Altså det her tast-tegn computer.
21:49
Altså det her hvor at man at størstedelen af computeren den
21:53
ligger faktisk mere i at generere svaret end den ligger i
21:57
træningen. Jeg synes Det er lidt ærgerligt
22:01
men men desværre. Sådan.
22:02
Det er rigtigt nok Sådan rigtig gode, så behøver vi ikke at
22:04
træne. Så kan i ligesom bare Det er
22:06
rigtig. Nok Sådan at træne mindre, så
22:08
kan man spare lidt penge der, men så ja inferant bare pisse
22:11
dyrt. Men men og Det er jo altså Det
22:14
kan man jo mene meget om det der med at åh der går et minut før
22:18
jeg får et svar og Sådan nogle ting.
22:20
Men hvis nu at som du siger Mads at det løser et problem som
22:25
egentlig er komplekst og og man kan sige.
22:28
Jamen Det kan man ikke løse på andre måder særligt effektivt.
22:33
Og i øvrigt, hvis det skulle løses af en person, så ville det
22:35
stadig tage meget længere tid end det ene minut end.
22:38
Jamen, så er der jo en business case, kan man sige og og men Jeg
22:43
kan. Jeg havde det da på samme måde.
22:44
Jeg kan da også godt huske det der, den er jo bare langsom, men
22:47
så begyndte jeg jo også at finde ud af Sådan nogle af de der
22:49
programmeringsopgaver som jeg var.
22:51
Det eneste jeg bruger det til nærmest jamen der der der kan
22:55
man virkelig få dem til at at løse det bedre.
22:58
End end hvis hvis man prøvede med en med en med en 4 oh men
23:02
jeg jeg jeg hopper stadigvæk lidt frem og tilbage mellem dem
23:04
vil jeg sige og det Det er ikke altid det Sådan clear cutter Det
23:07
er bare Det er bare. Det er lige præcis det Jeg vil
23:09
have nogle gange er det måske fordi jeg også er lidt
23:11
præference fokuseret i mine programmerings.
23:15
Form og så og så er den der Der er preference-tyvende, måske
23:18
faktisk bedre til mig. Det skal også være flot python
23:22
kode. Så Det er sgu da bare fromten du
23:25
skal bare se rice. Very nice python this.
23:29
Præcis. Nå ja.
23:33
Nå hvad hedder det? Hvad hedder det?
23:34
Vi skal også huske at Vi skal. Vi skal igennem et program her,
23:36
så jeg tænker at vi går lidt videre fordi jeg tænker jeg
23:40
kunne godt tænke mig at vi lige snakkede lidt om hypen omkring
23:42
alt det her, fordi Det er der behov for føler jeg lige at
23:46
snakke om det og bagefter er det, så kunne jeg godt tænke mig
23:49
at gøre det lidt mere i dybden omkring nogle af de her
23:50
teknikker de har brugt til at træne a one med dilipse, men lad
23:54
os prøve at tage hul på hypen her fordi.
23:57
Jeg har været ikke. Jeg har oplevet rigtig meget.
24:00
Altså Jeg synes Det er vildt det her.
24:01
Det synes jeg og Jeg er meget jeg.
24:03
Jeg skal heller ikke kunne frasige mig at Jeg er en lille
24:05
smule fascineret, og Jeg har også hørt allerede folk Der er
24:08
begyndt at debunke det her. Aha moment som de beskriver i
24:11
debseak altså den her det her selvrefleksionsparteren der
24:15
opstår siger de de her reasing patent og Sådan noget Det er
24:18
fint nok jeg. Jeg synes man må også godt lade
24:20
sig fascinere lidt engang imellem, man skal bare lige
24:22
huske at at grounde det ned og tænke Sådan OK, hvad er det
24:24
egentlig der foregår her ikke? Så jeg tænker Sådan umiddelbart,
24:27
så tænker jeg Sådan. Måske skulle vi bare tage den
24:31
helt overordnet og starte med dig, mads.
24:34
Er de her reasingmodeller, så vilde som de bliver, ligesom
24:39
bliver hypet op til at være. Hvad tænker du om om det eller
24:41
Sådan ser du det som du ved, den nye et eller andet crazy momenty
24:48
IAI eller Sådan ja. Jeg tror det kommer meget an på
24:53
hvordan de træner hvis de har trænet med altså den her
24:56
reenforce learning ja så så de fuldstændig vanvittig gode
25:00
modeller hvis de er trænet på outputs af.
25:05
Min forsmand leurnede modeller, så er de rigtig gode i præcise
25:09
de domæner som basean ligger indefor, men de generaliserer
25:13
ikke til andre ting. Det gør min forskning lønnede
25:17
modeller i større stil. Og hvad når du siger på en force
25:21
mellem hvad tænker du så er det? For eksempel den originale store
25:25
r et model er rigtig god også til.
25:30
Altså den generalisere udenfor sine træningsdata.
25:35
Ja så hvad hedder det? Hvad med dig Jonas hvad hvad
25:37
tænker du er du er du Sådan? Er du Sådan jeg.
25:41
Tænker bare Jeg har. Jeg har sovet lidt for meget i
25:43
timen de sidste par måneder og simpelthen ikke været opdateret
25:46
nok på det her til at Jeg har Sådan har nået at danne mig en
25:49
holdning til det. Og da jeg var ikke særlig
25:51
imponeret af det der. Altså da jeg åbnede jeg kom ud
25:55
med det der. Det var også fordi jeg tænkte
25:56
Sådan, jeg var godt klar over den.
25:58
Den var rigtig god til Sådan nogle verifibal- outcome og så
26:01
tænkte jeg Der er sgu ikke noget journalister de laver som som
26:05
Jeg kan. Bekræfte er godt så.
26:07
Så så Det er sikkert ikke særlig godt.
26:09
Måske i Vores korrekturproblematik det det det
26:12
og så tænker jeg bare det. Nej nej det Det er ligemeget.
26:16
Og så det første man spørger sig selv kan noget på dansk.
26:20
Nej så ja jeg ved det ikke rigtig men men Jeg tror ikke jeg
26:24
Jeg tror på at der sker Der er sket lidt et skifte, men Jeg
26:27
tror måske det skifte Der er sket er ikke så brat som jeg
26:30
lige har oplevet det. Jeg tror mere end og Sådan det
26:33
mads fortæller at Der er nogle innovationer her på det seneste,
26:35
især omkring det her syntetiske data og de her en forsknings
26:39
teknikker og Sådan lige hvor man lægger target og hvad man så
26:41
gør. Men Jeg tror måske måske vi
26:44
bevæger os lidt tilbage. På en eller 2 måde altså vi vi
26:47
til at vi så siger jamen nu nu nu tuner vi nogle modeller
26:50
specifikt til at være rigtig gode til det her.
26:52
Vi ved jo godt, og Det har vi vidst hele tiden, at hvis vi
26:55
indskrænker Vores problematikker fine tuner det til det.
26:58
Jamen så kan vi gøre nogle af de samme ting indenfor et meget
27:00
meget snævert domæne med meget færre computere, færre parametre
27:05
der har vi vidst hele tiden, men er det nu blevet nemmere at at
27:08
gøre det? Det tror jeg faktisk Det er.
27:10
Jeg tror Det er blevet nemmere at gøre det.
27:12
Og det synes jeg egentlig er meget fedt, og jeg ved ikke hvad
27:15
hvad mads tænker der. Ej men.
27:16
Jeg altså. Jeg tror helt sikkert at.
27:21
Der vi ser ligesom anpoter så ser vi lidt som 2 dele altså en
27:26
ting er at alle de her ting som man kan altså verificere
27:29
forårsager i god godt gammeldags et givet eller inputs så skal
27:32
jeg outputtet. Hvad er det her?
27:34
Der nu er det blevet meget nemmere at træne modeller som
27:37
eller i hvert fald sprogmodeller lars lingvages model som
27:40
performer godt på de her på alle task, som kan verificeres.
27:47
Vi har så nu går vi så og roder lidt med en ny teori om at vi
27:52
kan måske godt få modellerne til at performe rigtig godt på på
27:56
tas, som ikke kan være et placeret.
28:01
Og. Nu løfter jeg lige slået den,
28:05
men men den måde vi vi Vi har tænkt os at gøre det på.
28:09
Det er at skabe det her fake altså en form for fake reasning
28:13
steppe inden indimellem Vores input og Vores output.
28:19
Så vi prøver at sige til 1 1 som vi genererer alle Vores status
28:22
syntetisk, men så siger vi til 1-1 hvilken som helst
28:25
sprogmulighed. Vi har nogle eksempler her på
28:28
noget input noget output. Hvordan kunne du forestille dig,
28:33
at vi kommer fra? Kommer fra input til output.
28:37
Hvordan kunne du forestille dig om vi går den vej, og så får vi
28:39
lidt Sådan? Jaer fordagtigt output men men
28:43
lidt nærmere det her reasing jinerford har typisk været.
28:48
Hvor man ikke har haft svaret på forhånd.
28:52
Hvor den så bare tænkte nå, men så tager vi det her skridt og
28:55
det her skridt. Men man har aldrig rigtigt kunne
28:56
verificere svaret til sidst. Altså det.
29:00
Så her kan vi. Vi ved hvad svaret er på
29:03
forhånd, så prøver vi egentlig bare at skabe det her pake
29:06
reasning så ind imellem. Det gør Sådan som jeg siger, at
29:11
når som jeg sagde før at når vi reelt skal træne modellen, så
29:14
kommer den til ikke at generalisere til andre.
29:19
Modeller eller andre emner end det vi lige har.
29:22
Stener den på, men det kommer nok til at være rigtig god inden
29:24
for lige præcis det emne. Så ting som ikke kan være
29:28
inficeret som tekst eller det kunne være en eller 2 medicinal
29:32
eller et eller andet der skulle analyseres.
29:34
Som rigtig svær at verificere det vil vi nok godt kunne øge
29:38
præstationen på. Men det som supervejs fintuning.
29:41
Det ville så være med supervis fint, men hvor vi faker den her
29:44
visning. Og Det er meget, meget grineren
29:47
metode det. Men det lugter vel også lidt af
29:50
noget af det som som ligger i den.
29:52
Der er et træningspipeline i Der er.
29:55
Der er vel et af deres step hvor de har det her, når de
29:58
destillerer det her data ned ikke?
30:02
Altså alle deres. De har jo r et og så har de
30:05
udgivet en masse andre mindre model.
30:07
De har udgivet en larm og 70 mia.
30:09
Programings model byttet cwent 32 milliarders par meter model,
30:14
og Det er jo egentlig bare destilleret.
30:15
Altså de har taget output fra den store model, og så er de
30:18
supervisor fine 2 mod dem, så de de modeller er rigtig gode
30:22
indenfor præcis det de områder som de vil træne på
30:26
generaliserer ikke til særlig godt til alle mulige andre.
30:28
Ja, men Det er jo også bare smart altså Der er jo i.
30:31
Virkeligheden. Der er jo virkeligheden på en
30:33
eller 2 måde, Der er så mange, Der er meget innovation i Sådan
30:35
at prøve at at være lidt opfindsom omkring hvordan man
30:37
laver de der verificerbar opgaver ikke.
30:39
Og de her reasing traces eller hvad man kan sige.
30:43
Jeg har også tænkt Sådan på. Jeg ved ikke om Det er et
30:45
problem, når man laver træner de her modeller med rene force myt
30:48
learning, men ofte med rainforce learning, så hører man i hvert
30:51
fald tit at Det er et problem at.
30:54
Du ved, hvis Der er ret langt fra begyndelse til slutning.
30:58
Så kan den hvis hvis den ligesom ikke, hvis ikke den kan få
31:02
kæmpet sig op på vej op mod endemålet, så kan den ligesom så
31:06
er der ligesom ikke rigtig noget signal og der tænker jeg på
31:08
Sådan gad vide om man kunne få de her elementer til at generere
31:10
og verificerbar planer. Op mod.
31:15
Den det det endelige gold, ikke? Altså hvis man kunne få en du
31:19
ved sige her er der en opgavebeskrivelse og her hvad
31:22
hedder det? Lav en en verificerbar plan med
31:26
tilhørende verifites op mod det mål og så en verify, og så
31:30
kommer vi med very fine til sidst ikke Sådan så den ligesom
31:33
kan blive belønnet for at komme. Op mod målet der altså.
31:37
Det det det tror jeg sagtens du ville kunne altså kunne lave,
31:41
men det kræver så du bare kan være episer hver eneste trin af
31:45
din pipeline. Og det, Det er der, det bliver
31:48
svært. Og Jeg synes Det er forkert,
31:51
ikke hvis den her genioner og Sådan noget Der er det.
31:53
Jo jo, men hvis altså per verificerer det, så kan du
31:55
verificere det forkerte, så får den ikke point for det, så Det
31:58
er jo ikke nødvendigvis. Men problemet er at du skal
32:00
kunne verificere det hele det og det Det er den Det er den
32:04
sværeste. Ja.
32:07
Altså hvis jeg lige Sådan med hende ny til hyper og Sådan
32:09
noget skal tænke Sådan hvad jeg skal give mit bud her, så synes
32:11
jeg Jeg synes Det er. Jeg ved ikke Jeg synes Det er
32:14
noget. Jeg synes bare Det er noget
32:17
anderledes at optimere altså Sådan helt optimeringsproblemet
32:21
virker bare til at være Sådan radikal og anderledes, og Det er
32:24
Sådan en Det er rigtig nok. Det er Sådan en sjov blanding
32:25
mod det gode gamle supervised learning hvor vi havde et input
32:29
og så et label, og så trænede vi med det og så det her helt nye
32:33
paradigme med lemmer som genererer tekst og er mere Sådan
32:36
dynamiske og generelle. Men Jeg synes bare Der er et
32:40
eller andet over det her læringsobjektiv, som virker
32:42
meget mere Sådan. Altså Sådan.
32:47
Det virker bare meget mere Sådan brugbart i forhold til det her.
32:49
Bare med at at imitere chattekst og optimere for menneskelig
32:53
præference. Det virker bare med meget mere
32:56
Sådan brugbart rent faktisk at belønne modeller for outcomes
33:00
ikke. Jeg tænker også Det er det man
33:01
også gerne vil, hvis man driver en virksomhed for eksempel, så
33:04
vil man ikke belønne alle sine medarbejdere for at være gode
33:06
til at bullshætte til til deres chefer eller et eller andet.
33:08
Altså så vil man gerne belønne sine medarbejdere for ligesom at
33:11
lave nogle resultater, nogle målbare resultater, ikke?
33:15
Hvor man definerer nogle KPI er eller et eller andet og Sådan.
33:18
Jeg tænker bare Der er noget Der er noget her hvor?
33:22
Hvor og Det er jo også det som med den gode.
33:24
Ja så er det Sådan et interview med samlman og han.
33:27
Han er jo også ude og rejse funding nu her ikke så så han
33:29
har selvfølgelig også en lille smule bias, tænker jeg, men men
33:32
han mener jo at Vi skal bare lige have præg trænet en model
33:35
Der er en orders of mactitode større og så udsætte den for det
33:41
her reinforce learning with their fivel rewards, og så
33:44
begynder vi at kunne generere ny videnskab.
33:47
Basically ikke. Og det på en eller 2 måde, så
33:52
kan jeg. Det er jo selvfølgelig max hype
33:55
det der ikke. Altså Det er jo Sådan helt oppe
33:56
i hype parametre har hype barometeret der ikke.
34:00
Men Jeg kan godt se at jeg jeg Jeg kan godt se at det vil.
34:04
Jeg havde vel have svært ved at se hvordan det skulle lade sig
34:06
gøre, hvis det bare var gode, gamle forudsige det næste toke i
34:09
en i en chatsamtale imit. Men Jeg kan godt se at der kan
34:14
være noget i det, når man rent faktisk sætter modellen til.
34:20
Ligesom bare Sådan gøre whatever du tænker bare du løser det her
34:24
problem optimerer han mod det. Det er lidt ligesom man så i
34:27
Sådan noget alpha go eller hvad ved var det ikke alfa det hed jo
34:30
den her. Ja lige præcis hvor man snakker
34:33
om det her. Det her move firty seven tror
34:36
jeg det hedder hvor at den bare gør et eller andet move hvor det
34:38
bare er Sådan helt wow ikke. Hvor man får noget Sådan true
34:44
altså Det er også det der man man oplever.
34:47
Der er mange der siger et skak computere Der er trænet med AI.
34:49
De spiller på en 2 måde. Fordi de ligesom har luret de
34:53
har fundet nogle nogle mønstre som bare du bare kun finder,
34:57
hvis du blotforcer at skale på den måde som de har gjort, ikke?
35:02
Og de er jo også trænet mod outcoms.
35:06
Og jeg tænker bare om der kan være noget lignende man kommer
35:09
til at kunne se her. Ja så jeg.
35:12
Jeg tror Jeg er Sådan rimelig. Jeg er rimelig optimistisk og
35:15
fascineret og pegebarometeret for mig og Sådan, OK?
35:20
OK så så Det er junge du er. Du er helt oppe mads du er lidt
35:25
mere nede på jorden. Har Jeg har lagt, så du har Det
35:29
var Det var tilbage til hammer 3.
35:31
Jeg er Sådan en mellemting er det der Vi er?
35:35
Ja Jeg synes at det kommer an på hvordan modellerne er træner,
35:38
men Jeg tror hvis Det er jo at skabe eller at have verificerbar
35:42
data indenfor. Altså alle domæner er mere eller
35:46
mindre umuligt. Det er en god pointe.
35:49
Så så så det bliver svært at lave en model som er perfekt i
35:54
alle domæner. Det er der, hvor vi ser at at
35:58
alle de benchmarks med matematik og programmering og Sådan noget
36:01
de falder jo bare en efter dag nu, fordi det det problem er
36:04
løst mere eller mindre. Altså Sådan ja de kan godt kode
36:10
Sådan rimelig godt. Og de er rigtig gode til
36:14
matematik nu, fordi Det er værd. Især bare problemet.
36:19
Så så det det jeg ikke. Gjorde, hvad kan du formulere
36:23
formulere som et verificerbart problem?
36:25
Ja og det Det er også lidt det vi prøver at løse med den måde
36:28
vi Vores nye forandringsmåder er og fake den her visning ind
36:32
imellem og prøve at prøve at skabe den her form for jing
36:35
rulld som som kan hjælpe modellen eller guide dem
36:38
modellen til at til at generere et rigtigt svar, selvom det ikke
36:41
kan være et placeret. Ja ja.
36:45
Interessant. OK, vi bliver nødt til at tage
36:48
den. Jeg det den her den er virkelig.
36:51
Det er virkelig noget der deler vandene.
36:53
Ikke også og jeg ved alle folk de Der er mange der bliver meget
36:56
forarget over det, men men nu kalder vi jo det her for reasing
37:00
modeller ikke. Kan de rent faktisk lave
37:04
reasing, tænker de rent faktisk, eller hvad foregår der?
37:08
Hvad er jeres del på det? Det kunne jeg godt tænke mig at
37:10
høre, og lad os bare prøve at debug der altså lad os bare
37:12
prøve Sådan at være. Det er OK at ja lad os være
37:16
informere for folk her, hvad vi tænker.
37:19
Altså for for at tænke skal man på en eller 2 måde have altså
37:24
det skal være zen hjem på en eller 2 måde man skal være i
37:26
live. Det er de jo ikke altså Det er
37:30
jo Det er jo bare en masse matematik der der foregår i
37:35
baggrunden som simulerer det, men det simulerer det åbenbart
37:39
så godt at de kan løse nogle af de sværeste matematikproblemer
37:43
vi kan finde på. Og kunne rigtig godt og så
37:45
videre. Og Jeg tror mere spørgsmålet er
37:49
om. Altså betyder det overhovedet
37:52
noget om vi tror, at de kan tænke eller ej, så længe de kan
37:55
løse de problemer, Vi har brug for, de kan løse.
37:59
Så der der Der er jeg lidt ligeglad om folk synes de tænker
38:03
eller ej. Altså det det så.
38:04
Længe det performer godt for benchmarks, så er det helt
38:07
seriøst. Så længe Det kan løse så længe
38:09
Det kan løses dit problem, og Jeg har brug for de kan løse.
38:13
Så er jeg Sådan set ligeglad. Ja.
38:16
Ja. Hvad tænker du ikke også?
38:18
Jamen jeg Jeg er meget enig mads Jeg har jo også meget pragmatisk
38:21
i min tilgang til det her arbejde.
38:23
Men men Jeg vil også sige at. Altså.
38:29
Igen, Vi er vel også det der. Hvad er at tænke?
38:30
Altså vi ved vi overhovedet hvad hvis vi nogle gange, så bliver
38:33
det jo også Sådan lidt 1 1 1 ord.
38:37
Salat snak det der fordi Der er ikke nogen der definerer hvad
38:41
det vil sige at tænke før de så siger om om noget andet så
38:44
tænker som vi tænker, men hvordan tænker vi altså hvis jeg
38:48
hvis jeg ikke siger noget og og bare lytter til mig selv, hvad
38:52
der sker inde i mit hoved jamen så.
38:54
Så kommer der en masse ord ud hist og her, og de er meget
38:57
usammenhængende. De kunne godt lide Sådan noget
38:59
jepperestoken der kom ud fra. Sådan en og.
39:02
Så kommer der til sidst et eller andet svar, ikke.
39:06
Det det det, Det kan vi da godt sige, at Det er det der sker
39:08
inde i mit hoved. Men altså Det er bare ikke det.
39:12
Jeg ved ikke, Det er bare ikke det samme, vel altså.
39:15
Men vi ved ikke rigtig altså Sådan hvad det vil sige at tænke
39:17
ind II Vores hjerne det tror jeg ikke Vi har 1 1 1 videnskabelig
39:21
Sådan teoretisk velfunderet model for.
39:23
Så derfor så har vi jo heller ikke noget at veje op imod, når
39:25
vi så siger og tænker en et det her system her.
39:30
Og derfor så synes jeg også det bliver Sådan lidt ja og så det
39:35
ved jeg godt. Så står der Sådan en spinner i
39:37
chat gb t hvor der så står tænker.
39:41
Visning ja Det er rigtigt det står der og så den tænker lige
39:44
og der har same autman bare sagt til de der.
39:48
Front end reakt udviklere der skal altså stå det her.
39:50
Der skal altså stå tænke. Det skal bare det der reag kode.
39:56
Det skal bare skrive tænke. Ja Det er jo det.
39:59
Jeg ved ikke hvad jeg skal sige mere.
40:02
Okay, Jeg tror min min holdning til Det er.
40:04
Jeg er også meget på den der med.
40:05
Jeg er faktisk ligeglad om hvad den gør bare det virker altså
40:08
bare Sådan det. Det er noget der altså bare Det
40:11
er noget der Sådan driver teknologien fremad og ikke
40:15
selvfølgelig skal det ikke være farligt og alt muligt, men men
40:18
altså så er det Sådan set ligemeget.
40:21
Og så men men men Jeg kan så også godt forstå at man.
40:25
Tænker, at den tænker eller Sådan at man tænker Det er
40:28
reasoning. Ikke fordi det minder sgu meget
40:30
om. Altså det minder meget Simon.
40:34
Ikke altså Sådan. Det er jo.
40:36
Det vi, hvis vi optimerer imod at den skal producere nogle
40:40
tokens i en rækkefølge, som vi kan læse det og få og
40:43
menneskelig forståelig, så er det jo det, Vi har optimeret
40:46
imod. Altså.
40:48
Hvis vi bare har givet den Sådan.
40:49
Du skal bare give os outputtet og så end derinde så så så
40:52
tænker jeg det jo ikke. Men det Det er jo det Vi har
40:54
bedt den om at gøre, så alt andet er jo helt vildt.
40:58
Så Det er rigtigt og og Det er også en interessant diskussion
41:00
det her med at Sådan jamen. Hvad nu hvis man ikke sørger for
41:03
at at altså hvis man ikke Sådan sætter nogle gode racs eller
41:06
fine unge til at gøre det på Sådan et menneskeligt releb, så
41:09
gør den måske bare alt muligt. Altså så genererer den bare
41:11
nogle tokens som har noget semantisk værdi i forhold til at
41:14
løse et eller andet problem. Men jeg tænker bare den der det
41:17
her med at det virker. Det det siger i hvert fald et
41:21
eller andet om, at den genererer noget, som er brugbart for at
41:26
den kan ligesom lave fremgang i forhold til at løse et eller
41:29
andet problem. Og det altså så og det så og det
41:32
minder meget Sådan om om det jeg forestiller mig for eksempel
41:35
rising, er ikke hvis jeg skal løse et eller andet problem, så
41:38
sætter jeg mig ned og tænker mig om sidder på og skriver på et
41:40
stykke papir og måske og så videre og så videre og så
41:43
videre. Ikke så Jeg kan godt forstå at
41:45
at det minder meget om det, og Det er jo klart inspireret af af
41:49
at tænke og så videre, ikke? Men de der nettigegrady hvad
41:52
skal man sige, hvad det vil sige?
41:53
Hvad vil det sige at tænke? Hvad vil det sige at ræsonnere
41:55
og Sådan noget? Det gider det det det det må
41:57
nogle andre. Hvad skal man sige?
42:00
Ligesom afgører 1 1 1 sjov ting hvor Jeg synes fordi jeg jeg
42:04
havde nemlig en en jeg skrev et post hvor at jeg jeg tænkte
42:09
skrev lidt over det. Tænkte lidt over det her med at
42:11
man snakkede om at de gode gamle logistiske regationsmodeller de
42:15
er rigtig nice fordi de ekslæner både ikke.
42:16
Altså der kan man ligesom sige den her parameter.
42:20
Har det her at gøre med det her den her prediction og så videre
42:22
ikke. Og så har man så brokket sig
42:23
over, at jo mere man begyndte at bruge neurale netværk, så blev
42:26
det mere og mere. Ikke explainable fordi at du kan
42:30
ikke tolke et neuralt netværk, men så kan man man kan nærmest
42:33
argumentere for at at de er begyndt at blive explainable nu
42:36
her de neurale netværkere fordi de begynder at blive så
42:39
avancerede de kan tænke. Og og det det fik Det var der
42:44
nogen der var lidt uenige i, kunne jeg godt kunne jeg godt
42:46
høre på kommentarfeltet der ikke men og og det det det den køber
42:50
jeg egentlig også. Og Det er jo ikke fordi at man
42:52
Sådan skal tænke at den tænker, men indimellem så kan det godt
42:55
have noget noget. Brugbarhed i forhold til hvis
42:58
man man skriver noget og man kan se at den misforstår det og at
43:03
det at Det er fordi man har glemt at informere dem om et
43:06
eller andet, ikke så på den måde, så har man altså lidt
43:08
adgang til dens måde at løse problemer på og dens forståelse
43:13
af det man prøver at få den til at gøre.
43:15
Og Det kan godt være brugbart i forhold til at debuggen for
43:18
eksempel og på den måde er det jo ikke lidt eksplæner.
43:22
Ikke problemet er bare at nogle gange så er det jo også Sådan,
43:25
så genererer det noget change of thought.
43:27
Og så er det rigtigt man outputtet er forkert eller også
43:30
er det forkert eller Sådan altså så nogle gange så gletsger det
43:33
lidt ikke men ja. Det det kribler helt i mig,
43:36
fordi du sagde det der med at at ja Det er gode gamle
43:40
reaktionsmodeller den. Det var jo totalt eksplæne på og
43:43
var Sådan noget og og det jeg bare Sådan nu har jeg.
43:46
Nu har jeg selv skrevet et speciale hvor at noget af det
43:48
som jeg gik op i det Det var Det var kausal inferens.
43:52
Og hvis Der er, hvis Der er noget som regressioner er kendt
43:56
for, så er det at være totalt horrible.
44:00
Data variable inden i de der reaktioner, som giver absolut
44:04
ingen kausal forklaring II et ton af scientific papers derude,
44:11
fordi at de antagelser man ligesom skal have på plads før
44:15
at du overhovedet kan gøre det Sådan forklarbart.
44:19
Jamen de er sjældent på plads, så Det er Sådan noget.
44:21
Det er ligesom noget økonomi de her makro modeller de er.
44:25
De siger det her, hvis den her antagelse eller de her mange
44:28
antagelser gør sig gældende og. Så skal man ligesom alligevel
44:33
godtgøre for at de her antagelser de er gældende, og
44:36
det samme gælder med gamle klassiske regressionsmodeller.
44:38
Sådan nogle multible reaktioner. Så jeg jeg.
44:41
Jeg synes ikke at de gode gamle dage var mere eksplænende på
44:45
hvad angår Sådan noget der statistikken og så at at det
44:48
lige pludselig nu er blevet åh helt Det var.
44:50
Det var mere Sådan en illusion Der er blevet trukket ned over
44:52
folk, fordi de ikke forstod grundlæggende
44:56
regressionsmodeller. Det er bare Sådan der kommer fra
45:01
en der der bare sagde fuck det der.
45:04
Jeg laver bare et eksperiment og tager et gennemsnit og trækker
45:07
dem fra hinanden. Ja, men Jeg tror Der er mange
45:11
følelser i det her, fordi Der er mange Der er sure på året i
45:14
blandt andet omkring fordi de mener de bruger det som
45:17
markedsføring af deres teknologi i at gøre dem mere avancerede
45:21
end den egentlig er. Og Der er mange der mener, at
45:23
Det er misvisende, at man kalder det for reasoning, og de tænker
45:28
og Sådan noget så. Så Jeg kan godt se hvor folk
45:31
kommer fra men men Jeg tror. Ingeniørerne.
45:35
De er rimelig ligeglade bare Det er bare benchmarks performance
45:39
gob ikke altså ej ej selvfølgelig det.
45:42
Det er selvfølgelig også vigtigt med sikkerhed og Sådan noget,
45:44
men men. Ja o.
45:47
K super en ting er lidt sur på, men Jeg er jo Det er deres pris
45:53
fordi det fordi Det er jo altså de de siger jo Sådan nej men
45:56
modellen Det er jo en ny model den er den er meget større og
45:59
den er meget Det er den ikke Det er ikke GPT 4 o som de har
46:03
villet præcis samme model prisen for at køre den er 1-1 med hvad
46:08
det koster nu kan de måske bare charge fra de kører tokens men
46:11
hov den kan reassen så skal den lige være 10 gange dyrere.
46:15
Altså Sådan Det er også det altså.
46:16
Det kan du også se på dine side. Hvad er det Sådan noget 37 gange
46:20
billigere eller eller eller pludselig fuldstændig absurd
46:23
fordi modellen altså arkitekturen har jo ikke ændret
46:26
sig. De har bare trænet den på den 2
46:27
måde, men arkitekturen ikke ændrer sig, så så bliver den
46:30
altså, så koster den det samme at køre prisen burde være den
46:34
samme ja. Det er rigtigt nok.
46:35
Det har jeg. Ikke rigtigt snakket om hype,
46:36
altså prishype det. Det var fandeme kæft Manchester
46:39
grin nu. Hvis de er de eneste der har den
46:42
model og de kan finde ud af at markedsføre den når folk gider
46:44
at bruge den. Så altså.
46:45
Så kan de jo sætte prisen som de vil ikke men og så kan det være
46:47
at de Sådan åh så næste release Sådan så slashher vi lige prisen
46:50
i 2. Ikke fordi Vi har lavet
46:52
innovation ikke? Det har de ikke, Det var bare de
46:56
får bare mindre margen. Ja så det Det har jeg også hørt
46:59
det der. Det Det er noget værre noget.
47:03
Hvad hedder det OK super så Jeg tror jeg føler lidt at.
47:07
Den de tænker ikke rigtig det det Det kan man vist godt sige
47:10
altså Sådan og og hvad vil det egentlig sige at tænke rigtigt?
47:12
Og hvad vil det sige at lave visning og Sådan noget?
47:14
Det er vi måske i virkeligheden ikke de rigtige til, ligesom at
47:16
vurdere og. Eller det ved jeg, Det er jeg i
47:19
hvert fald ikke. Det interesserer mig ikke særlig
47:20
meget for det, Jeg er meget Sådan interesseret i, Sådan er
47:23
det mere nytteværdien i det ikke?
47:26
Og det virker også som om at Det er gengældt hos jer altså.
47:29
Og så så kan man diskutere at at Det har nogle det
47:32
uhensigtsmæssigheder i forhold til markedsføring og Sådan
47:34
noget, og det skal man selvfølgelig det.
47:36
Det må ja Det er en hel diskussion for sig.
47:40
Bliv skyggerne ved at blive lange, og jeg tænker Vi skal
47:41
snakke lige nå at snakke lidt om hvad hedder det tech det tech
47:45
detaljerne i det her o one paper som vi ikke kom ind på så meget
47:48
som vi gjorde sidst og måske lige vi skulle prøve at og Det
47:52
er selvfølgelig i forhold til diepseak one modellen, så måske
47:56
skulle vi bare lige prøve Sådan at tage nogle highlights derfra.
48:01
Hvad tænker i? Det er jo nok jeg tænker mads
48:03
hvis du kunne lægge ud. Jamen, selvfølgelig.
48:08
Pipsik er er et er jo en milshop eksperts model.
48:13
Det betyder at Det er en model, hvor kun en delmængde af
48:18
parametrene er aktive. Når den skal producere det næste
48:23
tåben. Som vi lige slår op inden vi gik
48:26
i gang, så var der der var 256 expits i den her model.
48:32
Og. Når vi siger ekspert, så det
48:36
ikke Sådan, at en af en af dem en af de 256 er ekspert i
48:42
matematik og en af ekspert i filosofi.
48:45
Sådan fungerer det ikke. Når man træner dem, så fordeler
48:49
man egentlig Sådan mere eller mindre random, hvem der skal
48:52
prøve at forudsige den næste tå og så opsummerer man hele.
48:58
Hvad kan man sige det lost det opsummerer noget alle
49:00
eksperterne. Det gør, at modellerne bliver
49:03
rigtig, rigtig hurtige til inferens.
49:07
At de ved også rigtig meget givet deres lydantal og aktive
49:11
parametre. Modellerne bliver så til gengæld
49:15
rigtig store at have kørende hvad den 671 6. 171 mia.
49:21
parametre ikke, men Det er kun Det er kun 37 mia. parametre
49:25
per. Kun 37 mia. parameter per
49:28
ekspert så vidt Jeg kan huske. Der er aktive nej er det ikke?
49:33
Det er en ekspert og Sådan noget.
49:35
Hvad var det 256 så det må være Sådan noget Der er 2,5 mia. par
49:39
meter per ekspert og så må der være hvad 16 aktiv. 16 aktive
49:46
folk kan vælge imellem. Per forwardpartsmodel.
49:52
Ja. Godt matematik regnestykke der
49:56
restening. Det er totalvisning.
50:00
Vi tænker lige vent lige 30 sekunders stilhed.
50:05
Nå? Det var en masse.
50:07
Jamen som så modellerne er jo bare.
50:09
Jeg tror også åh mere der de ligger jo også igen.
50:13
C 4 o har ikke 4 geb c 4 i hvert fald var en mest til at være i
50:18
pølse model, men med 16 XP odds, så her har vi 256, hvilket er
50:23
selvfølgelig ekstremt mange flere.
50:28
Så så Det er ikke Det er ikke noget nyt de har mixteret
50:30
ekspert model mestrer har også lavet en.
50:34
Som hedder mix mik mixstra. Som kommer ud for et år siden.
50:42
De er mest for ekspert models, altså notorisk svære at træne.
50:49
Ja både fordi hvis du skal spille dyr som på på mange g uer
50:52
så hvis de crasher så så er der en af xpertsen der kan gå ned
50:55
eller et eller andet sted. Men Det er også svært at at
50:59
skrive træningskurven til at til at træne Sådan et mixjob eksport
51:03
smooth. I forhold til en helt standard
51:05
dens transformer model. Det er bare langt mere
51:08
advanceret. Ja, så Det er derfor det måske
51:10
ikke har fået så meget adoption i open source verdenen, og Det
51:13
er der hvor de har sgu lige gået skridtet længere og virkelig
51:16
gået ned i materien her og fået implementeret det der både i
51:20
koder og hardware. Og det kører.
51:23
Når det virker, så er det mere essentielt at at træne på også
51:27
at eller er Det er det. Er det det samme computer?
51:30
Det tager hensyn. Jeg husker at det ikke kun er
51:33
inferanskmanden at spare på, men Det er også noget.
51:35
Optimeret i træningen. Ja altså du det du samme antal
51:38
parametre som er kun aktiv per fårwhs når du skifter mellem
51:43
dine x og du sparer altså Det er hurtigere og træne også.
51:48
Man kan sige for for modellens størrelse, hvis Det var en en
51:51
danset 300 nej 671 mia. Parometer model, så ville den
51:56
være klogere end den er nu. Altså det ville være en bedre
51:58
model. Men problemet er at du skulle
52:00
køre inferant igennem 671 mia. parametre.
52:05
Og så. Tørre den ja for hver eneste
52:07
tågen ville så kunne gøre at den var.
52:09
Det kan jeg ikke regne ud på, men meget langsomt. 15 20 gange
52:14
langsommere end den er nu. Og så ville det måske være det
52:18
ved jeg ikke. 5 eller 10% klogere end den er nu.
52:24
Altså Det er noget ja fat nok, så har de jo også brugt det der
52:28
hedder det der hedder multitogen prediction.
52:31
Som nok er et af de mest simple tricks i bogen.
52:35
Vi har også snakket om det før Jonas.
52:37
Kender du til dette mads eller? Også flabet os i det mest simple
52:42
tric-bogner, så spørger om det. Så Det er jo det.
52:46
Det prøver jeg at forudsige mere end end det næste tåben.
52:51
Mere eller mindre. Ja.
52:53
Ja og så bare i stedet for at forudsige efter forudsige det 2
52:56
ad gangen og så spare lidt computer på den måde.
53:00
Ja altså, Det er ikke nødvendigvis at det andet tåben
53:02
også bliver godtaget. Det skal jo over en vis en.
53:05
Jeg kan ikke huske hvad den sætter, men der Der er Sådan et
53:07
thress hold man sætter for den næste tåben reelt bliver
53:11
accepteret i altså i en parenser II træningen.
53:16
Sygt nok. Yes yes og så er der så er der
53:19
de bruger Sådan noget der hedder multihavelet landend attention
53:23
MLA som de også retter op at køre over hvad hedder det?
53:27
Jeg har ikke lige fået sat mig ind i det, men jeg ved at Der er
53:29
blevet og Det er der blevet lavet siden altså.
53:34
Altså birth også altså Der er virkelig de der 18 lag der Der
53:37
er virkelig bare folk der vil have ned med nakken.
53:40
Ikke fordi Det var ligesom en kæmpe bottic.
53:42
Det er en kæmpe bottic fordi det.
53:44
Skaler kvadratisk, men med kontekst længden ikke, og der
53:48
har de lavet noget der hedder multihad latent 18.
53:55
Ja. Jeg kan ikke sige så meget om
53:57
det. Så men det det det.
53:59
Det er sikkert noget der får det til at gå hurtigere i
54:01
intentioneret. Må jeg sige bare lige en ting
54:04
det om det det jeg ved heller ikke særlig meget om det, men
54:08
jeg ved at noget af det som som mattension problemet med Det er
54:13
at Det har et utrolig stort. Hvad kan man sige memory forbrug
54:17
fordi man man cacher. De her key value matricer Sådan
54:22
så man ikke skal gennemberegne. Så meget og det det vil sige så
54:27
så stiger. Memory forbruget rigtig meget og
54:31
jeg mener at den her de har lavet 1 1 1 1 1 let altså det
54:36
her latent det det peger lidt på at det her key value mathiax at
54:40
den bliver Det er lidt Sådan noget low rank hvad hedder det
54:44
matrice? Ja det bliver komprimeret i en
54:46
eller 2 form for low rank. Ting og på den måde så kan de så
54:50
kan de optimere på noget memory forbrug og så får de noget noget
54:54
den vej at Det er Sådan et eller andet i den dur præcis hvordan
54:56
de gør det. Det ved jeg ikke, men Der er
54:58
noget low rank. Det har man hørt før, og Der er
55:00
noget reduktion af dimensioner II den der ke value matrice og
55:07
så går det godt og stadigvæk skulle så stadigvæk være lige så
55:11
godt som som Pernille. Attention på på performance
55:15
selvfølgelig, fordi det hvis ikke.
55:16
Hvis det Det er det Der er problemet med mange ting.
55:19
Hvis Det er de greater på det, så er det jo bare lige meget på
55:21
en eller 2 måde. Ja så Det er mister jeg Sådan
55:25
ved om det de har fundet. Ud af Jeg har fundet en total
55:28
troværdig miom titel til Vores date assistent artikel her hvor
55:32
der står MLA high level idir the basic IDFMLAS 2 compressed
55:37
attention input age undercore te into the load dimensional
55:43
damentional laben vektor with dimension.
55:46
De andre skal også sige. Ja b.
55:48
C is slower og vant til. Ja.
55:52
Tak for det. Det var jo godt fordi, men ja OK
55:57
så Det var basically. Og matematisk sagt det jeg lige
56:00
sagde før juni. Tak for det, tak for medium.
56:04
Jeg tror sikkert Jeg har læst det på noget medium også, så.
56:09
Men OK. Ja Sådan her.
56:13
Vent lige lidt ja. Spørgsmålet.
56:15
Jeg skal lige stille spørgsmålet til det Der er det overhovedet
56:17
diepse der har opfundet det her? Fordi var det ikke noget med at
56:20
er det ikke noget man har? Det kan godt være, men det Det
56:25
er ikke den. Det skulle nemlig lige have
56:27
bekræftet det Sådan. Det fordi nogle gange så får det
56:30
jo Sådan lidt for mange Sådan. Hvad kan man sige?
56:34
Kredit for ah? De er også innoveret på det her
56:36
og det her, så Vi skal lige være skarpe på Det er jo Der er jo
56:38
lidt journalistik i det her med at bos ikke også Jones.
56:42
Så kan de så være her ikke og være der.
56:43
Sover noget Det kan være der står noget mere i den her mega
56:46
fede medium artikel. Hvis i lige snakker videre så
56:48
kan jeg lige. Nå, men Det er jo rigtig godt.
56:51
Altså de har jo selvfølgelig samlet mange af de her
56:53
innovationer, men Det er måske meget fair lige og Sådan sige OK
56:56
hey, Der er altså nogle ting der har været her hele tiden.
56:58
De har bare samlet det i en stor og fået succes med det her.
57:02
Det er jo Det er jo super fedt, det skal vi ikke tage fra dem.
57:04
Ej det det ser man jo hver eneste gang der kommer en ny
57:07
foundation model ud fra fra de store laps.
57:09
Det er at de har samlet alle de nyeste optimeringer i altså for
57:13
eksempel mistraler, hvordan OK? Nu har vi opfundet noget sliding
57:16
window essens, det vil sige man kun.
57:18
Hvad hedder deres window kontekst var kunstnere 8000
57:22
togkens, men de har fundet noget hvor man kunne lave Sådan en
57:25
sliding Windows og Det er realiteten var 32.000.
57:27
Det var en rigtig god ide i teorien, men det viste sig
57:30
faktisk. Altså.
57:32
Så glemmer du så kan du ikke du kan ikke.
57:34
Den kunne ikke løse det der. Hvad hedder det?
57:37
Middelalder helt snak ja præcis. Ja den mistede kapacitet.
57:41
Ja præcis så du lavede i teorien. 32.000 tokens eller
57:44
noget men, men det fungerede ikke rigtig godt.
57:48
Jeg har implementeret på EB da vi da vi skulle få bird
57:52
birthingcooter til at lave predictions på lange artikler.
57:55
Så klippede jeg dem også bare op Sådan 512 tokens ja det gør vi
57:58
bare. Og så kunne man sætter man
58:00
skulle have overlap på de der junks der og Sådan.
58:03
Noget ja Det var Windows og gennemsnit det godt.
58:06
Ja. Nå yes er der noget mere jo så
58:09
har vi jo det der rene forsvar learning.
58:11
Det må du ikke glemme jo. GRPO ja.
58:16
Mads jeg kigger lidt på dig. Det står på Group pollens nej.
58:26
Tror. Jeg præcis.
58:27
Jeg har prøvet at lære det. Og.
58:31
Det. Det er jo egentlig Sådan helt
58:32
standard min form learning hvor man får en værdi for.
58:38
Altså du får en score hvis du gør ting rigtigt og slap hvis du
58:41
gør ting noget forkert. Men det gør det ja altså det gør
58:46
det i Sådan en de gør i Sådan et batch på en eller 2 måde, så for
58:50
hvert ting de genererer, så genererer de ved at ikke huske
58:52
hvor mange Det er. Jeg tror de typisk er Sådan
58:54
noget 8 svar. Af samme altså så bliver det
58:57
prompt og så genererer den 8 svar og så den så Det er lidt
59:01
Sådan en ting er mit forskning learning men den 2 ting er.
59:06
Det er lidt ligesom Sådan noget genetik, hvor du hvor du breader
59:10
ud fra det bedste. Svar så du ved så den bliver så
59:13
du generelt 8 svar foreksempel til det samme og så scorer du
59:17
dem alle sammen. Og så scorer bruger du så for at
59:22
køre videre på? OK sygt nok.
59:24
Men Det er også noget med at de de gør noget så simpelt som at
59:28
tage et gennemsnit på et tidspunkt og det gennemsnit.
59:31
Det er noget med det erstatter noget man tidligere har gjort
59:35
med en hel model i det der loop der.
59:38
Ja måske hvad man kalder den model.
59:40
Det er ikke den der ligesom er blevet walk modellen.
59:42
Det er den Det er en eller 2 2 model.
59:45
For Sådan en very 4 model. Lerificere dine output.
59:49
Så typisk har man brugt. Det har gjort det, gjorde de
59:53
også læge med modellen, der brugte de en en 2 model til at
59:56
verificere de brugte for eksempel MC 4 og o tror jeg Det
59:59
var til at ver b cere outputsene er den 2 model.
1:00:04
Under under træningen, hvilket er det altså en ting.
1:00:07
Det er et monster langsomt, men Det er også ekstremt dyrt hvis
1:00:11
du har 1 mia. milliard roast du skal køre igennem og
1:00:14
privatiseret. Så ja du kan få en model til og
1:00:19
en 2 model til at verificere Det er din model har produceret
1:00:22
korrekt. Men den optimale måde er nok det
1:00:26
her min forsmagende lønning, hvor du genererer et batch og så
1:00:31
scorer dem og så enten vælger jeg den bedste eller eller
1:00:35
vælger gennemsnittet af af dem alle sammen.
1:00:40
Guden sygt megafedt OK? Har vi mere.
1:00:45
Så tænker skyggeren ved at blive lang, så er vi snart slået af,
1:00:48
men hvad hedder det bare lige hurtigt?
1:00:51
Lad os bare lige prøve at snakke lidt om de her
1:00:52
destilleringsmetoder de har brugt til at lave deres små
1:00:55
modeller. Jeg prøvede i øvrigt at køre
1:00:57
hvad hedder det 32 b oridmodellen på min laptop uden
1:01:01
strøm. Og Jeg har stadig 2 promst til
1:01:04
dem og det det det åd 10% bare på min 20.
1:01:12
Det synes fandeme sjovt. Det er Det er.
1:01:13
Den eneste gang Jeg har hørt min mac m 3 maks blazeren gå i gang
1:01:19
altså. Ja.
1:01:21
Så Det er jo nogle fede modeller.
1:01:23
Kan man sige. Altså som Vi har snakket om lidt
1:01:27
før de har jo de er jo de er. Jo Det er jo destillerede
1:01:30
modeller, så Det er jo ikke diciplik modeller så Det er et
1:01:31
lama modeller point modeller og og Sådan noget de har trænet.
1:01:37
Med med output fra den store model.
1:01:39
Det er ikke min forsmand lønnet. Det er supervis fint.
1:01:43
Modeller. Og noget interessant, så vidt
1:01:46
jeg kunne forstå på pik hvad de har fundet ud af.
1:01:48
Det er at det fungerer faktisk bedre at generere data med de
1:01:51
store ved en forsmand lønede modeller og så supervis fine
1:01:55
tunesende de små i forhold til at min forsmagende.
1:01:59
Det ved jeg ikke hvad man kan kalde det, men de små modeller
1:02:02
til at starte. Med.
1:02:04
Hvis du. Det er jo også altså.
1:02:07
Det er jo også Sådan du får geb t 4 o mini Det er bare Sådan
1:02:11
tage den store model procent masse output træning, en lille
1:02:14
model det Det er langt billigere at gøre end at skulle træne en
1:02:18
en lille model. Når du træner de altså nye
1:02:23
modeller så. Legerer du eller aldrig random
1:02:27
Wales længere. Du tager du tager den store
1:02:31
model og så skærer du den bare til.
1:02:33
Du fjerner bare nogle lag. OK og og den outputter jeg
1:02:36
selvfølgelig fuldstændig jaming mening, men den har stadig lidt
1:02:40
viden i det lag som gør. Så kan nemmere adaptis til at
1:02:43
være en lille model. Så Der er ikke altså det der med
1:02:48
at random minis wait stedet. Det er dødt.
1:02:53
Nej fordi det her. Det er jo så dyrt at træne de
1:02:54
her modeller, så hvis det Jeg kan give 5% spare 5% så jamen så
1:02:59
har du spare 5 mio. dollars eller et eller andet i den stil
1:03:01
ikke? Så.
1:03:05
Så det, det gør man ikke længere.
1:03:07
Det Det har bare boot trapping problemet det Det er løst og nu
1:03:11
er det bare destillering og data data, data og data.
1:03:16
Det handler bare om data det hele altså det altså sindssygt
1:03:19
nå. Det bliver.
1:03:21
Jeg vil så sige at. Lige præcis.
1:03:23
De har valgt at destillere deres modeller forkert eller de de har
1:03:28
valgt at destillere den den den måde de har gjort eller gjort
1:03:32
det på er forkert. OK mest optimale måde.
1:03:36
Så så som jeg sagde lige har bare supervisedunet, hvilket
1:03:40
giver stadig rigtig rigtig god modeller de har.
1:03:42
Lavet deres store a one med rinfald learning, og så har de
1:03:45
genereret data med den, og så har de brugt det data til at
1:03:48
supervisune 7 b 8 BF 8 b 13 32 b og så videre.
1:03:55
Nå præcis invitter er også rigtig rigtig god, fuldstændig
1:04:01
fantastisk til GPU og selvfølgelig, men de laver
1:04:04
faktisk også en lille, virkelig fantastisk modeller.
1:04:06
De har faktisk også den den bedste bettingmodel, der findes
1:04:08
lige nu. Det den har jeg lavet en en
1:04:09
video. Men de har opfundet en metode,
1:04:15
hvor du ikke træner på. Selve outputtet altså du træner
1:04:20
ikke på. Vi træner ikke på tog de togens
1:04:26
Der er outputtet af den store model, men træner på de loggets
1:04:30
der ligger bag hvert tåkken. Så du kan ikke kun den er ikke
1:04:35
kun outputtet, men den lærer. Fordelingen.
1:04:37
Distribution, altså fordeling af.
1:04:39
Hvor skulle alle de andre tunge slik?
1:04:42
Og Det er en langt bedre måde at at gøre det på.
1:04:47
Der er langt mere signal i det. Så Der er stadig rigtig meget.
1:04:53
Performance og hente, hvis de ville gøre det op.
1:04:59
Det er sygt nok. Det er sygt.
1:05:01
Nok, Der er selvfølgelig lige et problem med det, at den teknik
1:05:05
fungerer kun hvis du har præcis samme tågense som den originale
1:05:11
mod Det har de. Det har de i andre modeller ikke
1:05:14
nødvendigvis de har de nødvendige men, men Det er ikke
1:05:18
den optimale helt optimale måde at gøre det.
1:05:20
På, hvordan ændrer man togpernasser?
1:05:23
Ja du kan bare skive den en ny. Næsten.
1:05:26
Du kan næsten give den en ny, så skal du igen træne en stor del
1:05:28
af modellen. Jeg ved ikke om i har fulgt med
1:05:32
jeg lavede den der motnbyrd danish.
1:05:36
Hvor jeg prøvede at tage den. Den moden bird som er 100%
1:05:40
engelsk model og også en fin zoom den til til dansk hvor Jeg
1:05:44
har swoppet tokejon. Til til tungenice, der passer
1:05:49
bedre til det danske sprog. Og det gør man egentlig ved.
1:05:54
Og lidt snyde den. Man træner ikke hele modellen,
1:06:00
men man træner kun de lag som ligger lige rundt om og en en
1:06:04
betting. Altså du træner kun en betting
1:06:06
mere eller mindre, så du som modellen tror at den stadig
1:06:11
snakker engelsk. Men den outputter open star
1:06:14
dansk. Så man laver bare Sådan et
1:06:17
translation lag eller Sådan eller hvad?
1:06:19
Ja, men man træner kun en meget lille del af af modellen, så Det
1:06:23
er ekstremt billigt. Og Det kan man gøre ved, og nu
1:06:27
har jeg brugt europar datasætter som at datasæt som indeholder
1:06:32
oversættelser mellem engelsk og Dansk og alle mulige andre
1:06:35
europæiske sprog. Så kan man lave Sådan nogle
1:06:39
nogle pers altså så hvis du har en eller 2 engelsk sætning så er
1:06:41
du på dansk og så kan du så konvertere den engelske sætning
1:06:44
til nogle tåbens. Men du kan også konvertere den
1:06:47
danske sætning som tobens. Og hvis du har nok af dem, så
1:06:49
kan du lave alle mulige mappings mellem de forskellige tokens, så
1:06:53
det skal se om Det er topen 13. Det er dansk tåben 640.
1:06:58
Klager den den lærer mere relationen mellem de forskellige
1:07:02
tåbens end den lærer at være hvad sproget og hvad.
1:07:06
Det skulle være Det er sygt nok. Det er lappeløsningen.
1:07:09
Hvad der så igen, når Det er så dyrt at træne de der modeller,
1:07:12
så bliver man sgu nødt til. At create.
1:07:14
It stuff. Hvad status OK det allersidste
1:07:17
før vi stopper. Hvad er status egentlig på
1:07:18
mercing? Model mercin Det var også Det
1:07:20
var stor. Pistol skulle jeg lige til at
1:07:22
sige jeg skulle det det. Det er helt.
1:07:23
Virkelig også bare Sådan det største hack ever.
1:07:27
Altså Det er jo stadig altså det fungerer jo stadig.
1:07:32
Hvor man tager gennemsnittet og 2 modeller og så bare lægger dem
1:07:34
sammen. Det er en, Det er en måde, og
1:07:37
jeg ved, at jeg foregår ikke hvorfor det bliver, men det
1:07:39
fungerer stadigvæk. Problemet er, Det er bare ikke
1:07:41
det. Det er ikke så udbredt længere,
1:07:43
fordi at Det er bare et band for alle benchmarks.
1:07:46
Fordi det virker for godt. Eller hvad?
1:07:48
Så er det bare bandage bare fordi Der er nogen der har
1:07:50
opfundet jy. Pool ikke problemet problemet
1:07:54
var jo problemet blev jo problemet blev jo at folk de
1:07:57
fandt altså de fandt jo bare på kombinationer af modeller som
1:08:02
var Sådan helt sindssygt overfittet til lille benchmark.
1:08:06
Ja så tog de i top 5 og så mercede dem og så et eller
1:08:10
andet. Præcis.
1:08:11
Det er jo det så Sådan nå men så har vi lige 5% af den her model
1:08:14
og 2,5% den her model, så så så modellerne var ikke gode til
1:08:19
andet end lige præcis den det betænderne.
1:08:21
Altså Det kan godt være at hvis du har en eller 2 betagning ja,
1:08:24
men Jeg tror stadig du kan slå det til scanoval har jo også,
1:08:28
men Det er jo slået fra på default så.
1:08:33
Ja, det havde vi jo så på et tidspunkt.
1:08:35
Det der problemet med benchmarks, det tog vi op i.
1:08:39
Vi havde et afsnit omkring det. Kan du huske det joken hvor vi
1:08:41
også. Så tog vi den der problematik og
1:08:43
Det var Det var som om at der gik noget tid.
1:08:45
Jamen så forsvandt alt den der hype omkring ting der
1:08:47
modelwirts, fordi Jeg tror det gik.
1:08:50
Det gik godt for folk at Det var måske lidt lidt for meget et
1:08:53
hack. De blev undertrykt.
1:08:57
Ja man får nogle man får nogle sjove modeller ud af det.
1:09:01
En ting er synes er er lidt sjovere.
1:09:03
Det er nu snakker vi om militær ekspert.
1:09:05
Man kan jo faktisk godt lave sin egen mixjob-ekspert der findes
1:09:09
Sådan restep hvor du bare kan tage 2 helt denne modeller og så
1:09:13
kan du smide dem ind i Sådan en ekspert altså du kan så kan du
1:09:17
så kan du tage 8 forskellige modeller og så kan du Sådan lave
1:09:19
en mixjob expert model ud af det.
1:09:23
Skal vi lige træne det der routerlag?
1:09:24
Skal du ikke det? Ikke nødvendigvis altså Det kan
1:09:28
man. Det kan jo bare du kan bare se
1:09:30
Sådan. Du skal bare vælge 2
1:09:31
selvfølgelig. Har du Sådan så tager du 8
1:09:36
modeller som så er modellen 8 gange så stor og så er den måske
1:09:39
0,5% bedre. Altså kage.
1:09:44
Men hvis du går efter rent performance, så virker det jo,
1:09:47
men Det er ikke Det er på ingen måde den optimale måde.
1:09:50
Nej, Det er en meget dyrt det der.
1:09:53
Fuldstændig. Fuldstændig det.
1:09:55
Det havde Lucas fra EB. Han havde også hans master var
1:09:59
en Sådan noget der hvor han brugte birth til
1:10:01
abstractivization, men det burde er jo ikke en d code-model, så
1:10:06
Det har han også hacket den på en eller 2 måde Sådan så den
1:10:08
kunne generere tekst Sådan der. Fuck det der.
1:10:12
Fedt nok hvad hedder det? Jeg tror Vi er skygerne ved at
1:10:17
blive lange, og Vi skal have afsluttet det her program, så
1:10:19
det ikke stikker helt af med med hygge.
1:10:22
Og formodeller hvad hedder det mads bare lige her på falderebet
1:10:26
har du et eller andet du godt kunne tænke dig at budskab?
1:10:28
Du kunne godt tænke dig at få ud, måske de bunk ned hype eller
1:10:32
et eller andet fedt budskab. Flere.
1:10:38
Stykker nej jeg randder jo lidt på på linket der skrev jeg Det
1:10:43
er mit yndlingsmedie til at skrive ranch på.
1:10:47
Jeg er bare jeg sur på alle de der store danske virksomheder,
1:10:51
som tjener milliarder kroner og ikke giver altså de bidrager
1:10:54
ikke på nogen måde. Så Jeg synes at de skal fucking
1:10:57
tage sig sammen. Stor dansk virksomhed kan tage
1:11:00
dig sammen. Det dumme svin.
1:11:03
Og lave noget open source. Det er det du tænker.
1:11:05
Ja ja bare et eller andet. Sådan super Det var et godt
1:11:09
budskab jamen, hvilket altså Jeg tror ikke Der er noget bedre
1:11:13
sted at at slutte den her podcast endnu faktisk.
1:11:15
Så hvad hedder det mads 1000 tak fordi du måtte med.
1:11:19
Og. Og 1000 tak for snakken og ja og
1:11:22
så er der bare ikke mere at sige end 1000 tak fordi i lyttede med
1:11:25
derude også og i husk at følg en masse inde på LinkedIn hvis i
1:11:29
gerne vil tjekke nogle af hans ranks.
1:11:32
Nej der jeg jeg Jeg vil ikke fortryde at følge mads inde på
1:11:35
LinkedIn Det er helt sikkert så så gør det.
1:11:38
Og husk også selvfølgelig hvad bruges podcast der hvor du
1:11:40
lytter på podcast eller på LinkedIn eller youtube eller et
1:11:43
eller andet og mig og Jonas også connect med også og alle mulige
1:11:45
steder. Og som jeg bare havde det rigtig
1:11:47
godt til politisk igen. Hey.