Latest / Verbos: AI og Softwareudvikling / #91 - Vi snakker om Apples paper "The Illusion of Thinking"

Transcript

#91 - Vi snakker om Apples paper "The Illusion of Thinking" · Verbos: AI og Softwareudvikling

0:00
Hej allesammen og velkommen til med brugs podcast afsnit nummer
0:02
90 i dag. Der skal vi snakke om. 91. 91
0:07
undskyld afsnit nummer 91.000. Tak for rettelsen Jonas.
0:12
I dag. Der skal vi snakke om et paper,
0:16
som blev udgivet af Apple, som har været i en del i vælten her
0:19
på det sidste igen. Vi er ikke superduper breaking
0:24
på den her, men men hvad hedder det?
0:26
Vi tænkte det kunne være meget spændende at snakke om uanset om
0:29
Vi er super rating eller ej. Og det som paper hedder Det er
0:33
eller det hedder the illusion of thinking, understanding the
0:37
string and legitimation of reasing models viatherines of
0:42
problem complexity. Og det skal vi snakke om i dag,
0:46
og man kan sige, Apple er jo ikke nødvendigvis dem, Der er
0:50
længst fremme på Sådan helt pro frontier modelniveau.
0:55
Og det det giver så måske også lidt udtryk i det her paper,
0:58
fordi de de tager Sådan en kritisk indstilling til til
1:02
elemmer og især de her nye reasingmodeller så så det skal
1:06
vi snakke om. Men hvad så?
1:09
Jonas går du godt? Det går super godt.
1:11
Det er godt. Jeg er så glad for at være
1:13
tilbage. Jeg skippede jo 2 omgange så det
1:16
skulle du lige for. Hvis Der er nogen der kigger
1:19
ned, så er det altså isterninger han lige har i sine øl det.
1:23
Det går ikke. Fik vi også lige afsluttet
1:26
afsløret, og vi sidder og bearbejder.
1:29
Kunne man jo kunne man jo godt have skjult.
1:31
Egentlig ikke. Altså hvis man.
1:32
Ikke kunne alle dem der lytter på.
1:37
På Spotify glemmer vi ved nu ved i vi lige holder lidt før
1:42
sommerferie stemning her. Lige præcis, og Vi skal måske
1:45
også bare lige deklarere at det ikke hver gang vi optager vi
1:49
drikker øl. Det er sjældent vi gør det, så
1:52
så bare Sådan så man ikke bliver nervøs for os.
1:57
Men når nu man skal. Også lige have lidt til
2:01
stemningen her, så er det jo meget godt fordi det her paper
2:04
her. Det er jo Det er jo deep dipe
2:05
det Vi har gang i. Og vi blev lidt opfordret af
2:09
omverdenen, både fordi Det var så.
2:13
Betændt en diskussion på LinkedIn.
2:17
Der var praktikerne og teoretikerne og alle de andre
2:20
rundt om og vibecone og. Du ved, alle havde en holdning
2:27
til det der. Så nu dykker vi ned et æble og
2:31
finder ud af, hvad er det egentlig, der står i det?
2:34
Kan vi bruge til noget er det bare trash.
2:36
Er det bare Apple der synes at? Det der Apple intelligence.
2:42
Det gik sgu ikke så godt Lasse lad os hate lidt på de der
2:45
modeller der som laver en paper ej det tror vi ikke men men
2:48
altså. Der der kommer lidt lidt jokes
2:52
ind imellem, men der kommer også noget seriøsitet.
2:57
Det er jo de tester. Jo selvfølgelig alle andres
2:59
modeller og ikke deres egen. Det er så svært ved det her
3:03
paper ikke og så. Forholde sig rasing modeller?
3:05
Det ved jeg ikke. Og så forholder de sig kritisk
3:07
til det. Måske fordi de er lidt bitre
3:09
over, at det ikke selv kører supermeget for deres deres
3:13
language NLP game, for eksempel siri og så videre.
3:17
Så jamen overordnet set. Så kan man jo sige at det her
3:20
paper er et et paper, hvor man kan sige at at Apple de stiller
3:25
spørgsmålstegn ved. Altså Sådan hvor meget altså
3:30
begrænsningerne på de her reasingmodeller, og hvor meget
3:33
de rent faktisk laver reasing og så videre.
3:36
Og Jeg tror også altså Jeg tror det, Det er blevet Sådan et.
3:38
Det er blevet overraskende meget omdiskuteret det her paper også
3:41
i Sådan de lidt mere mainstream medier, altså hvor at medierne
3:44
ligesom siger hov nu kommer Apple ud og siger at.
3:48
At de her sprogmodeller de ikke rigtig kan tænke og Sådan noget
3:52
ja. Og Det er jo selvfølgelig.
3:54
Det er jo selvfølgelig en historie, som som Der er rigtig
3:57
mange, Der er interesseret i at få og i hvert fald dem, der
4:01
råber højest, føler jeg. Der er interesseret i at få ud,
4:04
ikke, og man kan også godt spekulere i at at Apple er
4:07
interesseret i at bringe det her narrativ.
4:10
Simpelthen fordi at det ikke kører så godt for dem eller de
4:12
ikke Sådan er helt frontere på på den her teknologi ikke og har
4:16
har været lidt og generelt har haft Sådan lidt kluntet tilgang
4:20
til a ikke med Apple intelligence og så videre.
4:23
Det er Sådan Det er lidt en joke Apple ikke på på mange måder.
4:27
Det virker lidt som om. Det gik ikke med min
4:29
forudsigelser om at Apple de ville de ville overtage med med
4:32
deres. That's YI fiksering.
4:35
Jeg tror Jeg tror det der det der det egentlig ja for mig er
4:38
det egentlig fint nok det der med at de ikke er de ikke er
4:41
Sådan helt fremme i bussen og Sådan noget det Det er egentlig
4:43
OK, fordi Jeg synes de laver nogle rigtig fede produkter og
4:45
så videre. Det er mere det der med at de er
4:47
fanme. De er så velpositionerede til at
4:52
at blive den Der er assistent som alle her i lommerne ikke
4:55
altså vil vil siri altså Det er simpelthen Det er bare de har
4:58
fremtiden lige foran sig og de altså de de.
5:02
De er bare overtage en helt vildt hvis de vil ikke, men det
5:05
Det er som om de kan bare ikke. De kan ikke shippe det der
5:08
altså. Ja.
5:11
Men og så fordi man klumpet det ind i produktet på alle mulige
5:15
andre måder med de her genmojes og Sådan noget.
5:16
Altså hvor Det er Sådan. Lidt Det kan vi lige vi kan.
5:19
Vi kan lige tage Sådan 1 1 1 Apple status i slutningen af det
5:22
her deal, men lad os lige prøve at at Sådan outline jonge hvad
5:25
hvad er der? Hvad er de der mainpointer II
5:29
det her paper her vil du ellers skal jeg prøve at starte lidt
5:32
jeg. Kan godt prøve at starte.
5:34
Så det jeg får ud af ligesom først læser man jo abstracted i
5:38
Sådan en paper, og der står altid pointerne øverst fordi at
5:42
så fanger man læserne og det jeg bider mærke i Det er.
5:45
Det er Sådan altså full front kritisk.
5:50
Den her måde at evaluere modellerne på er simpelthen ikke
5:54
god nok. Og Det er noget med, at stanford
5:59
har lavet Sådan et. Apple kritiserer den måde, som
6:02
man, som du ved i industrien evaluerer.
6:04
Jeg glæder mig på ikke Marcus med modeller.
6:08
Generelt tror jeg alle dem og reason modeller men men
6:10
benchmarks, math coating og ting og sager.
6:14
Nu bliver den lige smidt op her på skærmen, så folk også kan
6:16
følge med, og Det er noget med at stanford har lavet Sådan en
6:21
en call 2 action på det her med at få altså stanford University.
6:25
Hvis jeg husker rigtigt. Det kan godt være helt forkert
6:27
at nogen har lavet et Universitet revet kort, så jeg
6:29
action for ligesom at få noget mere styr på det her evaluering
6:32
da vi også snakkede meget om podcasten.
6:33
Det sejler lidt. Hvad er pandemerne?
6:36
Hvad er egentlig den rigtige måde at evaluere de her elever
6:39
på? Altså, hver virksomheder har
6:41
ligesom deres benchmarks, som som deres modeller på får noget
6:44
godt på, ikke? Og Det er derfor fremhæver.
6:46
Det er vibet lidt ikke videnskabeligt det her benchmark
6:49
paradigme oppe fra open source verden fra praktickerne og så er
6:53
det ligesom bare det, og det synes universiteterne ikke er
6:55
helt godt nok vel, og Det kan man godt forstå.
7:00
Fordi Der er mange Der er mange kritikpunkter i den måde, men
7:04
benchmarker på og så benchmarking er også Sådan en.
7:08
Det er altid noget med hvor man sammenligner ting ikke og man
7:11
sammenligner modellerne på den samme benchmark, og så skal man
7:13
kunne. Gør det også noget, men er det
7:16
også. Er det overhovedet muligt at at
7:18
gøre det samme data ind samme forventning ud på forskellige
7:23
modeller, Der er trænet på forskellige data.
7:26
Det er tydeligvis ikke en fair benchmark, hvis man har, hvis
7:29
man har trænet på testdata et et sted i en model, eller Det er på
7:32
et andet, Der er en masse ting. Som om kontamination ikke altså
7:38
at Der er mange af de her evalueringsdatasæt, hvor man
7:40
simpelthen mener, at modellerne er blevet trænet på dem ikke og
7:43
så og der Det kan de se på nogle.
7:45
Jeg tror Det er Sådan nogle gymnasieniveau.
7:49
Ja Det er måske lidt højt. Jeg kan ikke helt huske, men Det
7:51
er Sådan nogle matematikeksamen eksamener.
7:54
Hvor at de kan se at. De helt nyeste som ikke ligger
7:57
på nettet der performer de dårligere Sådan altså hvor at
8:00
det og det Der er Der er nogen indikationer på at de performer
8:04
bedre på de. De spekulerer lidt i testsæt,
8:08
som de muligvis kan være har været trænet på, ikke?
8:10
De spekulerer lidt i noget kausalitet i fremfor jo egentlig
8:14
argumentet ret godt at at det ligesom ikke kan at når
8:18
kompleksiteten i et et Sådan ja det her test set faktisk er
8:25
lavere på den, hvad kan man sige den fremtidige så burde de
8:30
ligesom klare sig bedre på den. Fordi at.
8:34
Visning evert jo bør være lavere end og kompleksiteten er lavere
8:38
og kompleksiteten mål, og de så følges op på en bestemt måde.
8:41
Men de ser så faktisk at de er dårligere, fordi Det er data,
8:45
Der er ude i fremtiden i forhold til det de er trænet på.
8:48
Ikke meget intuitivt og meget Sådan fint, synes jeg.
8:52
Argument, Det er stadig Sådan lidt spekulativt, fordi man kan
8:55
ikke rigtig Sådan verificere den der kausalitet.
8:58
Her men ikke desto mindre, der peger de på Sådan nogle småting,
9:02
og så siger de ligesom Vi er nødt til at have et kontrolleret
9:07
miljø, hvor vi kan. Have hvor vi kan variere det her
9:13
koncept omkring kompleksitet i. Problem og så så gør det noget
9:20
interessant, som jeg tænker egentlig er deres bidrag her og
9:24
som har trigget mange også vil jeg sige.
9:26
Det er de siger jamen vi tager bare de her puzzle possles som
9:31
er Sådan nogle du ved Sådan nogle gåder.
9:34
Her på skærmen og Det er 4 4 forskellige.
9:37
Hvad skal man sige Sådan små spil gået pudslal miljø Der er
9:44
blandt andet noget der hedder tower of hanoi, hvor man skal
9:46
flytte Sådan nogle disky fra forskellige pinde som noget der
9:50
hedder tjeckerstrumping noget der hedder river crossing og
9:52
blogs world. Det er Sådan nogle spil hvor Der
9:54
er nogle regler hvor man den skal reasende.
9:57
Folk, han må få løst dem. Ja og.
10:00
Det viser sig så, at alle de her spil de kan.
10:05
De kan ligesom varieres II kompleksitet ved at ligesom
10:09
putter mere og mere på dem så at sige.
10:11
Altså man gør dem større. Det vil sige.
10:15
Hvad kan man sige udfaldsrummet for forskellige stadier som
10:19
spillet kan være i, og hvor løsningen ligesom skal findes
10:23
inden for de udfaldsrum det bliver større.
10:27
Og Det er jo en synes jeg jo egentlig en meget fin Sådan
10:31
forklaring på kompleksitetsniveauet af et
10:35
problem, og Det er Sådan rimelig kontrolleret, fordi Det er reelt
10:38
baseret det her miljø. Man kan næsten fornemme lidt win
10:42
force learning. Hvad kan man sige
10:44
miljødefinition her, hvis man har været til Sådan noget
10:48
engang? Og man kan sige det der med de
10:50
her reasingmodeller, Det er at de bliver evalueret på.
10:53
Meget Sådan nogle. Goder som har et rigtigt svar,
10:56
altså matematik eller programmering og så videre.
10:59
Og det man så har lavet her. Det er Sådan nogle Sådan nogle
11:01
spillemiljøer, hvor at man kan generere basic le uendelig
11:05
mange. Hvad skal man sige forskellige
11:07
spil? Version af det her spil med
11:10
forskellige startpositioner og en eller 2 slutposition som den
11:15
skal være i. Og så skal et element så finde
11:16
ud af hvordan den kommer derhen og der kan man så ligesom der
11:19
har de Sådan der kan de skrå op og ned for kompleksiteten ved at
11:21
tilføje. For eksempel i det her towoff
11:24
hanoi. Der er der Sådan nogle diske, de
11:26
skal putte med de der pinde og så en måde, man kan øge
11:28
kompleksiteten. Det er, at man kan tilføje flere
11:30
diske ind i spillet, så Det er Sådan, Det er Sådan en
11:33
kontrolleret måde at generere data.
11:37
Og ved varierende kompleksitet hvor hvor at i så vidt jeg også
11:42
kan forstå, at fordelen ved det her er også at fordi det ligesom
11:45
er tilfældigt genereret de her spil, så er den også mindre.
11:50
Hvad skal man sige følsomme overfor det her forurening data
11:54
forurening man mener, Der er de andre datasæt lider under, fordi
11:57
at medlemmerne er blevet trænet på dem, ikke?
12:00
På mange måder, så minder det meget om det her ark datasæt som
12:04
som som Der er mange der kalder det her ADI datasæt.
12:08
Det er også Sådan et datasæt som hvor de prøver ligesom at fjerne
12:11
den her memorisering, som man mener at stort problem i alle
12:14
lim benchmarks. Det prøver man ligesom at fjerne
12:17
ved at generere de her. Gået op.
12:22
Ja, det minder mig meget om det, så jeg ved ikke.
12:24
Jeg ved ikke om de har. Jeg har faktisk ikke lige Jeg
12:26
har tjekket ikke lige om de har sendt sendt hvad skal man sige
12:30
sendt skud ud til ark benchmarked?
12:32
Jeg tror Det er Jeg tror det hedder ARC faktisk.
12:38
Tvivl om at at hvad kan man sige?
12:42
MLAI verden den lyder måske lidt af Sådan lidt.
12:48
Sicket learn train test split tilgang til det her med hvad Det
12:52
er man tester på. Og at at det på en eller 2 måde.
12:58
Jamen Det er bare et udsnit af. Hvad kan man sige noget
13:01
træningsdata, men det ikke har set og så er det sikkert. 1 1 1,
13:07
fordeling af. At det generelle, som man gerne
13:10
vil have dem til at kunne noget om.
13:14
Og så bruger man det som en repræsentation for for den
13:17
population, man egentlig gerne vil vil prægte, ikke?
13:22
Og høre at at de trænede på alt data de hører, at de har
13:24
sprunget eller ikke så alt det data og de evaluerer data man
13:28
har test. De er også blevet trænet på
13:29
testsættet, ikke? Du ved ikke om Det er en
13:31
distribution. Det du det du ligesom har
13:33
afholdt et eller andet mystisk sted eller en person har fundet
13:36
på Det kan du simpelthen. Så selvom at Det er ja ja, men
13:39
Det er lavet. Det kommer ikke fra inputtet af
13:42
data, men så kan det sagtens være at det problem også var i
13:45
data. Det du fik en person til at lave
13:49
her on the side og. Det er et problem, fordi at det
13:54
betyder effektivt set altså. Praktisk talt det faktum, så er
14:01
det problem i dag i træningsdatasættet og løsningen
14:05
findes nede i det træningsdatas ergo er det noget modellen har
14:09
set? Og derfor er der ikke tale om en
14:12
generaliseringsevne, når Det er man så tester det på det det.
14:16
Det tror jeg de fleste der ved noget om statistik og de her
14:19
modeller vil være enige i og derfor så tror jeg ikke Der er
14:23
så mange Der er uenige i det her udgangspunkt om at Det er et
14:25
problem. Og man er nødt til ligesom at
14:28
prøve at måle dem udenfor deres, deres deres comfort for at finde
14:33
ud af, om de lærer noget generelt ud over den her
14:37
memorisering, som som de kritiseres for.
14:41
Men man kan sige et eller andet evaluering er også i sig selv et
14:43
problem. Ikke fordi Det er jo altså du
14:46
kan jo ikke, hvad kan man sige? Det er jo det som IQ ikke altså
14:49
der måler man jo ikke intelligens direkte.
14:51
Der måler man forskellige i hvad skal man sige indikatorer på
14:53
intelligens? Så vidt jeg forstår i hvert
14:55
fald. Og så får man en eller 2 kurset
14:58
ikke eller Sådan noget altså. Og Det er vel egentlig også det
15:00
man gør i eller benchmarks ikke, så måler man Sådan nogle ting
15:03
hvor man tænker hvis den kan klare det her, så må den må den
15:06
forstå noget om verden ikke. Og så tager man ligesom bare 1 1
15:10
1 suite en stor suite af forskellige ting og.
15:13
Ser det som Sådan en helhed af, at de må være gode til til det
15:17
ikke hvis de kan svare rigtigt på det.
15:19
Som man laver jo. Man forsøger jo ligesom at at
15:23
indfange et. Altså Sådan et noget man kan
15:28
være aditivt indtægt nogle gange ikke.
15:30
Altså man prøver ligesom at at lægge ting sammen og så siger
15:32
man så nu måler vi en lille smule på alle de her ting her.
15:37
Så nå, men men men men fordi. Nu gør de jo så det her.
15:44
Og hvad er så resultaterne? Jeg kommer lige ind.
15:47
Jeg der har nogle andre pointer der kommer ind bagefter er der
15:49
noget før det Vi skal gå til resultaterne.
15:51
Nu jeg bliver bare nysgerrig på på det egentlig fordi jeg tænker
15:54
Sådan gad vide altså må hvordan de fordi man ja jeg tænker bare
15:58
på hvordan de har evalueret det her, eller hvordan de ligesom
16:00
har evalueret eller lemmernes performance har de lavet det
16:03
Sådan at. Hele problemløsningen findes i
16:07
altså ligesom og foregår i tænke trainer frod.
16:14
Altså de den her tankerække eller dem spytter ud.
16:17
Eller er det Sådan, at den foregår som 1 1 1 1 sekvens af
16:23
tool calls, hvor at den ligesom kalder et AP som manipulerer
16:27
staten af den her det her spil. Jeg ved ikke teknisk, hvordan de
16:32
ligesom har det. Ser ud som om de evalueret.
16:35
Dem men men jeg jeg jeg ved at der i 10 artiklen et eller andet
16:39
sted husker jeg jeg ved jeg husker det Sådan Det kan være
16:41
jeg husker forkert at de både undersøger om modellen.
16:46
Kommer frem til svaret undervejs.
16:48
Det kan være det i øvrigt bare er Manuel af notering.
16:50
Når de gør Det har gjort det for ligesom at få få mere korrekt
16:54
data, ikke? Om, Det er om den kommer frem
16:58
til svaret undervejs II reasoning tokens fasen.
17:02
Det har de der modeller med nogle gange jo at gøre og så og
17:05
så alligevel begynder at rande derudaf om alt muligt andet, så
17:08
endte med et forkert svar bagefter men men hvad hedder
17:11
det? Og så undersøger de det
17:12
slutsvaret kan man sige så. Tænker bare der der.
17:14
Jeg tror Der er Jeg tror Der er forskel på.
17:17
Om den skal om en eller lumm skal ligesom.
17:20
Løse Sådan en her evalueringsopgave ved at have
17:22
det hele i sin tankerække, eller om den ligesom har et miljø den
17:26
kan interagere med og se, hvordan opfører sig eller Sådan.
17:30
Det har jeg bare en eller 2 intuition om at det.
17:34
Giver det mening? Altså hvis.
17:35
Bare det du siger Det er for for det.
17:37
Ja OK. Så ja manipulerer staten.
17:42
Af det eller Sådan? Ja.
17:43
Får det lov ligesom mennesker at prøve den for eksempel at have
17:46
have noget. Det er det første, et barn ville
17:47
gøre deres bare bare tag den første uden at tænke over noget.
17:50
Ja, det ved jeg faktisk ikke rigtigt altså.
17:52
Det ville jo hvis du bare altså hvis du hvis det kun sker i dens
17:56
tanker. Løsningen, så svarer det jo til
17:58
et menneske sidder foran Sådan en Sådan en Sådan en tower of
18:02
hanoi og så bare forestiller sig løsningen.
18:04
Inde i. Hovedet og så one shutter du ved
18:07
løsningen. Ikke uden at få noget feedback.
18:09
Hvor hvor er det et menneske jo nok rigtigt ville gøre.
18:11
Det var at Sådan tage den du ved og så prøve at rykke den lidt
18:13
frem og tilbage og Sådan se hvordan det skal ændre sig og så
18:15
videre. Det er faktisk en rigtig god
18:18
pointe. Tror jeg ikke de nævner noget om
18:20
at at Sådan jeg kom. Jeg er også nysgerrig på Sådan
18:22
gad vide om old schry har jo fået ret god performance på det
18:25
her ark benchmark og gad vide om den Sådan interagerer med?
18:30
De der possals der nå det det. Er anyways, men fordi du
18:34
foregriber nemlig også noget andet som Jeg tror er, hvad kan
18:37
man sige omgivelsernes kritik til det her?
18:41
Jeg har slet ikke sat mig ind i omgivelsernes kritik.
18:44
Det er måske lidt dem har jeg lyttet lidt til både hist og
18:47
her. Nå men deres resultater.
18:51
Og nu kan det være, at det bliver Sådan lidt resultater af
18:53
hvad, fordi Vi har ikke rigtig beskrevet præcist hvad Det er de
18:56
gør, vel? Og så Det var deepatupe det her
18:58
joy, men nu siger vi til folk alligevel læse det her paper,
19:01
fordi at Vores repræsentation af det her er sikkert ikke helt
19:05
super. Der er sikkert noget vi overser.
19:09
Men det der det de har gjort Det er at de har taget.
19:12
Jeg tror Det er og three altså de har taget clore 3,7 og 3 3,7
19:18
ding og så har de taget taget old free mini og dens.
19:24
Jeg tror Det er så gipti 4 o måske.
19:28
U 3 ja, men de har i hvert fald taget Sådan du ved en changer
19:32
for eller Sådan en reasing model og så dens nærmeste ikke reasing
19:36
model penang. For for Claude for jeep see og
19:40
for opinay i så jeps se det må være ron one og v 3 og iron Det
19:45
er reasingmodellen ikke og så har de ligesom testet hver af de
19:50
her modeller på de her. Hvad skal man sige opgaver hvor
19:54
de? Har gradvist har hvad skal man
19:58
sige? Øget kompleksiteten fra 1-20 ser
20:01
det ud til. Og det nu sidder vi lige og
20:05
kigger på det i det her hano eksempel.
20:06
Der er det antallet af de her disks.
20:09
Hvad Det er for de andre, men de har Sådan en.
20:11
De har Sådan en dialog, hvor de ligesom kan eller Sådan en en
20:13
knap hvor de ligesom kan skrue op for kompleksiteten.
20:16
Og så har de for hver af de her sprogmodeller har de genereret
20:19
25 svar, for ligesom at få noget signifikant og så har de taget
20:24
gennemsnittet af svaret eller et eller andet Sådan altså for
20:27
ligesom at få eller majority vote eller hvordan de har gjort.
20:32
Og der så så det vil sige de har en en visningsmodel og en ikke
20:36
visningsmodel for samme hvad skal man sige provider og og der
20:40
har man så ligesom prøvet at måle dem op mod hinanden og det
20:44
de finder ud af. Det er at Der er ligesom 3.
20:47
Hvad skal man sige? 3 jeg ved ikke om de hvad fanden
20:52
kalder de dem Sådan 3 faser i den i takt med at den skruer
20:55
simpelthen den der bliver skruer op for kompleksiteten og Det er
20:59
fra der står bare lige her fra 1-3 i kompleksitet Der er det
21:04
Sådan at altså hvor der hvor det ikke er særlig komplekst.
21:07
Der er det Sådan at både reasningmodellen og ikke
21:09
reasingmodellen performer nogenlunde lige godt.
21:14
Faktisk og ja. Så efter så fra 3-10 står der
21:20
her i kompleksitet. Der kan man godt se, at der
21:22
begynder ikke reasingmodellen at give op ligesom at miste.
21:29
Performance hvor at eller det ikke visninger på den begynder
21:34
at miste performance, hvor at reasningmodellen den bibeholder
21:36
den altså den den holder ud længere.
21:38
Den kan klare mere kompleksitet. Det kan ligesom klare der bliver
21:41
skruet mere op for kompleksiteten.
21:43
Ja og så, men så når vi kommer op på 10-20 i kompleksitet altså
21:48
når de her puzzles begynder at blive rigtig, rigtig
21:50
komplicerede og løse, så så kollapser.
21:54
Hvad skal man sige reasningmodellerne?
21:56
Altså så er hvad hedder det ikke reasningsmodellen kollapset for
21:59
for noget tid siden, men så kollapser.
22:02
Visningmodellerne også og for simpelthen bare nul IA curcy.
22:05
Altså kan jeg simpelthen bare slet ikke overhovedet ikke løse
22:07
de her problemer. Ja.
22:11
Ja, og Det er i forhold til selvfølgelig aggressive som er.
22:14
Rammer de rigtige Der er en har du ramt rigtigt eller har du
22:17
ikke ramt rigtigt? Ja lige præcis.
22:19
Der er jo et rigtigt svar på den her.
22:20
Ikke så det de ligesom kritiserer de her
22:22
reasingmodeller, for Det er at de kan jo de kan holde.
22:24
De kan tåle mere kompleksitet end end end ikke reasing
22:28
modellerne, men kun til et vist punkt og så kollapser de
22:32
fuldstændig. Og noget andet noget andet
22:36
interessant de også. Hvad hedder det observerer Det
22:38
er at de her reasingmodeller, som man intuitivt nok vil vil
22:42
forvente. Jo lavere kompleksitet, Der er
22:45
jo færre tokens bruger de ligesom på at løse problemet, og
22:48
i takt med at det stiger op til 10 kompleksitet, der bruger den
22:52
flere og flere og flere togens, men så omkring på samme
22:56
tidspunkt, hvor at den begynder ligesom bare at give op og
22:59
ligesom bare have en akurising på 0%.
23:02
Der begynder den faktisk at producere færre tokens.
23:05
Altså Det er ligesom om den giver bare lidt Sådan op og
23:08
begynder og og og stoppe med at producere lige så mange tokens.
23:13
Ja og det ja så Det er ligesom det de Det er ligesom det Der er
23:17
i hovedpointen kan man sige ikke at Der er de her 3 faser hvor at
23:21
Der er den første fase hvor ikke reasning og reasningsmodeller er
23:25
på samme niveau. Så kommer der fasen hvor at Det
23:28
er reasing modeller slår altså falder i performance, men slår
23:31
trods alt slår ikke risning modellerne og så kommer der den
23:35
her fase, hvor kompleksiteten bliver for høj og der ikke er
23:37
nogen af dem der kan følge med. Ja og der kritiserer dem, der
23:42
kritiserer de sig selvfølgelig visningmodeller for ikke at
23:46
kunne. Håndtere en vis over en vis
23:49
grænse af kompleksitet i Sådan nogle logiske opgaver.
23:54
Og de snakker blandt andet om, at.
23:57
Noget de også ligesom har undersøgt.
23:58
Det er hvorhenne i den her change ofd opstår det rigtige
24:03
svar som som er rigtigt og der der optimerer de blandt andet de
24:07
her reasingmodeller har tendens til ligesom at at finde på det
24:11
rigtige svar, menser ligesom at overtænke det og så finde frem
24:15
til et forkert svar og så give det som endeligt svar.
24:19
Ja ja og og så når de ligesom så på et tidspunkt så så giver de
24:23
bare op ligesom og og kan ikke løse problemet basically.
24:29
Ja, så Det er jo ligesom Sådan en.
24:31
Det er ligesom. Apples.
24:37
Skepsis overfor de her reasingmodeller.
24:40
Ja. Lige præcis.
24:45
Ja og Det er jo Det er jo basically essensen af det her.
24:48
Det er jo egentlig ikke fordi at paper er mere kompliceret end
24:50
det. Egentlig ret simpelt.
24:55
Ret enkelt. Og så kommer vi.
25:00
Måske skal vi prøve at se, om vi kan komme til noget?
25:04
Hvad ved jeg noget af kritikken af det her paper, så der ved
25:09
propic har jo selvfølgelig været ude og.
25:12
Ja du ved Sådan. Hype modsvar på en eller 2 måde.
25:17
Altså Jeg kan prøve at snakke lidt om hvordan jeg Sådan tænker
25:19
over det. Altså fordi jeg jeg tænker
25:22
umiddelbart på altså Jeg tror måske aldrig rigtig Jeg har.
25:25
Jeg tror ikke det kommer bag på mig at.
25:29
De giver op på et tidspunkt. Jeg og Jeg tror Jeg tror ikke
25:34
Jeg har Jeg har Jeg er ikke Sådan.
25:35
Jeg går ikke super meget op i omkring de her modeller.
25:37
De laver rigtige risning eller om de ikke gør.
25:40
Jeg er mest bare optaget af om de er brugbar eller om de ikke
25:43
er. Altså kan de løse nogle
25:44
problemer som som er indenfor deres scobe eller kan de ikke?
25:49
Men, men så er det jo selvfølgelig også rigtig
25:52
brugbart, ligesom at kunne kende grænserne for hvornår de de ikke
25:55
altså hvornår deres skal man sige.
25:57
Evne til at at løse problemer kommer til kort.
26:03
Og Jeg kan. Jeg tror måske Jeg vil.
26:04
Jeg tænker Sådan. Jeg tror Jeg har hørt.
26:08
Jeg tror på mange måder, så tror jeg at de her reason modeller er
26:11
meget i det tidlige de tidlige faser.
26:14
Der er stadig rigtig meget. Hvad skal man sige research i at
26:16
finde ud af hvordan man træner dem bedst muligt?
26:20
Sådan så at de ikke man kender det selv hvis man bruger chat
26:23
GPT og lige får spurgt of the om et eller andet super basic, så
26:27
begynder den bare at søge hele internettet og lave massiv
26:30
rensning og altså hvor Det er bare Sådan noget rolig, Det var
26:32
bare Det var bare. Jeg spurgte bare hvem dronningen
26:36
af hvem der har været eller hvem Der er kongen i Danmark er der
26:38
Sådan et eller andet ikke? Og Der er Sådan noget.
26:42
Det er Sådan noget det. Det er jo klart Sådan noget
26:45
overfhinking, hvor at det giver en dårlig brugeroplevelse og det
26:47
giver en dårlig performance på Sådan nogle her ting fordi.
26:51
At den er ligesom trænet til det eneste, de her reasningmodeller
26:53
de ved tydeligvis Det er at de skal bruge rigtig mange tokens
26:56
på at på at finde ud af et eller andet ikke.
26:59
Og og så og så så tager det Sådan, så handler det om ligesom
27:04
at at få lavet en eller 2 fed måde at træne dem på, så de ikke
27:07
opfører sig Sådan. Og så tror jeg, at så tror jeg
27:11
at. Det er sjovt fordi Jeg tror hvis
27:14
Det var openay der havde lavet det her paper, så havde de set
27:17
det, så havde de havde haft en 2 vinkel på det, så havde de
27:20
skrevet Sådan OK, men Det er så nogle af begrænsningerne.
27:23
Det vil sige, at vi bliver nødt til at finde ud af, hvordan vi
27:25
ligesom kan øge performance. Jamen så du ved Apple ser det
27:29
som en mulighed for ligesom at kritisere hele paradigmet
27:33
visningmodeller hele det her space som de jo sjovt nok er
27:38
rimelig bagud på. Og så så Det er derfor Jeg kan
27:43
ikke helt lade være med at Sådan synes den er lidt grineren den
27:46
der Sådan sentiment de har i forhold til til det her hvor vi
27:50
tror hvis hvis åblandinger havde gjort det, så havde de bare det
27:52
her. Det havde bare været Sådan 1 1 1
27:54
del af penddix II deres paperm eller træne hvad hedder det old
27:59
fee eller et eller andet og så havde de sagt OKI næste run, så
28:02
sørger vi for at det her den her de her metricks også godt ikke?
28:06
Men Det er jo sjovt fordi at Jeg tror meget af kritikken er jo
28:08
også gået på den der lidt click bay titel de har haft på det her
28:12
paper der hvor at. At det de siger næsten i titlen
28:17
Sådan. Altså fordi illusion visning og
28:20
de bruger begrebet visning men men men hvis vi lige Sådan fordi
28:24
jeg tager lige et par punkter af den der kritik der ikke, så
28:26
siger jeg Sådan deres titel taler om reasning.
28:29
De bruger ordet visning hele tiden, men på intet tidspunkt
28:33
definerer de begrebet visning. Det er Sådan en helt klassisk
28:37
akademisk kritik. Som er i det her tilfælde vil
28:41
jeg vove at påstå superværdigt fordi.
28:44
OK. Finking prøv lige at gå i titlen
28:47
igen. Se om jeg lige laver en en.
28:49
Stramand her. Ikke visning, men OK lim
28:52
intentitions og reasing models OK thinking og visning.
28:55
De bruger nogle begreber her omkring et eller andet som som
28:58
de ikke rigtigt definerer og Det er hvad kan man sige, så kan de
29:02
være undskyld fordi Det er normalen at alle gør det.
29:06
Ingen definerer de her begreber. Alle snakker om den ikke Det er
29:10
første, hvad kan man sige? Academic smell her Det er.
29:16
I skal have styr på jeres begreber.
29:17
Hvad mener i med de her ting her?
29:19
I kan ikke give bunk noget II kan definere først.
29:21
That's just defat så den kritik er 100% vallet.
29:26
Man kan ikke debunke reasning, hvis ikke man har defineret det
29:29
til gengæld så definerer de kompleksitet rimelig fint her og
29:32
så siger de at. Kompleksitet hænger på en eller
29:37
2 måde sammen med risning, fordi at hvis noget er komplekst og
29:42
man er god til at reasende, så skal man kunne overkomme den her
29:44
kompleksitet. Og ligesom stadigvæk løse
29:47
opgaven. Og derfor så har man i
29:50
kompleksitets. Hvad kan man sige definitionen
29:53
en en proxifa måle graden af visning.
29:57
Den køber jeg, men de bør være meget mere eksplicitte omkring
30:01
det, og så kan kompleksitet være en type proxy.
30:05
Til at måle på visning, ikke? Det og så er deres.
30:10
Hvad kan man sige deres udsnit af det de prøver at undersøge?
30:16
Jo Sådan set validt nok hvis du spørger mig, fordi Jeg synes de
30:19
gør et ret godt stykke arbejde i ligesom at sige jamen OK
30:25
kompleksitet det Vi skal isolere det her.
30:27
Vi skal ligesom kunne eksperimentere med de her ting,
30:29
og Vi skal kunne variere med det her problemspace.
30:32
Det er ligesom det, Der er deres bidrag.
30:34
Det er et problem. Vi kan ikke variere med
30:35
problemspace, fordi Vi har ligesom Sådan nogle statiske et
30:38
eller andet randomiseret mystiske.
30:40
Vi ved ikke hvem der har genereret de her problemsting i
30:43
nogle benchmarked datasæt. Det er bare ikke godt nok helt
30:47
enig. Men så er der en 2 kritik som
30:51
også at man også kan give til almindelige kørsel på benchmark
30:55
datasæt Det er. Der er altid nogen der også
31:00
siger givet en eller 2 prompt i altid.
31:03
Der er nogle gange hvor trompen får lov at variere app og at at
31:07
Der er mere frit spil for at modellerne lidt med forskellige
31:11
typer prumps kan udforske at løse et problem, men Det er tit
31:16
at benchmark datastesten også kommer med en en prompt.
31:20
Så jeg spørger om det her, og så forventer jeg at få det rigtige
31:23
svar. Så Det er inputtet der styrer
31:26
benchmarket og eksperimentet. Hvis Der er noget man ved, så er
31:32
det at. Modeller er trænet.
31:37
Altså på forskellig data også og ender et forskellige steder og
31:41
responderer forskelligt på forskellige inputs.
31:43
Det gør de. Af ren og skær datamæssige og
31:48
matematiske årsager, fordi de er er linet med det data de fik ind
31:53
token wise og så videre. Propabilistisk.
31:56
Er der nogle typer tokens der har en en Sådan helt april i
32:00
datasættet en bestemt fordeling. Derfor så kan man ikke behandle
32:05
dem på lige fod med inputdata. Det svarer til at det ved alle
32:08
der laver ML og Det er noget af det som jeg.
32:11
Jeg forstår slet ikke at det ikke er feset ind endnu, fordi
32:15
det ved alle der arbejder med statistik og og.
32:20
Klassisk machine learning Det er at hvis du har trænet en model
32:23
på noget data, så kan du ikke bare lige pludselig komme med et
32:25
eller andet andet dataformat som det jo er, når du bare kommer
32:28
med noget nye noget nyt tåben. Du kan godt komme med nogle
32:32
nogle andre værdier, men du kan ikke Sådan ændre grundlæggende
32:36
formaterne. Og Det er jo Det er.
32:38
Det er en supervis learning. Der er det jo Sådan at du mener
32:41
Jeg har hørt LASI på et tidspunkt i en eller 2 video at
32:44
du ved hvis du har et datasæt med en en eller 2 distribution
32:49
altså et eller andet og du så ligesom træner en klassefejer
32:54
til at forudsige det der med great in thesensant eller et
32:57
eller andet en eller 2 optimiser, så bør det være Sådan
33:01
at hvis du så har et testset som har samme fordeling.
33:06
Øh, så vil du kunne så vil du kunne generalisere til det ikke?
33:10
Den den, du må ikke gå ud over fordelingen.
33:12
Du må ikke komme med ekstrem værdier.
33:14
Den er aldrig nogensinde. Har har set II.
33:17
Hvad kan man sige nu nu? Hvis vi bare taler numeriske
33:20
værdier? Men den vil også være den vil
33:25
også givetvis være bedre til at finde ned til Sådan bare se ud
33:30
fra Sådan en memorisering, så vil den være bedre til at finde
33:33
ned til nogle bestemte ting. Det ved vi også fra
33:35
prompenering. Det er at vi kan optimere Vores
33:37
input eller vi kan optimere og få det rigtige output ved at
33:40
manipulere på inputtet ikke og det vil sige hvis man skulle
33:45
rigtigt. Benchmark og eksperimentere med
33:49
de her modeller overfor hinanden.
33:51
Så skal man give dem best case scenariet for at kunne løse en
33:57
given opgave, man skal ramme det input space.
34:00
Der er best case scenariet for at de løser opgaven.
34:03
Det er man nødt til at optimere mod, fordi det på det.
34:07
Det er den eneste tidspunkt, hvor du har en fair kompetition,
34:11
fordi du ved ikke med et eller andet tilfældigt input.
34:15
Så vil du så vil du ikke få en fair commition og det vil sige
34:18
her hvor at du det det de gør det her paper der der varierer
34:22
de propon's space. Super det skal varieres
34:26
systematisk, men der skal også varieres på input-basis
34:30
systematisk ikke. Så hvad har de trumpet dem med?
34:34
Hvad har de, hvad har de? Hvad har de trompet dem med her
34:36
for ligesom at at at få dem til at løse det der problem, har de
34:40
chanlet løst problemet, fordi det det og Det kan man kritisere
34:44
dem rigtig meget for, fordi det går de ikke nok ind i, og de bør
34:48
også gøre mere for det, men men OK.
34:51
Suppli fair Der er ingen, der gør det her, vel?
34:53
Nej, men Det er sjovt, men 1 1 1 ting som jeg også tænker meget
34:57
på Det er Sådan der hvad nu? Jeg kunne godt tænke mig at se
34:59
nu her testet Claus udtry og så dilipse i one ikke.
35:04
Jeg kunne godt tænke mig at se menneskeperformance på det her
35:07
altså du ved lav en og og og der ville menneske i kværulanten jo
35:11
være mig der sad og kiggede på det der tower of hanoi og bare
35:15
Sådan sad og tænkte. Tænkte, tænkte, tænkte, tænkte,
35:18
tænkte og så bare one shottet løsningen ikke altså Sådan du
35:21
ved. Jeg tror måske også det her med
35:24
at. Muligvis hvis man havde et
35:26
menneske til at sidde og gøre det der, ville det godt kunne
35:28
lade sig gøre med 3 disk for eksempel eller være den
35:30
kompleksitet var lad os bare sige det, men men så II takt med
35:34
at man stiger den stiger, så så er der grænser for hvad man kan
35:37
have af af information roder rundt med i sit information
35:41
indeni sit hoved før man kan løse det her problem.
35:45
Hvor altså før man begynder at at have behov for at interagere
35:49
med miljøet. Altså du bliver du bliver nødt
35:51
til ligesom at ændre status på miljøet, for ligesom at ikke at
35:54
have det holde styr på det hele oppe i hovedet ikke ja.
35:57
Og Det er derfor dig feedback. Og Det er derfor Jeg er
35:59
nysgerrig på Sådan Jeg er nysgerrig på Sådan.
36:03
Jeg tror nemlig bare de har sat den til at løse hele det her II
36:06
sin changer ford og ikke givet den lov til at hvad skal man
36:10
sige manipulere miljøet undervejs?
36:14
Og tænkt på altså. Jeg tror måske også at de fleste
36:17
nu ved jeg det ikke, men jeg kunne forestille mig mennesker
36:19
også ville give op på et tidspunkt på der kom over en
36:21
kompleks kompleksitet, så ville jeg ligesom bare sige.
36:24
Prøv at hør. Jeg kan ikke have det her inde i
36:25
mit hoved. Altså Jeg kan ikke holde styr på
36:27
20 diske der skal flyttes rundt og så videre og så bare one
36:29
shoppe når Jeg har fundet på løsningen.
36:31
Ja og Der er der kunne et muligt svar til at de her
36:37
visningmodeller ligesom bare hvad skal man sige giver op på
36:40
et tidspunkt? Det er fordi at de kan ikke, men
36:43
de bliver ligesom tvunget til det fordi at de kan jo ikke.
36:46
De kan jo ikke bare sige nej. Jeg gider ikke generere tungens
36:48
altså de blev ligesom tunge til ikke så bliver piftet, så Det
36:53
kan også godt være Sådan du ved Det kan også bare være at Det er
36:55
totalt urealistisk forventninger man sætter til altså du vil
36:59
aldrig nogensinde sætte de her forventninger til et menneske
37:01
hvis du bad den om at. På det her, ikke?
37:04
Og Det er jo Sådan bedste kritikpunkt.
37:06
Det er jo så hvor er menneskets grænse i kompleksitetsniveau i
37:10
forhold til hvad man? Det kan også være.
37:12
Prøv at høre det her. Det hedder illusion of thinking
37:14
ikke? Det kan også være det her Det er
37:15
super human performance altså Det er det Det er det givetvis.
37:19
Af en af grundende til, at jeg kritiserer det for det der med
37:22
at thinking og visning og og hvordan man definerer det.
37:25
Og typisk er det jo noget man gør Sådan lidt bare.
37:28
Nå, men Det er noget med mennesker eller et eller andet
37:30
OK, men de laver en proxima kompleksitet.
37:33
Men Der er jo også. Hvad kan man sige?
37:37
Der er jo også. At, som du siger med
37:40
kompleksitet, så ved vi for eksempel fra psykologiens
37:42
verden, at den menneskelige hjerne kan ikke kapere mere.
37:45
End end 7 7 kan man sige ting på en gang plus minus 2 eller Sådan
37:51
et eller andet, tror jeg psykologerne er kommet frem til.
37:55
Kan man ikke holde inde i sit hoved på en gang, så er man nødt
37:59
til ligesom at mappe det tog til og det kompunktum.
38:04
Til nogle nogle dele som? Gør faktisk efter 7 at den
38:08
kollapser. Nå men altså så men ved du hvad?
38:14
Ved du hvad jeg? Tror bare til at lave et
38:16
menneske og mennesker ikke kan vende mere end 7 ting.
38:19
Og grunden til grunden til at det her.
38:21
Jeg tror også grunden til at det her paper er blevet så omtalt.
38:24
Det er fordi den her the illusion of thinking Det er vand
38:29
på eller leimhaters Mille. Altså du ved Sådan der kan i
38:33
bare se de laver ikke rigtig risning og så videre bla bla de
38:35
er slet ikke rigtig, de er slet ikke rigtig intelligens og Sådan
38:38
noget ikke. Og alle os andre.
38:39
Vi sidder bare der og siger. Nå, Det er der har vi heller
38:43
ikke sagt eller troet eller Sådan eller Sådan.
38:45
Jo Det er rigtigt nok. Det hedder reasing modeller og
38:47
Sådan noget, men Vi er mere optaget af hvor brugbare de er
38:50
og Sådan noget ikke. Altså Sådan.
38:51
Men Det er også der hvor Jeg tror praktikerne versus
38:54
teoretikerne her begynder Sådan lidt at at sidde og have en
38:57
fight på LinkedIn, fordi Det er tydeligt at Der er nogen der går
39:01
meget op i det teoretiske spørgsmål.
39:04
Og Der er nogen som bare jamen jeg bruger det til dagligt.
39:08
Det virker det whatever kortet what the wand altså.
39:13
Det virker til de problemer jeg jeg bruger det til og og der
39:16
tror jeg også bare at man lige nogle gange.
39:18
Sådan accher. Spørgsmål overhovedet vigtigt
39:20
Sådan altså. Altså er det en
39:23
forskningsdagsorden, Der er vigtig.
39:25
Det er jeg ikke. Jeg er ikke helt sikker på, at
39:26
Jeg synes, det her er super vigtigt.
39:28
Det nu Det er, når ingeniørerne kommer før akademikerne ikke
39:31
eller videnskabsfolkene, eller hvad hedder det?
39:33
Og Det er sjovt, fordi hvis man altså nu er det ikke fordi jeg
39:36
Sådan har studeret videnskabshistorie i meget,
39:38
meget lang tid så men men Sådan du ved bare populær interesse
39:42
altså Sådan Det er langt, langt, langt, langt, langt fra den
39:46
første teknologi som er anvendt før den er fuldt forstået altså
39:50
Sådan elektricitet dagmaskinen. Altså Sådan med alt muligt alt
39:57
muligt. Du ved det man fattede sgu da
39:58
overhovedet ikke hvordan dampmaskinen virkede.
40:00
Før man havde tåget og var og kørte og tusindvis af kilometer
40:05
af skinner der bare. Ændrede verdenen fuldstændig
40:09
ikke. Altså Sådan.
40:11
Med tyngdekraften hver dag forfatter den overhovedet ikke
40:13
så og. Det er der hvor Sådan?
40:16
Det Det er forskellen på på ingeniøren og altså
40:20
videnskabsmanden. Den ting eller Sådan ja hvad ved
40:22
jeg et eller andet altså Sådan men altså i hvert fald.
40:26
Jeg synes helt klart at Det er vigtigt at forske i Sådan nogle
40:28
ting, og Det er vigtigt at skubbe grænserne og så videre.
40:30
Men Jeg synes også nogle gange undskyld tal alle de akademikere
40:33
der lytter med. Ej du ved Jeg vil heller ikke
40:35
hate det fordi. Akademisk uddannelse.
40:40
Men Det er bare du er bare. Tømmer først.
40:41
Det er bare Sådan det virker bare som om Der er nogen Der er
40:43
nogen Der er lidt bitre over at at det her det rent faktisk er
40:47
brugbart, men man ikke helt forstår det og så igen og så
40:51
igen skal det også lige siges til til deres forsvar.
40:53
At Jeg tror også mange oplever at.
40:56
At Der er en meget Sådan hype og begejstring omkring det her og
40:59
folk de Sådan overvurderer hvad Det kan og altså træffer
41:03
forkerte beslutninger og Sådan noget.
41:05
Og det skal selvfølgelig også siges.
41:06
Det er helt fint, og vi kan sagtens sidde her og forstå
41:08
teknologien og hvad den kan bruges til, og hvad den ikke kan
41:11
bruges til rigtig godt og og ikke se alt det der som Det er
41:15
jo derfor ikke så det skal vi også.
41:17
Det er jo. Det, men det her paper har jo på
41:19
den måde også sin relevans, fordi jamen det beviser.
41:24
Synes jeg ja Det er jo en form for bevisende bidrag og i hvert
41:27
fald til bevismaterialet omkring, at Der er nogle
41:30
begrænsninger på det her med at løse problemer med en vis
41:34
kompleksitet. Det synes jeg egentlig de gør
41:36
rigtig elegant. Jeg er stadigvæk ikke sikker på,
41:38
hvor brugbart det Sådan er, at skal det informere noget.
41:42
Teoretisk skal det ligesom være med til at bygge en teori op
41:45
omkring hvad de her modeller kan, og hvad de ikke kan i
41:48
forhold til visning. Konceptet der synes jeg det
41:50
falder til jorden. Der er ikke noget teoretisk
41:52
grundlag i det her. Det er et empirisk interessant
41:56
begrænsnings ting, og Det kan man faktisk godt bruge.
42:00
I praksis vil jeg sige, fordi som du også sagde nævnt på et
42:03
tidspunkt, jamen fedt nu ved vi den er super dårlig til de her
42:08
hanoi problemer, og så er det jo heldigvis at det nok ikke 1 1 1
42:16
hammer teknologi vi smider efter de her små possles.
42:20
Jeg kunne godt tænke mig at se det samme som i virkeligheden.
42:22
Jeg kunne godt tænke mig at se det samme studie med Sådan en
42:24
Sådan et miljø og Sådan en agent agtig tilgang til det, hvor at
42:28
den Der er et miljø Sådan lille m der kan manipulere det miljø
42:32
og ligesom observere konsekvensen af de ændringer til
42:36
det state staten og det miljø, som de har interageret med, også
42:39
fordi de nævner, at du ved jo så laver de risning.
42:43
Reason reasning, så kommer de med det rigtige svar, men så
42:45
overtænker de og så du ved får det forkerte svar ender med at
42:48
give det forkerte svar, ikke. Hvis hvis det samme var sket og
42:52
konstant verificeret op mod det rent faktisk i miljø som
42:56
mennesker ville gøre de ville mennesker ville ikke bare sidde
42:58
og kigge og så bare du ved tænke, tænke, tænke, tænke og så
43:01
bare one shot den vel? Hvis hvis den her LM havde
43:04
undervejs haft mulighed for at interagere med miljøet og prøve
43:07
at rykke rundt på det og så videre, så tror jeg altså det
43:09
havde været en helt 2 historie og så tror jeg måske at man
43:12
kunne se at den. Ja, så tror jeg at man kunne se
43:15
at den kunne komme højere op. Og det det.
43:20
Det synes jeg også, at Der er rigtig mange af de kritikere Jeg
43:23
har hørt derude, som netop så har gjort for eksempel taget det
43:27
der problem der ikke og så begyndt at prompte.
43:31
En eller 2 brugergrænseflade, som har adgang til alt muligt og
43:34
som bare genererer et et python kode eksempel med en
43:38
generaliseret. Hvad kan man sige funktion til
43:43
at løse altid løse det der problem, fordi den bare gør den
43:47
metodeisk og så genererer den bare koden til at gøre det
43:50
metoden så eksekvere Det har den så løst opgaven når den
43:54
genererer python kode eller løst ikke og og Det er der jo så
43:57
nogen der vil sige ja Det har den jo så.
44:01
Altså ville et menneske når når de ikke kunne kapere mere inde i
44:06
hovedet. Tage til altså, gå til papiret
44:10
og forsøge at skrible noget ned for at løse det.
44:13
Ja, det ville det nok ville det måske også begynde at bruge en
44:16
computer for at prøve at løse det?
44:17
Ja, det ville det måske nok også.
44:20
De ville også kunne have mulighed for at interagere med
44:21
verdenen, ikke altså kunne ændre state på verden og se den altså
44:24
rubics que for eksempel ikke. Du ved den one shutter man jo
44:26
ikke altså den den kører man over, eller det ved jeg ikke om
44:28
man gør. Det kan godt være at man gør det
44:29
hvis man er god, men. Du skal lige søge ud youtube
44:32
videoer for nogle af de. De der hajer til det der.
44:37
Det er 100% metodisk hvordan man gør det.
44:39
De de memoriserer det der så nå anyway ja hvor kommer jeg fra
44:45
eller hvor det ved jeg ikke men OK.
44:48
Det var Vores Vores deep liv. Ham skal vi.
44:53
Har vi mere at sige om det her paper her.
44:54
Jeg ved ikke rigtig. Nej altså Sådan ikke andet end
44:57
at altså Jeg synes også Jeg synes også man skal huske det
45:00
her med at de har begrænsninger de her modeller altså Det har de
45:04
altså og man kan ikke forvente altså målet er jo selvfølgelig
45:07
at få dem til at generalisere og kunne lave rensning.
45:11
Kan man sige ikke altså Sådan rigtig rensning, men Jeg tror
45:14
også en del af det. Er selvfølgelig at træne den på
45:16
helt vildt meget data og træne den på nogle opgaver med høje
45:20
signal og så videre. Men Jeg tror altså også en del
45:22
af nøglen. Er det her som rigtig mange
45:24
blandt andet Apple undervurderer og Det er meget hovs når huske
45:27
ham og sidde og læse Apple her synes jeg, men men men men det
45:30
her med resænding det kræver også du har et miljø og
45:33
interager i altså du har en state på verden du kan ændre når
45:37
du sidder altså du du ja det tror jeg bare at.
45:40
Jeg tror nogle gange man sætter nogle lidt urealistiske
45:42
forventninger til de her elever. Jeg synes altid alt altid, når
45:45
man får noget af i til at løse et problem, så skal man altid
45:48
lige prøve at løse det selv eller få et menneske til at løse
45:51
det. Altså Sådan så at man man
45:53
egentlig forstår hvad Det er man udsætter de her elemmer, for Det
45:55
er det samme vi ser i bycoten for.
45:57
Eksempel. Det er det samme vi ser i
46:00
wildcode ikke så du ved går folk ind i cursoren, så prøver de et
46:02
eller andet og så får de et lorte resultat.
46:04
Fuck det lort mand de virker ikke og Sådan noget.
46:06
Det er bare noget særligt noget fucking hype og.
46:08
Sådan noget. Ikke bare Sådan der resultat.
46:11
Men så glemte de bare Sådan der. Nå ja, jeg havde det jo
46:13
overhovedet ikke forklaret. Jeg havde bare skrevet noget
46:15
super fluffy som altså du ved den der var sygt meget
46:17
information den ikke havde. Jeg har ikke fortalt den hvordan
46:20
Jeg har ikke gjort det benarbejdet i Sådan ligesom at
46:24
forklare den i en situation og sørge for at den altså i stedet
46:27
for at sige. Det er æreens skyld.
46:30
Så prøv lige at sige hvad kunne jeg have gjort bedre for at den
46:32
her ERI var blevet sat op til succes?
46:33
Ikke altså. Sådan.
46:35
Ikke også Det er jo. Det er jo det der velkendte
46:37
fænomen. Det kender du jo godt, når du
46:40
når du dine børn. Du vil gerne have at de gør et
46:42
eller andet, så de kræver Sådan en meget detaljeret forklaring.
46:44
Jeg gør det bare selv. Det er jo det.
46:48
Det er jo det og det så. Bliver det irriteret på dem ikke
46:50
så use interface til mit barn virker ikke.
46:55
Det er jo det. Det er jo det ej nu, men men så
46:59
det tror jeg. Jeg tror at Det er det Jeg vil
47:01
sige med det, og så tror jeg Jeg synes Det er lidt grineren det
47:03
der med at. At Apple er lidt bagud på det
47:07
her og så så er de sgu lidt bitre og så kalder de det.
47:12
Det tager den der? Tror jeg, hvor er det vi?
47:15
Tager vi tager den lige før vi Sådan rapper op her, så tager vi
47:18
lige state of Apple på Apple intelligence hvor hvordan går
47:23
det for Apple? Det var noget de launchede kun
47:27
IUSA, og Det er godt nok lang tid siden vi sad og snakkede om
47:30
om det launch de havde, og så var der bare radio silence.
47:35
Totalt altså de de jeg ved ikke altså Det er ikke fordi jeg ved
47:39
sygt meget om Apple intelligens og så videre.
47:41
Jeg ved bare at. Det bare har været en altså sygt
47:46
kluntet release og det der og. De kunne sælge noget jern?
47:51
De har lavet alt muligt mærkelige features rundt omkring
47:53
og så videre, og det eneste de kunne have gjort Det var at gøre
47:56
siri god altså og Det har de bare ikke gjort.
47:59
Altså Sådan så jeg ved ikke altså et eller andet dårligt.
48:03
Det det komiske er at de. Er Sådan huse igen junge og
48:07
siger siri kan stadigvæk. Men de er altså de er.
48:14
Det er bare Det er til grin at den den ligger lige foran dig.
48:16
Du ved det eneste de burde fokusere på Det var at få siri
48:20
til at blive det bedste. Language interface i verden og
48:25
så ligesom bare sørge for at lave en eller 2 et eller andet
48:28
platform som som jeg ved ikke om de har gjort det allerede eller
48:31
men de. Nå det.
48:32
Det ved jeg altså så igen, så opdaterede jeg heller ikke på
48:35
det. Der er ikke nogen der bruger det
48:36
i hvert fald. Der er ikke noget at udvikle op
48:37
til det, men altså, de er så godt seedet til at lave siri til
48:40
den mest bad ass. Language interface applikation,
48:45
som er i så mange lommer og så lave noget OS level framework
48:50
til ligesom at få det til at kommunikere med med hvad hedder
48:53
det appsene ikke. Altså de kunne jo lave deres
48:55
version på af MTP protokollen. Basically ikke Det har de
48:59
sikkert også noget lignende, men altså Der er bare ikke nogle der
49:01
bruger det jo. De har jo det der interne II
49:04
hvad kan man sige? Intent.
49:10
Apple intend Det er Sådan et eller andet hvor man så skal man
49:12
deklarere hvad Det er den her applikation ligesom udstiller af
49:16
ting som Ellemann kan interagere med.
49:17
Det var jo en form for forsøg på protokol.
49:20
Jeg har aldrig nogensinde set den, fordi Jeg er jo ikke
49:22
sviftudvikler eller noget som helst.
49:24
Vel så men, men Det er jo en en slags MCP.
49:30
Hvor du skriv noget tekst så eller dem kan forstå det og ved
49:33
hvad den så skal kalde. Men, men hvad hedder det?
49:37
Det skal også være et ansvar, at folk bruger det, altså det deres
49:40
ansvar. Det virker.
49:41
Folk bruger det de. Skal jo have en modelache ned
49:44
mod alle de her apps, for eksempel ikke og og der kan man
49:46
sige der. Der skal de jo fordi de så beder
49:49
om det, så beder de jo først udviklerne om at implementere
49:53
det her interface i deres Swift apps, ikke?
49:58
Og deres nette apps og så bagefter så skal Apple jo så
50:01
have noget Der er godt nok på devicet til at finde rundt i de
50:05
der apps der og så skal de give brugerne interfacet og lige nu
50:09
er interfacet siri ikke også og siri har det ikke så godt.
50:15
Siri er lidt syg og jo jo. Skal jeg læse beskeden højt for
50:22
dig der kom på slack. Den er meget lang.
50:25
Ja, det må du gerne. Hallo er du der?
50:30
Hallo. Ja, den svarede ikke ja.
50:34
Hej siri det kunne den ikke forstå heller ikke altså.
50:38
Det går bare ikke at man har noget Der er så sløvt på den
50:42
første del af det at skulle interagere med den.
50:46
Der var en på voice delen og Sådan nogle ting der det ja jeg
50:49
ved sgu ikke hvad fanden sker der for det.
50:50
Er heller ikke fordi jeg siger Det er en nem fable.
50:52
Altså jeg siger heller ikke at det bare at Det er bare nemt.
50:54
Altså OK. Det er bare.
50:58
Så Det er bare så så meget. Jeg synes bare Det er så klunter
51:01
det der det der releases de har lavet og hvor meget de Sådan
51:03
brandede EI og Sådan EI nej hvor spændende er det aktivering selv
51:07
ligesom nej Det er Apple interiene OK og så er det Sådan
51:11
nogle Sådan noget. Det er bare Sådan nogle gimmicks
51:13
altså i virkeligheden ikke som de spreder lidt rundt omkring.
51:15
Ikke altså. Det er ikke, Det er bare Sådan.
51:18
Jeg ved ikke det det det nå anyway, men Jeg synes bare Det
51:21
er sjovt at det det det går så dårligt for dem i forhold til at
51:24
få shippet noget brugbart AI features til deres produkter og
51:28
så har de Sådan den her lidt hård altså den her Sådan lidt.
51:32
De kan jo heller ikke tænke rigtigt de der modeller altså
51:34
Sådan for fanden mand altså Sådan hvor er det det her det
51:38
Jeg er sikker på det her ikke, det havde bare været Sådan
51:40
appendex ting i opinayz givet t 5 paper eller et eller andet.
51:44
Hvis de nogensinde udgiver det, tror jeg de gør.
51:46
Men altså, så havde det bare været Sådan en.
51:48
Hey vi kan se at den ikke performance så godt.
51:49
Det var det her vendt til næste version, så skal vi nok have det
51:52
her ikke altså. Ja.
51:57
Så så Det er Sådan. Det er nok mine tanker.
52:01
Men igen altså, men de kan altså man skal også passe på med ikke
52:04
at ovrevurdere hvad de her elemmer kan, fordi de kan ikke
52:06
alt og de tænker højst sandsynligt ikke rigtigt.
52:09
Men når man evaluerer dem og vurderer hvad de kan og hvad de
52:11
ikke kan, så husk lige at tænke på Sådan, hvad nu hvis Det var
52:14
et menneske der sad og havde samme betingelser og havde samme
52:17
miljø og arbejde i som en elev? Fordi så vil man tit opdage at
52:22
at Sådan jo Det er selvfølgelig ikke altid, at et menneske ikke
52:25
vil kunne gøre det bedre, men Det er tit at hvor hvor man bare
52:27
Sådan har fuldstændig urealistiske forventninger til
52:30
hvad alle elever kan gøre. Ja.
52:33
Altså jeg jeg. Jeg tror stadigvæk bare lige
52:38
Sådan forudsigelses kasket. Jeg tror også.
52:41
Diktions. Connections Jeg tror stadigvæk
52:43
at de nok skal komme på et eller andet tidspunkt med noget hvor
52:48
de føler, at nu er det virkelig. Nu er det virkelig noget der
52:52
batter, men Det er også det Der er med det.
52:54
Jeg tror simpelthen Apple blev fanget lidt i hypen, for det
52:56
ligner dem nemlig heller ikke, at ligesom at annoncere ting der
52:59
ikke rigtig bliver til noget. De har det normalt modsat at de
53:04
venter. Mange siger jo også at at Apples
53:08
iPhone moment. Det var jo egentlig dem der
53:13
altså. Det var jo noget der var i
53:15
research og developmentfasen. Alle de teknologier der skulle
53:19
til det, var slet ikke dem der ligesom stod for det.
53:23
De samlede bare lortet i device og gav det den her
53:27
brugergrænseflade. Og nailede touch i princippet.
53:33
Og jazz juzz og hvad der ellers var det.
53:34
Det er der mange der siger. Det var faktisk det.
53:36
Det eneste bidrag de egentlig havde til det der.
53:40
Nu kunne jeg godt sidde nogle Apple kender derude og bare
53:42
tænke Sådan. Jeg ved ikke en skid plan snak
53:44
om, han har bare set nogle youtube-videoer og Det er også
53:47
rigtigt. Jeg har bare set nogle
53:48
youtube-videoer hvor Der er en masse mennesker der siger Sådan
53:50
noget, men men men Det kan godt være at det Det er lidt det
53:53
samme her de venter sgu lige lidt på det der modenhed fordi
53:55
Det er det det der prøvede jeg frem til.
53:56
Jeg tror Det er det der med Apple er.
53:59
Gode til at vente på modenhed og ligesom slå til på det rigtige
54:02
tidspunkt og så ligesom sige den der den der den der.
54:05
Ja tak. Det kan vi godt bruge, og Det
54:08
kan vi bruge til at løse. Det her brugerbehov, som vi
54:11
kender og er velkendt og et eller andet, og så får de, så
54:14
får de lavet et eller andet. Lidt givet under for presset her
54:18
ikke, men Jeg er uendelig a Jeg har i Vores produkter de har.
54:21
Jo også bare prøv lige at overveje hvor meget sygt meget
54:24
data de har på deres brugere på det her siri brug så de ved også
54:27
rigtig meget om hvorvidt brugerne overhovedet gider at
54:31
tale til den der skide telefon. Ikke og hvad nu hvis de sidder
54:34
med noget data der bare hedder ved du hvad?
54:37
Brugerne de gider bare ikke Det er interface der hedder at tale
54:40
med deres telefon. Jamen Det er også rigtigt.
54:42
Og og derfor så er det ikke der, hvor vi sætter ind, og brugerne
54:47
er et andet sted. Og så er Apple bare sygt kolde i
54:49
deres business. Det er bare Sådan.
54:51
Det er kanonstone like disse wash shit.
54:55
Så jeg ved ikke rigtig. Det kan også være Det er det de
54:56
har fundet ud af, og Det er bare den kolde kalkule på det der
55:01
fordi Der er de også rimelig Sådan du ved Sådan.
55:04
Det er ikke Det er brugerne vil have.
55:07
Det kan de se i data, altså data taler rimelig klart på Sådan
55:10
nogle ting. Nogle gange ikke når man har
55:11
haft siri ude i plus 15 år snart.
55:13
Nej jeg ved ikke hvor længe Det har været 10 mere end 10 år var
55:17
det ikke fra starten. Det var næsten mere fra start.
55:20
Og det tror jeg. Ikke nu googleler du eller jat
55:21
GPT er den eller hvad du gør. Jeg skal lige.
55:24
Jeg skal lige få nogle vise ord med her på på på slutningen OKI
55:27
slutningen så hvad hedder? Det så vil jeg tage det aller
55:29
sidste sip Jeg har tilbage her, og så kan vi lukke biksen.
55:33
Megafedt. Det er bare.
55:39
Det er bare lige frisk ind på hack and news hacany this the
55:43
trans script of andre expartis talk on software repoint o and u
55:47
sevent altså i går et was and w audiance i woss and the audians
55:53
and it was recordet in the noise invirement sergi your explation
55:56
and cordinglie wiset way companater er det jo så hasse de
56:00
official video will take a fu weeks 2 release but carporty hm
56:04
selverk. Will beacade.
56:08
OK og det. Det er bare Sådan et talk som og
56:12
drenge og party har har har holdt i går åbenbart for
56:17
software repoint o en whitekombinator talk og der har
56:21
Jeg har lige bedt chat gibit om at summer rise de 3 eller 5
56:25
hovedpointer. Første hovedpoint Det er weird
56:28
intoring af software free point oms-tin your computer.
56:36
Ja. Software 3 komma nummer 1,0 Det
56:40
var handling code software 2 point o Det var New York
56:43
netwades 3,0 af lars lingvist models that re program directly
56:49
in natural language. Det 3 softwatsreep repointo et
56:54
eller andet lox like one off models en moral like early
56:59
system up rating systems. Nej et eller andet sluk last
57:04
like one off models inmall like early op og rating systems, så
57:08
hans budskab er det han snakker om før altså eller ligner ikke
57:10
som Sådan nogen du ved modeller du bare træner til lige at løse
57:14
sit enkelt specifikke problem, men mere som Sådan en form for
57:17
styresystem. Altså du ligesom kan køre ting
57:19
ovenpå og compile ting igennem på en måde ikke?
57:24
Ja. Og der sammenligner han i
57:27
øvrigt. Altså gymina anprofil overnay
57:33
med Microsoft og Apple og så. Du ved Sådan noget legemer med
57:38
med linux for eksempel ikke? Nummer 3 ved term sweetboss spot
57:44
s partual partial of oonemy og tony apps with tonnys lighter.
57:52
Tools such cursor, allpile, attloy and air assist.
57:56
The design show a parterne eller one elem orkestre strakes
58:00
multiple sout models behind the scenes too rich goy, slut,
58:04
humant audit and accept reggex deft deft quickly free your dil
58:11
og tunemy from 2 just a line 2 handlede the hole file keeping a
58:16
model underleats turoite Der er også en line halloween edit,
58:19
changes OK, Det var faktisk meget, Det er faktisk meget
58:21
spændende tankegang det her, men han men.
58:23
Det skal man cibrity patrent Det er Det er min favorit.
58:27
The newton sure altså Sådan Det er på kort sigt er sweespottet
58:31
at der Sådan er passhe eller Sådan.
58:33
Hvad skal man sige delvis autonomi og at man Sådan at når
58:36
man bruger ER agenter i sit software, så har man Sådan en
58:39
autonomi slider altså Sådan en du kan du kan skrue op og ned
58:42
for autonomi, ikke om Det er det i kodeverdenen om Det er at
58:46
foreslå en linje eller om Det er du ved.
58:48
Ændrer hele filen eller går fuld roke på på gode databasen.
58:51
Det. Det skal man ligesom være i
58:52
kontrol over. Jo jo 4 natur language
58:56
proggramming demo sizes creation but devobups integration thats
59:02
integration is the battlec any one can vibeco and Apple chat
59:06
GBTIA shipping it steely quiz manual tøj off payments
59:10
deployment, config streams comparty manu James side project
59:14
tok House widebot days 2 productionice highlighting ware
59:17
new youring is mo sned. Ja altså Det er også siger han
59:21
ligesom at OK Vi er der ikke helt altså Det er nemt at få en
59:23
app op at stå, men det der med at gøre en produktionsklar Det
59:26
er ikke nemt og der mangler der stadig noget tooling for ligesom
59:31
at få webcooding til det næste step ikke?
59:34
Og det det giver mening altså. Det er jo Sådan noget hvor at
59:37
Det er Sådan noget superbase og backenders service services.
59:39
Det er en helt 2 drejning vi tager her totalt spontant ikke,
59:42
men Det er der hvor de giver god mening ikke 5 software in docs
59:46
mus bee real Rebild for agens nagues humance, så egentlig med
59:50
den her. Prøv at hør det Det er hvis hvis
59:53
virksomheder skal jeg tage maksimale brug af ordin skal
59:56
tage maksimalt brug af back coating og ER agenter så skal
59:59
det. Så Det er dokumentationen, der
1:00:01
skal ændres fuldstændigt. Det er jeg meget enig med ham i
1:00:04
toilet eller lad mig med agents aksfor os we need machine
1:00:07
realable interfaces markdown for first docts explissed API
1:00:12
skeamers fejlslake ellemed that text and agentfenty actions.
1:00:17
Revight re wide in code and the s rounding infrar.
1:00:20
There is new consumer yeah-tynamous agent, big
1:00:23
op-tunity ofte coming decades. Yes, så hvis du virkelig vil
1:00:28
give din kæreste som udvikler et team, så må du altså skrive din
1:00:31
kodebase om Sådan så at ER agenterne kan navigere i den og
1:00:34
forstå den. Ja.
1:00:37
Sådan det. Det kan også være at det bare er
1:00:39
piet man gerne vil have at de navigere i er ikke så meget er
1:00:41
ens kodebase. Det ville jo være svære fint.
1:00:44
Men. Good world from andre men.
1:00:50
Y han, the vibe cooter og The original vibe coat.
1:00:55
Det var ham der der der coinede ikke vibecoing.
1:01:00
Og det går jo rigtig godt, og ved du hvad?
1:01:02
Nu er skyggerne blevet lange, selvom at der faktisk er mange
1:01:05
skygger endnu. Nej fordi Det er total
1:01:08
sommertime her, men vi kører derover lige lidt over en time
1:01:12
her, og Jeg vil bare sige Jeg synes Det er fedt lige at være
1:01:16
tilbage. Jeg har fik taget en for lang
1:01:18
pause her. Det jeg får jo abstinenser.
1:01:21
Det kan man. Det kan man sige hvad man vil om
1:01:23
jo. Jeg er sgu lidt en konsistent
1:01:25
der. Det er jo Sådan noget Vi skal
1:01:26
sige til at starte med. Ikke altså vi vi.
1:01:29
Vi kunne generelt godt blive mere konsekvente i forhold til
1:01:32
at udgive den her podcast. Vi har lige nogle huller ind
1:01:33
imellem, men Sådan er det. Det bliver vi nødt til at vise
1:01:36
os kunne leve Vores liv og Vi har travlt og Sådan.
1:01:39
Noget så mennesker eller eller det?
1:01:40
Er bare mennesker. Vi er jo bare ligesom altså du
1:01:42
kan jo heller ikke forvente af eller leve mig og skal lave ej
1:01:44
hvad hedder det? Ja og så.
1:01:47
Så er der det jeg håber. I kan jo bare.
1:01:52
I kan jo bare lade være med at lytte ned hvis Det er ikke det
1:01:54
skal i selvfølgelig ikke. I skal huske at subscribe og alt
1:01:56
det der det det skal i selvfølgelig fedt nok.
1:01:59
Jeg tror i næste uge, så er vi muligt hvis alt spiller og
1:02:04
falder i hak så er planen og snakker om autonome droner med
1:02:07
en spændende person. Det er vi interesseret i
1:02:10
øjeblikket fordi at. Ja Det er faktisk spændende
1:02:14
teknologi og nogle spændende ingeniørproblemer der ligger
1:02:16
bag. Det så handler.
1:02:19
Rigtig godt til vi ses igen. Hej alle sammen derude.