Latest / Verbos: AI og Softwareudvikling / #26 - Hvad er Forskellen på AI og Menneske Tænkning?

Transcript

#26 - Hvad er Forskellen på AI og Menneske Tænkning? · Verbos: AI og Softwareudvikling

0:02
Halløj alle sammen og velkommen til episode nummer 26 af boets
0:06
podcast. Mit navn er Kasper junge.
0:08
Og jeg hedder Jonas og kys Andersen.
0:10
Yes, og i dag så bliver det vildt, fordi Vi skal.
0:13
Vi skal langt ud altså normalt så handler hvad podcast jo om ER
0:17
og så for udvikling og data science og så videre.
0:20
I dag skal vi også snakke lidt om det, men Vi skal også dybt
0:24
ned i filosofien og dybt ned i meningen dybt nede i.
0:29
Hvad er det? Hvad er meningen med det hele?
0:30
Hvordan tænker mennesker? Hvordan tænker jeg hvad?
0:34
Altså Vi skal dybt ned i dag, og det bliver vi garanterer for, at
0:37
det bliver spændende. Det, Vi skal nok prøve at lade
0:39
være med at gå ud alt for mange tangenter, men Jeg kan garantere
0:42
for at mig og Jonas vi kommer til at være unfair her fordi.
0:46
Det her Det er fedt. Det er et fedt emne og Det er
0:49
noget som alle. Det er noget viden om, men Det
0:53
er fedt emne, og vi vil rigtig gerne snakke om det, så det
0:56
bliver fedt. Yes ja.
0:59
Lige inden vi går i gang, skal jeg lige huske at sige, at hvad
1:02
os her podcast handler om AR data science og så for udvikling
1:06
og udkommer hver onsdag klokken 7.
1:07
Og hvis man kunne tænke sig at støtte podcasten, så kan man
1:11
følge os inde på Spotify eller på Apple podcast eller på
1:14
youtube. Eller på LinkedIn?
1:16
Der har vi også. Yes.
1:19
Jonas. Hvad?
1:22
Hvad tænker du om det her emne? Altså fordi man kan sige
1:25
overskriften er jo. Hvad tænker du og hvad er?
1:31
Total meta fordi overskriften er jo lidt Sådan hvad er Sådan?
1:36
Mennesker tænker det tror jeg de fleste er enige om.
1:38
De har en eller anden form for bevidsthed.
1:40
En eller anden form for tankevirksomhed og så videre.
1:43
Large language models eller AI ie eller checkmate de her det
1:47
her nye paradigmer, Der er sket inden for sidste års tid.
1:50
Tænker de, eller hvad er det, der foregår, fordi det virker?
1:55
Ret meget som om, at der sker et eller andet behind the scenes,
1:58
som minder lidt om en eller anden form for tankevirksomhed,
2:02
men men hvad? Hvad tænker du Sådan umiddelbart
2:04
om det? Jeg tænker, at de ikke tænker,
2:09
men. At de formår at udføre nogle
2:14
opgaver, som får os til at tro, at jamen er det ikke nogen
2:18
opgaver som. Vi mennesker.
2:22
Udfører i forbindelse med, at vi tænker.
2:24
Og Det er fordi Der er Sådan høj sammenhæng imellem.
2:30
Det der med at producere noget tekst?
2:33
Og tænke som menneske, så tror jeg, vi forbinder de der de der
2:38
ting og så så Det er det. Jeg tror også at at der ligger
2:43
rigtig meget. Repræsentation af verden derude
2:48
gemt i Vores sprog. Ja, og Det er.
2:52
Det er egentlig noget, som filosoffer har har påstået II
2:57
mange år, at sproget er ligesom også.
3:02
Ja det det det Det har en produktion jamen Det har jeg en
3:05
stor sammenhæng med med virkeligheden på en eller anden
3:08
måde. Ikke nødvendigvis den fysiske
3:10
virkelighed, men men en eller anden form for for for tænkende
3:15
virkeligheder. Lige inden vi gør, inden vi går
3:19
videre her, at vi, vi, vi Jonas du har læst et paper.
3:24
Ja som hedder the reversal course, som Vi skal snakke lidt
3:27
om. Jeg har set en talk 5 gange
3:30
eller Sådan noget som handler om mening indias of language models
3:34
og Det er dem vi kommer til at bygge den her podcast op
3:36
omkring. Bare så i ikke tror at det
3:37
bliver du ved lommefilosofi fra nu af og så til om en.
3:42
Filosofi kom lige der fra mig. Ja ja okay jamen Jeg synes Jeg
3:48
synes Jeg synes du har jeg på en måde så er jeg.
3:51
Jeg er glad for at du siger det her med eller jeg ved ikke om
3:53
Jeg er glad for det. Jeg synes Det er interessant
3:55
fordi at du. Du nævner det her med, at de
3:57
ikke tænker fordi. Fordi det ja det.
4:02
Det synes Jeg er interessant. Måske især også fordi at jeg her
4:05
på det sidste har oplevet. At Der er nogen der Sådan synes
4:09
Det er lidt fjollet. Når man siger, de tænker og de
4:13
laver reasoning og de du ved. Når man ligesom bliver for
4:18
meget, at de tænker rent faktisk og har en du ved alt det der
4:21
ikke og og Det har Det er ligesom.
4:25
Det er altid sjovt, eller Det er altid spændende, synes jeg, når
4:27
man bevæger sig ud på de der områder, hvor folk bliver Sådan
4:32
lidt forargede eller bliver Sådan lidt.
4:36
Det synes de i hvert fald ikke. Agtigt, du skal ikke gøre dem
4:38
til mere mennesker end de er. Nej.
4:41
Men Jeg synes Det er spændende, fordi Der er mange dage, og Det
4:44
er i hvert fald et indtryk, at der, Der er mange som bestemt
4:47
ikke synes, de tænker, og som holder meget fast i og er meget
4:51
Sådan. Det er bare statistiske modeller
4:55
som beregner sandsynligheden for det næste år, og Det er jo Sådan
4:59
set også rigtigt. Men så kan man til at tænke på
5:02
her forleden. Hvad nu hvis?
5:04
Det viser sig. At.
5:07
En stor del af den sproglige intelligens, vi mennesker har.
5:12
Kommer af at forudsige det næste år eller Sådan, ligesom at prøve
5:15
at forudsige, hvad der kommer til at ske i det.
5:18
Den, der står over for os for eksempel er i gang med at sige.
5:23
Ja. Hvad tænker du om det?
5:25
Jeg tror tror du Det er nøglen til det hele eller hvad?
5:29
Det ved jeg ikke, og Jeg tror ikke, vi ved nok om tænkning,
5:33
men Det er ikke utænkeligt at. Så skal vi lave ikke så meget
5:38
ordspil og Det kan jo godt. Man kan godt forestille sig at
5:43
at vi opdager på et tidspunkt at det at tænke nok ikke er så.
5:47
En unik. Menneskelige ting.
5:52
Og at der, at det ligger tættere på, end vi tror.
5:56
Fordi Jeg tror ikke vi ved nok om om altså hvad?
5:59
Hvad vil det sige at tænke? Men, men Jeg tror alligevel
6:04
ikke. De de tænker ikke som mennesker,
6:09
uanset hvordan de nu gør noget. Nej, så det på den måde er det
6:16
jo også et eller andet sted lidt.
6:18
Altså Det er meget mudret at snakke om.
6:21
Ikke fordi at det der med at have Sådan nogle man er helt
6:24
dybt nede Sådan noget filosofisk noget som man skal have nogle
6:27
nogle begreber for. Hvad det ene er på plads, før
6:31
man kan vurdere om. Om den tænker ikke og og og og
6:37
Vi er slet ikke der hvor vi ligesom kan kan vurdere det, men
6:40
Jeg tror vi vi kan. Vi kan godt alligevel sige nogle
6:43
ting om noget som. Så som som.
6:49
Så så man kunne sige undrer os, at den ikke er i stand til som
6:54
mennesker åbenlyst ville være i stand til, og Det er for
6:57
eksempel noget af det, som som Jeg synes er er interessant med
7:00
det der paper, som som Jeg er. Jeg viste dig som vi også skal
7:04
snakke om den her reverse course, så Det kan være Vi skal
7:06
begynde at dykke lidt ned i det fordi det det det synes jeg så
7:10
simpelt som det paper egentlig er og meget banalt og kort
7:14
skrevet ikke noget særligt, så demonstrerer det eksperimentelt
7:18
ret fint. Hvad?
7:21
Det er de her auto aggressive. Genoplive eller lemmer ikke kan?
7:28
Ja, så Det er ligesom helt definitivt.
7:31
Det peger, ligesom det peger ligesom på et eller andet clue,
7:35
som som siger et eller andet om forskellen på.
7:39
Hvad mennesker ville kunne gøre, og hvad de ikke vil kunne gøre,
7:43
kan man sige. Og Jeg synes bare lige før vi
7:46
går videre fordi at snakke om den her forskel fordi Jeg synes
7:49
helt klart Der er helt klart nogle ting som er lemmer ikke
7:52
kan altså som som mennesker kan agtigt ikke.
7:56
Mange ting. Men Der er også nogle ting hvor.
8:00
Hvor de kan noget, som mennesker ikke kan.
8:04
Altså Sådan du ved den her meget brede viden om alt muligt og og
8:08
det den hastighed, hvormed de ligesom.
8:10
Grand og sprog igennem. Kan man sige Jeg har.
8:14
Jeg har da også tit på nogle, Der er også mange der Sådan
8:16
ligesom anklager LM og for at være dårlig til at tælle ænder i
8:21
mayonnaise ordet mayonnaise for eksempel eller Sådan, ligesom
8:24
sige noget om, hvor mange bogstaver Der er i hvor langt et
8:27
ord er og så videre og det. Det tror jeg personligt har
8:30
noget og og og Det er måske Sådan en du ved Det er Sådan
8:34
hvor Det er folk der ikke tænker over at.
8:38
De også har nogle betingelser, de har l emmer.
8:41
Blandt andet, at de regner i tokens, så de har de har det,
8:44
man kan ligesom forestille sig det her med at tælle ind i et
8:46
ord af en anden dimension, end de ligesom har adgang til, fordi
8:49
ordet mayonnaise bliver måske præsenteret 2 tokens i dens
8:53
vocabulary. Derfor kan den på samme måde.
8:56
Rigtig set på samme måde. Det er i hvert fald en teori,
9:00
men Der er også mange der Sådan ligesom.
9:03
Ikke altså du ved de siger, at de fordømmer det som elever kan.
9:08
Men tænker heller ikke over, at. De ikke har givet dem en særlig
9:13
god, særlig god forudsætninger. For at løse en problemstilling,
9:17
fordi Jeg synes i alt mit arbejde med prompt engineering
9:19
og livslang https og så videre. Der synes jeg bare den den der
9:23
ligesom går igen hele tiden. Det er at man du skal gøre alt
9:25
hvad du kan for at bibringe eller ligesom tilvejebringe så
9:29
meget brugbar kontekst i de her elever som overhovedet muligt.
9:33
Sådan så de ligesom skal gøre have så lidt regning med som
9:37
muligt, fordi man skal også tænke på de her elever ved intet
9:40
som ikke er altså de ved kun deres long term memory
9:43
baggrundens viden som er stor. Men men Sådan om hvad der sker
9:49
bare nu. Og biopsier men om hvad der sker
9:52
lige nu, og hvad der ligesom er værnes om situationen.
9:55
Alt Sådan noget der ved de 100% kun det du putter ind i den
9:59
prompt som konteksten og det synes jeg også bare Sådan.
10:05
Det er også bare nogle andre betingelser, kan man sige.
10:08
Det er nogle andre betingelser eller lemmer har i forhold til
10:09
mennesker så det. Jeg synes også, Det er vigtigt
10:11
at kigge på de der betingelser. Også det her med, at de har jo
10:16
kun altså vi kan høre og se og alt muligt og Sådan.
10:18
Der er mange ting, vi mange Sådan fordele Vi har, kan man
10:21
sige ikke. Ned i.
10:24
Lad os gøre. Det i paperet der fordi.
10:29
Det hedder Jeg kan ikke huske hvad det hedder, men men det.
10:33
Stopper, der hedder the reverse the reversal curse eller langs
10:37
train dun ASB falsk alarm BSA, og Det er blevet Sådan rimelig
10:42
populær tror jeg. Især fordi Det er så dejligt
10:44
simpelt at forstå, eller Det er så budskabet i Det er så nemt at
10:47
forstå. Det og og der vil jeg bare lige
10:49
slå et slag for, for nogle gange er god forskning, synes jeg
10:54
noget som hvor du kan forklare dit.
10:59
De problem dit resultat og komme med nogle rimelig klare
11:03
konklusioner, og det synes jeg virkelig det her paper at gøre
11:06
på en sjælden måde i det her fag her.
11:10
Jeg har set papers i andre fag inklusive mit eget.
11:13
Der er jo. En gang til mit eget gamle øh
11:18
barn, som man siger statskundskab, Der er mit første
11:22
barn. Men men men altså så Der er et
11:27
eller andet her. Jeg synes bare Det er så Det er
11:30
så simpelt ikke altså det. Det er også måske for simpelt.
11:34
Altså nu ville nok sige ja ja det vidste vi jo fordi Det er jo
11:38
de er jo de her probabilistiske modeller og derfor er at hvis
11:43
den har observeret rigtig meget at relationen fra A går til B
11:47
ikke rent logisk. Så kan den godt finde ud af at
11:52
at gentage den slutning for dig, men Det kan ikke.
11:56
Kan ikke vende den om, fordi den har ikke set relationen b til a
12:02
lige så mange gange eller måske aldrig i virkeligheden, og
12:08
derfor vil den vil den være beast imod, ligesom at kunden
12:12
kunne både huske altså, men må i seere, men i virkeligheden også.
12:17
Gennem producerer altså generere den sammenhæng og og det, Det er
12:22
interessant i sig selv, man behøver i virkeligheden læse
12:25
overskriften og tænke nå, jamen, Det er jo.
12:28
Det er jo Sådan en logisk deduktion, ikke altså?
12:33
Hvad ser du virkelig? Det, Det er bare virkelig clean
12:35
formuleret og i bare lige også med det der med forskning Der er
12:38
clean og simpelt formuleret. Og hvad skal man sige formidlet?
12:42
Man skal også tænke på. Bare lige for at tage en lille
12:44
tangent, et meget berømt paper, som kommer fra 2017 som hedder
12:50
attentes all units, som introducerer transformer
12:52
arkitekturen. Det er jo også det heller ikke
12:55
en titel man ville forvente af et super teknisk banebrydende
12:59
paper. Det ville man forvente et eller
13:01
andet ved mega teknisk networks with parallel attention scary et
13:06
eller andet halløj, men de kører bare attention så United og Det
13:09
er et simpelt budskab om de behøver ikke alt det der
13:13
recurrent neural networks shit Vi har bare brug for attention.
13:16
Det kan faktisk løse hele problemet ikke også bare en
13:19
utrolig simpel smuk måde at få det.
13:22
Og Det er super ketty, og så heldigvis var det også noget
13:25
værd. Og og og man kan sige, Der er jo
13:28
ikke Sådan de store i det her papir.
13:30
Her er jo ikke Sådan de store revolutioner, at nu går vi bare
13:32
ud og og løser det der, fordi Det er Sådan lidt mere grundaf
13:36
kan man sige teoretisering omkring.
13:39
Sammenhænget mellem at modulere sekventiel tekst på den her
13:43
måde, og så kunne hvad kan man sige få nogle.
13:49
Nogle nogle. En egenskaber, som som ligner
13:54
noget, der har med intelligens at gøre, og så tager vi en
13:57
egenskab, der har med intelligens at gøre, eller vi
13:59
forbinder rigtig meget med det. Det er logisk tænkning.
14:02
Ved at tænke ikke altså? At at at at sammenhænge går
14:08
begge veje fra A til B og b til a, og den slutning kan mennesker
14:12
altid lave at hvis. Hvis AB jamen så bed ã lige det
14:18
det mindst simple du i virkeligheden kan komme på at
14:22
Sådan der vil næsten ikke være nogen mennesker, altså et barn
14:25
ville. Ville sige ja ja Det er logisk
14:28
altså Vores hjerne kan næsten ikke andet end tænke det Sådan
14:31
Det er og så og så vise at en LM bare fuldstændigt fejler på det
14:36
der. Det synes Jeg er interessant.
14:38
Bare lige, og Det er det nemlig. Det er super interessant at at 1
14:41
1 1 Sådan en lille en et clue om hvordan de ikke tænker tænker i
14:45
gåse eller i anførselstegn, ligesom måske bare lige for at
14:48
hjælpe lytterne med at forstå det her.
14:49
Hvad er det helt præcis Det er? Så kommer der lige et par
14:51
eksempler på ting som eller lemmer så.
14:54
Ikke kan, og Det er for eksempel, at de får at vide, at
14:58
olaf scholz was the ninth cancel cancel of germany.
15:02
Så de får ligesom vide, at olaf scholz er den niende ja, Det er
15:05
lige, men så kan de. Men hvis de så bliver bedt om at
15:08
svare på hvem den niende cancer af Tyskland var, så kan de ikke
15:13
finde ud af det. Et andet eksempel er også, hvem
15:15
er tom cruises mor? Der er meget sjovt ja og der der
15:20
der kan de kan eller lemmen godt fortælle at Det er mary lee
15:23
fiffer søn eller eller Marie fiffer, men de kan ikke fortælle
15:27
hvem mary lee for sønnen er så det.
15:30
Det er den her Sådan helt triviel og helt simple logiske.
15:36
Ja tænkte jeg som som som de fejler ved ikke og det, og det
15:40
må man jo formode at grunden til at Det er Sådan er fordi at Det
15:46
er meget altså i de træningsdata den er blevet trænet på.
15:49
Der er det meget mere frekvent, at der står at tom cruises mor
15:53
er hende, men Det er langt sjældnere, at Der er noget der
15:56
handler om tom cruises, og den støder langt sjældnere på tom
15:59
inden tekster handler primært om tom cruises mor, hvor det Sådan
16:03
kommer i en bisætning, at når hun er forresten.
16:07
Hendes sønner fra Santa cruz eller det der fandtes, holder
16:10
det. Det er også helt klart det det
16:13
jeg ville altså sætningen at. Ja nu kan jeg huske hvad hun
16:17
hedder. Topholdets mor hun hedder.
16:21
Ikke engang huske det mary lee fiffer.
16:24
Mary lee fiffer er okay så kan man bare se Jeg er lige så dumt
16:27
som den dag LM men ja præcis at at at altså sætningen at mary 80
16:34
søn er tom cruise. Den slutning er der sikkert ikke
16:39
særlig øh mange steder i tekst, og derfor kan simpelthen ikke
16:43
finde ud af det. Det synes Jeg er altså.
16:46
Det er en meget, meget fin forklaring og det det.
16:48
Det er jo så intuitionen og teorien.
16:50
Det demonstrerer de jo så ikke det her paper, der skal jo lidt
16:53
eksperimentel til, så de tager jo simpelthen noget data, hvor
16:56
de jo så manipulerer med det her ikke og og så træner de jo
17:00
selvfølgelig en en transformer, så så man kan sige Det er jo
17:06
ikke en en. Jeg kan ikke huske om Det er nok
17:08
ikke Sådan det de går ikke igennem de store ting, men men
17:11
for at vise det her eksperimentelt behøver man jo så
17:13
heller ikke at at træne den på meget andet tekst end det bare
17:17
for ligesom at illustrere det der ikke.
17:21
Så de træner dem til at lære den omvendte.
17:24
Altså de de træner den de træner den til de hvad kan man sige at
17:31
lære? Jeg tror Jeg tror de træner den
17:33
til at lære begge veje. Nu kan jeg faktisk.
17:34
Jeg kan faktisk ikke huske det, men men man kunne forestille sig
17:37
eksperimentet altså hvis man ligesom laver Sådan en lille
17:39
matrice for sig ikke også så så vil man gerne have forskellige
17:44
relationer. Beskrevet i sit data og så se
17:50
om, om det om når den så skal svare på de her relationer og
17:54
den, så er det så hænger sammen med det altså dens hukommelse.
17:57
Man skal jo huske på, at Det er i virkeligheden den hukommelse,
17:59
de tester her, så Det er jo ikke en eller anden test er noget
18:02
generaliseret. Hvad kan man sige ud over det
18:05
data, den den kender? Men Det er i sig selv er
18:09
stadigvæk meget interessant. Altså Det er ikke så Henning
18:12
agtigt fordi nogen lige sikkerhed.
18:14
Nå men Det kan jo ikke sidde og teste den på noget data der
18:17
allerede er trænet på Sådan nogle ting.
18:18
Det er helt skævt og Sådan noget, men Det er slet ikke det
18:20
Der er pointen her, vel? Det her er pointen er, at
18:22
hvordan har den fedtet det her data og hvordan hvordan kan den
18:25
så? Ud fra det data den har fedtet
18:27
sit sit sin vægte til. Hvordan kan den så formå at
18:33
svare på det der? Og Det har den altså bare dårlig
18:36
til, hvis ikke den har fået begge retninger af det tekst og
18:40
det. Sådan vil det ikke være for
18:43
mennesker. Det kan jeg bare sige med det
18:44
samme mennesker, der læser Sådan et stykke tekst der, at de vil
18:48
læse den i den ene retning og tænke det deduktivt når jeg, men
18:53
den anden var ikke gælder jo også.
18:55
Ja der Der er ikke nogen vej udenom, så her er et meget,
19:00
meget meget simpelt eksempel på at tænkning.
19:02
Det er i hvert fald ikke det, de gør her.
19:05
Hvis det tænkning, så er det ikke det, de gør.
19:08
Punktum, og det synes jeg, er rimeligt nemt.
19:14
Skriver også bare lige her. De skal også bare have klippet 4
19:17
viste at de kunne identificere en celebrities.
19:21
Hvad skal man sige forældre i 79% af gangene?
19:25
Men kun barnet er den forældre i 33% af tilfældene, så hvor det
19:32
kun var hvad hedder det? Hvad skal man sige, når Det var
19:35
forældrenes navn? Der var givet ikke og en en
19:38
anden interessant ting som de Sådan som de også finder.
19:40
Det er at Det er den her, Det er ligesom ikke bare.
19:44
Det er ikke bare noget, Der er gælder for p 4.
19:46
Det er noget der ligesom gælder for også lamme modellerne og for
19:49
Sådan det større model størrelse.
19:53
Agnostisk og arkitektur, så det virker som om Det er Sådan en.
19:57
Det er noget, der relaterer sig til den her måde, som altså den
19:59
her casual language modeling task, hvor modellerne skal gætte
20:03
næste token. Det er den, Det er den, der
20:06
ligesom er problemet eller det. Det virker som om det kunne
20:09
relatere sig til den type af læringen, man ligesom laver der
20:12
ikke. Altså nu kan jeg ikke huske om
20:14
de gør det her i paper, men noget af det der kunne være
20:16
interessant at kigge på. Det er ligesom med hvor stor
20:19
sikkerhed nu sagde du at den den kunne?
20:24
Den kunne gøre det i den ene retning, altså den her salat
20:26
Politis mor. Den retning 75% af tiden, men så
20:31
ud af de korrekte hits Det er. Hvad er så hvor sikker er den?
20:36
Altså hvis man tager Sådan noget noget noget software så ligesom
20:39
kigger på det der. Okay hvad hvor sikker er den på
20:42
det på den her produktion? Og og ligesom kigger på de der
20:48
hvor den er allermest sikker ikke og så vender den om der og
20:52
ligesom prøver at at at lave en matrix ud fra.
20:57
Ud af de 75%, hvor den rammer rigtigt når man så vender den om
21:03
hvad for nogle rammer den så ikke rigtigt på og prøve at lave
21:07
en analyse af hvad? Hvad de her, hvor, hvor hvor
21:11
stor sikkerhed den grad sikkerhed den har i den ene og
21:14
den anden retning for eksempel. Jeg kan ikke huske, om de gør
21:17
det, men Det er Sådan noget, Der er interessant at kigge på en
21:19
eller anden måde. Det det gør de nok lidt.
21:21
Men ja, det fordi Det kan jo give nogle indsigter i det her
21:25
med Sådan hvad, hvad? Hvad betyder det?
21:28
Hvad betyder det for for evnen til at gøre de her ting?
21:32
Og hvad har det Sådan af praktiske end altså betydning
21:36
ikke altså, hvad, hvad, hvad? Hvad?
21:37
Kan man ligesom forvente eller forvente, at den ikke kan?
21:40
I jamen i provision for eksempel.
21:43
Det er jo det Der er med det. Altså Sådan så jeg ved ikke.
21:47
Jeg kan ikke huske hvad deres konklusion er om de kan de træne
21:49
det vidste de minder polere data.
21:52
Tilstrækkelig kan de så ligesom Sådan fedte den altså træne den
21:55
til simpelthen at. Okay Det er bare Det er bare
21:58
super god til i begge retninger altid eller vil den.
22:01
Vil den altid have en tendens til, at den kan den ene retning,
22:05
men ikke den anden retning for eksempel.
22:07
Altså de de. De de udelukker de hinanden
22:09
eller kan de sameksistere, fordi Der er et eller andet dermed
22:12
Sådan. Jeg har Sådan på fornemmelsen at
22:14
at, at du har aldrig rigtig nå. Med den arkitektur kan du aldrig
22:19
rigtig nå til en situation, hvor den vil være i stand til begge
22:22
dele. Man kan man kan sige jamen det
22:24
Jeg tror måske også Det har noget at gøre med det her med.
22:27
Hvad skal man sige frekvensen af?
22:30
Hvor mange gange den har set, er tom cruises mor er en eller
22:33
anden og hvor få gange den har set at.
22:36
Det er jo det du har politiske. Ja du ved, så det vil sige at at
22:39
den den og den har simpelthen bare ikke husket den anden
22:42
relation og det. Det kan den så bare ikke.
22:45
Det kan den så ikke retrieve så på en anden måde så er det
22:47
Sådan. Det er på en måde også
22:48
spørgsmålet om det i virkeligheden er Sådan en.
22:50
Det siger mere om hvordan den ligesom retriever hukommelse
22:54
eller Sådan data fra sin hukommelse, ikke at at den den,
22:58
den key den ligesom skal bruge tom cruise parent.
23:01
Den mappe meget klart ned til en men.
23:04
Parent Sådan altså Sådan lidt du ved det ved man ikke rigtig.
23:10
Og på en eller anden måde, så tænker jeg også, at jeg var det,
23:14
jeg tænkte. Det kan jeg altså ikke lige.
23:17
Jeg tror Jeg har tabt tråden. Ja men men man kan jo.
23:22
Jeg. Jeg kan ikke lade være med at
23:23
tænke på. Jeg ville kun som måske nogen
23:27
kender. Han har jo nævnt det her med at.
23:30
De her all regressive modeller. De er jo forfærdelige.
23:33
Vi skal gå væk fra dem og Sådan nogle ting.
23:35
Ikke fordi. Det han siger Det er netop det
23:37
der probabilistiske element, som du også snakker om.
23:40
Ikke Det er at. Det er slet ikke godt, altså det
23:44
det det vi kan ikke bruge det her probabilistiske, hvis Vi
23:46
skal nå i nærheden af tænkning. Altså Sådan Det er ikke.
23:49
Det er ikke en probabilistisk øvelse at lave logisk deduktion
23:53
for eksempel. Nogle andre ting Der er?
23:56
Og der siger han Sådan at Det er vi nødt til at bevæge os væk fra
23:59
det, hvis Vi skal. Vi kan heller ikke lide det, der
24:02
havde jeg altså genova intelligente.
24:04
Han vil meget hellere bare sige, Vi skal.
24:06
Vi skal have noget, som er på, Vi skal stile efter at have
24:09
noget, Der er på niveau med menneskelig intelligens, og når
24:11
vi så er nået dertil, så kan vi snakke om alt muligt andet,
24:13
ikke? Og og og Der er Der er bare
24:17
rigtig mange ting med de her probabilistiske modeller, som
24:20
som slet ikke ligner. Ligner det, som vi kan inde i
24:23
Vores hoveder. Det synes jeg.
24:26
Det synes jeg, han har ret i. Hvis jeg skal ikke nu kan jeg
24:30
huske det. Men min anden pointe her hvad
24:31
hedder det? Jeg tænker at grunden til den
24:33
kender tom cruises mor, men ikke.
24:37
Kom knuses mor og søn eller den omvendte reaktion tænker altså.
24:40
Det er selvfølgelig fordi den den har ligesom i sin memory
24:44
eller sin sin baggrundsviden mapping mellem tom cruise hans
24:48
mor. Hvis man godt kunne tænke sig at
24:50
ændre det Sådan så det også den også var den anden vej rundt, så
24:53
går jeg ud fra, at det ville kræve en.
24:55
En fintuning altså 1 1 1 ændring af selve grundmodellen for at
24:59
gøre det ikke og der tror jeg det synes jeg Det har været
25:02
snakket om før det her måde. Hvis du skal ændre på selve den
25:04
der long term memory den der dybe du ved.
25:09
Baggrundsviden som LM bar ham alt muligt, så er det en meget
25:13
ressourcekrævende opgave, og det vil kræve, at du ligesom har en
25:16
masse data. Altså Det er også noget data
25:18
volumen. Data volumen problem ikke så vi
25:23
kræver at du dels bruger meget energi på at træne, enten hvid
25:26
på træne den på eksempler. Men også have tilsvarende flere
25:33
eksempler, hvor den anden relation bliver nævnt.
25:35
Ikke så det virker bare som om at.
25:38
Den er i hvert fald. Det er også det lidt på en anden
25:40
måde synes jeg. Det relaterer sig til det her
25:42
fine tuning versus rack retrille augmente generation ikke du vil
25:46
gerne have chatbotten til at virke på dit eget data, men glem
25:50
at fintune den altså hele modellen til dit eget data fordi
25:55
det det Det er jeg det det det det forstår jeg fort, og Det er
25:59
for fluffy og usikkert og du er sikkert ikke nok data til at den
26:03
vil fatte det. Og Det er jo også det.
26:06
Det er jo også der hvor man kan sige, jamen er det overhovedet
26:09
interessant, at den kan retrieve de der?
26:11
Faktuelle ting der og der vil jeg jo også selv sige, at Sådan
26:15
nej. Nej, Det er det jo egentlig
26:16
ikke. Altså fordi Det har vi ikke lyst
26:18
til at bruge dem til. Altså de har jo probabilistiske
26:20
i sig selv i den retning, de måske er bedst givet til.
26:23
Der rammer de så kun de der GBT 4 kun rigtigt II.
26:27
Hvad hedder det 75% af tilfældene?
26:29
Og Det er jo bare. Altså faktuelt.
26:33
Har den ikke styr på på 25% ikke altså, og derfor vil man jo
26:39
altså vil man jo gerne have det der retrieved op med den
26:42
generation ind uanset hvad fordi de er probabilistiske
26:46
modellerne, så så lad være med at bruge dem til til til til
26:49
fakta. Er det af den slags?
26:53
Det vil jeg også sige. Men men men Det er jo så bare
26:56
heller ikke det Der er pointen, kan man sige i det her.
26:58
Det er jo, måske er det egentlig pointen, at Det er det, de er
27:01
bare ikke gode til det og men men men Det er ligesom de har
27:05
ligesom vist det i en mere Sådan teoretisk form, hvad det hvad
27:09
det så er, de ikke er gode til. Og og hvorfor de så nok ikke kan
27:13
komme hen og og og lave logisk deduktion.
27:17
Og og derfor tror jeg også, at det Det er rigeligt.
27:22
Der er rigeligt med evidens efter min mening for at sige, at
27:25
den arkitektur har sin begrænsning, hvis man vil et
27:28
skridt videre ved, hvad der så skal komme.
27:32
I stedet er jo det store spørgsmål, kan man sige.
27:35
Folk kunne tage næste skridt. Så.
27:40
Det kunne være Det var noget multimodalt måske.
27:43
Det er i hvert fald rimelig hypet.
27:45
Nu kan jeg ikke huske hvad hvad? Det er jo tror jeg jeg ville kun
27:49
kalder det noget joint en betting model eller Sådan et
27:52
eller andet og han nævner Sådan noget.
27:55
Jeg han nævnte noget CMS arkitektur, men det synes jeg
27:58
bare Det er Sådan noget old school noget.
28:00
Er i hvert fald. Det er Sådan noget, Det er det
28:01
sentens transformerne er baseret på blandt andet ikke, men men
28:05
han er meget til Sådan en cooter delen og en betting Sådan nogle
28:08
ting, at han er lige så meget fan af en betting, som Jeg tror
28:10
jeg, men men men. Og så snakker han om Sådan noget
28:16
energi bast modeling i stedet for probabilistisk, så det skal
28:19
ikke være probabilistisk. De skal være energi bast og så
28:21
er det en masse entropi show og Jeg kan se fysisk analyseret
28:24
hopper over i hjørnet og. Jeg har stadig ikke helt fattet.
28:27
Hvad er det bedste middel er fordi og Det er nok bare du ved.
28:32
Det ikke de der de der typer funktioner, men Det er noget med
28:36
at at at at løse funktions. De er ikke statiske altså.
28:40
OK det Der er et eller andet der jeg jeg tænker på.
28:45
Hvor stor game kan der være på det?
28:48
Men åbenbart stor når i alle kunne siger det.
28:52
Jeg ved slet ikke nok om det der.
28:57
Det må være noget værre. Noget hvis han.
29:01
Havde noget klogt jo hvad hedder det eller noget i hvert fald at
29:04
sige, at jeg som jeg forstår det, så er jern leçons.
29:09
Hvad skal man sige? Yacon er ret optaget af contract
29:13
of learning, og han er ret optaget af at.
29:17
Der er jo det her trick man kan lave kontraster forening med
29:19
billeder for eksempel, hvor man tager, hvor det øvelsen er,
29:23
ligesom at man skal lave triple ts er.
29:26
Positive eksempler og så det negative eksempel altså du skal
29:29
lave triplet af data hvor 2 af de stykker data passer sammen og
29:34
at den tredje gør ikke. Og så er ideen at hvis du træner
29:37
dem til at de positive til at ligge tæt på hinanden og dem til
29:41
at ligge langt væk fra den negative, så får du et meget
29:43
Sådan et rigt embedding space for det data du modulerer.
29:48
Der er bare et problem med det og Det er at man skal finde de
29:50
negative og man skal finde de positive og Det er Sådan hele
29:54
den øvelse kan være svær og Der er noget med noget shopping er
29:56
nogle billeder eller. Nu skal jeg lige metoder, Der er
29:58
til det. Det han så vidt jeg forstår det,
30:01
så Det er hans hellige gral. På en eller anden måde er Det er
30:04
at sige, kan vi tage det samme et stykke data?
30:07
Og bare træne en model til at. Hvad skal man sige?
30:13
Lagre. Noget om det data ved at kigge
30:18
på forskellen mellem det selv. På en eller anden måde, altså
30:21
Det er nemlig. I hvert fald.
30:23
Han vil ikke. Han vil gerne hacke datasættet,
30:26
så han ikke behøver at lave. Altså man kan til en vis grad at
30:30
lave de der trilles automatiserede, men Der er nogle
30:34
ting i det som som som ikke har fungeret så godt og det vil han
30:36
gerne ligesom. Gør, at man ikke behøves, at man
30:39
bare ligesom kan lave lærer ting ud fra rå data kan du lære noget
30:44
bare ud fra data, uden at du skal have sat en eller anden
30:47
form for læringslyst. Jeg tror han har også.
30:51
Jeg tror Det er rigtigt. Der er noget i det der.
30:54
Det er noget med, at han også siger, at han har egentlig gået
30:56
væk fra contract det det troede han mere på, men nu er han
31:00
videre og og det næste han nemlig at videre til det.
31:02
Det er noget af det der som du siger Det er det.
31:05
Ikke. Ja Japan, men Det er john the
31:08
betting. Det er det der står for jeg jeg
31:11
ved bare ikke nok om det, så jeg jeg må.
31:14
Jeg må lige undersøge det, fordi det lyder som state of the art
31:17
altså. Det.
31:18
Ekspressive var stewart, men nu er det nu er det nok noget
31:21
andet. Det kan være vi lige skal have
31:23
en til at en til at forklare os. Det kunne være fedt.
31:27
Jeg tror Det er jo altså de gør jo rigtig meget over i meta for
31:30
det der ikke. Han er jo også Sådan jeg
31:33
egentlig kun han er Sådan lidt kok ikke og så siger han også
31:35
bare det åbner jeg, Det er fint, men Jeg er det der chat det, Det
31:39
er jo bare engineering. Der er ikke noget.
31:41
Nyt han er meget hater han. Er han synes han er misundelig
31:46
her. Det er.
31:48
Ja 100% sikker på han synes Det er ufortjent at jeg åbner.
31:52
Jeg får så meget opmærksomhed fordi de ligesom bare har skruet
31:54
op for parametre og computer og det synes han er unfair at man
31:57
kan det synes han er uinteressant forskning der 100%
32:00
sikker på. Så eat så skal han.
32:02
Han sagde bare bare køre mere på computer, og det viste sig at
32:07
det virkede rigtig godt til til til at de blev brugbare.
32:11
Ikke? Altså, men men dybest set er der
32:13
jo ikke noget andet nyt i det. Jo så er der reelt
32:17
forskningsdelen det. Det vil jeg så også lige sige.
32:19
Jeg synes ikke jeg kun giver nok credit til at det rent faktisk.
32:22
I hvert fald den der human feedback del af den.
32:24
Det gør jo, at de her modeller rent faktisk bliver brugbare.
32:27
Ikke? Altså før var de jo ikke som
32:31
Sådan særlig specielt interessant.
32:33
Lige præcis. Det er de nok med i hans øjne.
32:36
Stadigvæk ikke. Nej, men Det er nok fordi det.
32:39
Han havde nok godt set den komme ikke og du ved, og han har de
32:43
helt lange r briller på ikke? Han vil lave artificial general
32:47
altså human eller han vil han kalder det jo ikke AI fordi det
32:50
synes han er også hvis du general intelligence og det
32:53
synes han er noget noget vrøvl fordi.
32:55
Mennesker har jo heller ikke generel intelligens, fordi Der
32:58
er en masse data, vi gør Sådan, så han kalder det human level.
33:02
Altså intelligence, ikke så han er meget Sådan.
33:06
Han er han er lidt en hater på nogle punkter, men men men også
33:08
en freaking legendes og så Det kan man jo ikke hate på.
33:13
Skulle det ikke handle om jern cool, så Vi har jo endnu en ting
33:17
på. Plads.
33:19
Vi må lige forhandle kun med en dag på podcasten tænker jeg
33:22
prøver vi prøver. Nu har vi jo lavet Vores første
33:24
engelske podcast i sidste uge. Hvad hedder det nu?
33:29
Jeg har? Jeg har brugt noget tid på at se
33:31
det, og Det er faktisk en talk. Jeg engang læste et paper wow
33:36
men læs den paper der hedder mening indian of language models
33:39
og Det er en. 1 1 1 talk som er lavet af en gut som hedder
33:44
Steven pearce pian tager dosi fra yousee berkley i San
33:51
Francisco, eller i hvert fald i Californien.
33:53
Eller er det lige præcis i hvert fald en en gut, der ikke som
33:57
læser noget College og neuroscience og forskellige ting
34:00
og sager? Og han han.
34:03
Han pointerer ligesom det her måde, at han synes, at Lars
34:07
landbrugsmodels er har gjort det meget relevant at begynde at
34:10
snakke om de her meget Sådan traditionelt meget filosofiske
34:13
ting. Sådan, hvad er meningen og hvad
34:15
er sprog og hvad betyder alt og alle de her meget Sådan?
34:20
Hvorfor har det måske været noget Sådan nogle meta
34:23
diskussioner meget Sådan fluffy og filosofisk og Sådan noget
34:26
ikke? Men nu er det faktisk blevet
34:27
Sådan. I hvert fald i stigende grad er
34:30
blevet meget interessant at finde ud af Sådan.
34:32
Hvad er det egentlig der foregår, og hvordan kan vi
34:34
ligesom relatere det til hvad lars language models gøre?
34:37
Og der stiller han simpelthen bare spørgsmålet Sådan, altså du
34:41
ved, hvad er meningen? Og altså hvad?
34:46
Hvad er mening? Det er helt store spørgsmål i
34:48
virkeligheden ikke det hele du ved, Det er helt ud af kroppen
34:52
agtige spørgsmål meta meta spørgsmålet over alle meta
34:55
spørgsmål ikke. Jeg hører bare discard, og Det
34:58
er hue og. Ja lige præcis.
35:01
Jeg synes faktisk han har nogle ret interessante ideer fordi han
35:03
starter Sådan ligesom med at og Det er relaterer så meget til
35:05
sprog. Ikke fordi i høj grad meget er
35:09
det meningen vi ligesom kan snakke om.
35:10
Det stammer jo ligesom for sproget kan man sige ikke, og
35:14
der starter han med ligesom at sige at præsentere teori om at
35:18
hvad skal man sige at. Meningen er altså der, ligesom
35:21
er en teori. En meget Sådan basic teori, så
35:24
den er meget Sådan indlysende den man måske først ville ville
35:28
finde på, hvis man satte sig for at lave en teori for hvad
35:30
meningen er og hvad sprog ligesom siger mening og så
35:33
videre. Og Det er at meningen at på en
35:37
eller anden måde reference, altså sprog ord, meningen er ord
35:41
er referencer. Til ting i verden, så du ved
35:46
alle ord og og når man siger det, så siger man også, at alle
35:49
ord har en eller anden reference til noget, der findes fysisk.
35:53
For eksempel 1 3 du ved Det er brugbart at kunne snakke om 1 3
35:56
fordi så kan vi snakke om 1 3 når vi ikke er i nærheden af 3
36:00
men så kan vi simpelthen idé. Om 1 3.
36:03
Og så kan vi snakke om det da ikke er der, eller vi kan sige,
36:06
vi vil gerne mødes ovre ved træet, eller Vi skal hen og
36:08
fælde træet eller et eller andet ikke?
36:12
Så Det er ligesom. Det er ligesom Sådan et koncept
36:15
at. At at at alle ord eller Sådan
36:18
mening. Det der giver ord mening er
36:21
deres reference til noget, der findes fysisk i verden, og Det
36:25
er jo Sådan på en måde. Så er det Sådan en dejlig Sådan.
36:28
Nå var det bare godt. Det var det bare det ikke fordi
36:32
nice na dun South ikke. Altså nu kan vi forklare alt ved
36:38
det ikke? Jeg hører et stort.
36:40
Problem problemet er jo bare at lige den der teori der hvad
36:45
hedder det holder jo ikke nu ved jeg ikke Jonas jeg ved du er en
36:49
en kvik en kvik mand har du Sådan kan du se nogle huller i
36:53
den teori. Hvad, hvad?
36:57
Hvad er din tanke? Der, der findes jo ting Jeg kan
37:00
nævne af ord og inde i mit hoved, som ikke på nogen måde
37:03
findes i den virkelige verden, som i Jeg kan lave uendelige
37:07
kombinationer af ting som. Måske for nogle billeder op inde
37:12
i folks hoveder, som på ingen måde findes i den her verden
37:17
hyggelige billeder, meget ubehagelige billeder.
37:19
Jeg kan nok også prompte bitchy få ubehagelige billeder.
37:24
Så. Ja ja, og Det er nemlig lige
37:28
præcis Det er rigtig gode penge det der, fordi den teori går jo
37:31
ligesom i stykker når man begynder at sige jamen hvad så
37:34
hvordan kan det så være? Vi har et ord for en drage for
37:36
eksempel altså Sådan. Det Der er jo ikke nogen der du
37:40
ved de findes jo ikke. Hvordan kan det være vi kan
37:42
snakke om ting der ikke findes? Det gør det måske så alligevel i
37:45
form af at vi kan. Hvad kan man sige manifestere
37:48
dragen i form af et billede og et eventyr så findes.
37:51
De ja, Det kan man sige. Det er selvfølgelig en god
37:54
pointe, ikke? Men Det er i hvert fald, Det var
37:56
ikke noget, man ligesom har observeret på den måde ikke, men
38:00
så er der også nogle mere Sådan nogle fluffy ord som for
38:01
eksempel retfærdighed giver han som eksempel ikke.
38:06
Hvad? Hvad findes i den her verden?
38:09
Så nej. Nej, men Sådan du ved, hvad er
38:14
ligesom relationen fra den virkelige verden til til ordet
38:18
retfærdighed ikke? Altså Det er Sådan, Det er sgu
38:20
svært lige at pege det det Det er sjovt fordi det finder man
38:22
også ud af Sådan når man når man sidder og propper Sådan noget
38:24
som stable diffusion og så videre så siger man hvad vis mig
38:29
retfærdighed ikke der bliver Sådan okay.
38:32
Hvad så? Kommer de der vægte der ikke?
38:34
Jo, så kommer der en vægte eller en en dommer eller jeg ved ikke
38:39
et eller andet whatever så så så Det er Sådan.
38:42
Det går meget hurtigt i stykker af den teori desværre.
38:46
Og så er så og så så kan man jo så spekulere over hvad er hvad?
38:50
Hvad fanden er meningen så hvis ikke Det var så simpelt?
38:52
Hvad fanden er det så ikke? Og Jeg tror i virkeligheden den
38:58
den den Sådan korte version. Er.
39:02
At at ting, hvad skal man sige? Mening?
39:06
Ordets mening er ikke kun defineret ud fra deres reference
39:09
til ting i den fysiske verden. Øh også fordi at man kan sige.
39:16
Et ord som for eksempel sko. Han giver et eksempel på et et
39:19
ord som sko at. Du ved du ved, når du ved, når
39:25
du ser en sko, jeg ved, når jeg ser hans sko, ikke du ved, vi
39:27
kender sko, og de dem ved vi hvad er ikke?
39:30
Men hvis vi så ser en sko, Der er lavet ud af opaline.
39:36
For eksempel, så bliver vi Sådan.
39:39
Det er jo stadig en sko, men den er bare et en upraktisk sko,
39:43
ikke? Så du ved?
39:46
Man kan ændre meget ved, altså ved ved ved konceptet sko.
39:53
God. Dimensioner.
39:55
Ja men men Det er stadig en sko. Det er bare en underlig sko ikke
39:58
altså så Der er et eller andet man kan sige Der er et eller
40:01
andet ved en sko som definerer det som ikke er selve du ved
40:05
skoen du ved Der er jo skoen kan også forskellige farver hvad
40:07
skellige materialer og så videre, så Det er noget med det
40:10
Der er med med det, men Det er han så mener Der er meningen Det
40:13
er at. At mening er.
40:17
I højere grad koncepter. Og det bliver det totalt meta
40:22
ikke, men du ved, Det er. Man, man skal ikke så meget at
40:27
tænke i ting og faktisk er den fysiske verden skal mere tænke.
40:32
Og tænke på koncepter, altså en en sko er et koncept.
40:36
Det er et et koncept og 1 3 er et koncept du ved træer kan også
40:40
se forskellige ud, har forskellige størrelser og så
40:42
videre. Så 1 3 du gør aldrig regne med
40:44
at 3 ser ud på den samme måde, men du har ligesom et en ide om
40:48
et koncept som er 1 3. Og koncepter.
40:52
Er defineret og grund det der giver koncepter, mening er.
40:59
De koncepter vs interaktion mellem andre koncepter, hvis det
41:05
giver mening at wow. Meta men, så så kommer vi over i
41:09
noget, hvor vi ligesom kan høre. Åh, nu kan vi forstå, hvorfor
41:12
sprog måske virkeligheden kan. Kan være med til at repræsentere
41:16
mening, fordi. At Det er jo netop det vi gør
41:19
med LM og der relaterer vi jo stort set alt til hinanden.
41:25
Lige præcis og finder ud af de her relationer.
41:28
Altså vi. Vi danner jo et et kæmpe gitter
41:31
over over de relationer. Og hvordan de relaterer til
41:36
hinanden og i hvilken kontekst at.
41:38
Når Vi skal skabe mening, at Vi skal have fokus på den eller den
41:44
relation. Det er jo det jeg gør, ikke det?
41:48
Hvad for nogle relationer imellem ord?
41:52
Ja, jeg skal lægge. Vægt på ja, det laver ligesom
41:56
den der. Hvad skal man sige den der
41:58
relation i virkeligheden som Det er ikke som du selv siger, men
42:01
Det er også det, Der er sjovt, fordi Det er jo også derfor at
42:04
grunden til at. Konceptets sko kan ændre sig
42:08
relativt meget. Og at vi stadig ligesom
42:14
anerkender, altså kan se at Det er en sko.
42:16
Det er fordi at skoen ligesom relaterer sig til andre
42:18
koncepter. Den interagerer med andre
42:20
koncepter som for eksempel en fod det og noget med, at foden
42:25
skal beskyttes fra jorden, så man ikke får, du ved.
42:31
Altså så man ikke skærer, eller du beskytter sine fødder eller
42:34
Sådan et eller andet så så Det er Sådan mere.
42:38
Men skoen er defineret ud fra sin funktion, og dens funktion
42:42
er dens. Et altså den den ja, det
42:48
koncept, der interagerer med andre koncepter som.
42:50
Fod og jeg tænker jeg, jeg ville lige Sådan skyde ind fra hoften
42:55
her. Jeg Jeg har ikke lavet særlig
42:56
meget i mit hjørne i sjov men, men man kunne forestille sig, at
42:59
den der Ukraine og sko der ikke den kunne man godt pumpe sig et
43:02
billede til i virkeligheden jo, og så kunne man jo forestille
43:05
sig, at lad os nu sige at. Okay, Jeg vil gerne have at du
43:12
skal lave en sko der ligner en aubergine.
43:14
Siger du til til Midtjylland? Og hvad er sandsynligheden for
43:18
at den laver en Ukraine form? Med en eller anden skuffe farve?
43:25
Og så tænker man jamen det her. Det er jo en en Ukraine sko en
43:29
eller anden kombination af en online sko.
43:32
Sandsynligheden for at den laver en skuffe form, og den tager en
43:35
origine farve og måske blander det lidt med noget.
43:40
Officine form også også. Den er nok lidt større, ikke?
43:46
Altså, men hvor at den ligesom beholder konceptet af hvornår
43:50
deformerer jeg det her objekt nok til, at det ikke ligner en
43:54
sko mere? Og Det er noget af det, som Jeg
43:57
er ret sikker på, at de her de her diffusion modeller eller
44:02
hvad det nu er der modellerer billeder.
44:04
De er ret gode til de her boundaries som Der er II
44:09
billederne. De forstår godt.
44:12
Der står nu fik jeg sagt noget forkert, ikke de?
44:15
De kan godt modellere. Ja de.
44:20
De her former og ligesom holde sig indenfor det space, der
44:24
hedder, at hvis jeg deformerer. Det her for meget så.
44:29
Så er så er jeg for langt væk i vektor space til at Jeg kan
44:33
referere til det her ord sko, som jeg fik ind i min proces, så
44:36
derfor ender jeg aldrig nogensinde derude, fordi
44:39
simpelthen et helt andet space. Så blev det til et bold i stedet
44:44
for ikke så så selvfølgelig kan de det.
44:47
Det giver jo også god mening. Altså Det er jo, Det er jo bare
44:49
en modellering. Bare siger jeg ikke altså Det er
44:51
jo Det er jo en stor opgave at lave Sådan en model, fordi den
44:54
er jo gigantisk kan holde styr på alle de der relationer.
44:57
Det er også derfor, vi vi ligesom kan.
44:59
Det er derfor vi ligesom kan. Vi kan snakke om en sko Der er
45:04
lavet af opaline fordi. Det er ikke så, så Der er
45:09
selvfølgelig en praktisk ting ved hvad en sko er lavet af.
45:12
Du ved apache, det vil nok ikke holde så lang tid, og det vil
45:15
være ubehageligt og Sådan noget ikke men men på en måde vi kan
45:17
snakke om en sko lavet ud af pinen fordi.
45:21
Det det det på den måde er det det ikke det på en anden måde
45:25
underordnet hvad den er lavet af i hvert fald så længe altså.
45:31
Det at den er lavet af sine ændrer ikke nok på dens funktion
45:35
og dens interaktion med andre. De koncepter, som vi forbinder
45:38
den med til, at vi ikke vil anerkende som en sko.
45:41
Der er også en i tørken, som ligesom stiller et spørgsmål
45:43
Sådan sige, jamen, hvad nu hvis den var lavet af is eller hvad
45:45
nu? Den er lavet af damp eller et
45:48
eller andet ikke, så kan man godt få, så kan man måske
45:50
begynde at forestille sig, at så vil den, så vil man begynde at
45:53
bevæge sig over i, at nu er den her sko altså lavet af noget som
45:58
forstyrrer ideen om en skos interaktion med andre koncepter.
46:03
Så meget, at vi ikke længere genkender det som 1 1 1 1 sko
46:07
fordi den den det materiale den er blevet lavet af.
46:11
Ligesom ikke det gør at. Den den ikke længere kan have
46:15
samme interaktion med de andre koncepter, som den havde før
46:18
ikke, og derfor kender vi ikke den sko.
46:20
Men der tror jeg, at når Vi er ude i det der, hvad kan man sige
46:22
den der fysiske fysiske realisering af at at sko også er
46:26
en praktisk ting i den fysiske verden, og at man kan bruge den
46:30
til at gå med, og at altså Det er der ikke noget der har
46:34
fortalt den diffusion model II, at det hold du rammer ved siden
46:39
af nu i forhold til sko fordi at min loss funktion fortæller mig,
46:43
at hvis jeg vader i den her isco du har lavet.
46:46
Så er det ens sko for det. Jeg kan ikke gå i den, og den
46:51
får ikke et rap over nallerne der vel så den bliver.
46:55
Fordi den har ikke de input altså den har den har 2 d
47:00
statiske billeder og den har tekst ikke og Det er jo en af de
47:04
pointer som jeg kunne også har langt hen ad vejen noget af det
47:07
han siger. Det er ligesom at at altså.
47:11
Vi har mange. Typer af hvad kan man sige?
47:15
Datainput inklusive dem fra den fysiske verden, som gør os i
47:22
stand til at tænke i den verden, vi lever i en projektering af
47:28
den fysiske verden over i noget tekst er ikke nok fordi Det er
47:31
ikke den fysiske verden. Så der vil man jo så sige.
47:39
Er det en sko så langt, så Det er Det er nok mere en et stykke
47:44
kunst af en sko eller en is og en sko og ikke en praktisk sko
47:50
og det. Det kan vi mennesker godt finde
47:52
ud af at tænke over eller filosofere over, men Det er vel
47:56
det, det ville være fuldstændig umuligt.
48:00
Jo, du kunne nok godt prompte den til at sige.
48:02
Det skal altså være i de her materialer stadigvæk, men det
48:05
skal også være en is, så den skal ikke være lavet af is, men
48:07
så skal det ligne isen ikke, og Det kan godt være en is Der er
48:11
lavet 1 3 og så får du Sådan en ispind på et stykke 3 og så er
48:15
skoen egentlig i 3 altså du ved Der er alle mulige nuancer af
48:18
det der som du skal virkelig du skal ud i dyb prompt, ikke for
48:23
ligesom at at for tyvene den ind på det der tror jeg Det er bare
48:26
Sådan en situation Jeg har, men der vil Jeg tror Der er noget
48:29
der. Ja det giver det giver mening,
48:32
Der er et eller andet. Der men Der er ligesom så Der er
48:34
ligesom en eller anden form for teori for meningen, altså at
48:37
meningen er konceptets, altså det der giver ord mening eller
48:42
ja ord mening. Det er, at de beskriver
48:44
koncepter som interagerer med andre koncepter i den virkelige
48:48
verden på en eller anden grad metal a, og så er de der meget
48:53
Sådan. Du ved, så er der meget der du
48:54
ved Der er 3 og Der er en sko og den milde jorden og Sådan noget,
48:57
og så når man det, og Det er Sådan noget man lærer for for
49:00
barn af du ved, og så er i jo ældre man bliver, jo mere
49:02
avanceret. Bliver vi mere, bliver det Sådan
49:04
noget med retfærdighed for eksempel, og så begynder man at
49:06
kunne lære Sådan nogle. Ting man observerer, som er
49:10
interaktioner mellem mennesker for eksempel ikke, og så kalder
49:13
man de interaktioner noget bestemt og så videre.
49:15
Ikke, så Der er nogle lag af, hvor langt væk fra den fysiske
49:19
verden det kommer på en eller anden måde.
49:22
Men det men, men så begynder de jo selvfølgelig at snakke om
49:24
Sådan noget, men hvad hvad? Det kunne godt virke som om, at
49:29
store sprog modeller lange modeller ligesom lærer noget,
49:32
der minder om det her Sådan der det kunne.
49:34
Det lugter lidt som om, at det kunne faktisk godt være Sådan
49:36
noget, der kunne være et være nogle af de.
49:40
I morgen behaviors eller ting og sager som som hvad skal man sige
49:44
større modeller lærere og Der er jo ideen jo så ligesom at okay,
49:48
hvordan kan de ligesom lære det uden at have adgang til den
49:51
virkelige verden? Det kan de fordi at.
49:56
Meget af den virkelige verden, mange sandheder og mange
50:00
brugbare sandheder om den virkelige verden, ligesom bliver
50:04
projiceret ned til tekst igennem sprog og derfor er indkoder en
50:08
masse brugbare virkelige ting om verden ikke ske, og Der er det
50:13
meget sjovt, fordi så laver de også Sådan en form for slags
50:16
marsk language modelling, lærings opgave på mennesker,
50:21
simpelthen hvor de sidder oppe til det med jer, der ikke kender
50:24
marsling, hvis modeling Det er, hvor man ligesom Det er den.
50:28
Language modeling opgave som modeller som burde bliver trænet
50:31
på, hvor man fjerner nogle tilfældige ord, og så sætter man
50:34
bare til, ligesom at gætte de ord der mangler og på den måde
50:37
får den så den her kunne man forestille sig konceptuelle
50:41
forståelse af sprog ikke ske, og Det er sjovt, fordi det begynder
50:45
at blive meget mere, at man begynder at kunne tale om det,
50:48
når man også forstår den her konceptuelle sang tankegang,
50:50
ikke? Men så har man simpelthen
50:52
mennesker til at prøve at lave den her master language modeling
50:56
opgave, og der har man ligesom taget nogle tekster som
50:59
indeholder nogle meget sjældne ord på engelsk.
51:02
Altså Sådan nogle ord som som folk Der er med i eksperimentet
51:05
ikke kender. Og så fjerner, så viser man dem
51:08
ligesom en masse forskellige tekster og 20 forskellige
51:10
tekster, hvor det ord indgår, men er fjernet og så skal de
51:14
ligesom prøve at indsætte hvorhenne de fjerner, hvis det
51:18
ord og et andet ord, og så skal de indsætte det sted hvor det
51:22
ord takket ordet ligesom. Er giver det mening, så de har
51:28
en en tekst, hvor der indgår et sjældent ord i de fjerner det
51:31
sjældne ord og et andet tilfældigt ord, og så er opgaven
51:34
ligesom finde ud af hvor at det sjældne ord, som vi ligesom skal
51:36
finde ud af, hvad betyder hvad hvor er det det skal?
51:40
Blandt hans ind ikke og efter 20 idag.
51:44
Personer. At den her type opgaver.
51:47
Så bliver bliver hvad hedder det?
51:50
Bliver deltagerne ligesom? Stil Sådan nogle Sådan nogle
51:55
features spørgsmål omkring de her ting, de har ord som er
51:58
sjældne som de prøver at få forklare, og Det er Sådan noget.
52:01
Men er det et er x et manmed object bruger folk det til at
52:06
male med? Er det noget som biologer typisk
52:09
studerer altså Sådan nogle du ved spørgsmål som ligesom
52:13
spørger ligesom spørger ind til forstår du det her koncept ud
52:16
fra at du ligesom skulle indsætte ordet, men du ved ikke
52:19
hvad Det er, og der får folk altså overraskende.
52:24
Altså de får Sådan noget 70% af accuracy eller Sådan noget.
52:27
Sådan 90% af cozy de er Sådan det så det vidner om at
52:31
mennesker er gode til ligesom bare at forstå.
52:34
Blanks ud fra en kontekst og så bare rejse sig frem til okay.
52:37
Det må være det her koncept ud, og Det er jo så fordi de ligesom
52:40
på en eller anden måde var det koncept til andre koncepter og
52:43
dens interaktion med de koncepter, ikke.
52:45
De viser også mennesker fra os ret høj.
52:48
Hvad skal man sige acuity når de bliver vist billeder, altså når
52:51
de bliver bedt om at pege objektet ud eller det der bliver
52:54
talt om på nogle billeder. Det har de også ret god
52:57
forståelse for for eksempel, Der er en af eksemplerne, som er en
53:00
chokoladekage og Der er altså, og det viser på en eller anden
53:04
måde Sådan en. Så en eller anden form for at
53:09
man kan lære noget ud fra det her ikke?
53:11
Altså Der er en eller anden form for det fortæller noget om det
53:15
ord, der mangler, hvis du er i stand til at forudsige det ord,
53:18
så er du i stand til at forudsige.
53:21
Hvordan det ord interagerer med koncepterne omkring det.
53:26
Altså, du er i hvert fald i stand til at placere det i en
53:28
kontekst, og derved forstå konteksten, men også så.
53:32
Gennem konteksten forstå det ord du så i virkeligheden putter
53:36
ind, fordi de tog nok ikke kan adskilles og det det tænker jeg
53:40
det og det Jeg synes i det hele taget Det er interessant det der
53:43
eksperiment med at man ligesom tager mennesker ind i en.
53:46
At laver Sådan en en træningstaske.
53:51
Det synes Jeg er totalt grineren.
53:52
Okay hvad er det Vi har lavet II de her transformere så lang tid
53:58
måske token production kan? Mennesker.
54:01
Det. Er det ikke?
54:04
Grineren. Så bare lige vende bøtten.
54:06
Det er fuldstændig det synes Jeg er sjovt.
54:08
Altså det giver nogle indsigter og.
54:10
Så tester dem i det bagefter ikke, for ligesom at se om de
54:13
har fattet det altså. Har de har de lært noget om det
54:16
ord, som de ikke kendte før ved at placere det i en kontekst af
54:19
andre ord. Det synes jeg.
54:21
Det er også lidt genialt tænkt. Det er så Der er virkelig.
54:28
Altså, og det viser et eller andet om, at Der er et eller
54:30
andet ved mening som og det virker måske banalt ikke.
54:35
Men Det er i hvert fald en fed øvelse at sætte ord på det at
54:38
formalisere det ikke. Der er et eller andet ved
54:39
mening, der Der er. Der er noget ved ordets mening,
54:45
som er deres. Konceptet om det ords
54:49
interaktion med andre ord og deres koncepter ikke hvilket ja
54:54
det? Jeg håber altså Jeg tror måske.
54:57
En person lytter med stadig, så jeg håber at du nyder det.
55:01
Jeg håber du nyder det og nogle syge insights det.
55:04
Det har været en tung tung omgang i dag unge, men Jeg
55:08
synes. Vi skal lige Vi skal, Vi skal
55:10
den sidste mad vi slutter, fordi fordi nu er det ved at blive.
55:13
Ja nu er jeg ved at blive langhåret, ikke endnu hver gang
55:15
Jeg er foran, så konklusionen er ligesom at det virker som om, at
55:21
det kunne godt være et godt bud på hvad Det er lars lange
55:24
smuttes lærer om sprog det her konceptuelle relationer og deres
55:28
interaktioner. Og det kunne også.
55:30
Jeg ved ikke om det kunne forklare, men det kunne måske
55:31
forklare at. Der er nogle ting de ikke fatter
55:34
lige så godt og så videre, men i hvert fald virker det som om at.
55:39
Når de det altså Der er en eller anden form for sand information
55:43
om verdenen, en coatet i tekst, som de er i stand til at lære.
55:48
Og så siger de også ligesom at de mener ligesom at de mener
55:54
ligesom at store modeller er gode til at ligesom til shallow.
56:00
Men altså Sådan shallow broad theories hvis det giver mening
56:06
altså Sådan så de de kan ikke komme så dybt, men de kan komme
56:09
meget bredt II viden og teorier, men de er dårlige til robuste og
56:14
præcise teorier som Sådan ligesom skal være meget Sådan du
56:17
ved. Det, og så er vi nået til det
56:19
der logiske tænkning ikke altså hvor Det er helt ren rå.
56:24
Logik det, Det er ikke så gode til det.
56:26
Så er der en eller anden man kunne forestille sig Der er et
56:28
eller andet ved logik. Det er måske også derfor
56:30
programmeringen virker? Ja, Det kan jeg ikke nå, men Der
56:32
er et eller andet logik, som ikke helt bliver en kamp i
56:36
kapslet ind af det her conceptual interaction ting.
56:40
Jeg tror Jeg tror grunden til at de er gode til programmering.
56:43
Det er, at programmeringen typisk er meget konsistent
56:46
syntaks hvor brug af er er meget heterogent syntaks i
56:53
virkeligheden. Hvor at at.
56:55
Programmeringssprog er meget homogen syntaks, ikke?
56:58
Så de kan være meget mere sikre på, at de tokens.
57:01
Fordi meget syntaktisk præcist i kodesprog virkelig.
57:07
Altså Der er ikke noget virkelig sjældent, at man får en
57:09
syntaksfejl for noget kode man får givet til.
57:12
Altså gik til hvad som helst til at generere ikke så.
57:16
Og så bare lige hurtigt konklusion på det hele.
57:18
Han ham her Steven. Han mener at eller han laver en
57:22
teori om i hvert fald at har en teori om, at det som l og lærer
57:26
Det er at en coate de har koncepter i vektorer.
57:32
Og. Ja og det og det Det er det de
57:35
lærer og det det man ligesom kan få altså ser hvad de der
57:38
emergent bility som de lige pludselig får, når de kommer op
57:41
og bliver større, ikke der et eller andet med skala der
57:43
ligesom. Sådan er det.
57:48
Cool nu er det nu er der næsten gået en time og Vi er eddermame
57:52
dybt nede i de filosofiske hul nu her.
57:56
Jeg ved ikke, om vi kan komme op.
57:58
Hvordan kommer vi ud af det her? Altså hvor fanden er?
58:01
Ej hvad hedder det? Jeg synes Det var en god snak.
58:04
Jeg håber at jeg håber sgu også at dem der har lyttet med og
58:07
synes den var god og ikke for. Eller jer derude der lytter med.
58:11
Jeg synes den var god og ikke alt for.
58:13
For langt ude. Det bliver en tung onsdag.
58:17
Onsdag. Hvor fanden mand?
58:20
Men tak fordi i lyttede med. Tak fordi i lytter med ja og
58:25
husk at hvad bruges podcast udkommer hver onsdag klokken 7
58:28
og i skal følge os på Spotify og på Apple podcast og på LinkedIn
58:32
og youtube. Og Twitter ej Vi har ikke
58:35
Twitter men og så skal i huske at dele den her podcast med
58:39
jeres venner, hvis i synes at Det er mega fedt og.
58:42
Dykke ned i Sådan nogle meget dybe huller her på en på en god
58:45
onsdag onsdag morgen. Hvis i lytter med så tidligt.
58:50
Tak for i aften. Tak Jonas.
58:53
Og tak til lytterne. Vi snakkes igen i næste uge.