Latest / Verbos: AI og Softwareudvikling / #70 - NotebookLM, Textless NLP, Foundation Models for Robotter, Tencent LLM

Transcript

#70 - NotebookLM, Textless NLP, Foundation Models for Robotter, Tencent LLM · Verbos: AI og Softwareudvikling

0:00
Hvad løjer sammen og velkommen til hvad bos podcast afsnit
0:03
nummer 70. Vi har simpelthen jubilæum i
0:05
dag, så Det er bare mega fedt. Og i dag.
0:09
Der skal vi selvfølgelig snakke om.
0:10
Ja, det bliver en tung episode det her.
0:12
Det bliver en tung tung ER episode, hvor Vi skal snakke om
0:15
nogle nogle nogle dybe ting Vi skal ned i materien.
0:18
Vi skal nemlig snakke om at det bliver Sådan lidt nyhed review
0:23
lidt Sådan du ved ja og det Vi skal snakke om Det er at tense
0:27
den kinesiske virksomhed tencent har udgivet en.
0:30
Ret stor LM den største MOELM der findes så vidt Jeg er
0:35
ondartet i hvert fald, så skal vi snakke lidt om notebook ellm
0:39
og en artikel som Google har udgivet, hvor de forklarer lidt
0:44
om teknologien bag og den hedder pushing de fronties of audio
0:47
generation. Så Det er Sådan et lille
0:49
anledning til at snakke om hvad der sker nede i maskinrummet på
0:52
de her. Hvad skal man sige audio
0:54
generation modeller og snakke lidt om det der det paradigme
0:58
som. Som man er begyndt at kalde for
1:01
textless NLP, altså naturaling processing uden tekst, men kun
1:05
med audio. Så skal vi lige forbi 1, 1 1 1
1:10
lille 1 1 1 1 lille startup som er retarderet meget fondet af
1:17
alle mulige sindssyge venturekapitalfirmaer som hedder
1:20
fizero som har arbejdet arbejder med hvad hedder det robotics
1:24
foundation models altså ligesom store elemmer, så vil de lave
1:27
det samme. Modeller, som har samme form for
1:30
generalitet og som ja for for robotter.
1:34
Og så havde jeg faktisk lige glemt at fortælle om den sidste.
1:37
Jonas, men det kommer til at blive.
1:39
Hvad skal man sige? Det kommer til at blive ugens
1:41
revol og det tror jeg den glæder jeg mig til at dele med dig,
1:43
fordi Jeg tror du synes den er ret fed den her og Jeg tror det.
1:48
Jeg tror det kommer til at Jeg tror ret meget på den her
1:51
retning af hvad skal man sige research i forhold til at få
1:57
ellimmer til at gøre ting med kode og Sådan noget, så så det
1:59
glæder jeg mig til at gøre og vise dig.
2:01
OK spændende. Og Jeg kan lige så godt sige
2:04
det, at Jeg har siddet i den sidste halve 1,5 time og så har
2:07
jeg bare siddet og grindet papers og grundet blockposter
2:10
grinded alt muligt. Find noget content.
2:14
Fuldstændig, og Jeg har lavet mig en en GPT som jeg kalder for
2:19
ja Sådan noget technical artikel, sommeriser eller et
2:22
eller andet, og Det er simpelthen bare fuldstændig
2:26
uvurderlig hjælp. Altså Jeg vil.
2:28
Slet ikke kunne læse op af node-programmet i dag.
2:29
Ikke så lige om lidt, så slukker vi bare for mikesene, men.
2:33
Vi gør det faktisk ikke. Og Jeg tror egentlig heller ikke
2:35
det ville være lige så fedt, fordi så ville jeg ikke kunne
2:36
Sådan skimme over det på samme måde, fordi Det er sjovt.
2:40
Det handler meget om ligesom at få du ved tage de her 10 20
2:43
sider slange enten blockposts eller papers og så putte dem ind
2:46
i den her GVT Jeg har lavet og så ligesom få den til at vise
2:50
virkelig bare vede juicen ud af det ned til de de du ved helt
2:54
essensen dråberne der indeholder essensen af af det jeg gerne vil
2:58
vide og så være i stand til ligesom at kunne danne mig et
3:00
overblik som nogenlunde og så vide Sådan meget effektivt.
3:04
Hvor jeg ligesom vil pinde pointen ned og Sådan.
3:06
Noget så godt du kan. Du kan bruge hele
3:08
effektiviseringsværktøjskassen du.
3:13
Du har fordi at i dag er du jo også tynget af en træt far.
3:20
Jeg. Har ikke så meget jo Jeg kan Jeg
3:23
kan reagere, men Jeg har. Jeg har ikke lavet så meget
3:25
research til den her i den her uge, så det bliver Sådan en unge
3:30
junge fortæller og jeg laver reacions.
3:36
Ja åh det lød det grineren Jeg har hørt om.
3:39
Jeg var. Vi var til Sådan noget Sådan
3:41
noget. Hvad hedder det fest i visma
3:44
øverst dinero her II sommers og så hvad hedder det så?
3:47
Martin thorborg, han havde en en kammerat med til den der fest
3:50
der og så kom så kom faldt vi Sådan i snak og så sagde jeg
3:54
bare Sådan Det var Sådan. Nu skal du fandeme møde min min
3:56
kammerat her han bor i kiel og han forsker i goppler og så var
4:00
det Sådan noget OK Google og hvad er det for noget?
4:03
Men det viser sig at. Gobler har ikke nogen hjerne.
4:09
Og de har meget simple. Hvad skal man sige?
4:11
Nervekombinationer oppe i hovedet, men de er i stand til
4:14
at lære ting. Så man er ret interesseret Sådan
4:17
rent forskningswise i at prøve at forstå, hvordan de ligesom
4:21
lærer, fordi så mener man, at man kan forstå få en dybere
4:25
forståelse af Sådan en biologisk læring.
4:27
Og Det er bare fordi det der Det er bare fordi Det er grineren.
4:28
Du siger det der med at du kan det eneste du kan.
4:30
Det er at du kan reagere eller Sådan.
4:32
Noget i dag. Fordi og Det er nemlig det som
4:34
gobler de kan. De kan Sådan flyde rundt i
4:36
vandet og så ser de en. En rod en trarod tror jeg Det er
4:41
så så så og det eneste de kan se Det er bare Sådan nogle
4:43
kontraster du ved mellem mørkt og lyst.
4:48
Og så kan de havde været der giver vi at bevæge sig bevæger
4:51
sig udenom, ikke? Det har i hvert fald været
4:53
perfekt, hvis Det var halloween i dag, fordi så var jeg den
4:55
inkarneret zombie. Nå, vi må hellere.
4:59
Vi må hellere i gang med at kede Vores lyttere her, så vi må
5:02
hellere i gang med materien hvad hvad?
5:05
Hvad er det første Vi har på på listen?
5:08
Først Vi skal det første Vi skal snakke om Det er den.
5:11
Hvad skal man sige? Den virksomhed, den kinesiske
5:13
virksomhed, der hedder tendensent, som har udgivet en
5:17
model, som de kalder for hundehjernen MOEA tooghalvtres b
5:24
det. Er tendensen er Det er det?
5:28
Nu skal du høre her tinent er clint.
5:31
Jeg har nemlig lige fået. Jeg har faktisk brugt chatibarch
5:34
til det. OK den den nye smarte
5:38
funktionalitet, som altså den har været.
5:40
Som vi også kunne snakke om hvis Det var man, men i hvert fald så
5:44
så har jeg brugt den og Det er Jeg har fundet ud af.
5:46
Det er tendensen. Det er dem der har det der
5:48
hedder wachhat, som er utrolig populært i.
5:52
Altså det skulle være Sådan en everrit thing app i Kina og
5:55
ligesom bare er den er bare vild vild.
5:58
Hvad skal man sige vildt brugt og har omkring 1,4 mia.
6:03
Månedlig bruger står der her. Så Det er Sådan 1 1 1 kinesisk
6:09
tiktok some agtig tror Jeg er det Sådan noget er det mere.
6:13
Jeg forestiller mig Det er 1 1 1 tætteste på jeg.
6:17
Det er Sådan du ved den den kinesiske meta agtig.
6:22
Ja så så du ved du ved den digitale platform i Kina
6:27
anyways, de har i hvert fald udgivet 1 1 1 ret stor langudel
6:32
hvad hedder det den har? 389 mia.
6:36
Parametre, hvilket jo er fuldstændig latterligt stort og
6:40
ikke særlig langt fra de her 405 mia.
6:43
Parametre som den lama den største lama 3,1 har.
6:50
Men sagen er så bare ved den den her model har, så Det er jo
6:52
Sådan en MOE. Altså en mixure of expert model.
6:56
Det vil sige at Det er kun og det står også i.
6:59
Jeg er nu eller notationen af den modellen her.
7:02
Det er den hedder a tooghalvtres b, og det vil så sige at det Det
7:05
er 52 mia. parametre Der er aktiv af gangen.
7:10
Ja. Så Det er en.
7:12
Det er en gigantisk model som som er mega stor.
7:19
Den den er sikkert god til kinesisk.
7:20
Det kunne jeg forestille mig og og Jeg synes også bare det at
7:23
den er kinesisk interessant, fordi det viser ligesom at Kina
7:28
de de arbejder også på på noget ikke superprise.
7:31
Ikke fordi Jeg tror det de har gjort det.
7:33
Har de ikke haft andre modeller tidligere også i Kina regi?
7:37
Og Jeg synes bare Jeg har hørt at der har været flere, men Det
7:41
kan godt være vi ikke. Vi hører nok ikke lige så meget
7:43
om det som vi gør med alle de andre ting der bliver hypet.
7:45
Jo. Nej, men Det er Jeg tror Det er.
7:47
Jeg tror der har i hvert fald ikke været den her størrelse
7:49
før, så Det er lidt interessant, og så står der også, at den
7:53
ligesom er blevet. Hvad skal man sige trænet på
7:57
højkvalitets syntetisk data? Og jeg mener nok.
8:02
Ja og jeg mener nok at. At der har været.
8:07
Jeg kan ikke huske det det spekulationer.
8:08
Det er. Jeg ved ikke om Det er mig der
8:09
husker forkert, men jeg mener der har været noget med at
8:11
opinay har har mistænkt tencentn for at destillere GPT 4.
8:18
Altså ligesom og. Så en god måde at få noget god
8:22
dato på. Lige præcis, men det må man jo
8:24
ikke. Det er de ikke så glade for åben
8:26
og. Så altså de gør vi det de det
8:30
uscratch my back er usprat your back jeg.
8:33
Tror faktisk de scratcherer openay og specks southowes og.
8:35
Scriber de deres back. De har sgu også screbet altså nu
8:40
må de sgu lige de screede og common crowd og jeg ved ikke
8:44
hvad er så nu er der nogen der scraber deres data tilbage og
8:48
lige om lidt så er det hele mixtur, mixer, mixer, mixer,
8:52
mixer 2 mix. Ja.
8:56
Nå men og den kører på den. Den plugker sgu efter sigende
9:01
plug ind i The framework der hedder v eller lem som skulle
9:04
være et easy fast and cheese eller et eller andet surfing
9:07
fore every one. Det lyder som om det.
9:12
Er det Sådan en mistral arkitektur måske?
9:16
Det kunne jo godt være jo. Det er jo godt.
9:18
Det kunne faktisk. Det er jo det kunne egentlig
9:20
være spændende lige at finde ud af hvad for en arkitektur Det er
9:22
Sådan. For eksempel arkitektur.
9:24
Det lyder, som om Det er Sådan en særlig, men bare altså.
9:29
Typisk er nogle af de der arkitekturer ligesom.
9:32
Nedarvet lidt fra fra nogle. Nogle af de større spillere?
9:39
Nå, Det kan vi jo. Det kan vi jo spørge om.
9:41
Der er nogle lyttere, der ved noget om.
9:43
Det er en stor model den er. Har den overhovedet Sådan, så
9:47
skal du ikke sige noget om, hvor den er i benchmark og Sådan
9:49
nogle ting. Der står at i mit gode sovery
9:53
her, som som vi kører på et vi kører på et lavt budget her i
9:58
eva bos må man sige så så man må man må man må hvad hedder det
10:02
leve med med de hallucinationsfejl der måtte
10:04
være. Men altså der står her at.
10:07
Den opnår topp performance på på flere benchmarks MMLU og CMMLU
10:13
og c eval. Det ved jeg ikke engang hvad for
10:15
en benchmark. Og du ved rigtig god med
10:18
commentens arkiv at du ved det de alle sammen siger.
10:21
Der er god. Ja den er bare god og stor.
10:24
Godt så så. Sådan er det.
10:28
Det kender jeg nemlig. Ja, og så tror jeg lige at Jeg
10:32
vil dykke lidt ned i den her. Fie zero.
10:37
Hvad skal man sige? Model eller hvad skal man sige
10:44
altså? Den her startup.
10:48
Det er fordi der findes den her den her startup der hedder
10:51
phizical intelligence som er en. Hvad skal man sige ja som måske
10:57
ligger lidt i navnet, at Det er en startup som ligesom forsøger
11:00
at bygge fysisk intelligens, så man kan måske se det lidt som du
11:04
ved opena jeg de byggede, hvad skal man sige?
11:07
Sproglig intelligens systemer der var Sådan ret generelle og
11:11
dygtige til at. Ja navigerer i sprogdata, hvis
11:15
Jeg har tekst. Det virker som om dem her.
11:18
Det de gerne vil. Det er at de vil lave.
11:22
Ja fysisk intelligens, altså intelligens, som ligesom også
11:26
kan bevæge sig i verden ikke. Og Det er jo Det er jo det, Der
11:29
er mange der synes er rimelig folk i det her generelle
11:33
robotter, som vi også snakkede lidt med med Anders beck om
11:36
faktisk. Jamen.
11:38
Det er jo lidt en sjov ting, fordi Sådan så jeg forstår det.
11:43
Det du har luftet kort her før start, at Det er et forsøg på at
11:48
ligesom at lave foundation modeller altså det her Sådan
11:51
pretrænede modeller man ligesom kan.
11:56
Ja kan tage videre i som er mere generelt og kan kan anvendes i
12:01
mange sammenhænge. Altså jeg forestiller mig et af
12:02
problemerne indenfor robotics har været at den her.
12:07
Den her altså den her robotmodel og de her rene forman learning
12:12
metoder, som man har brugt tidligere.
12:13
De de har været meget koblet II deres arkitektur, og når man
12:18
ligesom har altså hvis man har taget en ny robot med nye
12:22
bevægelige dele, så har man været nødt til at ligesom.
12:26
Tag algoritmen med mad man ligesom træne den igen med med
12:30
de nye ting den så har haft, kunne man forestille sig at det
12:34
her Det er et forsøg på ligesom at komme ud over det.
12:36
Det. Er et godt spørgsmål altså.
12:38
Det er i hvert fald. Det er i hvert fald helt klart
12:40
et problem, at robotter er Sådan meget task specifikke.
12:43
Altså hvis man får dem til at virke godt til en specifik
12:45
taske. Ikke Det er ligesom.
12:46
Det er jo i virkeligheden ligesom eftersprog modeller ikke
12:49
i gamle dage. Og de, men de har det svært med
12:51
med Sådan dynamisk. Hvad skal man sige miljøer?
12:57
Hvad hedder det? Og det man kan sige?
12:59
Der er jo også virkelig meget mange frihedsgrader i du ved 3 d
13:03
verdenen ikke. Men Det er jo også lidt ligesom
13:07
hvis man tog en sprogmodel, man så altså lige pludselig er der
13:10
et helt nyt sprog i morgen, som slet ikke har fandtes før.
13:16
Og så er der. Jeg ved ikke hvor mange
13:18
forskellige nye tokens som den slet slet ikke nogensinde
13:21
kender, så Det kan den ikke forholde sig til.
13:22
Nu tænker du tænker du på altså Sådan at man også kan lave en
13:25
generel robotic model som virker på tværs af flere robottyper?
13:29
Er det det du tænker? Det er det jeg tænker Sådan lidt
13:31
en en altså hvis man skal hvis man skal generalisere noget
13:34
noget fysisk som en robot. Altså selvfølgelig kan man.
13:40
Selvfølgelig siger jeg bare, men men det altså det intuitivt set
13:42
virker det Sådan, at Det er muligt at træne en Sådan en
13:46
phizics model på en eller 2 måde og så kan man så kan man mappe
13:49
den til en robot model på en eller 2 måde, men men kan man
13:54
ikke også forestille sig at man? Ja kunne man ikke forestille sig
13:58
man man man man træner til et eller andet generelt som.
14:03
Som alle robotter kan bruge og som kan kan være med til at
14:06
hjælpe robotten med at bevæge sine led.
14:12
I overensstemmelse med den verden som modellen.
14:15
Sådan er trænet til at forstå, som den har en repræsentation
14:19
af. Det er nemlig lige præcis det de
14:21
gør. De de arbejder nemlig på at lave
14:25
den her fie zero som er er Sådan det skal være.
14:27
Sådan en visionen er ligesom at det skal være Sådan en
14:29
generalist robot foundation model, som ligesom er som som
14:34
ligesom er både designet til ligesom at kontrollere
14:38
forskellige robotter. Og og i på tværs af forskellige
14:43
opgaver. Så ja så Det er det faktisk lige
14:46
præcis det du siger. Altså at at at de ligesom kan
14:48
adjapte sig til forskellige typer af robotter og forskellige
14:51
typer af problemer. Men ja, og så trænet har man så
14:55
taget en algoritme og puttet ind i forskellige kroppe af en
14:59
robot, for ligesom at at få den der generelle.
15:06
Altså Sådan så den forstår en form for robotkontekst.
15:11
Det er et godt spørgsmål. Altså de siger ligesom at.
15:14
Træningsdata er Sådan vision language pret traing altså Sådan
15:18
noget du ved Der er Det er vi vision blandet med sprog.
15:22
Og så træner på Sådan nogle open source robotmanipulationsdatasæt
15:28
som og det det ved jeg ikke lige hvordan de ser ud, men det må
15:31
være nogle nogle bevægelser og noget vision og noget language
15:34
og så videre og Det er Sådan noget du ved foldetøj sammen,
15:38
samle boks og Sådan nogle ting og Sådan nogle.
15:41
Opgaver. Reguleringer vi også har set en
15:43
video går meget op i. Altså at at at det også er en
15:48
del af det at man laver Sådan noget hyperrealistisk fysiske og
15:53
3 d miljøer. Og så er det den måde man kan
15:56
træne de der robotter på fordi man kan lave en meget præcis
15:59
repræsentation af den fysiske verden.
16:02
Altså netop det som du kan gøre det.
16:04
Det er netop det du er begrænset med i forhold til de her de her
16:07
fysiske ting. Ikke hvor at når Det er tekster
16:11
og data rent data, så kan man jo ligesom bare skalere
16:14
computerkraft op ikke men ofte med de her fysisk setups der har
16:18
du den her bottle net i virkeligheden?
16:20
Altså hvis du skal lave kemiske eksperimenter eller få noget til
16:24
at bevæge sig i virkeligheden, så så er det så begrænset af at
16:28
Det kan kun gå så hurtigt. Og det det?
16:32
Ja og. Så pragtæning.
16:34
Måske rigtig god mening i Sådan simuleret og setup på en eller 2
16:39
måde og så forsøge at bruge det til at generalisere sine sin
16:43
model. Og når man så ligesom skal ud i
16:45
den virkelige verden, så er man nødt til ligesom at blive fin
16:48
tunet i en kontekst. Der er måske der står for en
16:52
fabrik eller et eller andet. Det kræver, så forestiller jeg
16:55
mig bare, at de her simuleringer er.
16:57
Så nøjagtige 1-1 lig med den virkelige verden som som muligt
17:02
ikke Sådan så de. Ikke bliver out of institution,
17:05
og de ligesom kommer ud i den virkelige verden.
17:07
Men sagen er i hvert fald den ja og de bruger de her visional
17:10
language models. Jeg ved ikke rigtig om de bruger
17:13
vision language action models. Det kan jeg ikke helt finde ud
17:16
af, men der står bare vision language models og og det der.
17:21
Jeg synes bare det Der er sjovt ved det.
17:22
Det er at så er det nemlig de her generalisten eller Sådan
17:25
generelle foundationsmodeller, som du så ligesom find tuner til
17:29
en specifik opgave. Så Det er fuldstændig ligesom i
17:31
gamle dage med transformand codedere.
17:33
Du ved, så har du de her bird agtige modeller, som er trænet
17:36
på de her Sådan lidt usselusopgaver.
17:40
At skale og så tager du dem ned og så fine tuner du dem ligesom
17:43
ind til at løse en specifik opgave.
17:47
Men du ved et forsøg på ligesom at at at sætte skub i en
17:52
udvikling, fordi Det er jo noget af det som har gjort at
17:55
udviklingen inden for sprogmodeller har taget den
17:58
fart, som Det har gjort. Det er jo den her
17:59
genbrugelighed. Der er og open source community
18:04
og genbrug og datasæt genbrug og modeller videre træninger og den
18:09
slags, og det giver jo rigtig god mening at man man gerne vil
18:13
prøve at få det til ligesom at. At altså lige tage lidt lidt
18:18
stjernestøv fra fra. Hvad hedder det lille m verden
18:22
og drys ned over robotterne også og se om det virker.
18:26
Jeg synes bare Det er Det er jo Jeg synes bare Det er et hvad
18:28
skal man sige et mønster der går igen IAR research ikke Det er
18:32
den her den her den her Vi er faktisk ret gode til at lave
18:37
specifikke løsninger, som er gode til noget bestemt men men
18:41
Det er det der med at få dem få få få algoritmerne og modellerne
18:44
og så videre til at bryde ud. At de der specifikke settings og
18:48
så få dem til at kunne håndtere vilkårlige problemer, der
18:52
ligesom bliver kastet efter dem, ikke?
18:54
Men for så igen at få dem til at fokusere meget specifikt på en
18:57
opgave. At that ability, ikke?
19:00
Ja fordi at sjovt nok når vi når Vi skal når Vi skal lupe hen
19:05
over en kæmpe bunke af af ting vi bare gerne vil have færdigt,
19:08
så kan vi godt finde ud af Sådan i hvor de systemer Vi har
19:12
ligesom at sige det her. Det er det her den her bunke
19:15
herovre er rimelig Sådan. Homogen og så er resultatet af
19:21
at tage at specialisere sig til det.
19:24
Jamen Det er jo Vores økonomi er bygget op.
19:27
Det er jo det mest effektive. Det er specialiseringen i sidste
19:29
ende, så Det er jo et eller andet sted også lidt sjovt at at
19:34
at at gå gå fra noget meget specialiseret, som er måske for
19:40
specialiseret og rigidt fordi det ikke kan genbruges.
19:43
Til så at at starte med noget generelt, som kan genbruges i
19:47
mange sammenhænge og så specialisere det bagefter ikke
19:50
hvor at man er gået direkte til specialisering i mange år og
19:54
også få altså Vores fabrikker alle, altså hele
19:58
produktionsapparatet ikke? Så men Det er nok også fordi Det
20:02
er nemmere at lave specialiserede løsninger.
20:04
Ikke Det er nemmere at lave dem der der virker rigtig godt, og
20:06
det tænker jeg Det har vil det altid været i engineering og
20:10
altså det. Har det jo generelt.
20:11
Princip generelt altså på tværs af rigtig mange ting.
20:13
Ikke at. Det er nemt og eller nemt.
20:16
Det er nemmere at lave noget som ligesom bare er pisse godt til
20:19
en meget specifik situation, fordi så kan man optimere helt
20:22
vildt. Også det man itererer henover
20:25
som som som ingeniør forestiller jeg mig, når man sidder med et
20:28
problem. Det er at man man man ønsker at
20:30
forstå problemet så godt og løse det så godt som muligt.
20:33
Og det vil altså. Det vil der jo stadig være nogle
20:35
ting som som. Som man ja som man vil gøre
20:41
selvom man man har. Man kan starte et fra et
20:43
generelt sted med en robot tænker jeg fordi.
20:47
Ja det nå Det er spændende. Så ja og Det var det fik mig
20:53
bare Sådan lidt til at tænke på Sådan.
20:54
Gad vide om Vi er altså burt kommet i 18 ikke?
20:59
Og nu er de. Jeg har ikke været i dybt på det
21:00
her baber, så du ved, de er helt detaljerne og Sådan noget.
21:02
Det ved jeg ikke. Men altså jeg tænker bare Sådan
21:04
er vi ved er vi der? Er vi i år 2018 i robotics,
21:12
altså er vi der vi får robotics, hvor vi var.
21:17
I for sprogmodeller i år 2018 der Birthe kom ud, ikke?
21:21
Eller GBT et den der det virker bare som om at Det er nogle af
21:23
de samme principper som begynder at virke der ikke.
21:26
Det er i hvert fald Sådan at at at på en eller 2 måde så så med
21:31
birth og sprogmodeller der var det lige pludselig Sådan meget
21:34
tilgængeligt. Altså nu er det jo heller ikke
21:38
altså at at manipulere sprog, og Det er noget man gør.
21:41
På sin egen computer kan man sige at.
21:43
Det er nok ikke Sådan lige de fleste der kan tage putte Sådan
21:46
en model ind i en robot, men forestil sig at.
21:51
Jeg kunne forestille sig at der fulgte noget open source print
21:55
en robot. Blueprint med til den der model
22:00
der, men ellers så så er det måske svært at forestille sig
22:02
den samme form for Sådan community og den der day designs
22:06
hacker der sidder nede i kælderen og lige pludselig har
22:08
fundet på et eller andet en eller 2 crazy.
22:11
Var det os, der talte om det også her i weekenden.
22:13
Det der med tilgængeligheden og software.
22:16
Gør også bare, at Der er flere der arbejder på det, og Det er
22:19
meget mere eksponeret for innovation, og det bliver delt
22:21
meget hurtigt og Sådan noget ikke.
22:23
Så lad os sige du ved birth Det er 6 år siden ikke?
22:28
Og Det var også bare meget tilgængeligt, fordi det blev
22:30
delt på nettet og Sådan noget. Men altså så måske kan man hvis
22:33
man lægger en faktor 2 på fordi at Det er robotter og at Det er
22:36
mere hardware og så videre. Det går lidt langsommere på
22:39
grund af det. Så kunne man forestille sig at
22:41
hvem ved at robotter er på GBT 4 o niveau?
22:47
Bare i robotland og med 12 år eller Sådan et eller andet ikke.
22:50
Det kunne godt være en en Sådan en meget spekulativ.
22:53
Det kunne jo også være, at det kunne jo også være sjovt med
22:54
Sådan tanker om et en video stiller Sådan et Sådan et kakkel
22:59
for robottermiljø op i Sådan en simulering kom ind i omleverset
23:04
eller hvad de kalder det der og så få et sted hvor hvor man kan
23:07
slippe noget af det der løst. Prøv.
23:09
At forestil dig at de kunne stille Sådan et miljø op, hvor
23:12
at man som enkeltperson kan komme ind og ligesom at prøve
23:17
at. Konkurrere med med de andre i
23:19
forhold til at finde. Finde nogle gode løsninger på?
23:22
Det kunne godt være at det kunne.
23:24
Hvad skal man sige? Starter.
23:27
Ja, Sådan kunne accelerere det. Den åbne udvikling lidt ikke ja
23:34
nå, men spændende felt i hvert fald.
23:37
På podcasten igen, så vi kan få nogle der rent faktisk ved noget
23:40
om det her. Nogle der ikke bare laver sløje
23:45
sløjs omarys med en eller 2 gymnasi de har lavet?
23:49
Skiftet rigtig ned i noget, som vi nu skal.
23:50
Vi dybt. Det er den her kvalitet lang
23:52
tid, men den har Sådan en time med den her tror jeg åh det.
23:54
Er godt det gør den. Så ved du meget om det jeg
23:56
spørger. Spørger dig Jonas, har du hørt
23:58
om notebook eller? Ja ja ja.
24:01
Fortæl hvad. Ved du om det?
24:03
Jamen jeg ved at Jeg har. Jeg har hørt folks.
24:08
Forskellige PDF er de har uploadet og så faktisk også
24:11
lyttet til nogle af de der podcasts Der er kommet ud af
24:13
det. Og så tænkte jeg ja, vi må sgu
24:15
lukke. Vi lukker ved bos lige om lidt
24:17
så. Så så bliver det bare, så putter
24:21
vi bare først ind i et lille LM sommer altså så ind II den der
24:27
hvad bogs podcast og så træner vi nogle syntetiske stemmer.
24:30
Altså vil du være så lægger man sgu bare til at sove og trykke
24:32
og play om aftenen i stedet for, så kan i få det ind.
24:36
Ja fordi Der er jo Der er jo kommet den her altså notebook
24:39
eller dem har jo været været en ting længe, så vidt jeg ved
24:43
altså. Der har jo længe været et Google
24:46
Sådan et eksperiment produkt agtigt noget.
24:50
Og Det har indtil videre været mest Sådan.
24:52
Du ved uploade nogle PDR for at lave noget rack stille spørgsmål
24:55
til din knowledge og Sådan et værktøj.
24:58
Jeg har hørt det som Sådan et værktøj Der er godt for
25:00
journalister og Sådan noget. Men så var det ligesom om der
25:04
skete noget her. For ja, det en måneds tid siden
25:07
eller et eller andet igen hvor bos er fucking breaking.
25:11
Jeg er der bare lige når det gælder.
25:14
Om en måned så dækker vi det amerikanske valg, tænker jeg.
25:19
Nej hvad hedder det? Men så kom der den her feature
25:21
med at man ligesom kunne uploade noget noget nogle dokumenter som
25:25
vi jo er vant til med det gode rap der og og så kunne man ikke
25:30
bare stille spørgsmål til det, men man kunne rent faktisk få
25:32
genereret en podcast. Ud fra de her dokumenter og det,
25:37
og Det er Sådan 1 1 1 podcast med med med 2 studieværter som
25:43
ligesom diskuterer på den samtaleformat.
25:45
Ligesom diskuterer det der står i de her dokumenter.
25:49
Det er bare noget, som virkelig har taget taget røven på mange
25:53
folk. Altså.
25:54
Det har virkelig været Sådan en. Jeg er Sådan lidt Sådan lidt
25:57
chat give et mini chat grib t moment hvor folk ligesom hvor
26:01
det virkelig er gået op for mange føler jeg hvad teknologien
26:04
kan og hvordan man ligesom kan formidle viden på Sådan en ret
26:08
interessant måde med det her. Det sjove er jo rent faktisk, og
26:12
Det er jo total total Sådan. Henrik mol molte fra prompte
26:17
Sådan rigtige agtigt at sige Sådan rigtige tech Det var der
26:22
før, men men Det var det rent faktisk.
26:24
Man kunne godt det her før. Ja der var en en startup der hed
26:28
er stadig en startup der hedder wonder-craft.
26:31
Faktisk da jeg var hos teod og det jeg der lavede vi der brugte
26:34
vi den her service til at lave Sådan kunstige podcast
26:38
simpelthen ikke på samme måde, så Det er ikke fordi Det er
26:42
noget nyt Sådan set. Men Det er ligesom om Google har
26:45
fundet Sådan en. De har fået.
26:48
Jeg tror de har fået opbygget en brugerbase på det her notebook
26:51
LM og så har de shippet den her feature og så har de haft et
26:53
stort ordians. Som virkelig er blevet glad.
26:56
Den er blevet glad for den her feature.
26:58
Men, dem man også kan sige at det det kommer vi i sikkert lidt
27:02
mere ned i dybden på det der paper som som vi følger med
27:06
tungt ned i. Men men det man kan sige Det er
27:08
at Jeg tror første gang jeg hørte det, så så var min min
27:12
umiddelbare reaktion. Det var at OK nu hører jeg noget
27:17
genereret talelyd for første gang.
27:21
Som jeg ikke bare. Altså instinktivt har lyst til
27:24
at slukke med det samme fordi at jeg.
27:27
Har hørt en podcast fra det, men det.
27:30
Har jeg. Og fordi jeg tænkte nemlig at
27:33
jeg jeg skal. Jeg skal blive overbevist af det
27:36
her Jeg har. Jeg har lyttet til.
27:39
Der er noget der hedder archive på youtube som faktisk er bare
27:43
paper der bliver den her. Den har jeg brugt rigtig meget,
27:47
så var der. Lyst til at spise tekstmodel.
27:49
Eller var super. Tydeligvis lavet af i og det Det
27:54
er jo fint nok. Det er Sådan helt åbenlyst.
27:56
Lys. Det kunne lige så godt være den
27:58
der fungetiske oplæsere eller? Eller metrooplæseren når anyways
28:05
men men men Der er ligesom om at Det er Sådan en hvis du er der
28:10
hvor at det synes Jeg er meget interessant det der med lyd hvis
28:13
du er der hvor du kan lave noget som det lyder ikke så horribelt
28:17
at Det er Sådan robotisk stemme. Men du kan stadig godt høre at
28:20
OK det her Det er kunstigt men flowet er Sådan OK og.
28:25
Og og stemme er rar. Det er ikke Sådan forfærdeligt.
28:29
Så kan du godt Sådan med åbne øjne, lytte til det og holde ud.
28:32
Og ligesom at fordi du konsumerer bare information, Det
28:35
er det det skal bruges til. Men hvis det ligesom skal være
28:37
Sådan altså jeg ved ikke jeg jeg bruger rigtig meget lydbøger,
28:43
sjovt nok træt fra putter lige lidt i ørerne og så og så når
28:48
man ligger der og skal putte, så kan man lige høre noget en halv
28:51
time og irriterende. At falde i søvn til en lyd.
28:56
Tilbage eller bare hørt den mange gange om igen.
28:58
Håber man har fået det hele med nej, men hvad hedder det så skal
29:02
det helst være altså. Det skal altså helst være ret
29:05
høj kvalitet og hvis man der vil man fordi man sammenligner det
29:08
med nogle af de der Sådan virkelig virkelig gode oplæsere
29:12
for eksempel Jeg har Jeg har lyttet til ringenes herre på
29:15
autebo, som er læst op af any circles som jo er skuespil i en
29:19
bog, altså han er jo syg crazy, ikke også.
29:23
Go home eye det kommer aldrig i nærheden af det der, og og Det
29:28
var Sådan ja på en eller 2 måde, så Der er ligesom Sådan en Der
29:33
er Sådan en bare for hvor enten så så bliver du bare nede i det
29:37
der halvlunkne noget eller også så skal du bare virkelig op i
29:39
toppen af høj kvalitet før du Sådan.
29:42
På en eller 2 måde vender ind i hvert fald hos mig.
29:47
Jeg ved ikke hvordan du har det med det.
29:50
Sådan enten eller Der er ikke nogen.
29:51
Mellemvej. Det er ligesom om, Det kan godt
29:53
blive lidt sjæleløst ikke, og nogle gange kan det blive
29:55
direkte irriterende at høre på bare lige hurtigt en breaking
29:59
news der lige er kommet op på på hacker news heroppe for for
30:02
meget kort tid siden. Overskriften er chat GBT now og
30:08
en chat dot com. Du kan sige, hvis du går ind på
30:11
chat dot com, så kommer du ind på chat gennem.
30:15
Det synes jeg dot com Det er sygt nok du mener.
30:18
Ja det Det er simpelthen. Det kan redirect.
30:24
Der er jo bare tage jat kapitel. Nå anyways, Det var bare lige en
30:29
hurtig Brian. Wend breaking.
30:33
Åh Det er breaking. Yes.
30:34
Jeg køber domænet chat dot com. Ja så de her de her den her
30:40
notebook eller lemming eller ikke eller notebook LM har er
30:43
blevet Sådan ret populært og meget omtalt og så videre.
30:45
Især for den her. Hvad skal man sige?
30:47
Dokumenter til podcast feature og de har vist også skal man
30:52
sige udvidet det med noget der hedder aluminator.
30:54
Så vidt Jeg kan forstå som læser papers op anyways jeg faldt over
31:00
en artikel som hedder eller som hedder pushing the front audio
31:04
generation inde på på hacanyus her for.
31:08
For ikke forfærdeligt længe siden og og Det er en hvad skal
31:12
man sige en en artikel som ligesom beskriver noget af det
31:16
research de ligesom der ligesom går ind i den her at de har
31:20
kunne bygge de her. Hvad skal man sige?
31:21
Note- book LL eller notebook LM det fucker med mig det ikke
31:27
hedder LLM det hedder Jeg er vant til at sige 2.
31:29
L'er. Jupiter nobok eller?
31:32
Jeg blev også forvirret før. Nougok, Allan i en jupiter
31:35
node-progok. Og jeg står det.
31:37
Det er lidt forvirrende. Det er ikke det bedste navn,
31:39
tror jeg. Hvis de havde kunnet lave det om
31:40
igen, så tror jeg måske de havde lavet det anyway.
31:45
Nå, men Det er ligesom de der der var de der har de ligesom
31:48
skrevet Sådan en blogpost der hedder pushing lefrontias audio
31:51
generation, hvor de ligesom gerne vil fortælle hvor fuck nu
31:54
har de fået alt det her shine for, og Det er jo Google jo der
31:56
laver den her notebook LM hvor de og nu har de fået alt det her
31:59
shine for node-pokodok lm så nu vil de gerne ligesom flexe lidt
32:02
og fortælle nu skal i bare høre hvordan man laver det her shit
32:04
ikke. Og der der snakker de ligesom
32:08
den her med at at de har brugt en del energi på at lave det her
32:12
Sådan meget. Og som du snakker om prøve at
32:14
lave det så naturligt som muligt.
32:15
Og lave den her multispea audio oplevelse, som faktisk er ret en
32:21
ret udfordrende. Hvad skal man sige opgave at gå
32:24
til? Og der der beskriver de ligesom.
32:30
Altså der beskriver det ligesom hvad skal man sige de
32:32
teknologier de har brugt til at noget af det research de har
32:35
brugt der ligesom har ført til de her ting og.
32:40
Og helt konkret, så beskriver de 2 hvad skal man sige teknologier
32:44
noget der hedder soundstream? Som er Sådan en, som er Sådan
32:48
et, som vi kommer til at dykke ned i begge 2 her lige om lidt,
32:50
men som er Sådan et soundstream som er Sådan effektivt audio
32:54
compression, algoritme og så noget de kalder for audio LM,
33:00
som ligesom er en form for language modelling kun med lyd.
33:05
Og som ligesom taler ind i den her trender.
33:08
Vi begynder at se mere og mere, hvor Det er det, man kalder for
33:11
textless NLP. Altså NLP, hvor tekst ligesom er
33:16
taget ud af af af ligningen hvor det kun er auditive.
33:22
Multimodel. Det er bare, Det er bare kun
33:24
oplevelsen. Og Det er jo egentlig sjovt,
33:26
fordi hvorfor skulle det ikke kunne lade sig gøre?
33:29
Hvorfor er det? Det er jo en interessant
33:33
tankeeksperiment ikke. Hvorfor er det lykkedes at lave
33:37
det her med tekst før audio? Det har jeg tit tænkt over
33:43
personligt i hvert fald umiddelbart, så virker det som
33:46
om at. Altså man kan sige tekst er jo
33:50
en relativt simpel datatype ikke?
33:52
Altså Det er jo. Hvad skal man sige en sekvens
33:54
af? Chars eller carere eller Det er
33:57
jo så tokens i det her tilfælde, og Det er Sådan ret low band
34:01
with datatype, ikke hvorimod audio Det er jo ofte, så er det
34:07
jo Sådan noget. Hvad er det Sådan noget 16 kg
34:08
hertz de kører? Det kan jeg ikke huske men men
34:12
du ved Det er i hvert fald Det kan sagtens være 16.000.
34:17
Floating pointtal i sekundet, så Det er Sådan meget mere Sådan
34:21
komplekst datatype. Så jeg forestiller mig at.
34:28
Fordi tekst er mere Sådan diskret af natur, så er det.
34:32
Det er i hvert fald min til min måde at tænke på det på, fordi
34:34
det ligesom er mere diskret af natur end audio er og mere Sådan
34:39
simpel datatype. Så er det nemmere også at lave
34:42
en model som som performer godt på det.
34:45
Ja ja så Det har ligesom været Sådan 1 1 1 1 ongoing ting at at
34:50
at gøre det. Om hvad for en arkitektur har de
34:54
smidt en transformere efter lortet?
34:56
Ja nu skal du høre her det første det første det ligesom
34:59
snakker om Det er det her soundstream og Det er en en form
35:03
for tolke nice og for lyd. Kan man sige.
35:07
Indtil videre altså. Nu har jeg ikke den fulde
35:09
historik for det her, men Sådan indtil videre har man Sådan
35:12
brugt meget Sådan noget. Noget der hedder opus blandt
35:14
andet Sådan 1 1 1 1 kodeick format, som ligesom tager audio
35:19
komprimeret ned, og så kan man sende det over nettet og så det
35:22
komprimerer det på den 2 side for eksempel.
35:25
Men men der har Google og jeg ved ikke om Det er Det er nok
35:28
ikke de første der har prøvet det her, Det er det 100% ikke
35:30
men. Før har man brugt meget Sådan
35:33
nogle handcraft ting altså Sådan nogle altså nogle ligesom MP 3
35:36
for eksempel altså Sådan nogle matematiske algoritmer som er.
35:40
Håndingeret ikke til. Selve komprimeringen altså af.
35:44
Lyd og. OK så så komprimeringen er måske
35:48
i virkeligheden første step, som producerer nogle tokens, fordi
35:52
det en komprimering producerer jo i virkeligheden nogle.
35:54
Hvad kan man sige nogle nogle nogle nogle fælles
35:58
datakomponenter, som man så kan? Ja det kote tilbage til det
36:03
oprindelige format. Lidt ligesom man jo gør i en
36:07
incode og en d coder i en transformer, men i en Sådan en
36:11
klassisk komprimerings algoritme, så har man bare en
36:13
form for garanti for at at der ikke forsvinder noget betydeligt
36:19
og du kan genfinde præcis den det format Det var i.
36:23
Ret præcist ikke? 100 men men meget så vidt.
36:27
Nu er jeg ekspert i Sådan komponerings algoritmer, men så
36:30
vidt jeg forstår så MP 3 for eksempel er jo en.
36:33
Så vidt jeg ved en en Sådan en audio komprimerings algoritme,
36:36
og Det er jo ligesom nogen der har siddet og fundet ud af OK
36:39
det her lyd. Hvad Der er en masse frekvenser,
36:43
som mennesker ikke kan høre Sådan rigtigt.
36:45
Altså Der er nogen der siger de kan høre det ikke nu er jeg
36:47
kommer jeg fra audio nørde verdenen ikke, og Der er ikke
36:52
det som folk de hævder at de ikke kan høre ikke altså Det er
36:54
bare. Jeg kan ikke høre en skid altså
36:56
nå åbenbart, men men Der er nogen der ligesom har sat Sådan
36:58
noget og sagt okay Der er en masse information i de her.
37:02
Det her rå lyd data som faktisk ikke kan være man ikke kan høre,
37:06
og Der er frekvenser der skærmer der maskerer hinanden ud og
37:09
Sådan nogle ting, så Der er en masse Sådan tiltag man ligesom
37:12
må gøre for at fjerne en masse ting, som man egentlig ikke kan
37:15
høre og dermed opnå. 1 1 1 1 hvad skal man sige?
37:18
Mere komprimeret audio en. Form for filter i virkeligheden
37:23
bare tager det væk. Jeg tror Det har noget med nogle
37:26
wayflets og Sådan nogle ting, men Det er fandeme længe siden
37:28
jeg havde havde havde det kursus på DTU.
37:32
Anyways, ideen er i hvert fald her, at de godt kunne tænke sig
37:34
at at bruge ML til ligesom at lave de her incadings ikke så
37:39
meget for at gemme filer. Så vidt Jeg kan forstå, men mere
37:41
for at sende over. Lave Sådan nogle tokens i
37:45
virkeligheden som de kan altså små ja Det er vel tokens ikke
37:47
yes, Sådan de kan ligesom sende over the wire.
37:49
Og ja, Det kan de både bruges til, men også til 2 gange a
37:53
sessation og lyd ikke og der ender man og der har de så lavet
37:56
det her soundstream som som er basically Sådan en ja som du
38:01
nævner. Det er selvfølgelig mere
38:02
kompliceret end det, men Sådan i grove træk er det 1 1 1 neuralt
38:05
netværk som endocader og de cater altså.
38:09
Det er et neuralt netværk som prøver at gøre en en lydbid en
38:13
lydsnes mindre og hvis der også kvantificere den i undervejs og
38:18
så et andet neuralt netværk der prøver at tage den lille
38:20
repræsentation af Sådan den. Den lille repræsentation som
38:23
incoteren har lavet og så ligesom genskabe.
38:27
Det som det som kom ind i incateren til at starte med,
38:30
altså det man kalder for en. Det Det er det man kalder for
38:33
en. Desuden er det så en klassisk
38:35
transformer. Det ved jeg ikke.
38:37
Jeg ved ikke. Det er i hvert fald et neuralt
38:38
netværk af en eller 2 art det det.
38:40
Er en incoat and DK. Ja, men Det er jo det man kalder
38:42
en auto and codea arkitektur ikke eller Sådan set up modelst
38:47
op. Ja og Jeg tror i hvert fald det
38:50
bare lige for at forstå det. Altså Det er ligesom bare Sådan
38:52
en en form, for Det er en basically en tokenacer så vidt
38:55
jeg forstår for for lyd ikke. Ja, og så har man jo så vil man
39:01
jo gerne ligesom prøve at sige OK nu har vi de her tokens,
39:03
ligesom vi også har i tekstland. Vi vil gerne prøve at tage de
39:07
her tokens og så rent faktisk prøve at lave language modelling
39:10
på dem. Altså du ved tage en sekvens
39:13
masker de fremtidige togkens og så ligesom eller rekursivt prøve
39:18
at forudsige den den næste hele tiden.
39:21
Den første den den første model, den den d coader til nogle
39:26
tokens som den næste model. Skal bare jamen, så tror jeg
39:29
bare så tror jeg så kun man tager den her soundstream
39:32
decooter og så ligesom siger OK der kommer noget lyd ind så så
39:36
nej ikke de cooter end coder der kommer ud af noget endcoter vi
39:40
det og så har vi en eller 2. Lille repræsentation som vi kan,
39:43
så laver vi Sådan en downsream transfer learning fra den der
39:47
incating over til. Ja mon ikke så at så er opgaven
39:52
at forudsige den næste incoteing.
39:55
Med og. Så tager man den næste en
39:57
coating man foruds. Og så blæser ind i dickoleren,
40:01
og så får man den bare ud som lyd.
40:05
Så. Yes, så vi forestiller os det vi
40:10
tror. Vi tror Det er et lavbudget
40:12
podcast i podcasten, og det Der er mange af samtidens vi laver
40:15
her, men Det er Sådan et overordnet træk, forestiller jeg
40:16
mig. Det er Sådan det fungerer.
40:18
Det lyder som noget Vi har. Vi har set før på papir.
40:24
Men hvordan altså hvad er der så nyt i det?
40:27
Hvad står de så på hvad? Hvad siger de Der er nyt i det
40:30
de gør? Der, der skal man nemlig prøve
40:32
at forstå, fordi de er jo ikke de første der har prøvet at gøre
40:34
det her. Det er de ikke.
40:35
Det har folk prøvet før. Så Det er de ligesom det der
40:40
ligesom er udfordringen, når man prøver at lave det her language
40:42
modelling i audio domænet. Det er ligesom at hvad skal man
40:48
sige lave long term c hurint. Hvad skal man sige?
40:53
Højkvalitets lyd altså. Det er nemt nok at at forudsige
40:57
skal man sige lyd hele tiden rekrutivt og så videre derudaf,
41:01
og Det er også nemt nok at få det til at Sådan lyde lidt.
41:04
Altså hvis Det er for eksempel er et noget klaver eller noget
41:08
stemme eller et eller andet. Det er dem jeg godt kan få det
41:10
til Sådan at lyde altså minde om Sådan rent.
41:13
Jeg ved ikke hvad man kalder det temporat.
41:15
Det kan jeg ikke helt huske, men Sådan du kan godt høre at Sådan
41:19
det lyder lidt som en fortsættelse af ham her der
41:22
taler eller det her instrument og spiller eller det her musik
41:25
der kører, men det bliver Sådan. Mudret og det bliver Sådan det
41:30
bliver Sådan noget sjaskagtigt noget ikke så Der er ligesom
41:34
problemer med at at hvad skal man sige?
41:37
Bibeholde long 2 term karings. I de her genererede sekvenser,
41:42
og Det er i virkeligheden. Fuldstændigt ligesom noget Jeg
41:44
har hørt før, at Det er jo Sådan virkelig for mig at løse det.
41:47
Det er. Jo virkeligheden.
41:48
Det er virkeligheden fuldstændig det samme som som hvad hedder
41:51
det som som som GBT et havde af problemer og de gamle language
41:55
modeller havde af problemer, ikke det her med ligesom at
41:58
holde den røde tråd. De mistede det meget hurtigt og
42:01
konteksten. Det kunne de ikke finde ud af at
42:05
tænde det til de rigtige tog. Men er det?
42:07
Det var så her, hvor man fandt ud af attension og superbrugbar
42:10
til det Sådan at. Kører derud af, og hvis man også
42:12
har noget, altså kører det helt parallelt i stedet for ligesom
42:15
at lave Sådan kl. 13:00 der udvikler staten og Sådan noget,
42:19
og så kan man få det til at blive bedre.
42:20
Ikke ja, så det. Det er ligesom problemet II
42:24
audioland her og jeg ved jeg forestiller mig også man har
42:27
forsøgt noget. Det har jeg ikke lige kunne tude
42:29
i den her artikel, men mon ikke man også har prøvet at tenge.
42:35
Tricket er i hvert fald at det de ligesom tricket det virker
42:39
ligesom til. At til ligesom at sikre den her
42:43
høje kvalitet og long term corent structure, som de kalder
42:47
det, der virker det som at have tricket.
42:49
Det ligesom er at dele det op i 2.
42:53
Hvad skal man sige? Hvad skal man sige generative
42:56
opgaver altså tungen opgaver. Og Det er de helt konkret gør.
43:01
Det er at de deler det generative opgaver op i semantic
43:05
tokens. Som skal, hvad skal man sige?
43:08
Muliggøre den her lidt long turm structual care hurraens altså
43:11
det her med at det hænger sammen.
43:14
Longterm. Der bruger de Sådan nogle
43:17
bestemte semantik tokens kalder de det og så bruger de så
43:21
acoustic tokens. Som så hvad skal man sige?
43:26
Giver det at de akustiske eller hvad skal man sige detaljer
43:30
udover? Og så og så hvad hedder det?
43:34
Som som så er de her akustiske tokens.
43:36
De conditioner så på de her semantiske tokens og alt Der er
43:39
lige lidt mere til historien her.
43:41
Man, jeg forestiller mig inde i mit hoved, når du siger det der
43:44
så, så forestiller jeg mig at. Det er lidt ligesom at sige
43:48
jamen altså du er et menneske du er i gang med en sætning du
43:51
siger nogle ord og den skal have en eller 2 form for semantisk
43:56
mening og Det er ligesom når vi modellerer tekst.
43:59
Men derudover så skal den også ligesom modellere din stemme
44:03
Sådan så at den stemme er. Har den korrekte klang over tid,
44:09
så du ikke ligesom ender med at ryge op og ned i tunalitet eller
44:13
lige pludselig bliver du hæs midt i det hele eller Sådan
44:16
noget i den dur. Og Det er så det der akustik
44:20
plus at det jo også er. Hvad kan man sige ja lyden i
44:23
rummet som den skal på en eller 2 måde holde at det det skal
44:26
ikke lige pludselig lyde du står som om du står i en katedral du
44:29
er i et lille rum og Sådan nogle ting der.
44:32
Kan Det kan det. Det de ligesom Sådan kommer ind
44:36
på Det er at Det er tit rigtigt brugbart.
44:39
De her audiomodeller har tit rigtig godt af ligesom at kunne
44:43
conditione på noget meget. Sådan du ved.
44:46
Fast altså noget meget Sådan diskret.
44:50
Du ved appenated data ikke de bruger for eksempel eksempel,
44:54
hvad skal man sige medisekvenser?
44:57
Du ved så så de de har rigtig godt af ligesom at blive have
45:00
meget klar. OK, Det er den her tone Der er
45:02
bang bang bang og så skal jeg ligesom bare bruge energi på at
45:07
jeg mener også Der er folk der bruger defosers til det her, men
45:09
altså ligesom at defuse defuse. Det lyder lidt defuseer agtigt
45:13
at man kunne forestille sig at man man man.
45:17
Ja man. Men gjorde selve akustikken og
45:22
og støjen rundt om de, der kerner af ting til til til
45:29
difuser problem. Men Det er ikke det, som de gør
45:31
her de. Er det nemlig altså, men det der
45:34
ligesom er virker som om Der er vigtigt i de her opgaver.
45:38
Det er at Der er, når man taler for eksempel så er der sproget.
45:41
Det er Sådan en. Det har vi været rigtig gode til
45:44
som mennesker Sådan og komprimere rigtig langt ned, så
45:47
jeg siger, når jeg siger et ord til dig, så bruger du rigtig
45:50
lidt energi i dit i din hjerne på at forstå det ord fordi.
45:54
Jeg bruger rigtigt lige nu. Ja ja men men Sådan du ved Der
45:57
er den del af det som er forstå det diskrete koncept som skal
46:03
fyre nogle bestemte neuroner i din hjerne og skal hjælpe dig
46:06
med at forstå Sådan sprogligt, hvad der foregår.
46:08
Og så er der alt det andet. Du ved det der med hvem hvordan
46:11
er tonen og alle de der Sådan mere Sådan vis.
46:13
Lydindtryk ikke nå anyways men men det de ligesom gør Det er at
46:17
de har Sådan en hierakisk language modelling approach
46:21
siger de hvor de først bruger de her semantic tokens til ligesom
46:25
at forudsige den longterm. Hvad skal man sige den
46:31
longtermsekvens og så bruger de efterfølgende de her?
46:34
Hvad skal man sige acoustic tokens?
46:37
Hvor hvor til at så forudsiger de efterfølgende de her acoustic
46:40
tokens som ligesom conditioner. På dine siemantic togens kan man
46:44
sige at de her siemantic togens har ligesom struktureren i det
46:49
her. Og så de doding.
46:53
Ja første du ved først hvad skal man sige akustiske eller de
46:58
semantiske togke eller ligesom har er lidt langt længere ud i
47:03
tiden. Først bliver det genereret Sådan
47:04
lidt longzm som definerer strukturen, og så bliver der
47:07
ligesom farvelade ovenpå med. Stemme.
47:10
Følelser og Sådan nogle ting med de her akustiske tokens.
47:13
Og det interessante er, at de bruger forskellige.
47:16
Hvad skal man sige en coding eller hvad skal man sige?
47:19
Tokenchancer metoder til de forskellige ting.
47:21
Den her soundstream, som jeg fortalte om før, altså den her
47:25
det her codek de har udviklet med den her autocam codeagtige
47:29
arkitektur. Den bruger de til akustisk tungs
47:33
de akustiske tungnus. Så Det er ligesom der bruger jeg
47:36
ligesom en toganization virker det til som som indeholder meget
47:40
information omkring det, det rigtige ord, men det temporal
47:44
eller Sådan det det detaljerne. Lyde spektret på en eller 2
47:48
måde. Det er måske mere Sådan special
47:55
afhængig af hvordan hvis hvis det temperale er er at tiden er
47:59
så over tid? At Det kan godt være det ikke er
48:02
temperat men Sådan du ved detaljerne, detaljerne,
48:05
farveladen. Ja præcis det tænker jeg.
48:07
Det er lydspækket treet ikke altså vi kigger på
48:10
frekvensbilledet. Og så bruger de nemlig Det er
48:14
noget der hedder der bruger de bruger nemlig nogle andre
48:16
tungges til de til de her semantic tokens der bruger de
48:19
noget der hedder v 2 VW 2 v altså wave two væk.
48:27
Dash birth. Toke nisseing i guess altså
48:33
Sådan en eller 2 form og Det har jeg faktisk aldrig hørt om før,
48:35
men det. Er okay dele hørt om denne her
48:38
hjemmeside? Ibrisper også ikke.
48:41
Og der har man nemlig i wautovægt der har man eller wave
48:44
2 vægt der har man ligesom lavet den her basically den her
48:47
language modelling, hvor du bare har Sådan nogle simple relativt
48:50
simple. Hvad skal man sige tokens og så
48:52
bare køre derud af ikke og så har du Sådan nogle foundation
48:54
models til speetric og så videre, men der har de altså Der
48:58
er der nogen der ligesom har koblet den og det får 21 kan jeg
49:02
se så Det er ikke fordi Det er noget nyt men har koblet den med
49:04
birth altså så er det ligesom om at der bliver lavet et link
49:07
mellem. Og Jeg har ikke fundet ud af,
49:09
hvordan det her virker. Det kan være hvis man kan snakke
49:11
om det næste gang, men Der er blevet lavet et link mellem.
49:13
Audio, Der er blevet lavet et togcization link lidt ligesom
49:19
klip er en en betting link mellem visuelle og også det det
49:25
tekst tekstksuelle så er der også blevet lavet et link
49:27
mellem. Trænede fælles fælles imperspace
49:31
for for 2 typer af togens. Og ja, og Det er bare en
49:37
interessant og Jeg synes bare Det er en interessant approach
49:40
til det. Det her med at man ligesom
49:41
anerkender OK Der er altså noget information.
49:43
Som man kan lære altså det her semantisk information virker som
49:47
om at i og med at vi det egentlig også kunne
49:51
repræsenteres, som du ved tekst, Det kan sprog jo så må det så må
49:55
det du ved den information Vi har brug for, Sådan egentlig har
49:59
brug for den den den den den fylder ikke så meget du ved den
50:03
det det det der Der er ikke behov for at være snorale
50:06
netværk bruger så meget energi på det.
50:08
Og så, og det virker som om med de her Sådan mere defusion
50:12
agtige de her mere Sådan. Detaljeret akustiske ting, der
50:16
Der er det rigtig godt med noget høj båndbredde, fordi Det er
50:18
alle detaljerne, der skal ligesom fyldes ud der.
50:20
Og Jeg synes bare det virker som Sådan en interessant Sådan.
50:24
Måde, at dekomponere Sådan et generativt modelleringsproblem
50:28
på. At der ligesom er 2 dimensioner
50:32
ikke som giver mening at holde styr på samtidig.
50:35
Jeg ville ønske mit hoved var mere frisk lige nu til til til
50:38
at konsumere noget af det der. Jeg synes Det er enormt
50:40
spændende. Der er sikkert ikke vildt
50:44
revolutionerende nye ting i det, men bare det der med at man man
50:48
ser. Problemer eller i hvert fald
50:52
nogen opfinder nogle problemer eller nogle sjove ting de gerne
50:54
vil med med det. Og så bliver der genbrugt rigtig
50:57
meget viden og teknologi nede nedenunder i motoren, og det
51:01
bliver ligesom patchet sammen på forskellige måder og.
51:04
Og vupti er der noget der virker godt?
51:07
Det er sgu Det er imponerende. Nu en interessant ting jeg i
51:15
hvert fald en interessant koncept, som jeg bare bliver.
51:16
Nej undskyld er det. Nej, ikke et interessant ting
51:19
som jeg. Hvad hedder det synes jeg kommer
51:24
igennem igen og igen. Det er det her med at de her
51:27
generative ting har rigtig godt af at blive grounded i noget.
51:30
Altså de har rigtig godt af at blive grounded i noget Sådan
51:33
noget fra den virkelige verden eller noget Der er lidt low band
51:37
with for ligesom at holde den røde tråd ikke?
51:39
Det kunne være rapløsninger, hvor der kommer noget eksternt
51:41
kontekst ind og svarer på baggrund af det.
51:44
Eller det kunne være de her semantiske tokens, som hjælper
51:48
dem med at holde den røde tråd. Hun er også thke the way.
51:52
Nej men jeg, Der er jo egentlig ikke så meget jeg ville sige
51:54
andet end at skal vi ikke videre til næste emne jo.
51:58
Men jeg venter jo på en på en jingle.
52:00
Nå er det. Er det ugens refer?
52:04
Det er ugens nå o. K.
52:09
Velkommen til ugens reperto Det er den 6.
52:13
November onsdag den 6. November og en 2 ting, vi også
52:16
kan annoce. Det kommer i tanke om Det er, at
52:17
vi fremover udkommer om torsdagen.
52:21
Det må vi lige kommunikere på en eller 2 måde.
52:24
Det er blevet tid til ugens rapl, og Jeg har selvfølgelig
52:27
lavet god research med med. Hvad skal man sige med med mine
52:31
gode GPT som kan sommer rejse hvad som helst for mig?
52:34
Sådan så Jeg kan få et meget hilept ud overview, så Jeg kan
52:37
formidle det til jer her i podcasten.
52:40
Det repub Vi skal kigge på. Det hedder intet guru.
52:44
INTEGURUO. K find lige på et mere spacey
52:49
navn. Det giver ikke super god mening.
52:53
Hvad skal man sige? Salgspitten er ligesom den her
52:57
AI adgen that genereres integration code direce
53:01
engineering platforms internet APIS.
53:05
Ja så det giver jo ikke særlig god mening.
53:07
Så vidt Jeg kan forstå jo giver det god mening.
53:11
Ja, Jeg kan allerede høre, at jeg skal slippe en agent løs på
53:14
nogle af de API er Jeg har bygget.
53:17
Hvad hedder det? Det som det det som det rent
53:20
faktisk er som jeg forstår det. Det er at Det er et framework
53:22
hvor du ligesom kører en kommando i terminalen og det det
53:25
som jeg forstår det det her så gå lige ind og tjek selv ikke
53:28
men, men så bliver der så så sportner den ligesom en browser.
53:32
Så kommer der en browser op, og så kan du gøre, så kan du gå ind
53:35
på et website og gøre ting i den browser og så holder så er der
53:40
noget kode der holder øje med hvad du gør og hvad for nogle
53:43
requests der bliver sendt til hvilke nogle API er og så
53:48
videre. Og hvis den hvis Der er noget
53:50
der bliver sendt til en API der har brug for noget for et andet.
53:54
Det kunne være en du ved et account ID eller et eller andet
53:57
user ID eller Sådan et eller andet.
53:58
Så søger den du ved prøver at se om den kan finde ud af hvad for
54:01
nogle empoint den skal kalde og hvad den kan kalde dem med for
54:03
at få de forskellige ting og sager og sager.
54:06
Og så i imens du ligesom gør noget så så så kan den her den
54:12
her intaguro tror jeg den hedder den kan ligesom følge med i det
54:16
du gør og så kan den prøve at finde hoved og hale i det og så
54:20
definere. Hvad skal man sige tools til at
54:24
kunne gøre det igen på et andet tidspunkt?
54:27
Så du ligesom kan få en form for?
54:29
Tool recording i stedet for at du skal sidde kedeligt, kedelig,
54:33
kedeligt og selv finde ud af hvad Det er jeg skal kalde.
54:36
Og hvad for en. Toule hvad er det for en det?
54:39
Er det her ja hvad skal det så kan du bare?
54:44
Hvad kan man sige record det og så er det lidt ligesom du
54:47
reverse engineer dine actions og så har du basically en. 1 1 1
54:53
AI, Robert, generader. Ja så.
54:59
Bagefolkene de sidder bare allerede nu og lige om lidt så
55:02
kan man så kommer der en eller 2 og poster det synes så total
55:06
game changer og har glemt at de i deres blue prisom havde Sådan
55:10
en recordknap et eller andet sted hvor de også skulle sidde
55:12
og trykke på det der og så blev det recordet af en chrome
55:16
silinium driver og så var der nogen der lavede noget kode nede
55:20
bagved og så havde du det samme. Nu kan du bare gøre det LM.
55:24
Det er jo smart, men så er det jo også et element der skal.
55:27
Hvad kan man sige dispe alle de her kald og det du selv kan får
55:32
jo toolsene den her agent så den bygger sit eget agent.
55:36
Tool. Univers.
55:40
Bare Det er at du skal skrive en prompt det det du optager
55:44
ligesom det der sker og så kan du skrive.
55:46
En fejl og skrive. Prompt Det er så kan du skrive
55:48
en prom der ligesom beskriver den action som du har trigget i
55:51
browseren og så kan du så kalde den på andre tidspunkter.
55:56
Ja og jeg ved ikke. Jeg synes Jeg synes bare Det er
55:58
interessant fordi at grunden til at Jeg synes Det er interessant.
56:02
Det er fordi at Jeg tror. Jeg tror Jeg tror faktisk rigtig
56:09
meget på det her Sådan LLM crawling på en eller 2 måde
56:12
eller Sådan LM jeg ved ikke om Det er crawling eller Sådan, men
56:16
men Sådan Jeg kan også bare forestille mig at grunden til
56:19
at. Elle elever ikke er særlig gode
56:22
til. De er ikke den eneste grund, men
56:24
altså en af grundene til at de ikke er særlig gode til at
56:26
navigere rundt i en kodedatabase.
56:28
En stor kodebase. Din kode databand en kodebase
56:32
Det er at den er den er ikke dokumenteret.
56:35
Det er måske ikke dokumenteret særligt godt, og Der er ikke
56:38
Sådan et framework. Den har ikke ligesom det det det
56:42
overblik den har brug for for at kunne navigere rundt og forstå
56:45
de forskellige ting og sager i virkeligheden ligesom mennesker.
56:48
Jo tit kan blive overvældet af store gode baser og hvis ikke
56:50
der ligesom er. Ude Det er fuldt forståeligt
56:54
også for nett element. Lige præcis.
56:56
Men alle andre end dig Jonas hvad hedder det?
57:00
Nej og der har jeg bare tænkt på at jeg får.
57:03
Jeg tror Der er noget. Interessant i det her parterne
57:07
med at. Gøre eller eleverne bedre ved
57:13
at. Strukturerede eller ved ligesom
57:17
at sætte den til at prøve at finde hoved og hale i de
57:19
forskellige ting selv. Altså det der med at dokumentere
57:22
det for sig selv og prøve at probe rundt og se hvad er det
57:24
her og lave ligesom lave dokumentation for sig selv.
57:27
Ikke så de ligesom kan. Ja.
57:33
Det er meget interessant altså. Jeg har jo åbenbart.
57:36
Dokumentation ikke hvis du kan få det minder lidt om API
57:38
dokumentation det her altså hvis du kan få en LLM til at gå ind
57:42
på en eller 2 random hjemmeside og så bare crawl den og så bare
57:45
lave en eller 2 du ved en eller 2 API dokumentation over hvordan
57:49
alle en points den kan finde på det her site fungerer hvordan
57:52
hvad for nogle hvad ting du kunne sende til mig hvad du ikke
57:54
kan og så ligesom bare laver 1 1 1 1 magtdown fil med det som den
57:58
kan den kan læse i, så kan den jo kontrollere det her site
58:01
basically eller har i hvert fald.
58:03
Meget bedre forudsætninger for at kontrollere det.
58:05
Altså hvis den så kan tage det der dokumentation af API et, så
58:09
kan den også. Så er der måske et round hvor du
58:12
kan gøre en ting og så er der router kan gøre nogle andre ting
58:14
og så kan den lave agenter til at gøre forskellige ting.
58:20
Og så kan man også allerede se hvordan de agenter de ligesom
58:23
Sådan nogle til nogen der har siddet og lavet Sådan nogle
58:26
komplicerede API er og prøvet at at skulle integrere med dem.
58:28
Det kunne for eksempel være stribe a piet.
58:31
Sindssygt godt API, men Det er not for the fantast.
58:36
Der skal man typisk kalde mange forskellige steder for ligesom
58:41
at komme derhen man gerne vil. Men så kunne man forestille sig,
58:43
at så kunne elementen selv finde ud af, hvordan de her
58:46
identiteter de hang sammen lave nogle lave nogle agenter Der er
58:51
repræsenteret, at de var i stand til at oprette og slette og gøre
58:55
ting og sager på de identiteter og også vide hvordan de skal
58:58
foregå the request til en 2 agent, som så kan gøre det for
59:01
en. Ja og og på den måde kan man så
59:04
abstrahere API et ud til at du har et entrypoint hos en agent,
59:09
hvor du så siger. Gør det her for mig, og så sker
59:13
der den der magic behind scenes ikke og.
59:16
Så grunden til at Det kan være magic.
59:17
Det er i virkeligheden bare fordi Det er pissegodt
59:19
dokumenteret. Ja og og Det er det jo fordi at
59:23
at at Det er jo noget af det, som når man laver alle de.
59:25
Her. Folk function calling når man
59:28
laver alle de her agenter med function calling og tool
59:31
beskrivelser og Sådan nogle ting, jamen så er det jo.
59:33
Det hele er jo prumped og tekst og template nedenunder og så
59:37
kvaliteten af det afhænger jo selvfølgelig af hvor godt ting
59:39
er beskrevet. I et naturligt sprog, så hvis
59:43
den selv kan finde ud af at gøre de ting jamen så har du også
59:46
lettet arbejdet til overhovedet at bygge en agent.
59:49
Så så Det er jo på den måde kan, så kan jeg virkelig godt se at
59:52
at det her Det har et eller andet på sig fordi.
59:57
Altså hvis du kan on the fly for agentnetværket oprettet til et
1:00:04
site eller til et API du sidder på lige nu som bruger lige nu og
1:00:08
her. Giv mig lige hvad kan jeg på det
1:00:13
her site her? Gå lige i gang med det, og så
1:00:16
giv mig lige Sådan et high level.
1:00:19
Nå men du kan de her ting på det her site, så kan du jo
1:00:21
forestille dig et produkt. Jeg ved ikke om folk har lagt
1:00:23
mærke til at Der er kommet Sådan en plugin eller Sådan ting hvor
1:00:25
Der er kommet Sådan en ask a og i nede i hjørnet som mange
1:00:29
websites bruger nu. Det er Sådan en service hvor at
1:00:31
Jeg tror noget af det den kan. Den er ligesom en læse
1:00:33
forskellige ting og sager på dit dit site og så kan du ligesom
1:00:36
spørge om ting på sitet i stedet for at du har fået Sådan et
1:00:38
plugin til en søgemaskine på til dit site, så har du bare fået
1:00:41
Sådan en. LLM plugin til det må du
1:00:44
forestille sig. Det samme var på agentniveau
1:00:47
ikke Sådan en agent plugin, hvor så når du går ind på sitet så
1:00:50
Sådan få lige et overblik, så trykker du på den, så står den
1:00:54
lige og det tager sikkert noget tid og så, men når den så er
1:00:57
færdig så så nu er jeg klar til at interagere på det her site
1:01:00
for dig og så når du så beder om tingene så klikker den jo rundt
1:01:04
for dig også. Så er det jo det den gør ikke.
1:01:07
Jo, men den er allerede. Den har allerede lært hvordan de
1:01:11
har lært den. Den her perverseingeret hvordan
1:01:14
sitet skal skal bruges og så så fungerer det på den måde.
1:01:19
Det tror jeg lyder som noget and frobic kunne bruge og prøve af i
1:01:23
stedet for det der computer juice de har fordi det lyder da
1:01:26
det lyder da som en god vej frem for det altså.
1:01:29
Det er jo ikke fordi det så også meget fint ud det der
1:01:32
computerhjul men. Ja.
1:01:36
Ja helt sikkert. Jeg vågnede lige op lidt lidt op
1:01:38
der Det var. Det var et godt ugens republik.
1:01:41
Rektoraktion en en long term på hurin reaktion du lige kom med
1:01:45
der? Ja og nu er jeg så også opbrugt
1:01:48
på energi nu. Er det ved at være ved at være
1:01:51
skyggen af at blive lange? Nej 1800 årligt.
1:01:54
De er totalt vild, ikke skyttende.
1:01:57
Det er lige så lange som de kan blive.
1:02:00
Ja så så Det var Sådan set det de havde til jer i dag.
1:02:03
Kære lyttere. Måske lidt?
1:02:08
Ja jeg syntes Det var rimelig dybdegående.
1:02:10
Selvom det også var lidt high livs på den der i en 1,5 time
1:02:14
jeg lige havde til at bruge research mellem GP.
1:02:17
T'er vi mangler. Vi må have Nikolaj på banen til
1:02:20
at sige noget mere fornuftigt om de der robotter der og så.
1:02:25
Ja. 1000 tak fordi lyttede med og fremover mig og Jonas.
1:02:31
Vi har lige fundet ud af at onsdag før far har vi optaget
1:02:34
tirsdag aften. Vi har fundet ud af onsdag
1:02:36
aften. Det passer faktisk bedre så
1:02:38
fremover så vil vi udkomme torsdag kl. 5.
1:02:45
På youtube, Spotify, Apple podcast og pody mode vist også.
1:02:49
Så Sådan er det og husk at subscribe husk og like husk at
1:02:52
gøre alt muligt. Delt med dine venner og.
1:02:55
Og alt muligt Sådan så den kan komme op på og ringe på Apple
1:02:58
podcast vi vi klarer sgu ikke så godt i øjeblikket.
1:03:01
Lige i sidste uge havde vi Werder beck der der det gav lige
1:03:04
lidt et hype, men. Ja, men Det er jo heller ikke
1:03:06
derfor vi gør det. Vi gør det jo for jeres skyld
1:03:08
jer der lytter, og Det er bare fantastisk at i lytter med Det
1:03:12
er vi så glade for? Hav det rigtig godt.
1:03:14
Tak fordi du lyttede med og vi lyttes igen i næste uge.
1:03:17
Hej.