Latest / Verbos: AI og Softwareudvikling / #19 - Retentive Networks: Transformeren Arkitekturens Arvtager?

Transcript

#19 - Retentive Networks: Transformeren Arkitekturens Arvtager? · Verbos: AI og Softwareudvikling

0:00
Halløj alle sammen og velkommen til Hobro boss podcast nummer 19
0:04
i den her udgave af boets podcast skal Jonas og jeg snakke
0:09
om. Den gode gamle transformer
0:12
arkitektur som de har givet til 3 og t 4 og chatt baserer sig
0:18
på. Vi kan snakke om den og så skal
0:20
vi også snakke om hvad mon der kommer til at overtage den her
0:24
transformer arkitektur på et tidspunkt ude i fremtiden, når
0:27
man finder måske på et tidspunkt finder noget Der er bedre, mere
0:30
effektivt, performer bedre. Og Det er Sådan, det simpelthen
0:35
det Vi skal snakke om i dag. Jonas.
0:39
Ja. Vi.
0:42
Blev interesseret i det her spørgsmål.
0:44
Jeg gør i hvert fald, da jeg så det her papir der kom ud.
0:49
Som klima at have fundet en arkitektur der.
0:55
Af performer lige så godt Sådan altså language model performance
0:59
rise, men også er hurtigere influenza og.
1:05
Måske kan overtage, transformere.
1:07
Arkitekturen til til de her lars language models og en af de
1:10
ting, vi ved, Vi har Sådan ret store problemer med, hvis vi kan
1:15
sige det. Det er jo at indføre en tiden på
1:17
lars language models er horribelt langsom, og det kunne
1:23
vi godt tænke os at gøre noget ved også for at spare på både
1:26
det ene og det andet tredje. Men det gør jo også, at de
1:27
bliver mere anvendelige, så Det er enormt interessant.
1:32
Hvis hvis hvis Det er. Det her det det det?
1:38
Kan vi ikke bare lige til dem derude, som ikke ved hvad en
1:42
ferie betyder? Kan vi ikke bare lige prøve at
1:44
trække det ned? Jo, Det kan vi godt.
1:50
Jamen altså det. Det er jo Der er 2 ting vi gør
1:54
med de her modeller her først så træner vi dem til at de har
1:59
nogle vægte altså et internt stat.
2:01
Og så vil vi jo gerne bruge dem til et eller andet, og så putter
2:06
vi noget data igennem netværket igen og få noget ud, altså en
2:11
forudsigelse, som vi så kan bruge for eksempel at forudsige
2:14
det næste ord eller næste tunge. Og når vi laver de der
2:19
forudsige. Det næste, så er det det vi
2:22
kalder for inference. De kommer så nok også af.
2:26
Sådan hvis dem der kender noget statistik inferens er noget man
2:30
man gør med en stor population. Man drager en eller anden
2:34
konklusion af hvad er sandsynligheden for XYZ?
2:37
Og og ja, Det er nok. Det er nok den stammer fra.
2:41
Ja så man kan sige, Der er ligesom træningen, hvor Det er
2:44
ligesom der hvor du træner og modellerer laver selve modellen,
2:48
så når du så har en færdig trænet model, så laver du så en
2:51
ferie med den, altså når du ligesom bruger den til at
2:53
forudsige tokens i den tekst eller.
2:57
Om, Der er hunde eller katte på billeder eller hvad du har lyst
3:00
til ligesom er. Gode, gamle hunde og kat.
3:03
Og det. Jeg synes jo pænere måde.
3:05
Det er sjovt at se fordi Der er jo.
3:09
Man kan sige, Der er jo virkelig blevet en kæmpe kæmpe stor
3:11
interesse i at få det her til at gå lidt hurtigere, især med
3:15
inferens, efter at de her modeller bare er blevet
3:19
deployeret i en helt latterlig skala.
3:21
Altså Der er virkelig tryk på på PU.
3:25
Hvad skal man sige supercomputerne derude?
3:27
Gpu klostrene derude i de forskellige datacentre og de
3:31
prøver fandeme at følge med er mit indtryk, men Der er
3:34
simpelthen bare en vanvittig demand i forhold til.
3:37
Hvor mange PU er der simpelthen er i verden virker det til ikke,
3:41
så derfor så er det blevet rimelig rimelig relevant og
3:45
rimelig hot at snakke om hvordan.
3:48
Hvordan kan vi få de her modeller til at være hurtigere,
3:52
når man ligesom kører dem, som når vi ligesom server dem ud til
3:55
brugerne end inducerende? Ikke?
3:59
Og Det er det, det synes Jeg er en.
4:02
Det er virkelig blevet relevant her.
4:05
Ja på det seneste. Ja, hvis vi hvis vi prøver at
4:10
åbne lidt op for også noget hvad det her, det her paper Vi skal
4:13
til at snakke lidt om det. Det prøver at sætte fokus på, så
4:15
er det den her. Jeg kan sige der i forvejen kom
4:20
ind, der var det ligesom. En løsning på, at man kunne
4:24
parallelisere den her træning meget kraftigt, og derved
4:29
skalere, hvor meget data man kunne træne dem på og hvor
4:31
mange. Hvad kan man sige parametre man
4:33
kunne træne den til? Og og og.
4:40
Og det gjorde jo ligesom, at man så fandt ud af wow større er
4:43
bedre og det giver bedre performance og Sådan nogle ting.
4:45
Men men det her den her magi, som vi kalder attention, som
4:50
ligger inde i et transformeren. Den den er så stadigvæk Sådan,
4:56
at når du laver influencer med med de tension mekanismer, så så
5:01
har de en tidskompleksitet. Der er altså der skal skalere
5:05
eksponentielt ikke ske og. Det er måske lidt forvirrende,
5:11
jeg mener. Det.
5:14
Token kan man sige ikke at Det er jo også tid.
5:17
Så så jo man kan sige jo flere tokens man putter ind i den.
5:24
Når du skal ligesom forudse næste tungen, så altså.
5:29
Forudsige næste tog givet alle de her tog givet 2000 givet 3000
5:33
givet 4000. Jo længere er den sekvens
5:36
bliver. Jo jo tungere bliver den manøvre
5:38
at forudsige et tungt. Det er ligesom det Der er
5:43
pointen her, ikke for at sige det Sådan lidt fladt og og og
5:47
det kunne vi godt tænke os, at Det var Sådan.
5:49
Lineært på et eller andet plan, og hvis ikke lineært, så måske
5:54
bare har lineært på de første mange tunges og når vi så kommer
5:58
op i. Big data størrelser så okay fair
6:01
nok dækker linjer, men hvis nu vi kunne få lidt linjer til at
6:03
starte med ikke så så ville det være ret fedt, fordi så kunne vi
6:07
få en liniær generering af næste token hastighed.
6:13
Hvis det giver mening den måde jeg lige sagde det på der.
6:16
Og og det. Det er ligesom den hellige gral
6:20
lige nu. Hvis man kunne løse det at så
6:24
ville man få, så ville man få noget der performer rigtig godt
6:27
computrace ikke. Ja.
6:31
Så. Ja så man vil virkelig gerne
6:33
have det til at køre lidt lidt hurtigere II produktion især og
6:39
man er også. Det er jo egentlig også meget
6:40
bare Sådan lige for at trække en lille parallel, især til Vores
6:44
Vores gode vens Kasper. Grosses ihærdige arbejde med at
6:47
snakke om hvad hedder det? Hvad skal man sige?
6:50
Co 2 tryk aftryk på at træne Sådan nogle her store sprog
6:54
modeller. Så er der jo har der hidtil
6:58
været rigtig meget fokus på hvor meget.
6:59
Hvad skal man sige gpu og computer og Sådan nogle ting?
7:02
Det tager at træne selve modellen og så selve
7:05
træningsprocessen. Men det der nok i virkeligheden
7:07
er mere interessant er at finde ud af.
7:09
Hvordan kan vi få inference hastighed altså aftrykket ned,
7:13
fordi Det er jo der de bliver brugt allermest må man formode
7:17
ikke, når de ligesom er blevet færdig trænet og de skal ud og.
7:20
Så videre? Ja, det giver jo mening altså
7:22
helt klart ikke fordi at Det er jo Sådan en one time cost at
7:26
træne den. Og ja, Det er tungt og Det er
7:28
dyrt og alle de der ting, men så skal den ud at leve ikke og så
7:31
står den bare der og. Og spænder, og når den er så
7:34
populær, som den er i dag, ikke så ja det.
7:38
Det er helt klart det, at de de langsigtede store omkostninger
7:41
de er, og så er det jo lidt sjovt, at Vi har en løsning, der
7:44
rigtig faktisk ret godt optimeret til træning.
7:47
Men den her, den er ikke optimeret til til influence og
7:50
lige pludselig så bliver det mand for.
7:52
For energi er jo bare crazy. Ja.
7:56
Og Det var lidt sjovt, fordi den det her det her paper som Vi
7:59
skal snakke om eller som du sendte mig her forleden.
8:02
Det hedder retention neural networks eller retf networks, og
8:07
Det er et paper som som ligesom klemmer.
8:11
At de løser 3 store problemer med hensyn til transformere,
8:17
model og arkitektur og de problemer.
8:19
Det er den 1. Det er.
8:22
Hvad skal man sige? Træningspas parallelisering
8:25
altså Sådan så at man kan. Træne parallelt, ligesom man kan
8:29
med transformerne, så er der den her low cost inference, hvor man
8:33
ligesom kan. Banke en masse igennem for
8:36
rigtig meget frue but når man ligesom har en fyrings og så er
8:40
der performance, hvad skal man sige delen af det?
8:44
Altså den skal også ligesom kunne outputte noget fornuftig
8:46
tekst og Der er Der er det Sådan så vidt jeg kunne forstå på
8:50
papiret ind hidtil været erfaringen.
8:53
At at hvis man gerne vil ligesom prøve at optimere for det ene,
8:58
altså for eksempel for low cost performance eller lowcost
9:01
inferens og paralyserer bare altså Sådan parallel parallel
9:07
training parallelle som så vil du give afkald på noget
9:10
performance og Sådan. Altså der var ligesom nogle
9:13
tradeoff II den trekant der. Men rétention networks skulle
9:19
jeg så sigende løse det her problem?
9:22
Altså den her umulige trekant, som man måske har døbt den lidt
9:26
tidligere har de så gjort muligt Sådan også meget fedt at kunne
9:30
lave et paper lige tegne Sådan en trekant og sige se Vi har
9:33
løst bare lige. Midten af den her ikke, men Jeg
9:37
vil så sige, Jeg synes. Hvad ved jeg ikke?
9:41
Det virker som om og og 1 1 1 så vidt Jeg kan forstå altså det.
9:45
Det er et ret komplekst paper. Det er Microsoft research der
9:48
har lavet det og Det er Sådan rimelig langhåret ikke, hvilket
9:52
også måske synes Jeg synes måske gør at Det er Sådan det virker
9:55
ikke som Sådan en super elegant. Løsning det virker lidt som
9:59
Sådan en. Vi skal løse det her problem.
10:01
Vi tager du ved alle de her forskellige ingredienser og
10:04
putter ned i gryden. Men det virker som om, at de
10:07
ligesom det noget af det, de gerne vil gøre det, de gerne vil
10:09
tilbage til. Det er, at de vil gerne gå
10:12
tilbage til den her recurrent neural network.
10:15
Hvad skal man sige arkitektur, hvor man ligesom tager i stedet
10:18
for at tage alle dine tokens alle dine word tokens og putte
10:22
ind parallelt, så putter du det ind sekventielt og har Sådan et
10:26
feedback ind i netværket, så er det ligesom kan huske over tid.
10:32
Og og der virker det til at i den her de her retex.
10:36
Networks som har noget de skulle kalde en retention, mekanisme
10:40
mekanisme og ikke en. Hvad skal man sige en en
10:44
attention mekanisme der har de. Recurrent repræsentationer af
10:49
tokens. Parallelle.
10:52
Repræsentationer tungs. Og altså er det Sådan nogle
10:55
Sådan nogle chunk was? Ja altså detention, ikke?
11:00
Was recurrent repræsentations. Nej Det er det ja, men Det er jo
11:04
der hvor at at Det er jo ikke Sådan at de forkaster attention
11:07
mekanisme. Altså det her med at at ordene
11:10
har 1, 1 1 attentive vægt til alle.
11:14
Alle ord altså Det er jo en måde at sige på at okay, det her er
11:20
Vores relation til alle ordene rundt omkring her.
11:23
Der er der en masse nuller og så er der nogle der der ligesom er
11:28
værd at have fokusere på, ikke? Det er det her attention.
11:31
Det er jo ikke fordi de smider den den den del væk i det her,
11:35
men det Det er på en måde, og Det er der hvor jeg.
11:38
Jeg tror ikke helt selv jeg forstår det heller nemlig ved
11:41
det ved jeg ikke gør men men som.
11:44
Vi sidder faktisk og sidder og snakker om det, vi ikke fatter
11:46
en skid om. Ja jamen Det er altid sjovt ikke
11:48
men men men hvad hedder det at at Der er den her mekanisme hvor
11:51
at de kan få lov til ligesom at bruge den her ressource, som du
11:54
siger hvor de hvor de ligesom ikke skal compute alle attention
11:59
mekanismerne for hvert tungt om igen med noget de ligesom kan
12:02
kan blive ved med at beholde noget på en eller anden måde.
12:05
Men men men Det er stadigvæk ideen om at at at at at at Det
12:10
er stadig den samme idé som der ligger II attention ikke så så
12:16
hvordan de Sådan lige. Knæler den der det.
12:19
Det synes Jeg er lidt lidt sjovt, fordi Det er også noget
12:21
med at de så kan på en eller anden måde bruge en variant til
12:25
når de træner, så de får den her høje placering og en anden
12:27
variant til når de så laver en farens det her.
12:32
Så. Det må være Sådan noget med, at
12:33
de de træner parallelt for at få træning parallel, ligesom at
12:37
kunne få en masse throughput og alt Sådan noget der alt det gode
12:39
ved ved transformeren. Så må de gøre Sådan, at de
12:43
samtidig med de træner og træner.
12:46
Hvad skal man sige repræsentationer som ligesom er?
12:50
Passer til til de andre forskellige repræsentationer,
12:53
altså den her recurrent og den her juice recurrent.
12:57
Ja men men man kan sige, nu har jeg jo også, da jeg startede med
13:01
at rydde manualen netværk på oticon.
13:04
Der er også Sådan da jeg startede helt.
13:07
Der roede jeg rigtig meget om her.
13:08
Recurrent neuralt netværk og de er sgu heller ikke helt uden
13:13
problemer. De har det her med, at der kan
13:16
du ikke banke data ind parallelt.
13:19
Der skal du ligesom banke det ind sekventielt.
13:24
Ja og. På en eller anden måde, så har
13:27
jeg lidt svært ved at forstå hvordan.
13:29
Hvordan man kan øge throughput altså Der er selvfølgelig.
13:32
Jeg tror Det er den attention delen.
13:35
Altså der må være noget der må være noget overhead ved ligesom
13:38
at køre det ind sekventielt. Altså først skal den ene, så
13:40
skal den anden, så skal den tredje.
13:42
Det lyder jo umiddelbart langsommere end at banke hele
13:45
lortet ind parallelt. Men så kunne jeg forestille mig.
13:48
Så er der et punkt, hvor at det med at køre det sekventielt.
13:53
Er hurtigere end at køre det parallelt.
13:56
På grund af at attention mekanismen ligesom er en
13:58
bottleneck og skal være kvadratisk.
14:02
Ja og Jeg tror Det har noget at gøre med at at at at man ikke
14:07
behøver compute de samme ting om igen et i den der recurrent,
14:12
altså den der retention. Mekanisme er ligesom at du du
14:15
beholder noget. Altså retaining betyder.
14:18
Jeg tænker, nu bruger jeg bare udtrykket og prøver at spekulere
14:21
mig frem til, om det egentlig ikke er det der sker, og derfor
14:24
Det har fået det navn, at du beholder ligesom noget.
14:27
At de her de her vægte. Eller de her?
14:32
Hvad hedder det attention? Imellem ordene beholder du
14:37
ligesom? På en eller anden måde, og så
14:39
har du en mekanisme for at finde ud af, hvad skal du beholde og
14:42
hvad skal du ikke beholde det? Og Det er det, der ligesom gør,
14:47
at du så kan beholde noget og stadigvæk have en konstant,
14:50
altså linje af tid for at producere det næste toppen.
14:55
Fordi du kan blive ved med at holde noget som gør den det den.
14:59
Hvad kan man sige? Beregning bliver bliver konstant
15:02
altså den algoritme, og Det er meget spekulativt, hvis Der er
15:06
nogen der sidder derude og har læst det der pepper og forstår
15:09
det rigtig godt. Reach out måske komme ind i
15:12
næste episode. Vi skulle have haft.
15:14
Vi skulle faktisk have haft den med han er.
15:15
Han er paper king, men han er bare.
15:19
Lige at læse det. Jeg ved det godt.
15:20
Men bare for at nævne det her fordi at Der er jo altså hvad
15:24
skal man sige tilbage i? For transformerne da der kun var
15:27
recurrent neuralt netværk, der havde man jo også attention.
15:31
Der brugte man jo også attention i det her recurrent arkitektur.
15:36
Men der. Så vidt jeg forstår, så var
15:39
problemet der at. Du ligesom havde Sådan
15:43
attention? Per tids step.
15:47
Men jo længere væk fra, hvad skal man sige?
15:52
Det sted, hvor den gerne ville attente til og fra, jo længere
15:56
væk man kommer, jo mere blev den der attention mekanisme ligesom
15:59
vasket ud. Så ikke.
16:02
Jeg jo, men så havde du den var ligesom.
16:04
Det var ligesom svært at holde attention over længere.
16:07
Spans med recurrent oral netværk.
16:12
Ja. Så hvordan de lige har løst det
16:15
her, det det det, det ved jeg ikke virkelig ikke, altså det
16:18
det. Det synes jeg også det synes
16:20
jeg. Det synes Jeg er spændende, men
16:23
Jeg synes Det er også derfor jeg Sådan lidt skeptisk.
16:26
Man skal altid være lidt skeptisk over for det man ikke
16:28
Sådan helt 100% forstår. Men men men Det kan være Vi skal
16:33
prøve altså vi kan jo vi kan jo nærmest altid lige læse nogle
16:37
nogle resultater højt så og sige men men men en af de resultater
16:43
Der er noteret Det er det her med at at de de er Sådan 3 3,4
16:48
gange mindre gebyr memory tungen altså at Jeg tror de siger Sådan
16:54
et eller andet med at. Det at holde modellen i
16:57
hukommelsen. Det er Det er Sådan altså 93 97%
17:05
af alt kommer tidsforbruget og og så er det kun de der sidste
17:09
3% der bliver brugt til ligesom at at lave det her influence.
17:13
Og Det er ikke nødvendigvis. Sådan helt Sådan.
17:19
Det fungerer i transformers, Sådan som jeg forstår det, fordi
17:21
Der er på samme tid ret meget mange store matricer gemt inde i
17:27
den der gpu, som bliver kreeret og smidt ud igen og derfor så
17:30
vokser dens memory forbrug meget.
17:33
Mere Sådan som jeg forstår det og det.
17:38
Det kunne faktisk godt være noget, som som Sådan nogle der
17:40
skal drifte de her modeller, synes Jeg er ret fedt.
17:43
Helt sikkert helt sikkert. Så så, så Det er det første også
17:48
lige at tage med og hvis bare man hvis bare Det var det og man
17:52
så kunne beholde transformere performancen, så synes jeg da
17:55
også Det var virkelig ret ret vildt ikke?
17:59
Så vi kan tage det næste, altså throughput og latency da altid
18:05
lige med at finde ud af hvad er det lige hvad?
18:08
Hvad er hvad? Men altså lynsey.
18:11
Det er i hvert fald. Hvor lang tid skal du vente på,
18:14
der kommer noget tilbage? Fra din fra den der model, så
18:19
der kan man jo sige Det er noget brugerne typisk i af alle de
18:23
mærker med det samme, og der skulle det altså være meget
18:26
hurtigt. Jeg tror Det er 16 gange eller
18:28
Sådan et eller andet de de skriver ikke.
18:31
Så Det er Sådan rimelig impressive resultater.
18:36
Og så 8,4 gange højere tro på et som du kan læse igennem.
18:41
Ja så så for samme computer kan jeg få.
18:47
Mere igennem så så mange gange ikke det?
18:50
Det det Det er jo egentlig betyder.
18:55
Tror jeg. Men så spørger, så mit spørgsmål
18:59
er hvorfor, hvorfor? Hvorfor har de ikke bare open
19:01
source den her på på hockings faser?
19:04
Så er det det nye altså. Det er meget.
19:07
Svært. Jeg tænker heller ikke det
19:10
virker det. Det er også Sådan det virker
19:11
ikke som om at de Sådan de snakker heller ikke så meget om
19:14
Sådan selve performance af. Modellen.
19:19
Altså Sådan altså jo altså performance Sådan rent computer
19:22
inferens og træningsmæssigt, men de de har ikke Sådan nogle Sådan
19:26
semantiske. Nej altså de går Sådan lidt let
19:29
hen over og siger at alle de. Her har de faktisk.
19:33
Nå ja, fordi jeg hører det som at på alle de her.
19:37
Test som alle brugere derude, der scorer vi og så et eller
19:40
andet aggregerede tal ikke og og og der tror jeg bare det.
19:45
Man skal altså bide mærke i er nok at.
19:48
Det ligner stort set alt, at Det er lige så gode resultater på de
19:53
ting, som som som de andre ikke. Altså almindelig transformere
19:58
arkitektur. Og Det er jo nok det som ligesom
20:00
hvis bare vi kan beholde den samme performance, men få.
20:05
Hurtigere og. Og og bedre og Sådan en computer
20:08
ud af det, så så vi rigtig meget længere.
20:12
Men de de rapporterer faktisk på nogle forskellige datasæt, at
20:15
den har bedre performance end end transformer og så
20:19
transformer. Det er Sådan lidt.
20:21
Det er bare en transformer, Det kan være.
20:25
Jo. Så men men men Det er jo også
20:28
det der med at at altså Jeg tror man skal kigge på det der Sådan
20:31
gennemsnitligt set ikke når de siger den der trekant den er
20:34
løst for dem, ikke? Fordi Jeg tror også at man kan
20:37
finde papers der der løser de der der laver noget attention
20:42
approksimere ting som er meget hurtigere også, men som så måske
20:46
performer dårligere, når Det er at så er det.
20:49
Jeg tror det de der papers de viser ikke så er det typisk
20:51
noget med at når kontekst længden bliver et eller andet
20:54
alt for stor, så begynder den ikke rigtig at kunne, og så
20:57
derfor kan den kun bruges til tårs der ligesom har en
21:00
kontekst. Tænk på på et eller andet for en
21:02
eller anden, men så er den til gengæld også god og Sådan nogle
21:05
ting, ikke? Og og og det r.
21:09
Øh ja det det. Det er det Jeg tror Det er
21:12
rigtig svært at få dækket alle de der tests for ligesom at sige
21:14
okay den den er stadig på niveau eller på en eller anden måde
21:17
ikke? Der skete den der med den der
21:22
Sådan recurrent ting Der er kommet ind igen.
21:24
Der er virkelig det. De vil have det tilbage.
21:29
Nu er det Sådan hvordan hvordan gør vi det her?
21:32
Hvordan får vi løst det her problem?
21:33
Så kommer recurrence en god gammel levering model tilbage.
21:37
Ja det skal jeg ikke. Ja.
21:43
Yes. Hvad har vi mere vi kan sige om
21:50
om om det ikke det paper. Ikke så meget.
21:55
Nej. De skriver også at.
22:01
Jo, der de skriver, at den er også træner hurtigere.
22:05
Kan det virkelig passe? Jamen Jeg synes Jeg synes Det er
22:09
Sådan lidt. Jeg synes Det er Sådan lidt.
22:12
Heri Vi har bare fundet den her nye arkitektur.
22:14
Den kan bare det hele bedre. Du ved Sådan, Det er bare bedre
22:19
alt sammen. Men så lige om lidt, så jeg
22:21
starter på mig. Det virker bare Sådan nå men
22:24
hvor fanden så så kom du i gang altså eller Sådan.
22:29
Det det kunne godt det kunne. Ej Det er jo det kommer fra
22:32
Microsoft må stole lidt på det, men det kunne godt være det.
22:35
Det var ligesom det der det der paper med det der super
22:40
conductores der lige pludselig var Vi har løst den hellige gral
22:44
inden for engineering og nu er der super super conductores med
22:47
room temperature og Sådan noget. Gik amok på liggende.
22:50
Jeg ved ikke jo Det var det ikke dig der også.
22:52
Post stadig. Jeg tror stadig de er i gang med
22:54
det. Jeg tror ikke den er død.
22:55
Endnu, den er ikke død endnu. Nej, det tror jeg ikke.
22:59
Op til dem til dem, der måske ikke lige har set det nørdet r
23:03
hypet paper så var der nogle der på archive havde.
23:06
Havde der faktisk 2 parallelle papers nærmest med forskellige
23:11
others. Der er Sådan måske var lidt i
23:13
battle fået lagt noget op omkring, at nu havde de altså
23:17
fundet alle caney night som var et til materialet som er et
23:23
super leder ved ved. Ved rum til eller hvis du er
23:27
temperatur og og det Det er Sådan rimelig crazy fordi at det
23:32
betyder hvis Det er sandt så betyder det en masse ting ikke,
23:36
men så er det Sådan noget med at for noget af en superleder så
23:39
skal man lige leve op til alle mulige specielle ting og de de
23:43
beviser de ligesom lagde får. De var bare ikke gode nok, så
23:47
der var en masse der har efterprøvet jeg.
23:49
Jeg tror den er død junge altså ja det tror jeg.
23:53
Man hører ikke så meget om det mere i hvert fald.
23:55
Nej og altså jeg bliver efterprøvet ikke Det er Sådan
23:58
videnskab. Det er også det.
24:00
Det er jo også det Der er så meget information i øjeblikket
24:02
ikke? Altså Det er ligesom om at.
24:05
Folk er bare altså. De kan slet ikke få nok af
24:07
papers om. Teknologi og og om hvad hedder
24:12
det især Sådan lars language models?
24:13
Altså de Det er virkelig Sådan. Ja, Det er virkelig.
24:17
Det er virkelig svært at navigere i hvad Der er, hvad Der
24:21
er bullshit og hvad der ikke er, og hvad der ligesom er
24:23
signifikant og hvad der ikke er signifikant.
24:26
Det synes jeg også fordi man kan bare ikke sætte sig ned og sætte
24:30
sig ind i det hele så Sådan. Det kan man ikke, men man kan
24:36
godt lave en podcast og og snakke om et paper man ikke
24:39
forstår en dyt af. Nej så, men det her.
24:47
Jeg kan ikke lade være med at tænke på Sådan.
24:51
Lad os nu sige, at det bliver efterprøvet det her ikke.
24:54
Lad os da bare lad være med at tage sølvpapirshatten på og det
24:58
går rigtig godt og det her. Altså hvad?
25:02
Hvad kan ikke lade være med at tænke på incitamentet for.
25:06
For dem, der sidder med de her meget meget tungere modeller,
25:10
altså simpelthen at gå gå all in på det, hvis nu det viser sig at
25:15
det bare spiller er super godt det der Der er nok lige dér er
25:18
nok lige noget tid før det her netværk måske er Sådan helt
25:21
tunet ind og og og man har efterprøvet resultaterne at man
25:25
ikke Sådan shit der var en eller anden bøf i data eller Sådan et
25:28
eller andet som som lige du ved som er helt sikker på den er god
25:31
nok, for man selvfølgelig sætter det store.
25:34
I gang men, men jeg kunne godt forestille mig at at Det var en
25:39
god kandidat, altså jeg. Jeg tror lidt på det, selvom jeg
25:41
ikke forstår det der papir rigtigt.
25:43
Der er en masse fancy matematik i det.
25:46
Du må sige det det? Tror du de går, hvis hvis hvis
25:50
nu Det er passer tror du så at man Sådan siger ind i Microsoft?
25:55
Okay så skal vi bare have erstattet de der.
25:57
Modeller Vi har nu med med dem her, fordi de er bare mere
26:01
effektive, så vi sparer penge. Altså jeg kunne forestille mig
26:06
at dem der har skrevet det her paper de altså Der er sikkert
26:10
mange researcher i Microsoft research kunne jeg forestille
26:13
mig ikke. Der er sikkert mange om buddet
26:15
til at få. Hæder og ære for at opfinde det
26:20
ene og det andet og så videre og få allokeret ressourcer og Sådan
26:23
nogle ting. Så så jeg forestiller mig at.
26:28
Det, det kræver noget. Det kræver noget ihærdighed og
26:32
og få sine ting frem. Og ligesom få overbevist folk
26:35
om. Nu kan jeg bare høre hvor altså
26:36
hvor skeptisk Vi er ikke eller jeg i hvert fald er, men det
26:41
tror jeg også, Der er rigtig mange andre Der er nu, og især
26:44
fordi nu er hele verden blevet så glad, fordi transformer de
26:49
performer pisse godt, og de kan nogle magiske ting og så videre
26:52
og det ved vi sgu hvad er, og hvis noget så afviger lidt for
26:58
meget for den gode gamle transformer arkitektur som vi jo
27:01
alle sammen. Er blevet så glade og
27:04
bekvemmelige ved, at Vi har lært at kende.
27:07
Så gider vi sgu ikke rigtig at beskæftige os med det, så jeg
27:10
tænker, at hvis man gerne. Ved have Sådan noget der?
27:17
Til at. Hvad skal man sige, hvis man
27:20
gerne vil overbevise folk om at at Sådan noget der virker?
27:23
Så skal man så skal man så skal man nok show.
27:27
Don't tell it altså så skal de vise at Jeg har en chatbot for
27:32
eksempel kørende. Og at de bare bruger du ved
27:36
halvt så mange penge eller 1/10 af eller whatever mængde af at
27:40
de omkostninger som som andre der har de rigtige eller Sådan
27:44
de gode gamle PT. Arkitektur kørende, ikke?
27:49
Ja Vi skal se noget noget fintuning, og Vi skal se noget,
27:52
vi en forskellig Michael b feedback ovenpå alle Sådan nogle
27:56
ting der og og når vi så har produktet og vi ja og vi ser at
28:01
nu er de lige så langt som op til 4, så så gider vi gøre det.
28:05
Men Jeg tror i virkeligheden, Det var i virkeligheden også
28:07
vildt nok, fordi Jeg tror. Jeg tror ikke at.
28:12
Jeg tror ikke, at verden havde været så.
28:16
På røven over alt det her AI. Hvis hvis lad os nu bare sige at
28:21
open r de havde taget den model der ligger bag chapati havde
28:25
bare åbnet open source den. Så har de bare lagt den ud sagt
28:29
det her for vildt. Jeg har ret overbevist om, at
28:33
der ikke vil være nogen, der vil være særlig Sådan nå okay, endnu
28:36
en kæmpe stor open source model, som som ingen af os alligevel
28:40
kan køre cross. Altså så på en eller anden måde
28:44
synes jeg Det er noget jeg Sådan beundrer åbning for de har
28:47
virkelig forstået den her show it dont tell it altså.
28:51
Det er lige så meget, det handler lige så meget om at.
28:55
Vise det til folk og vise folk magien når man skal overbevise
28:58
dem om Sådan nogle ting her, ikke?
29:01
Jamen Det er rigtigt altså så så der skal nok komme et et hvad
29:06
kan man sige API hvor der står Sådan en lidt language model
29:09
baseret på det her som som folk kan kan bruge og.
29:14
Ja altså åbner i heje. Der havde vi jo da vinci som
29:18
modellen, som vi brugte i øvrigt jo inde på ekstra Bladet en del
29:22
tid før for chat kapitel kom ikke, og Det var jo altså Det
29:27
var jo g 3 baseret model og fungerede udmærket til mange
29:32
ting og og og der må man også bare sige at.
29:36
At det der chat interface der Det var altså også i sig selv
29:39
det at appen at chatte med den her lars langholz model.
29:44
De gjorde altså noget ikke altså det det det det Det var måske
29:48
nok 75% af scenen ikke? Jeg tror også du kender det
29:52
sikkert også selv, og Der er sikkert mange andre udviklere,
29:54
især os der kender det man kan sidde og lave et eller andet som
29:56
man bare synes er mega fedt. Og så siger du til nogen og sige
29:59
nå det, Det er da meget sjovt og Sådan noget og så laver man en
30:03
eller anden fed demo hvor at folk kan trykke og se og Sådan
30:06
noget og så bliver folk Sådan. Nej hvor fedt og Sådan altså så
30:10
så forstår de det ikke, så jeg virkelig det handler meget om
30:12
det der med at formidle de her ting.
30:15
Dansk digt Det var det alle pumpede den der med til at
30:19
starte med Det var digt. Kan skrive et digt om hvad som
30:22
helst og enhjørninger og om alt muligt altså.
30:26
Men så hvad hedder det en anden ting som jeg også tror Der er
30:29
ved det? Det er at Vi er jo efterhånden
30:31
kommet dertil med transformere og så videre transformer
30:36
arkitekturen at. Verdenen buldrer den vej, og Det
30:40
er jo lige før at man er begyndt.
30:42
Altså Det er jo lige før man er der, hvor man begynder at
30:45
designe hardware, så det virker til at transformere meget.
30:49
Du ved og jeg ved Der er så mange ting og sager der knæ hvor
30:53
alt muligt der bliver brugt. For at få lavet transformer
30:57
hurtigt, ikke? Og der kan man sige så
30:59
spørgsmålet er, selv om de viser de der forbedringer.
31:05
Så er spørgsmålet, om det faktisk er hamle op med alle de
31:08
her effektiviseringer, der der eksisterer med quantification og
31:15
alle mulige flash attention og hardware.
31:19
Der er alle mulige forskellige ting til transformer.
31:22
Arkitekturen altså. Det det.
31:26
Det kunne jeg også godt stille spørgsmålstegn ved Sådan så at
31:29
så kan det godt være at den er hurtigere.
31:31
Og hvis. Det Det er ligesom havde været
31:34
den model der havde fået alt det her op.
31:38
Optimering optimerings love som transformeren har fået, så vil
31:41
den være det hurtigere ikke, men fordi at Der er så mange, der
31:44
arbejder på at få transforme arkitekturen til at køre spitze
31:48
og bare køre på i jeg hørte der var nogen der havde fået lama 2
31:51
den største lama 2 til at køre i browseren altså til altså du ved
31:56
folk de selv altså de. Tons har bare derud af.
32:02
Og Det er rigtigt, og Det er jo Det er jo.
32:03
Det er jo en ting som Det er jo det Der er masser af andre ting,
32:07
at man kan skrue på, for man behøver ligesom at lave hele sin
32:10
arkitektur om for for modellen. Men men men man kan jo ikke.
32:15
Altså man kan sige alle de benefits som quantification og
32:19
alle de her specialiserede chips.
32:24
Alt, det vil jo også være en benefit for den her red net, så
32:28
Det er jo ikke Sådan at de går tabt, tænker jeg så der vil man
32:32
jo bare få. På på hvad kan man sige under
32:36
samme vilkår for for for for tips, instruktion, sets og
32:43
chips, og hvad der ellers er derude.
32:46
Så ville den stadig være så så meget hurtigere som som paperet
32:49
skulle altså. Viser ikke altså det det skulle
32:52
det jo Sådan teoretisk set foregå ikke så jeg tænker at at
32:57
det der med at prøve at kigge på at løse problemet med med med
33:01
med attention, tids kompleksiteten og og at man sige
33:05
i forhold til data og Sådan nogle ting der Der er noget i
33:07
det ikke altså så. Ja jeg ved det ikke det jeg Jeg
33:13
er måske mere optimistisk i dag, unge.
33:17
En en. Så men hvad hedder det?
33:21
En anden ting, som som i øvrigt også er en kæmpe trend, som Jeg
33:25
synes jeg ser i forhold til Sådan noget med at få ting til
33:28
at gå hurtigere og udvikle algoritmer som som som for de
33:33
her ting til at køre hurtigere. Det er at og det snakkede vi
33:36
også lidt om det, vi snakkede om det der hed mojoo det det nye
33:40
nye som sprog, som ikke er kommet ud, som er Sådan super
33:42
sæt og python. Dem, der udvikler algoritmerne
33:46
og modeller arkitekturen. Er ikke de samme som udvikler
33:51
compilere og altså ved hardwaren og systemerne og så videre.
33:56
Det er 2 meget forskellige folk der gør det og de snakker meget
34:01
sjældent sammen. Det er 2 meget forskellige Sådan
34:03
fagligheder. Det er 2 meget forskellige
34:04
kulturer og så videre og så videre.
34:07
Det man har set her senest med noget Der er blevet udviklet.
34:13
Som hedder flash attention en en algoritme som eller 1 1 1 1
34:17
trick som gør at man kan få attention til at gå meget
34:19
hurtigere, og som blandt andet mange af de her de her nye
34:21
lameller og brugere til at få hurtigere inference.
34:25
Det er udviklet af af, at algoritme folk er gået sammen
34:28
med systemet folk, og ligesom har snakket sammen, fordi det
34:32
der ofte sker over i algoritme campen.
34:34
Det er at nogle forskere med hvad hedder det med deres high
34:40
level algoritmer og som er meget meget.
34:43
Abstraheret væk fra det, der sker nede på hardwaren.
34:46
De har en eller anden. De optimerer hen mod at få det
34:50
allermindste antal flops og så videre eller et eller andet der
34:53
virker i den teoretiske verden. Men det Der er realiteten Det
34:56
er, at når man kommer ned på hardware niveau, og når man
34:59
kommer ned der hvor Det er compileren, Det er der, hvor
35:02
det, hvordan bliver der læst og for memory og Sådan nogle ting
35:05
alle de der mærker de level ting når man kommer derned, så er det
35:08
ikke. Ikke altid, at Det er det samme,
35:11
der betyder noget, så det at du har viden for, hvordan det rent
35:16
faktisk foregår. Low level.
35:19
Mens du design og og har viden om hvordan du designer
35:22
algoritmerne. Det kan gøre at du kan.
35:25
Du kan gøre nogle ting du kan. Du kan tænke i nogle baner som
35:28
som der ikke er særlig mange der har tænkt i for og det synes jeg
35:32
i hvert fald er en kæmpe stor trend, der vi på en eller anden
35:36
måde ser. Så.
35:41
Og der kunne jeg godt. Jeg kunne godt mistænke dem her.
35:45
For at sidde lidt for meget over i algoritme.
35:48
Algoritme campen. Derfor faktisk en tur i
35:52
algoritme lejren der jamen det, Det er okay point taken Jeg kan
35:57
Jeg kan sagtens følge det der du siger der og og Jeg tror også
36:01
Det er det, Der er så tiltalende ved ved ved det som du siger.
36:05
Det er med dem der har set det der med med det der
36:08
programmeringssprog, hvor joe ikke at tænk nu hvis man kunne
36:11
få de her 2 lejre til at være II det samme i det samme
36:17
programmeringssprog, ikke? At være det.
36:20
Som programmeringssprog. Så ville pludselig snakke meget
36:22
med det sammen, og så kunne der ske noget magi, så eleverne på
36:27
på verdensplan bliver brudt ned. Det er jo ligesom i Sådan en
36:31
stor virksomhed, ikke hvor at marketing aldrig snakker med
36:34
salg eller Sådan et eller andet og så videre så eller whatever
36:37
et eller andet ikke, men også Sådan.
36:41
Altså det der med at de sammenligner regnet med en
36:44
transformer. Du ved.
36:46
Et transformer. Hvad er en transformer ikke?
36:50
Og hvilken version er det altså? Det kan være de bare har taget
36:54
den helt vanilla transformer ned fra fra fra pistols hylden, men
36:59
fra høringsfase så er ligesom optimeret hen mod den, og de har
37:03
i øvrigt er plejet. Ingen kontakt sagen, ingen noget
37:06
som helst og så videre og så videre.
37:08
Ingen af alle de der tonsvis af tricks der findes til at få dem
37:11
til at gå hurtigere. Og så har de fået de resultater.
37:14
Ikke hvor hvis de havde. Hvis de har optimeret the fuck
37:20
out of it med alt det de open source tools der findes til
37:22
transformere. Så havde det måske været et
37:25
andet billede. Jeg tænker, Det er også det der
37:28
med research, hvis man er interesseret i at få et bestemt
37:30
resultat frem. Så glemmer man måske lige at
37:33
sætte floating points 16 hvad hedder det expression på på?
37:38
Hvad hedder det på træning når man træner eller Sådan?
37:41
Ja. Ja det vil så sige at når man
37:44
laver Sådan et eksperiment der sammenligner resultater, så skal
37:47
man selvfølgelig huske, at kun at variere det som man gerne.
37:50
Vil måle på. Og Det er en, Det er en en stor
37:54
kæphest også for mig II data science feltet Det er tit.
37:59
De der indløb eksperimenter, så hvis i som dybest set ikke lever
38:03
op til nogen former for videnskabelige eksperiment
38:05
standard ej, så er det først. De er ikke kontrollerede nok til
38:10
at de der resultater kan bruges Sådan, så man kan se, at den
38:15
kausale effekt altså ændring i den her model og arkitektur vil
38:19
i den her model arkitektur har den og den betydning på det og
38:23
det og det outcome, Det er jeg fuldstændig enig i, så der kan
38:26
jeg sagtens ligge noget af det her paper her, der får os til at
38:29
være lidt blinde og får de der data til at se skønne ud.
38:33
Så okay Jeg er ovre pisse mist camp igen.
38:36
Men der kan også, men der kan også bare være det her med at jo
38:40
i har trænet noget der virker. Bedre Sådan i jeres test på
38:45
transformer og Sådan noget, men. Selve det i har trænet på er
38:49
bare ikke kompatibelt. Med al den.
38:53
Hele alt det kæmpestort stykke optimerings arbejde, som ligger
38:57
derude i forvejen, så Det kan også være Sådan en.
39:00
Ja altså, Det er ikke bare det simpelthen bare ikke kompatibelt
39:03
og øh, hvorfor skulle man satse? Alt på det her altså så skal man
39:09
jo ud over altså words on the Street ikke?
39:12
Altså transformeren den er derude allerede og folk arbejder
39:15
på den og så videre. Ikke Der er virkelig Sådan.
39:18
Der Der er nok lidt ensretning i forskningen i øjeblikket ikke så
39:22
Jeg tror, Det er svært at få hele den der open source force
39:26
til ligesom at sige nå, der var lige reddet herovre, så kører vi
39:28
bare videre på den. Ikke altså Sådan.
39:32
Der er en høj entry, kost nu på at at komme ind der simpelthen
39:37
og og slå toget igen. Helt sikkert.
39:42
Ja, der var ikke nogen konge for transformeren, og nu er det
39:45
rigtig svært at få slået kongen ned.
39:46
Ikke så Det var nemmere at komme ind og blive konge, da der ikke
39:51
var nogen. Så ja interessant.
39:56
Jeg synes det det det det det ja Jeg kan godt forstå det du siger
40:00
det der det Jeg er faktisk enig, så jeg ville nok heller ikke
40:04
hvis Det var mig der sad derude og tænkte jeg skal bare ud og
40:06
implementere den der red net. Lad os lige vente og se.
40:10
Måske gerne et år eller 2 hvis den bliver mere og mere
40:12
adopteret, og Der er flere der finder use cases.
40:15
Jamen så kan det være Vi skal snakke igen om det.
40:18
Det kunne det være. Det kan være Vi skal lige.
40:20
Jeg tror Vi skal have den eller Kenneth Enevoldsen eller et
40:23
eller andet på. Ja.
40:25
Kald. Ordentligt for os.
40:28
Ja de er altså de er altså nogle hajer til Sådan noget her.
40:31
Det er helt sikkert. Den er Kenneth i en podcast kan
40:35
man? Det, det tror jeg sagtens man
40:37
kan. Det tror jeg sagtens man kan.
40:40
Yes, men skal vi til at runde af måske?
40:45
Det synes jeg. Ja.
40:47
Og så altså lad os da håbe at retentionen net.
40:53
Bliver det ny? Det.
40:56
Det synes jeg. Helt klart Vi skal.
41:00
Men jeg tænker, at det bliver svært at bryde igennem.
41:04
Muren transformer muren lige nu den er den er altså på vej
41:07
fremad det. Det vil jeg vove at påstå.
41:10
Det må man sige. Så yes jamen som altid 1000 tak
41:16
fordi i lyttede med det blev et nørdet afsnit her.
41:19
Det blev også et et afsnit hvor at.
41:22
Det er faktisk blev så nørdet at jeres gode gamle Kasper og Jonas
41:26
måtte smide håndklædet i ringen. Og ligesom sige, okay.
41:30
Der er meget matematik i det her paper.
41:32
Det er meget komplekst, men men men Jeg synes stadig Det er en
41:35
utrolig spændende diskussion det her med.
41:39
Transformeren er ikke det perfekte.
41:42
Vi bliver nok nødt til at finde på noget nyt med tiden. 1000 tak
41:46
fordi i lyttede med i kan finde os inde på LinkedIn og i kan
41:50
finde os i må meget gerne subscribe på Spotify og på Apple
41:53
podcast og youtube og fordi det hjælper os med at ja så er der
41:57
Sådan nogen der lytter til det det her vi laver og Det er Det
42:00
er vi rigtig glade for det. Jeg synes Det er meget
42:02
motiverende det der med at man ikke bare sidder og snakker ud i
42:04
ingenting, men selvfølgelig Det er også hyggeligt at sidde og og
42:08
snakke og nørde bare alene, men vi håber selvfølgelig at Der er
42:12
nogle andre derude der kan få glæde af det.
42:14
Men indtil det indtil næste uge, hvor vi kommer igen, så må vi så
42:18
må i have det rigtig godt. Hej hej alle sammen.
42:20
Hey. Sådan.