Latest / Verbos: AI og Softwareudvikling / #47 - Ny Åben SOTA LLM, Jamba, SSH backdoor, Redis Drama, Slet LLM Lag og Behold Performance

Transcript

#47 - Ny Åben SOTA LLM, Jamba, SSH backdoor, Redis Drama, Slet LLM Lag og Behold Performance · Verbos: AI og Softwareudvikling

0:00
Halløj alle sammen og velkommen til at være os podcast afsnit
0:03
nummer 47 i denne her uge. Vi er kommet tilbage på påske.
0:08
Velkommen tilbage Jonas. Tak.
0:11
Er du i var det en? Var det en en fed påske?
0:14
Det var hans super påske. Sådan mega fedt.
0:16
Jeg havde også Sådan helt vildt påske og vi holdt jo påskeferie,
0:19
men Vi er stærkt tilbage nu her med med nogle AR news som Vi
0:23
skal snakke om i dag eller ã r software news.
0:26
Vi skal både snakke om drømme modeller, men Vi skal også
0:29
snakke om software, open source, software nyheder og ikke mindst
0:36
skal vi snakke om en meget Sådan.
0:38
Meget vild backdoor som til et meget brugt linux bibliotek, som
0:44
blev udgivet her, som var tæt på at blive udgivet, men blev
0:48
opfanget af en Microsoft udvikler, men det ville have
0:51
helt katastrofalt, hvis det kom ud.
0:52
Så det skal vi snakke om. De skal snakke om DRBX, som er
0:57
en ny last language model fra databricks, men fra det som før
1:02
var hvad fanden var det de hed mosaik ml tror jeg det hedder de
1:06
blev så opkøbt af databricks og nu er de ligesom.
1:09
Træner ny eller dem som de udgiver som vist nok er den
1:12
bedste LM derude. Så skal vi snakke om en ny model
1:18
arkitektur som hedder jamba, som er udkommet af de her lab, der
1:21
hedder DR 21 laps israelske LM firma som er interessant fordi
1:27
Det er den 1 Sådan kalder de det selv production great hvad?
1:31
Kan man sige stats space baserede kina baseret eller lim.
1:38
Ellers livsmodel, som er ude og og til sidst skal vi snakke om
1:42
at reddes. Det får en ny licens.
1:47
Fordi Det er noget med årevis går hen til ikke at være open
1:51
source, men kommer på Sådan en betalt licens og eller ikke en
1:54
ikke. Det Det er noget.
1:56
Som alle hedder det tror jeg, men ikke open source men Det er
2:01
ret. Vigtigt Det er lige præcis Det
2:03
er rigtig vigtigt. Så ja, hvor skal vi starte
2:06
henne, Jonas? Jeg har ikke.
2:08
Jeg har ikke super mange følelser for en eller anden
2:10
bestemt rækkefølge, så vi kan. Vi med det sidste.
2:15
OK. Hvad hedder det?
2:17
Kan du ikke give os en flyvning til hvad i alverden der foregår
2:20
II rådets land og så stiller jeg dette spørgsmål.
2:24
Jeg tror at generelt skal vi spørge, hvad er det, der foregår
2:27
i open source land, fordi efterhånden så begynder der at
2:30
være Sådan flere der går over til de her licenser, som har
2:34
umiddelbart til formål at ligesom spænde ben for store
2:37
tech giganter. Cloud providers og den slags
2:40
ikke som som prøver ligesom at tage noget noget open source
2:45
software fordi det må de fordi Det er open source.
2:48
Og Sådan rigtig Struer det også under det navn, som det ligesom
2:55
som de ligesom har fået. Og det der så også formentlig er
3:03
sket med for reddes. Det er de tjener nok ikke dem
3:06
der hedder reddes i dag. De tjener ikke nok penge på på
3:09
deres egen cloud løsning, så nu skal den ellers have en over
3:12
nallerne og så ændrer de det her licens her.
3:16
Så så det. Det er Sådan.
3:19
Basically det. Men Vi har jo snakket case det
3:22
der med open source jo at hvad er det?
3:24
Hvad er det definition definitionen af open source er
3:27
og og Det er der jo netop en officiel.
3:32
Ja jeg tænker det. Det er Sådan en forening der
3:34
ligesom er med til at definere hvad open source er.
3:39
Siger selv, at når de går over til den her nye licens, de selv
3:42
har forfattet som er en eller anden reach source af vallebo
3:45
verizons, så siger de, at de ved godt, at det ikke er open source
3:49
mere nu så rettes er ikke mere open source, for det betyder jo
3:53
ikke at man ikke må bruge det. Det betyder faktisk bare, at
3:56
hvis du er en stor techgigant, så må du ikke ligesom
3:58
redistribuere det her som en service og sælge det.
4:01
Du må ikke sælge Sådan manage rates for eksempel.
4:05
Lidt ligesom når lama de ved meta de siger Sådan at
4:09
virksomheden er over 700 millioner.
4:11
Brugere må ikke bruge lama, så er det også Sådan.
4:14
Så er det ligesom en kæp i hjulet for store giganter altså
4:17
gigant spillere for at udnytte deres teknologi.
4:20
Kan man sige Jeg tror der står noget i licensen med at at du må
4:23
ikke Sådan. Du må ikke rigtig distribuere
4:26
til tredjepart softwarens. Så det.
4:31
Hvad kan man sige? Så er det ligesom er reddes.
4:34
Du må godt bruge det stadigvæk i en sammenhæng hvor at lad os
4:39
sige du laver en applikation som som så er en service du sælger
4:42
til andre. Men men servicen du sælger har
4:45
ikke som Sådan noget med reddes at gøre, men den kan godt være
4:48
bygget ovenpå redis ikke så ligger måske nede bagved og
4:52
ligesom er motoren bag nogle af de der ting der, men selve
4:55
interfacet og Sådan nogle ting. Det er ikke Sådan en, du kan
4:58
ikke tage en redelig clint og forbinde til den og så virker
5:01
det. Og det må man, det må man ikke
5:04
mere. Må ikke Sådan.
5:05
Jeg må ikke starte en en hulens masse servere, lave en
5:08
hjemmeside hvor nogen kan sige Jeg vil gerne have et reddes
5:10
instance og så bare køre det, og så kan de connecte med deres
5:13
gode gamle pythons line det må man ikke mere.
5:16
Okay så det der sker Det er reddes er et open source et
5:21
stykke open source software som er har indtil nu har været under
5:25
apache 2 point 2 licensen den her du ved mest åbne Sådan mest
5:30
du ved gør whatever jo freaking one with.
5:32
Licens. Det der så er med det.
5:35
Det er at reddes er ikke de Der er også ligesom en reps reddes
5:39
virksomhed bag det her som udvikler og maintainer reddes og
5:43
de har så efter sigende et produkt der hedder red cloud.
5:47
Så er man ligesom til de tjener ikke penge på at sælge redis
5:50
software. De sælger de tjener penge på
5:53
ligesom at tage reddes og så høste det på deres platform og
5:57
så måske gør det på en eller anden optimeret god måde er det.
6:01
Ja så Der er en god youtuber derude.
6:04
Jeg kan ikke huske jeg må se om vi kan prøve at linke til det
6:06
som Jeg har. Fået noget noget
6:08
baggrundshistorie fra, men Det er oprindeligt en italiener, som
6:11
jo har udviklet relish i forbindelse med at han manglede
6:15
noget software der ligesom putte her.
6:17
Jeg kan ikke huske præcis hvad Det var han han skulle bruge det
6:19
til. Men anyways, så gik han i gang
6:21
med det, og det blev så open source.
6:23
Salvator sand fra lipo, salvator san filippo, virgil developer
6:29
of. Race lige præcis og og han blev
6:33
først. Udgivet først udgivet februar
6:36
den 26. Februar 2009.
6:38
Ja og og han det kørte jo ligesom derudad.
6:42
Og så opstod der ligesom et community omkring reddes som
6:47
kaldte sig selv for redis labs for at man ligesom også
6:49
arbejdede med det. De har lavet nogle Sådan moduler
6:52
og community lavet forskellige addons og ting og sager til til
6:55
reddes ikke og mange udviklerne kom ligesom igennem det, og det
6:59
blev Sådan mere og mere til 1 1 reel virksomhed det her hvor
7:02
mange af af redis udviklerne de de kredser omkring.
7:08
Og og de hed så redis labs fordi de måtte jo ikke Sådan Sådan hed
7:12
reddes. Men Det er jo så det der i dag
7:15
hedder redis Det er ligesom redis labs den her virksomhed
7:20
ikke og det Det er Sådan lidt 1 1 1 sjov ting fordi det på en
7:24
eller anden måde så har den her virksomhed jo formået ligesom at
7:27
hijacke reddes source produktet og og ligesom gøre sig selv til
7:33
en virksomhed inde i det der ikke og Det har de over flere
7:37
omgange og ham der. Salvatore han han arbejder der
7:42
ikke mere, men det gjorde han så på et tidspunkt, så da han
7:45
ligesom forlod det her, så så sagde han ligesom.
7:48
Men jeg forlader det her i trusted hands og tager du ved
7:52
reddit community court videre og Sådan nogle ting.
7:54
Det har så bare vist sig at være total young.
7:58
Fordi de har skiftet ceo og Sådan nogle ting og den her seo
8:02
fatter ikke en dyt af software. Siges det han.
8:04
Han kommer ikke fra software verden overhovedet.
8:06
Han er bare interesseret II hvad hedder det at?
8:11
At, der skal komme noget afkast, og Der er også nogle investorer
8:14
blandet ind i det, som ikke har været før, og de har nogle
8:17
interesser, og Det er de her investorer de her interesser som
8:20
samlet koblet på det og ligesom gør at den her licens her den
8:24
den. Det skal ligesom være penge
8:26
motoren kan man sige ikke, og Det er Sådan helt klassisk.
8:29
Det sker efterhånden for flere og flere af de her virksomheder.
8:33
Eller de her open source projekter, der bliver til
8:35
virksomheder, som bliver til closed source ikke ikke Det er
8:39
closed source available, men men Sådan med begrænset licens og
8:44
Der er jo rart med skrig II cloud tider omkring det der
8:49
fordi at altså du ved det det det siges jo så at på det
8:55
tidspunkt hvor du får en ny licens.
8:57
Så må du, så må du ikke bruge. Version af de altså.
9:03
Det er versionerne efterfølgende, som selvfølgelig
9:05
den her licens træder i kraft. Du kan ikke.
9:07
Du kan ikke lave en bagudrettet og sige du så ikke må bruge det
9:10
men men Det er ikke så simpelt det der vel fordi det der så
9:14
bare er med det Det er at. At alt den kode, Der er
9:17
produceret op til det ikke. Den bliver så ligesom inkluderet
9:22
i den her nye licens på en eller anden måde, men teknisk set.
9:25
Så Det er jo ikke noget Der er afprøvet ved en domstol.
9:29
Der er ikke ligesom været nogen jurister og dommere endnu at
9:32
sige hvad er op og ned i det her.
9:33
Men i princippet er der udviklet, at der begynder at gå
9:36
ind og sige hov Jeg har skrevet. Jeg kan se Jeg har skrevet det
9:38
her commit her i den her kode. Det her er altså open source, så
9:42
Det kan jeg ikke være under den her licens, som du har smidt ind
9:46
på hele posthistorie. Det er jo under et andet licens,
9:50
så du kan ikke deklarere det med det nye jeres nye licens.
9:54
Så står der inde i koden alle de der steder, hvor de der stumper
9:58
der de er. Og forresten det her er under et
10:00
andet licens, så Det er jo kun den nye kode der bliver
10:04
produceret af de her folk Der er i reach nu oven på det nuværende
10:08
reddes, som i princippet har den nye licens, men Det kan jo
10:12
aldrig nogensinde køre uden det gamle.
10:14
Men de må jo selvfølgelig gerne bruge det.
10:17
Ikke, men kan i se hvad Det er der sker ikke Det er de hijacker
10:20
jo ligesom open source repository endnu og ligesom
10:24
ændre licens på det ikke også. Så nu er det jo at folk begynder
10:27
med det her folketing at man og så kalder man det alle mulige
10:30
andre ting og Sådan nogle ting. Jeg vil vove at påstå at de kan
10:34
bare lave et nyt repository der hedder redis.
10:37
Fordi at de kan jo ikke. De kan jo ikke tage patent på på
10:40
ordet, altså på redes som Sådan. Altså hvorfor skulle de gøre
10:44
det? Reddes er jo.
10:46
Du ved Det er jo Det er jo Det var det det hed det.
10:48
Det var open source. Kan de også bare stjæle det
10:51
tænker man så? Nå men anyways, Det er i hvert
10:55
fald. Ja Det er lidt spændende.
10:59
Hvis man så hvis man så lige stiller det ultimative dumme
11:02
spørgsmål, hvad er redis? Sådan.
11:05
Helt hvad Det er jo 1 1 1 keya value database.
11:12
Og bliver ofte brugt som en cash, men den er meget mere i
11:15
dag, især gennem de her moduler, som er er født og opvokset II
11:20
det der hedder reddes last. Som som er blevet til.
11:26
Det som radisch kalder for redis Stack altså.
11:29
Det er simpelthen forskellige typer af udvidelser på ovenpå
11:33
reddes som er meget handy og super super godt stykke
11:37
software. Slet ikke det, men ja og det vil
11:40
så det skal så lige siges at de her reddes lab ting som er
11:43
blevet contributed ind gennem den her virksomhed.
11:48
De har altid været i det som hedder en en solcelle på licens,
11:52
så Det har aldrig været fuldt open source.
11:55
Så bare lige Sådan en disclaimer Der er noget der hedder rico og
11:58
Sådan nogle ting, så Det er selvfølgelig ret kompliceret når
12:00
man går ned i det. Men men.
12:02
Ja. Okay og så bare lige for at være
12:05
med helt med og så mange af de her open source libraries.
12:08
De oplever at at så er der måske nogle af de her open source
12:12
virksomheder eller nogle virksomheder, som begynder
12:15
ligesom at leve af at sælge manage versioner af reddit for
12:20
eksempel eller en eller anden service.
12:23
Og Der er man også begyndt at se, at de her store AVS for
12:27
eksempel eller Google cloud eller whatever de er begyndt at
12:30
gøre det samme altså så tager evt.
12:32
Ligesom siger okay fint nok nu laver vi bare en manage version
12:37
af redis. Og så sælger vi den til Vores
12:39
druer, og så er det jo i konkurrence med redis ja reddes
12:44
cloud eller hvad de kalder sig, og det vil de ikke have.
12:46
Og er det ikke rigtigt forstået, at Det er derfor de Det er
12:49
derfor de skifter licens nu? Altså man kan jo sige Jeg tror
12:53
motivet er hovedsageligt det. Og hvad kan man sige de skal
12:58
tjene penge på at folk køber deres cloud løsning?
13:02
Så og Det er jo Det er jo klart at at de her store tech.
13:06
Folk til tænke virksomheder og cloud providers de.
13:10
De har jo mulighed for ligesom at.
13:12
At bare bare tag tag det og anvende det fordi Det er open
13:16
source apache 2. Så så Det kan de ikke gøre noget
13:21
ved, kan man sige så rebrander de det som elastik case, for
13:25
eksempel i Amazon verden ikke, men men men men det her.
13:30
Cash. Som vi ser det kender det i dag
13:34
hos Amazon er formentlig relativt dødt mindre at at at
13:39
Amazon lige pludselig får en hel masse redirects udviklere over
13:44
på deres side på en eller anden politisk måde, at de ikke
13:48
arbejder for british Airways laps.
13:51
Det tvivler jeg på vil ske, men man kan sige, der skal jo være
13:55
noget. Nogle korte developere,
13:56
contributions et eller andet sted fra nu ved jeg godt, at Det
14:00
er jo ligesom linux der har tusinder af udviklere der altså
14:04
alligevel en 6 700 contributes til reddit.
14:09
Det her er ikke småpenge, når man ser på udvikler timer og.
14:14
Og hvad der skal til? Nej okay så Det er noget værre
14:20
noget i open source land de er. Det er ikke til at finde ud af
14:24
hvad. Ja hvad fanden hvad der hvad Der
14:28
er okay, hvad der ikke er okay og.
14:30
Hvad Der er økonomisk interesse og hvad Der er du ved open
14:34
source, og det virker som om det.
14:37
Der er lidt røre i andedammen på den front der.
14:40
Yes hvad hedder det? Jeg tænker Vi skal gå videre og
14:42
snakke om DBRX. Den nye model fra databricks
14:48
aqua mosaik ML. Er du klar på Jonas?
14:51
Yes. Super ligetil hvad skal man sige
14:55
baggrundshistorien? Så hører det nok at.
14:58
Hvad skal man sige at at hvad hedder det der var en virksomhed
15:03
som hed mosaik ML, som ligesom specialiserede sig i at lave
15:08
optimere. Ja software til at lave
15:11
hurtigere finch eller tuning og præ træning af language models.
15:15
De blev opkøbt af de har lavet nogle open source releases for
15:19
blandt andet den model der hedder MPMPT 7 b Sådan seven
15:25
within parameter model, men jeg mener også de har lavet en der
15:29
var større, men Jeg kan faktisk ikke huske enjoys de blev så
15:32
opkøbt af den den den store virksomhed som hedder databricks
15:35
og altså ligesom under dem nu her og de har databricks har så
15:40
et ligesom. Absorberede dem ved at kalde dem
15:44
for the altså Det er ligesom en underafdeling af databricks som
15:46
hedder the mosaic research team og de har ja Sådan er det og de
15:53
har. De har jo lige udgivet her, for
15:56
ikke så lang tid siden har de udgivet en ny large language
15:59
model som er fake. Så vidt Jeg kan se den nye Sådan
16:04
state of the art i forhold til åbne lars language models.
16:08
Det er 1 1 1 hvad hedder det? En moppedreng på 132 milliarder
16:13
parametre og Det er Sådan Det er Sådan en mixture of experts
16:17
model som vi alle jo udgiver for tiden, hvor at 38 milliarder
16:22
parametre ligesom er hvad skal man sige aktive ad gangen og den
16:27
er blevet trænet på 12. Trillen tokens vand trillen, det
16:34
må være. Billiarder på dansk, ikke
16:38
ordentlig mange tokens, og så har den et kontekst vindue på
16:41
32.000. Finde ud af at oversætte det
16:43
der. Nej Det er.
16:45
Mange tokens. Milliard milliard ikke.
16:50
Ja lige præcis, og den er den er udgivet i en i en i en base
16:55
version altså Sådan en printet version og så en en struct
16:58
version og den er jo kan man sige.
17:03
Det er jo ikke forfærdeligt lang side tid siden at.
17:08
Den her rock model. Blev udgivet fra XAI, som jo
17:15
ligesom er. Elon musks research lab den blev
17:19
så udgivet. Det var også Sådan en stor
17:21
mischief experts model med jeg var det Sådan noget 314 319
17:24
milliarder parametre, altså dobbelt så stor som den her.
17:31
Problemet med den er bare at den er kun træner.
17:34
Den er ikke instruktion showet, hvilket er Sådan lidt 1 1 1
17:38
bommer synes jeg og det tror jeg mange synes og Det er også
17:42
derfor at den her DBRX model ligesom outperformer den på
17:45
trods af ligesom at være nærmest halvt så stor, så Det er jo
17:50
Sådan rimelig rimelig fedt. Og i virkeligheden så synes jeg,
17:55
at Det er lidt, vi begynder at se, at der der har været meget
17:59
omkring de her. Hvad skal man sige de her 7
18:02
milliarder? 7 b model segment, hvor man
18:06
ligesom har virkelig arbejdet hårdt på, ligesom at prøve at
18:09
gøre dem bedre og øge performance per parameter i det
18:15
segment. Og Det har været fedt fordi Det
18:18
har været meget tilgængeligt for rigtig mange at køre på deres
18:21
lokale maskiner og træne på noget ikke totalt vanvittigt
18:25
hardware. Og Der er man ligesom der har
18:27
man ligesom set ret stor fremgang der, men senest her med
18:31
med rock og nu med den her dvx som er altså oppe i de der plus
18:36
100 milliarder parametre. Og så og så tilmed dig.
18:41
De her mister experts modeller, så begynder vi også at se Sådan
18:44
modeller som er som er endnu mere beei og som er trænet
18:50
rigtig godt og med rigtig mange tokens og med noget godt data og
18:53
så videre og som begynder at blive altså blive bedre og bedre
18:58
i forhold altså begynder at den her den outperformer jo blandt
19:01
andet giver vi til 3,5 og er på niveau med gennaio et pro og
19:07
altså Sådan den er. Den er ved at de er ved at være
19:10
Sådan. Konkurrencedygtige med de
19:14
proprietære modeller, og det synes jeg vi ser mere og mere
19:17
af. Og Det er jo man kan sige for
19:19
hver model release der kommer jo mere jo mere hvad skal man sige,
19:24
jo mere uafhængige gør vi også jo ligesom at af de her lukkede
19:29
providers. Og man kan sige det man.
19:33
Jo så det. Det er bare lige så bare for at
19:36
sige som en side note derudover så er det tydeligt at databricks
19:38
ligesom bruger også det her til at promovere deres cloud
19:41
løsninger og deres hardware og fortæller deres infrastru.
19:45
Du er en ferie super super effektiv, så Det er også en
19:49
interessant trend ligesom at se at de her.
19:52
Hvad skal man sige computer? Hvad skal man sige inferens
19:55
hardware providers de begynder og simpelthen kunne se marketing
19:59
og forretning i at udgive de her open source modeller, så de kan
20:02
sælge deres deres hardware og deres optimerede.
20:06
Software service modeller ikke? Jo.
20:09
Jo. Ja men det.
20:12
Det er ret interessant. Jeg synes også den den der trend
20:15
med at. Vi nærmer os open source
20:19
modeller som som ja vildmarker hele tiden op mod de lukkede
20:23
modeller og i pigerne. Og og tit så ser tænker vi også
20:30
over at det der ligger bag dem det.
20:32
Det er godt nok nogle kæmpestore modeller og de har sikkert helt
20:35
vildt mange milliarder parametre og Sådan nogle ting der ikke og
20:37
de er også langsomme og Sådan noget der ikke altså.
20:41
Jeg vil jo vove at vove at påstå at.
20:44
Gem til 4 og g til 3,5 er totalt outdated.
20:47
Hvis du spørger mig rent takeaways.
20:52
Og det, de er det ikke i forhold til hvor, hvor, hvor, hvor, hvor
20:57
store og imponerende de er i deres formående at kunne, men i
21:01
forhold til til den arkitektur. Altså influence speed det her
21:08
med at få reduceret størrelsen på modellen, så den er mere
21:11
kosteffektiv. Alt det der hejs der Der er de
21:14
et totalt forældet. Ja ja Der er noget der hedder
21:18
turbo og der kommer noget turbo på og Sådan nogle ting der og
21:21
guderne må vide hvad Det er for nogle magic Black box tricks de
21:24
har lavet nede bagved, men Der er jo kommet så meget
21:28
efterfølgende af ting hvor at man kan sige.
21:31
Det er ikke Sådan Dublin replays til de vægte man allerede har
21:34
trænet Det er. Det er ligesom noget man er nødt
21:37
til at bage ind i noget arkitektur fra start, når man
21:41
når man træner sin model for at få den der optimering med.
21:44
Man kan ikke Sådan bare komme ind bagefter, så ændre på det og
21:47
så så virker de der ting. Forskellige typer attention og
21:52
alt Sådan noget der ikke så. Ja så så Der er jo et eller
21:57
andet også med at at åbne. Jeg står nok lige om hjørnet
22:01
også med næste iteration af deres løsning, og de vil
22:05
formentlig. Tage et kæmpe leeb os igen ikke,
22:09
men så vil de komme ind i den moderne æra, og så vil vi få
22:12
open source der bagud igen. Ikke men men fordi de på en
22:16
eller anden måde. Ja de planlægger også noget
22:19
noget cutting edge hvornår skal vi ligesom bruge ressourcer
22:22
igen? Hvornår synes vi at Der er?
22:25
Sket nok siden den arkitektur, vi ligesom selv lavede dengang
22:29
ikke. Det synes jeg, at man godt kan
22:30
fornemme, at der begynder at være noget nu, og Det er derfor
22:33
at open source ketcher op, fordi at de de tager bare det der til
22:36
sig. Og så kører de lige nogle
22:38
hurtigere, lidt mindre modeller med lidt mere færre data, og så
22:41
får de alligevel rimelig gode performance.
22:43
Ikke det her direkte præference optimization i stedet for at
22:47
kæmpe forskel lønninger, humor feedback loops og meget tunge
22:52
ting og Sådan noget ikke alt det der.
22:55
Du synes Det er Sådan man gjorde det også tænke på Sådan at.
22:59
Og altså nu er cloud jo også cloud 3 opus hvad den hedder har
23:04
også slået g 4 og Sådan du ved der man begynder Sådan at kigge
23:08
på opnå og tænkte Sådan okay hvad?
23:12
Har i ikke noget bedre eller Sådan?
23:13
Ja jeg ved ikke. Men jeg tænker også at vide på
23:16
en anden måde, så tænker jeg der må også være en øvre grænse for
23:20
hvornår det giver mening at skalere de her modeller mere op
23:23
i forhold til hvor meget det koster at træne dem, hvor meget
23:27
data de skal have og så produceret data de skal have i
23:30
forhold til. Øh hvor dyre de er serve og hvor
23:33
hurtige de er altså Sådan hvis man Sådan hvis hvis du ved hvis
23:37
du laver til 5 og den bare er 5 gange langsommere end p 24 gange
23:42
mere ikke? Så er jeg bare Sådan åh hvad
23:45
fanden skal vi lige? Altså hvor skal vi lige bruge
23:48
den? Ikke så spørgsmålet er også om
23:49
man begynder Sådan at nå grænserne i forhold til.
23:55
Hvor hvor hvor hvor meget man skal lade teknologien op, før
23:59
den begynder at blive for dyre og for langsom til den rent
24:01
faktisk er spændende at have med at gøre, ikke på en eller anden
24:04
måde. Så føler jeg at.
24:06
Man skal det kunne være fedt hvis det nye for at abonnerer
24:10
eller de nye fronteras på det her område.
24:12
Det ligesom er en eller anden form for model arkitektur som er
24:17
død. Og så god som gt 4 og halv så
24:21
stor eller dobbelt så hurtigt også ikke eller eller altså
24:24
Sådan Jeg synes bare det virker bare som om der skal ske noget
24:27
på den front. Altså Vi skal have mere
24:29
intellekt, intelligens for pengene på en eller anden måde,
24:31
ikke før det begynder at blive, for det begynder at blive
24:35
spændende. Fordi jo altså der arbejdes på
24:38
højtryk for at få både software og hardware og model arkitektur
24:43
og træningsdata alt muligt til at gøre de her modeller
24:46
hurtigere og mere effektive og så videre.
24:48
Men det føles også som om der skal ske et eller andet mere
24:51
Sådan grundlæggende ikke for at. For at det ikke bare Sådan er
24:54
til scaling gaming ikke? Helt klart altså og.
24:59
Ja så. Vi må se, hvad der sker de næste
25:03
skridt, men Der er Der er mange interessante open source man kan
25:07
sige ja open source. Det er jo det der med det åbent
25:10
vægte tit og ikke source. Måske source skal jo være både
25:15
kildekode og kildedata. Ja men anyways open væk det.
25:19
For det meste var der jo masser af løsninger derude man kan tage
25:23
og og og køre videre på. Men helt sikkert, i hvert fald
25:27
en kæmpe et kæmpe ryk frem hver eneste gang der kommer nye
25:31
modeller, som er bedre end det der før er, og nu begynder de
25:33
også at blive større, og det begynder.
25:35
Jeg synes bare det ligner at. Det åbne rykker som jo også er
25:40
rimeligt forudsigeligt. Det rykker tættere og tættere på
25:43
det proprietærer, ikke? Og apropos nye modeller.
25:48
Så skal vi lige videre til næste nyhed, fordi Der er jo måske er
25:54
det en blanding af en ny og en gammel nyhed, kan man sige.
25:59
Der er jo selvfølgelig folk der kæmper med at prøve at løse
26:03
noget af det Vi har snakket om med det her kontekst, vinduer og
26:07
compute, Der er fuldstændig ude af.
26:13
Hvad hedder Sådan noget? Ja, det kræver alt for meget at
26:18
køre nogle af de her modeller her.
26:20
Og hvordan transformer arkitekturen.
26:23
Jo mere tekst du vil have den til at gabe over på en gang, jo
26:26
mere computer skal den bruge og jo flere tunge hvis du ligesom
26:29
giver den. Jo mere jo det skalerer
26:32
kvadratisk ikke, og Det er noget det skal det det gør jeg den.
26:36
Den kan ikke gabe over uendelig meget data.
26:40
Den udfordring at få den til at spise mere tekst ad gangen.
26:45
Tak på en anden måde, når din chat bliver længere og længere
26:47
og længere, så bliver det langsommere og langsommere.
26:49
Det næste Torben du gerne vil lave.
26:50
Ikke Det er dybest set det Der er et problem med med
26:53
transformeren, og Det har man nok oplevet, når man har siddet
26:57
og chattet også så kan man lave en masse tricks og ting og sager
27:00
inde bagved, men men men altså. Det er Sådan Det er, men men Det
27:06
er ikke nødvendigvis Sådan det behøver at være, fordi der
27:08
findes jo nogle andre arkitekturer, som ikke kræver.
27:12
At hvad kan man sige, når man skal compute det næste toppen?
27:15
At man så har alle tokens med hver gang plus det du lige
27:20
computeren i foregående og. Og de de modeller de de går
27:27
under. Hvad kan man sige 1 1 1 term som
27:31
man kalder for statskasse som mødes og det.
27:34
Man kan måske jeg mener Det er LTM har også det her state den
27:39
her hukommelse i form af en kan man sige et eller andet nogle
27:43
vægte eller 1 1 1 Sådan en matrice som bliver opdateret for
27:47
hver gang den ligesom. Laver noget, og Det er det her
27:52
states space, som den holder det dybest set også det Der er
27:57
tilfældet her. 1 1 1 form for LSMI det det Det er den her
28:00
aktive tur som. Oprindeligt hedder mamba.
28:05
Og den vi sidder og skal snakke om i dag.
28:07
Den hedder sat jamba og den er en en god blanding mellem
28:10
transformeren og mamba en som mamba en som holder Det har den
28:14
her state space del. Jeg vil jo kalde det for en LSM,
28:20
men. Med twist.
28:23
Hvad hedder det man kan sige og bare lige en sidenote inden vi
28:26
går i gang med at snakke mere om den at det ikke kommer fra en
28:28
virksomhed der hedder a twenty one laps og Det er faktisk en en
28:32
virksomhed som har været ret tidligt.
28:35
Altså de var også ret tidligt ude altså trænet eller lemmer da
28:39
på sammen. Altså da jeg kommer ud og har
28:42
ligesom været det game, men jeg føler de har været de har været
28:46
stille i lang tid, men har ikke hørt noget fra ham i lang tid.
28:48
De har nok også følt at de er blevet overhalet lidt i forhold
28:51
til at de har større spillere. Det er i øvrigt et israelsk
28:55
start up eller Sådan en virksomhed.
28:57
Så jeg tænker også, de er måske lidt pressede i øjeblikket med
28:59
alt det ballade Der er i Israel. I øjeblikket har tænkt på dem i
29:03
altså Sådan ja, de forsøger jo ligesom at udvikle de her lemmer
29:07
i Israel og tænker de lidt presset nu med hvad hedder det
29:10
gaza og hele den problematik dernede, men Det er ligesom det
29:14
første det første. Hvad skal man sige udspil man
29:17
har det første Jeg har hørt fra fra ER the one laps i lang tid,
29:21
i hvert fald det første som ligesom er nået mig igennem den.
29:24
Støj og hype der ligesom har været, og Jeg synes Det er
29:27
interessant move det her fordi det virker som om de ligesom er
29:31
de ligesom indset at Det er svært at konkurrere på.
29:36
Du ved fronten der Der er fandme nogle spillere som som er som er
29:41
rigtig langt fremme, så det kunne godt tyde på det her at de
29:44
ligesom sagde de skulle tænke okay så prøver vi sgu at gå lidt
29:48
mere all in på på nogle lidt mere alternative måder laver et
29:51
bet på den måde der og så har de ligesom fået bygget den her
29:54
jamba arkitektur, som er en blanding mellem de her stats
29:57
base, mamba agtige modeller og så en transformer baseret
30:00
arkitektur og Sådan helt Sådan de de som de helt selv putter
30:06
ned. Nu skal jeg lige finde linket
30:07
her. Som de helt selv nævner det så
30:11
er hvad skal man sige? Jumba ligesom den 1.
30:15
Produktion great mamba baserede open source model, open source
30:22
mambo baseret hybrid model. Som ligesom er klar til
30:27
produktion og ligger open source.
30:30
De skriver at den kan har 1 3 gange større throughput på lange
30:33
kontekster i forhold til for eksempel model som mistral, og
30:38
så kan de altså håndtere nogle nogle nogle ret store.
30:42
Hvad skal man sige? Kontekst vinduer den de skriver
30:46
i obh her jumbo den kan spise op til 256.000 tokens.
30:52
Ja, og så skriver de også Sådan noget med at den kan have
30:55
140.000 tokens på en GPU og den er releaset fuld open source og
31:01
så videre. Ja så så Det er spændende.
31:07
Det er lidt ligesom Sådan et. Lidt overbrugt ord, men Det er
31:12
Sådan lidt en emerging et emerging felt.
31:16
Det her stadie og states base modeller.
31:20
Og så vidt jeg forstår så er hoved motivationen for at lave
31:24
de her modeller er ligesom for at overkomme den her kvadratiske
31:28
skalering af tokens eller computer der skal til for at
31:32
behandle tokens, som man kan sige hvor Det kan man ligesom
31:36
gøre, når man har de her modeller som i stedet for
31:39
ligesom at bruge attention til ligesom at kunne se alle tokens.
31:42
En gang i Sådan en attention matrice.
31:45
Den skal lave ligesom kvadratisk med længden af tungen sekvensen.
31:51
Der vil man i stedet for at prøve lidt at gå tilbage til en
31:53
lidt ældre filosofi, som man brugte i, som du sagde Jonas de
31:56
har LSTMS arkitektur, som var Sådan nogle recurrent neuralt
32:00
netværk baseret modeller hvor at i stedet for ligesom at have
32:05
attention, hvor man kan se alle tungens på samme tid, så har man
32:09
ligesom Sådan et, at Sådan en lidt memory space states space,
32:14
hvor man ligesom gemmer. Information på tværs af
32:18
sekvensen og på den måde ligesom kan dele information på tværs af
32:22
tokens ikke? Så det man kan forestille sig,
32:25
Det er at. Som du siger, at transformeren
32:28
har jo behov for ligesom den hukommelse kan man sige eller
32:31
den måde den ligesom begriber. En en større mængde tekst er at
32:36
være den hele Det er den vil den hele tiden kigger på.
32:39
Hvordan? Forhold imellem alle de tokens
32:42
den får ind er Det er det Der er intentionen.
32:45
Ikke så lægger den en vægt en attention attention på de
32:48
forskellige. Rubens, afhængig af hvad for en
32:51
kontekst det ene toppen måtte være evers og det andet og
32:54
sidder ikke Sådan. Hov for at den skal kunne det
32:58
skal den jo hele tiden hver gang der kommer et nyt tabe med så
33:01
ændres konteksten for for de andre tokens befinder sig i
33:05
forhold til hinanden, og så skal den rescue det hele igen.
33:08
Så den den den den beholder ikke det den her computer fra sidste
33:13
gang og så computer den kun det næste til åben kan man sige og
33:17
så på en eller anden måde beholder de andre det den har
33:20
lavet med de andre tunge ikke den der tension den har beregnet
33:24
og. Og det her states space.
33:28
Det er jo så. I virkeligheden en matrice, hvor
33:31
at man kan forestille sig, at man ligesom Der er et eller
33:33
andet output af den her de her tokens der kommer ud.
33:37
Og i stedet for ligesom så at compute alle de her tunes igen.
33:42
Jamen så er det kun ligesom den det næste token der skal.
33:46
Der skal ligesom evalueres på en eller anden måde eller products,
33:50
og når det ligesom er kommet med jamen, så bliver den puttet oven
33:53
i hukommelsen på en eller anden måde.
33:55
Men den matrice der ligesom holder det Det er en fikst
33:59
størrelse kan man sige ikke, og fordi den er det.
34:02
Og man hele tiden den den den mængde computer, der skal til
34:06
for at arbejde med data er konstant.
34:09
Jamen så får du en konstant kørselstid en linje.
34:12
Hvorimod at det andet den der blev det større og større og
34:16
større og større af alt den data du skulle arbejde på.
34:18
Ikke det dybest set, som jeg ser det i hvert fald.
34:21
Det er det også Sådan jeg ser det.
34:23
Det er i øvrigt. Det er i øvrigt en selvfølgelig
34:26
er det en mixture of expert model.
34:29
Det er en model, altså både de her states base lag og om at
34:33
transformere lagene også er mix of experts modeller og Sådan
34:37
hele modellen er er har 52 milliarder parametre, hvoraf 12
34:41
af dem er aktive. Per en en fyrens per tungen
34:46
ikke. Jeg må nok krybe lidt til korset
34:49
og sige at jeg fatter. Altså jeg forstår godt
34:52
statskasse konceptet, men jeg forstår ikke helt den her.
34:57
Hvorfor den her mamba arkitektur er så genial i forhold til de
35:01
gode gamle for eksempel LT netværk eller gro netværk og
35:05
Sådan noget. Og jeg forstår yderligere heller
35:09
ikke den her model arkitektur og hvordan det ligesom kan.
35:14
Hvad skal man sige gavne af, at det Sådan er Sådan en
35:17
transformer? Transformer mamba skal man sige
35:23
hybrid arkitektur? Jeg husker at Vi har Jeg har.
35:28
Jeg har faktisk selv læst det paper på et tidspunkt og har
35:31
også lykkeligt glemt, hvad det egentlig var der lige skete i
35:33
det der mamba. Hvorfor det pludselig var hot
35:35
igen med det der statskasse ting, men Det er noget med.
35:40
At. Der er nogle algoritmer for det
35:43
her med hvordan man opdaterer det her space her og og den måde
35:46
man ligesom træner den altså vægtene til, at når du så
35:51
opdateres fase, så retainer det noget af den her memory, og det
35:55
fungerer godt, og Det er så rent faktisk på output siden altså
35:59
det det det de laver også i den her artikel i som lige en
36:03
forklaring af med kvaliteten af outputtet den beholder vi
36:06
sammenlignet med den her gamle mamba løsning, men selv tilbage
36:10
i den der mamba løsning der så, så er det ligesom om at der der
36:13
Der er en eller anden form for breakthrough der hvor man finder
36:16
ud af. En bedre algoritme til at
36:18
opdatere? Hvad hedder det den her det her
36:22
state så det ikke så Det er ligesom på en eller anden måde
36:25
bliver lidt mere. Ja så fordi det der jo sker Det
36:30
er når man kan forestille sig at når man bliver ved med at
36:32
opdatere eller som bare sige at man havde en en simpel måde man
36:35
bare. Altså plusset eller ganget
36:39
ovenpå på en eller anden måde ikke.
36:40
Så skal man ligesom træne nogle vægte til, at når man så gør det
36:43
så. Bliver den her matrice
36:45
stadigvæk. Bibeholder noget af den
36:47
information der skal, for ligesom glemmer det den den
36:50
ikke. Den er ikke glemmer det den har
36:52
arbejdet på, fordi hvis hvis altså.
36:55
At glemme fuldkommen kunne for eksempel bare være at sætte alt
36:58
i matricen til nuller for eksempel, men men Det er jo
37:02
klart, det fungerer jo ikke godt, men man kan også komme til
37:04
at ligesom. På en eller anden måde udviskede
37:06
noget i hukommelsen, og det vil der, skal man udviske det
37:09
rigtige så at sige, og man skal glemme det rigtige og og ikke
37:13
altså huske det rigtige så at sige.
37:16
Og Det er jo det Der er udfordringen er at Der er noget
37:18
information som skal have lov til ligesom at at forsvinde,
37:21
fordi Det er jo uundgåeligt. 1 1 1 komprimering i forhold til
37:25
transformeren som som har jo høj, hvad kan man sige output
37:29
kvalitet? Fordi den kan begribe ret præcis
37:34
det der. Og så kan man jo sige at et
37:39
linie er et lag, hvis nu Det var muligt at compute det samme som
37:44
en en intention lagde egentlig gør, så vil dit linje, at et
37:48
almindeligt linie et lag der bare havde alle interaktioner.
37:52
Det ville jo Sådan set have alt den største allermest
37:55
information, men Det er fuldstændig umuligt at computer
37:57
nå anyways, så Det er det Der er udfordringen, men der har man så
38:01
lavet en lille smule der der der åbenbart har virket bedre i den
38:05
der mamba og Det er de jo så gør Det er at de så siger okay men.
38:08
Vi er der ikke helt endnu, men hvis nu vi tager noget af det
38:11
gode fra transportvejen, kombinerer det med med mig med
38:15
med mamba, så får vi så den her jamba og jeg må handle om Jeg
38:18
har ligesom dig. Jeg forstår ikke rigtig den
38:20
arkitektur de har tegnet og hvad Det er, men der står i hvert
38:23
fald bare Der er mix of active Der er transformere.
38:25
Der er mamba der Der er rigtig mange lag.
38:30
Det gode bare putte sammen med fatter ikke hvordan det spiller
38:33
sammen. Udgivet paper på den i øvrigt
38:36
hvis man godt vil læse det. Det kan vi ikke linke til
38:38
shownotes. Ja det, Det er vi ikke enige om
38:41
at Det er mere Sådan et white paper.
38:44
Jo Det er et godt spørgsmål. Det er Sådan OK de skriver selv
38:48
dette whitepaper, men det Det er der inde på cornell University
38:51
card. Ikke så.
38:54
Ja. Ja.
38:55
Ja Det kan vi altså ikke. Nej Det har vi sgu ikke, men men
39:00
spændende og følge de her space modeller Jeg tror Jeg har.
39:04
Jeg har et eller andet med det der kontekst længde længder.
39:06
Jeg tror ikke det kommer til at Det er det der kommer til at
39:09
tage os til iii, hvis man skriver helt ærlig hvis man skal
39:12
være helt samme Olsen agtig. Og Jeg tror at Det er det
39:15
forkerte sted. Jeg tror det forkerte sted og og
39:18
og gribe ind. Jeg Jeg tror på Jeg er blevet
39:22
meget siddende jeg hørte. Siden det her er kommet ud, og
39:27
siden jeg hørte cremens podcast med jernet cool.
39:32
Jeg er jo bare altså du ved man er jo bare.
39:34
Du konvertere det man hører til campen.
39:39
Men Jeg synes bare at man er jo bare et produkt af de der
39:42
frontiers indenfor det her ikke. Altså Det er man tænker Det er
39:45
det, og så kan man måske være heldig at tænke ind lille
39:48
mikroskopisk original tanke engang imellem ikke, men hvad
39:51
hedder det? Men Jeg er blevet meget ind i
39:53
forhold til det her med jern Crown det han siger med at.
39:58
Der er noget med effektiviteten omkring den måde, vi produkter
40:02
sprog. Ligesom Det er ineffektivt at
40:05
predict billede billeder på pixel niveau, fordi så er der
40:10
alt for meget overhead der går til Sådan netop greedy pixel
40:13
detaljer. Der tror jeg lidt Det er det
40:16
samme med tokens. Altså vi bruger alt for meget
40:18
energi på at predictive de der kvantificerbare tokens, hvor at
40:23
det virker som om at man bliver nødt til ligesom at tage det her
40:26
med et mere effektivt space, hvor det ikke er Det er Sådan
40:30
lidt ligegyldigt om Det er et lille nicky Grethe præcis den
40:32
token, men det skal ligesom, men Det er vigtigt at ligesom.
40:37
Bliver placeret i et spændende sted i det her space, og så kan
40:42
det være, der kan England en koder som ligesom.
40:45
Hvordan DK der som ligesom tager det space og ligesom udtrykker
40:49
det i sprog, men Det er en meget mindre del af sig hele ind.
40:55
Intelligensen hele presenningen og alt det der fluffy ting der
40:59
det sker inde i Sådan lidt mere Sådan kontinuert space og ikke i
41:04
det her kvantificere. Var du ellers meget Sådan
41:08
diskret? Tungen space Det er på en eller
41:11
anden måde meget Sådan den den den ide er jeg blevet meget stor
41:14
til ikke af, og derfor tror jeg Det er den forkerte retning det
41:17
her. Jeg tror den forkerte retning og
41:18
tænke over de der kontekst længder.
41:23
Jeg tror Jeg tror. Jeg tror det det.
41:26
Ja Det er en god dagsorden som er at at hvad kan man sige
41:29
minimere computer for at få samme mængden af computer for at
41:33
få samme outcome, så på en eller anden måde.
41:35
Så kan jeg godt følge dagsordenen på det, at man
41:39
ligesom gerne bare vil have og og og Det kan jo så når du så
41:42
har minimeret den her computer så kan du.
41:44
Hvad kan du så gøre? Jamen så kan du enten putte
41:46
flere parametre ind eller en større kontekst længde ikke Det
41:49
er ligesom og Det er jo så måske de 2 lidt fattige valgmuligheder
41:54
som folk stiller foran os, ikke? Hvad kan vi så få ud af det der?
42:00
Vi har sparet jamen Det kan vi så bruge på noget mere, ikke
42:04
også, og Det er det der der der tror jeg måske at.
42:07
Det er jo så ikke rigtigt det Der er ingolf for mig heller
42:11
altså det. Det virker heller ikke rigtigt.
42:14
Jeg har det Sådan lidt. Jeg har det Sådan lidt.
42:15
Hvad hedder det? Min hjerne jeg Jeg synes Jeg er
42:20
intelligent ikke. Jeg er intelligent væsen og min
42:23
hjerne fungerer jo ikke. Altså jeg bliver jo ikke mere
42:26
intelligent eller mere rigtig AR eller Sådan intelligent, at jeg
42:30
ligesom kan læse mere information på én gang.
42:32
Jeg tager jo heller ikke du ved Det var Harry potter et.
42:35
Det var Harry potter 2 Det var Harry potter 3 altså Det er jo
42:38
ikke Sådan det fungerer, men Det er jo ikke.
42:41
Der er et eller andet Sådan Der er et eller andet over det, som
42:43
bare virker Sådan som Sådan lidt en Sådan fras.
42:47
Frås med med computer. Ikke også fordi Der er mange der
42:50
Sådan kritiserer os der Sådan altså.
42:51
Hvornår har du brug for at hælde en milliard tokens ind eller en
42:54
million tons ind i en spøg model?
42:56
Og hvornår gider du at betale den regning, som åbner?
42:59
Jeg sender tilbage til dig. Fordi Det er pisse dyrt, og du
43:04
ved. Hvad?
43:05
Hvorfor? Altså Det er i virkeligheden.
43:07
Det virker lidt mere som Sådan engineering dovenskab ikke hvor
43:10
du var. Du var sgu for doven til ligesom
43:12
at lave den der fede embedding model som bare nailede dit
43:16
datasæt og dit problem og ligesom gjorde den der rack
43:20
applikation retrieval opgave at løse den til ug og stjerne ikke.
43:26
Altså Vi er sgu dovne mand vi vi maser bare en million tokens ind
43:30
og så laver vi 19. hey Stack hvad hedder det et benchmarks
43:34
for at se hvem se hvor, hvor hvor godt de virker og så
43:38
begynder modellerne også at være Sådan hey.
43:41
Jeg ved ikke om du har hørt det der, men Det er noget med at Der
43:43
er Sådan en prompt ingeniører fra dem, som som arbejder med
43:47
evalueringen af de her flotte modeller, som har lavet Sådan en
43:50
hedder hey Stack problemløse. Og så har den som modellen den
43:55
svaret ligesom tilbage Sådan ærmene, fordi dermed de gør det
43:58
på de er jo de bare tager random tekst i en meget lang sekvens og
44:01
så står det rigtige information et sted og så svarede den
44:04
tilbage. Ja, men det det Det er det her
44:06
det rigtige svar, men Jeg synes Det er en lidt underlig ting der
44:09
står i en lidt tilfældig rækkefølge i det tekst du har
44:11
skrevet til mig, så Jeg synes måske det virker som om, at du
44:14
er i gang med at teste om jeg jeg altså du du er i gang med at
44:18
teste mig ikke, og Det er også bare Sådan lidt.
44:21
Oh my god. Den ved den eventuelt bliver ved
44:26
at blive evalueret. Hvad hedder en hel diskussion
44:28
for sig? Det kunne vi skulle have nogen
44:30
med ind, som rent faktisk kunne forklares det her lidt mere i
44:33
dybden om hvad hvad fanden er det her statsbaner og hvorfor er
44:37
folk så? Sagt over det.
44:39
Men men men men men Vi skal lige seaway over til noget andet.
44:44
Det var ikke en særlig smule seaway, men fordi du nævnte nede
44:46
på et tidspunkt med det her med lidt dovenskab og hvorfor Vi
44:50
skal bruge så meget så mange tabe.
44:52
Men hvorfor skal vi også bruge så mange?
44:55
Peter hvorfor skal vi bruge så mange vægte der har vi det her?
45:00
Fantastiske sjove område, som det minder lidt om om model
45:06
marching i stedet for plus ting, så så så fjerner vi sletter vi
45:10
bare ting og det. Det er så det her om.
45:16
Både som hedder. Brown hvor hvorfor du ikke noget
45:18
problem hvis man har en model på 30 milliarder par meter, hvis
45:21
man bare kan slette alle parametre.
45:23
Og jeg Jeg er dem der kender mig, så ved de godt at Jeg synes
45:27
simpelthen at alle sofa er ingeniører der sletter kode i
45:30
deres dagligdag sletter mere end de skriver en præmie, og der har
45:37
vi så et eksempel på her. Hvis du er design test der
45:39
arbejder modeller hvis du sletter nogle vægte og i stedet
45:43
for at producere flere, jamen så skal du også have en præmie,
45:45
fordi vi ved et eller andet sted intuitivt godt at de her mange
45:50
milliarder. Et par meter her, Der er bare et
45:54
frås af flødeskum ovenpå, som ikke bliver brugt til en
45:57
fløjtende fis for at sige det rent ud, ikke?
46:00
Det er Sådan alle, Det er deres egen tits høns inde i.
46:04
Det er bare Der er så mange af de her vægte her som bare følges
46:07
ad på en eller anden måde i de der beregninger, der så de her
46:11
påvirkning på det endelige resultat.
46:13
Den er bare Sådan. Det er Sådan en god variation
46:15
ikke og og hvis nu vi bare kunne så beholde.
46:21
Det ved jeg ikke. En og slet 5 for eksempel, ikke?
46:27
Så så kunne vi måske komme hen til noget opgør og det det som
46:30
der faktisk sker i den her artikel her.
46:33
Hvad hedder det one reasonable n effectiveness of the deeper
46:35
layers og Det var en ret fed overskrift synes jeg fordi Det
46:38
er også bare det der med jamen den er jo bare ineffektiv de
46:41
her. Hvad hedder det dybe lag så hvor
46:45
der bare bliver Sådan? Mast information ned på ja, det
46:51
bliver komprimeret, men det bliver også bare Sådan der
46:54
bliver jokket oven i hinanden. Altså det ting der ting ting
46:57
der. Ja ting, Der er ligegyldigt for
47:01
det du skal bruge den til og ting der bare er det samme om
47:04
igen i på kolonne 5 og og række 14 ikke?
47:11
Bare for lige noget kontekst her.
47:13
Det er et paper, som er blevet udgivet på archive, og Jeg kan
47:15
se, at afsenderen er MIT og også cuya Capital, altså MT det her
47:20
massachusetts Institute of Technology, som er det her
47:23
kendte ingeniør Universitet i bagsiden.
47:26
Og så er der også cuya Capital, som er Sådan Sådan legendarisk
47:30
venture. Kapitalist frem som, Der er
47:33
meget ind i deres faser også og ja artiklen havde simpelthen de
47:37
unreasonable ineffektivitet. En en eller en effectiveness of
47:41
death laos og det som den basically finder ud af det, som
47:45
det ligesom den her pointe ligesom basically laver i den
47:48
her artikel. Det er at du kan tage en for
47:53
eksempel lama 70 b altså 1 1 1 rimelig stor et lam model, så
47:59
kan du køre den og få en eller anden performance.
48:02
Men du kan faktisk også bare slette halvdelen af lagene,
48:05
altså de her transformer lag. Hvad Der er måske Sådan et par
48:09
50 100 transformer lag, men ikke Det er det omkring altså det
48:14
hedder jo deep learning. Det er jo dybe neurale netværk
48:16
med mange lag, men Det har de fundet ud af, at man kan Sådan
48:18
set bare slette. Det ser ud til at det nærmest er
48:21
halvdelen af lagene og så have samme performance og Det er jo
48:27
lidt spøjst. Det må man nok sige.
48:29
Ydermere har de fundet ud af, hvis man så ligesom sletter
48:31
halvdelen af dagene og så fintuner.
48:33
Lave Sådan noget recovery healing fine tuning, så kan den
48:37
faktisk komme utroligt tæt på den originale performance.
48:41
Og Det er jo lidt spændende at at det tyder jo lidt på, at Der
48:46
er noget, som du også sagde Jonas noget redundans i de her
48:48
modeller af de her lag. Det er ikke nødvendigt det Det
48:52
er frås med parametrene. Vi ved så lidt om de her
48:58
debugning modeller de har neurale netværk og hvordan de
49:01
lærer at Vi har ikke særlig stor indsigt i, hvor effektivt de
49:05
egentlig lærer, altså hvad hvad er der brug for alle de her
49:08
parametre og hvad fanden er det egentlig de lærer?
49:10
Hvordan kan få dem til at lære mere effektivt og Sådan noget
49:12
ikke og her der tyder det altså på at ja, du kan quantities dine
49:16
modeller ned til et bit efterhånden ikke, og du kan lave
49:20
flash attention og du kan lave alle tricks i byen.
49:25
Men du kan også bare slette halvdelen af lagene og så bare
49:27
have samme performance. Som før.
49:31
Man skal også lige huske altså når når vi vi snakker hele tiden
49:34
om samme performance og der måler man jo selvfølgelig på
49:36
noget som er. En eller anden form for
49:40
evaluerings standard, der måtte finde derude, og den skal vi
49:43
også lige tage med et gran salt kan man sige, fordi der kan jo
49:46
godt være, der kan jo være nogle ting som går tabt, men bare ikke
49:51
lige de ting som man måler på og det.
49:54
Og Det er jo vigtigt at sige, at jamen hvis dit formål er at
49:58
bruge dem til de her ting her, jamen, så kan du bare slette
50:02
nogle af væggene, og så går det stadigvæk godt, så det Jeg tror
50:05
Det er mere pointen er at de det godt være, de mister evnen til
50:09
at gøre nogle ting. Men de mister ikke evnen til at
50:11
gøre de ting, som du gerne vil nødvendigvis hvis du sletter
50:14
nogle af lagene, så en en metode kunne jo for eksempel være at
50:18
sige, du havde et et datasæt for at evaluere en LLM på noget
50:23
formand en eller anden output, som du maler på, så siger du
50:27
jamen ved du hvad? Det kan vi Sådan rimelig sikkert
50:31
vide noget om, at hvis vi hvis vi går ind og skruer på nogle
50:34
ting, jamen så kan vi teste om den stadigvæk er god til de her
50:36
ting her. Vi gerne vil have den til, så
50:38
har du lige nu et paper der viser at du har en god case for
50:41
at gå ind og. Dybest set random lige slette
50:44
lag og finde ud af. Kører den stadigvæk efter min
50:48
forventning, men det gjorde den så, og så vil du bare få Sådan
50:51
en out of the box en hurtigere model.
50:55
Nu vil jeg bare slette til. Det er fjollet.
50:57
Det er fandme fedt. Det er bare en ingeniør strøm
51:00
det der slet lorte. Det er bare Sådan.
51:02
Det er jo lidt ligesom dengang man fandt ud af man fandt ud af
51:04
dropout ikke og så drop out. Vi har et problem med de her
51:08
modeller, de er super fedt og totalt meget.
51:09
Hvad fanden skal vi gøre? Hvad nu hvis vi bare random
51:13
slukker for 20% af neuronerne under træning?
51:16
Lad os prøve det og det virkede bare pisse godt ikke og Det er
51:19
Sådan noget hvor man tænker Sådan.
51:22
Den man, men Jeg kan forestille mig man finder ud af nogle ting,
51:24
som er Sådan nærmest tænkte Det er sgu for nemt ikke men altså
51:27
nogle gange så er ting bare simpelt ikke og Det er også
51:30
interessant når man kigger på de her grafer i de her paper.
51:32
Der kan man se at Det er Sådan omkring 30 40% altså når man
51:37
ligesom dropper, altså når man gradvist fjerner flere og flere
51:42
af de her lag, så er det omkring ved 30 40% af lagene.
51:47
Når de er fjernet, så begynder performance bare at droppe.
51:51
Og Det er jo også Sådan lidt interessant ikke.
51:52
Hvorfor er det lige præcis 33 til 40% af lagene?
51:55
Hvad er det for noget? Hvorfor Det er Sådan et magic
51:57
number eller Sådan? Noget tænker på.
52:00
Lad os nu sige Der er 100 lag hvordan hvordan finder de ud af
52:02
hvilke lag man vælger altså eksperimenterer sig frem til
52:05
dem? Altså kan man sige laver de
52:08
Sådan en simpel træning, hvor de de de måler på nogle apps.
52:14
Altså så har de Sådan 1 1 1 1 delite dette lager propagation.
52:20
Praktik. Og så finder de bare ud af OK
52:27
Det er jo en eller anden simpel løsning algoritme, hvor du lærer
52:30
ved at slette det her lag, så sker der det gik godt blive det
52:32
skidt og så står det her og sletter man jo andre, når der
52:35
kun er 100 lag, så kan du jo Sådan set bare.
52:40
Afprøve alle kombinationer. Jo.
52:42
Står her 2 protein des modèles what identify vi optimale blog
52:46
of layers til Brown bacon citering similarity cross layers
52:50
ven 2 hear the damage the performance male montere fine
52:53
tuning partikler in particular, we use parameter affection fine
52:58
tuning pat's specific quantification, low rank
53:02
adapters, search of experiments kan blive performet under single
53:07
one 100 GU. Så Det er også algoritme for
53:13
ligesom bare slet lag. Og og.
53:15
Så og så efterfølgende op til ligesom at altså healer dem
53:18
igen. Ikke med tuningen så så måske er
53:22
fremtiden. Du ved du siger okay nu træner
53:23
vi bare en model med 7 trilliarder.
53:27
Parameter så laver du Sådan en kæmpe kæmpe giga supercomputer
53:33
på det så træner du lidt. Så siger du vi sletter sgu bare
53:37
halvdelen af dagene, og så hiver vi lidt, og så fortsætter man,
53:40
så bygger man det som jeg ved det ikke.
53:43
Det er spændende. Det kan jo godt være en måde,
53:45
hvor man ligesom siger man man man laver Sådan en bred træning
53:48
og så med det samme data du egentlig har trænet det på.
53:51
Ikke så laver du Sådan en, så går du igennem en anden form for
53:54
træning, altså hvor du ligesom siger.
53:56
Altså hvor du hvor du? Når du finder ud af hvad du så
54:01
kan slette og stadig. Altså Det er jo Det er jo en du
54:05
kan jo godt implementere det som en lærings algoritme, men hvor
54:07
hvor formålet simpelthen bare er at finde ud af.
54:10
Altså at Det er en form for maskering af din, som du også
54:13
sagde med med drop out. Altså Det er jo en form for
54:16
layout træning. Du kan gå igennem der og og så
54:21
selvfølgelig skal du også have den der healing ovenpå, for
54:23
ligesom at se om om den giver noget men men men det kunne du
54:27
jo godt iterere henover og så havde du jo dybest set en form
54:29
for. Og en lærings algoritme til det
54:31
jo. Og okay der skal mange altså ja
54:35
jeg ved ikke. Nu kan jeg ikke lige regne ud om
54:39
om man bare kan brute force alle kombinationer eller man skal
54:41
have noget gradient descent ind over eller hvad man skal have
54:43
med. Ja et eller andet ikke?
54:47
Så. Det er.
54:50
Det er også derfor Sådan Sådan er det generelt altså II
54:53
videnskab føler jeg også altså Sådan disco tit de simple idéer
54:56
Der er fede ikke hvad vi bare prøver at slette lagene, hvad vi
55:00
bare prøve at slukke neuronerne. Hvad med vi bare prøver at
55:02
altså, og Det er også derfor jeg tænker Sådan nogle der og Sådan,
55:05
for eksempel den der arkitektur eller jumba arkitektur.
55:10
Det virker Sådan det virker for for engineered på en eller anden
55:13
måde. Det virker for for uelegant på
55:15
en eller anden måde ikke? Nå.
55:18
Vi skal have mulighed. Ja Vi skal uden at snakke om
55:23
hinanden. IS.
55:27
Det her. Det er en ret interessant nyhed,
55:29
som som egentlig synes Jeg er gået hen over hovedet på de
55:33
fleste jeg. Jeg snakkede med i hvert fald.
55:37
Men Det er det i hvert fald igen på hacker news, fordi den her
55:41
nyhed Vi skal til at snakke om Det er den hvis man går ind og
55:44
rammer alle. Skal man sige nyheder, Der er
55:47
delt på hacker news nogensinde, så er det her den fjerde mest
55:50
uploadede nyhed på på hacker news.
55:53
Og Det er en nyhed. Hvad skal man sige?
55:56
En udmelding, der handler om en et forsøg på at lave 1 1 1
56:01
backdoor altså en en indgang en kode engang i et open source
56:06
bibliotek som hedder et komprimerings open source
56:09
utility bibliotek som hedder XZ utiles som jeg ikke aner hvad
56:14
er, men som skulle være ret udbredt på rigtig mange altså og
56:18
være Sådan en kritisk komponent i rigtig mange linux systemer.
56:20
Hvad hedder det? Det er DR og der var simpelthen
56:24
1 1 1 god hvad hedder det? En god Microsoft udvikler, som
56:30
ligesom arbejder på deres postgres Microsoft postgres
56:34
offerings, som ligesom var i gang med at lave noget
56:37
troubleshooting nogle problemer og så videre.
56:39
Og han lagde mærke til at. Der ligesom var noget der var
56:44
lidt langsomt og var ligesom dykket lidt ned i det og så
56:46
videre. Det var især så vidt Jeg kan
56:48
forstå i forhold til SH og det her bibliotek.
56:52
Og så finder han ligesom ud af at Det er det det går langsomt
56:55
og han skal bare finde ud af det.
56:56
Og det ender så ligesom med at han at han finder ud af at at
57:02
Der er en bestemt. Contributeur til det her XZ
57:07
utiles backdoor bibliotek mere specifikt som hedder JIAT 7 5.
57:15
Som siden. I, 2021.
57:21
Så vidt Jeg kan se. Har arbejdet med at placere en
57:25
bagdør ind i det her bibliotek, som skulle være det her
57:28
konverterings bibliotek, som skulle være specifikt målrettet.
57:32
SH altså secure shell biblioteket, som jo er den mest
57:37
anvendte den mest anvendte open source teknologi til ligesom at
57:42
forbinde til remote servere. Overalt i verden.
57:48
Og denne her. Det er en lidt Jeg tror Det er
57:51
en lidt langhåret forklaring at komme ud i hvordan den her selve
57:53
den her backdoor fungerer, men Det er altså en eller anden form
57:56
eller anden form for backdoor som er implementeret i den her
57:59
det komprimeringsalgoritme eller det her bibliotek.
58:02
Og hvis den her hvis ikke den her, hvad skal man sige?
58:06
Backdrop er blevet opdaget af den her Microsoft udvikler.
58:10
Så var den altså stået til at blive shippet ud i det her
58:14
library og dermed også til alle. Jeg tror Det er Sådan noget
58:19
debian og mange forskellige linux systemer rundt omkring i
58:23
verden, og det vil så sige at alle de systemer alle de servere
58:27
rundt omkring i verden, som ligesom er blevet opdateret med
58:29
det her, der vil vedkommende som ligesom som man jo gode grunde
58:33
ikke ved hvem er fordi ja et eller andet.
58:35
Men Der er vel vedkommende der har lavet den her.
58:38
Hvad skal man sige backdoor? Jeg ved ikke om det kun er
58:40
vedkommende eller også hvad alle, men Det er jo lige meget.
58:42
Men de ville i hvert fald have en en direkte adgang ind til
58:46
alle de instanser, som brugte den her version af den her pakke
58:49
med så for at have mulighed for at eksekvere kode på de her
58:53
servere med med super user rettigheder.
58:55
Altså at mine rettigheder. Og.
58:59
Det er jo Sådan, det ville jo være total katastrofalt hvis
59:03
det. Skete, men det blev så heldigvis
59:07
op. Taget ham her Microsoft udvikler
59:10
det lige før jeg skulle finde hans navn.
59:11
Bare lige for at sætte lidt skud ud til til ham fordi at Det er
59:15
Sådan du tror Der er mange Der er glade for at han lige
59:18
opdagede den. Hvad tænker du Sådan umiddelbart
59:20
om det her? Det første jeg tænkte Det var
59:23
jeg skal da lige skrive XZI min terminal for at se om om Jeg har
59:27
det der komprimerings library og det havde jeg jo så det Det er
59:32
da nok Det har de fleste linux distributioner nok så det også.
59:35
Virker også på mac. På marken ja ja, Det er nok som
59:39
du siger virkelig udbredt. Tool til til til til til
59:46
komprimering, og det komprimering af af af filer.
59:51
Der findes jo alt muligt andet derude også til den slags, men
59:54
Det er åbenbart rigtig meget brugt.
59:56
Jeg ved ikke hvorfor kender det ikke som Sådan, men det det det
1:00:00
lyder ikke rart at nogen kan komme ind på på din server bare
1:00:03
Sådan via noget SH bagdør det. Det er jo ret stort altså man
1:00:09
kan jo sige meget mange servere er er er mulige at tilgå remote
1:00:15
selvfølgelig ikke alle. Via SH men, Der er Samsø for
1:00:21
mange derude som. Administreres gennem en SH havde
1:00:25
adgang ikke altså alt i clouden. Altså når du når du skal bruge
1:00:29
noget. En cloud provider giver dig en
1:00:33
virtuel maskine. Du skal ind på den ikke altså
1:00:35
her en SH på dem, så er det så har du lagt ned, men Det kan jo
1:00:41
være at hvis du bruger redhat så er du lidt mere sikret og Der er
1:00:44
Sådan nogen der har tjekket det der igennem, men det kunne også
1:00:47
være der var en Microsoft udvikler der opdagede det.
1:00:50
Så er det så hurra for open source eller skulle det have
1:00:54
været closed source så det ikke skete?
1:00:56
Det er jo også en diskussion. Så.
1:01:00
Ja, Der er også et link til det første comit, som som den her
1:01:04
meget mistænksom JI ã t 7 5 lavede en 2 21 og Det er altså
1:01:10
det det her den her backdoor har altså været altså der der har
1:01:14
været år om velkommen har været om at lave den og har brugt alle
1:01:18
mulige former for hvad hedder det?
1:01:19
Hvad skal man sige social engineering tricks i det her
1:01:23
open source bibliotek for ligesom at komme ind og gøre det
1:01:26
her. Jeg ved ikke.
1:01:31
Ja altså. Ja.
1:01:35
Det synes jeg bare er en vild historie, og Jeg synes også Det
1:01:37
er et eller andet når den er blevet den.
1:01:39
Den er blevet den 4 og mest hvad hedder det?
1:01:43
Hvad skal man sige? Det højest rated historier på
1:01:48
hacker news ikke altså bare lige for at lige give en
1:01:51
sammenligning, så er all time mest opvokset den her 6000
1:01:55
point. Det er Steen Horsens død i for 6
1:01:59
år siden kan det passe det koncept nå den tredje mest Det
1:02:04
er open airs sam altman da han blev fyret fra bordet der og så
1:02:09
den fjerde er altså den her backdoor indtil SH som er gået
1:02:13
op og giver mig til 4 det nummer.
1:02:17
Det er nummer 9 ikke så. Så den er altså deropad, vil jeg
1:02:20
sige. Ja ja.
1:02:25
Det er vildt nok. Passe på.
1:02:26
Vi skal sgu passe på med de der comments.
1:02:30
Og det der open source software altså det.
1:02:33
Det er farligt farligt. Det er det sgu altså og på en
1:02:37
eller anden måde ikke. Altså Det er jo også det her
1:02:38
med. Okay, enhver idiot kan ikke bare
1:02:43
komme ind fra gaden og så bare du ved lave et eller andet som
1:02:46
bare du ved laver et eller andet totalt åbenlyst backdoor Det er
1:02:51
Sådan den det det tror jeg måske ville være svært ikke, men når
1:02:54
når en person Sådan over tid bygger tillid i forhold til
1:02:59
contributors altså care contributors og ligesom Sådan
1:03:03
Det er Sådan totalt udspekuleret II den her eksekvering af den
1:03:08
her backdoor på den her måde, så er det jo så er det jo så tror
1:03:14
jeg bare der kan gøre altså så Jeg tror godt man kan på.
1:03:16
Nogle rimelig interessante ting af på den her måde, lige så vel
1:03:21
som hvis man vil have en virksomhed, hvis man så ringer
1:03:25
til. Altså du ved at man bruger Sådan
1:03:26
nogle lidt mere sociale social engineering agtige tricks, så
1:03:30
kan man nogle ting som som man ikke ville kunne ellers.
1:03:33
Og Jeg synes også det. Det efterlader et interessant
1:03:36
spørgsmål, hvor mange af de her? Ikke er er gået forbi.
1:03:43
Altså Det var jo virker som om Det var et held han har
1:03:45
Microsoft udvikleren opdagede det, men man kan også forestille
1:03:48
sig, at der ligesom er en masse. Hvad skal man sige af de her,
1:03:51
som ligesom bare er forbi de her maintainer os ikke?
1:03:56
Og hvem ved hvem ved? Det kan jo være regeringer der
1:04:01
sidder og laver dem her ikke. Det kan jo selvfølgelig.
1:04:02
Du ved, selvfølgelig kan det jo være den russiske regering, det
1:04:05
ville der sikkert mange der ville tro ikke, men Det kan jo
1:04:08
også være den amerikanske regering, altså hvis den
1:04:10
amerikanske regering eller alle mulige andre regeringer kunne få
1:04:14
adgang til det her, det ville de sgu da gøre enetime.
1:04:17
Altså. Ja ja, Det er da ikke.
1:04:19
Altså det ville da være en gratis billet ind på alle mulige
1:04:22
servere. Det vil de da det ville da bare
1:04:24
være lidt. Guf.
1:04:26
Ja. Så Det er Sådan nogen guf.
1:04:29
Snowden guf ja det må. Man sige Det er Det er jeg sgu
1:04:33
godt, men godt at det blev opdaget, så vi overlevede puha
1:04:37
verden gik i bund. Spændende, spændende, når vi
1:04:43
lange som. Jeg skal sidde og lave XZI min
1:04:46
terminal finde ud af hvad er det?
1:04:48
Hvad er det Jeg kan komme på mere med den her?
1:04:50
Jeg skal bare pege på en fil til den, så kan jeg komprimere den.
1:04:53
Jeg er sikkert komme til at ødelægge nogle ting.
1:04:56
Det er ligesom Sådan noget jeep og.
1:04:59
Ja og Sådan nogle ting. Jeg kan også lave en streg så
1:05:03
hvad bo. Kommer der sikkert.
1:05:04
Hvad jeg siger? Det er det.
1:05:07
Det er i øvrigt derfor det hedder.
1:05:09
Det er i øvrigt derfor der hedder webos podcast ikke.
1:05:12
Det er jo fordi at man ofte kan give dash dash verbose med til
1:05:16
de her særlige tools, og så får man en mere.
1:05:20
Printer det bare derudaf Det er jo derfor Det er også snakker
1:05:23
ikke nå. Så fik i lige det.
1:05:30
Nu er vi ved at være der. Vi er ved at være der.
1:05:33
Super hvad hedder det? Jeg vil gerne opfordre alle
1:05:36
Vores lyttere til at til, at hvis de er nået hertil, så
1:05:41
tænker jeg må være hardcore fans.
1:05:43
Så vi kan opfordre jer til at gå ind og følge os på LinkedIn og
1:05:46
følg podcasten der hvor du lytter.
1:05:48
Podcast. Du skal i skal også besøge Vores
1:05:51
website. Det er fucking fedt og det kører
1:05:54
lynhurtigt og Det er jo implementeret i rust og Vi har
1:05:57
lige skiftet navneserver over til cloud flare.
1:05:59
Sådan så Jonas. Han kan i stedet for at køre det
1:06:00
på digital Ocean, så kan høste det hjemme fra vanløse på Sådan
1:06:03
en freaking raspberry pie. Det skal man bare gøre.
1:06:07
Vi har store planer for det site og.
1:06:09
Ikke at spare dollars. Nice.
1:06:14
Så. Det sker 100% gøre, og så skal i
1:06:18
selvfølgelig tune ind i næste uge, hvor vi vender tilbage med
1:06:22
endnu et genialt afsnit af hvad bruges podcast.
1:06:26
Vi lyttede i næste uge have det rigtig godt indtil da.