Latest / Verbos: AI og Softwareudvikling / #66 - OpenAI DevDay, 100M Token Kontekstvindue og Molmo 🚀

Transcript

#66 - OpenAI DevDay, 100M Token Kontekstvindue og Molmo 🚀 · Verbos: AI og Softwareudvikling

0:01
Hej allesammen og velkommen til balbo's podcast afsnit nummer 66
0:05
i dag vi vi vi skippede sidste uge fordi at der var der var sgu
0:08
besy så, men Vi er stærkt tilbage igen i den her uge som
0:11
er uge. 40 eller Sådan noget. Det er også lige meget hvad
0:15
hedder det i dag, men i dag der skal vi lige have catchet lidt
0:18
op på nogle ERI nyheder. Vi skal have snakket lidt om.
0:23
En ny model eller en ny noget nyt research eller i hvert fald
0:26
ny blockpost fra en hvad skal man sige?
0:28
1 1 1 virksomhed som hedder magic dot dev.
0:31
Som klima, de har lavet en lang chef languesmodel med en
0:36
contextvindue på med contextvindue på 100 mio.
0:39
Tokens. Som altså det glæder vi til lige
0:42
til at dykke lidt ned i. Så skal vi have snakket lidt om
0:45
motor modellerne som er kommet ud for allen EI eller EI 2 AI
0:52
eller hvad de hedder eller hvad de kalder sig.
0:53
Jeg er lidt forvirret over hvornår det hedder allen AI og
0:56
ARI 2. Og så er det faktisk Sådan, at
0:59
lige imens vi sidder her lige nu.
1:03
Så er det at virker som om at åben EI deadday kører ovre i San
1:11
Francisco på den 2 side af jorden, så der følger vi lige
1:13
lidt noget på Twitter. Og giver nogle opdateringer der
1:18
med hvad vi ved, og så skal vi selvfølgelig have ugens repo.
1:23
Til allersidst Sådan, så er der line godt op.
1:26
Så er der lagt et godt op. Hvordan går det Jonas?
1:29
Vi er stærkt tilbage efter 1 1 1 travl uge som som sagt og Jeg
1:34
har glædet mig. Jeg er tilbage med med min min
1:37
klassiske kop te, for Det er blevet koldt og jeg sidder ude i
1:40
det sædvanlige kolde rum og har fundet min gamle varmeblæser
1:43
frem også og Sådan noget, så Det er jo nostalgisk verbot podcast
1:47
lige nu kan man godt mærke. Det er Sådan noget helt lidt
1:49
hyggeligt over det der med at så bliver det lidt altså jeg.
1:51
Jeg synes faktisk kun Det er dårligt at det bliver efterår.
1:53
Jeg synes også Det er Det er lidt hyggeligt.
1:55
Det er Det er det ja så så kan man jo sidde inde og genhøre
1:59
alle hvad port podcast episoder hvis man keder sig.
2:04
Det kunne man jo ikke, hvis Det var.
2:05
Sommer. Det havde jo været.
2:09
Forfærdeligt. Jeg skal lige huske inden vi går
2:11
i gang en. 2 ting som jeg gerne lige vil sige i dansk datasign
2:15
community som nogle af jer måske kender som er en forening for ER
2:18
nørder og data science professionelle entusiaster og så
2:23
videre. Der har vi faktisk indgået et
2:25
samarbejde med lene lille plot her.
2:28
Der har vi indgået et samarbejde med invia, som har fået givet os
2:31
lov til at låne en a 100 KPU. Så vi gerne vil låne noget til
2:36
en fra communitiet eller til nogle fra communitiet, som gerne
2:39
vil lave et projekt med den, og der kan man skrive til kontakt
2:43
punktum DDSC snabel-a gmail dot com hvis man har ideer til
2:48
projekter eller har et projekt man godt kunne tænke sig at
2:52
ligesom. Melde sig ind på.
2:57
Lægge en en lægge billet ind på på den giphus, så skal man bare
3:00
gøre det. Det var bare lige en lille side
3:02
over det jeg kom til at huske her.
3:03
Jeg havde lovet. Grus at lige promote her i
3:06
podcasten Kasper grus. Yes så Sådan.
3:10
Er det eller freeqip? Det er der sgu Det er der sgu.
3:14
Det er da meget godt. Og java hvordan går det ellers?
3:18
Jeg føler Der er et eller andet andet.
3:19
Vi skal sige jo måske skal vi også lige lave en endnu en blok
3:22
i virkeligheden, fordi at Det er jo Sådan, at dig og mig Jonas Vi
3:27
er blevet. Vi skal moderere en debat
3:30
omkring danske sprogmodeller til sprogteknologisk konference som
3:35
er. En gang i nuværende.
3:38
November slut november. Slut november tror jeg, men der
3:42
Der er vi på at skal moderere en en debat om danske skrummidler.
3:46
Så hvis man godt kunne tænke sig at joine det, så skal man melde
3:50
sig til sprogteknologisk konference 2024.
3:54
De plejer virkelig at blive revet væk.
3:55
De billetter der efter at. Efter alt det her chatbibliotek
4:00
craisiness er rullet ind over verdenen, så Jeg er ikke sikker
4:04
på, at Der er flere billetter, men ellers kan man jo lige gå
4:06
ind og tjekke. Så yes.
4:08
Så har vi både promoted invia og et sprogteknologisk konference,
4:12
så. Venter vi bare på.
4:14
Og Dansk stat og science community.
4:16
Der venter vi bare på sponsoreret.
4:18
Og så skal vi også lige huske at hvad hedder det hello fresh ej.
4:24
Så er det rimelig totalt sellout ikke ej hvad?
4:28
Siger du 100 mio. Tung 100.
4:30
Trilliarder og millioner kontekst, vindue eller hvad
4:34
hedder det? Allerede hører Vores holdning
4:36
til det her paper eller den her brockst.
4:39
Jeg synes faktisk mine mine holdninger er blevet lidt mere
4:41
nuancerede i dag. Måske skal vi lige prøve at give
4:45
en lille hurtig. Hvad skal man sige indflytning
4:48
til magic def virksomheden her, som står bag den her blogpost og
4:53
blockposten den hedder 100 mio. kontekst token kontekst Windows.
4:58
Det er simpelthen bare lidt nedad og Det er en virksomhed
5:01
som er, hvis nok er blevet fundet til at starte med at
5:05
natfreetman og Daniel Groth. Som er 2 Sådan OK legendariske
5:12
investorer for fra fra Silicon Valley, og de har så i øvrigt
5:18
også lige fået 515 mio. Dollars i investering her i en 2
5:24
omgang hvor de har. Det er blandt andet den gamle
5:27
CEO for Google eric Smith og cycre og atlasien og nogle
5:32
forskellige andre virksomheder som er investeret i dem.
5:35
Så ja så de har. De har i hvert fald fået en del
5:38
funding. Men det som de skriver om Det er
5:42
simpelthen at. At de ligger og roder med først
5:47
og beskriver de. Det er Sådan lidt sjovt fordi de
5:49
først beskriver de en. En metode altså de beskriver den
5:53
her. Hvad skal man sige?
5:56
Needle in aha-stack. Metode til at evaluere
6:01
kvaliteten af de her lange kontekstvinduer.
6:05
Og Det er ligesom om, at så skriver de Sådan, at at på
6:10
baggrund af noget en dropic research noget af det her
6:13
explainability endrobic research Der er blevet lavet.
6:18
Der har de fundet ud af noget med, at den her needle den er
6:20
haystack test i virkeligheden er.
6:25
Ret en ret dårlig test fordi det typisk er en random fact som man
6:29
gemmer midt i en masse andet tekst.
6:33
Som stikker så meget ud, og der har andropic lavet noget
6:37
research, hvor de har fundet ud af at inde i de her elemenmer,
6:40
så de har jo ligesom prøvet. At hvad skal man sige studere?
6:44
Hvad skal man sige, hvad for nogle mønstre og hvad skal man
6:48
for nogle? Hvad for nogle mønstre kan man
6:51
godt sige eller mekanismer, der ligesom danner sig inde i de her
6:54
neural netværk? Der har de fundet ud af noget,
6:57
de kalder fundet noget de kalder for induktionhads i tablet
7:03
genereret tidligt i neurale netværks eller LLM modellers
7:09
skal man sige træningsproces og det det dem, de de antropic
7:15
tror, at de her indoction heads er en af de helt Sådan centrale
7:20
ting. Bag bag inkontekst learning
7:25
altså det her med at. Eller lad mig kan lære.
7:29
Ish ved at man prompte dem og ved at man ligesom tager ting
7:32
ind i konteksten. Og der og derfor mener de sig
7:36
ligesom nu. Nu er det blevet en meget lang
7:38
forklaring af, at det her og derfor mener det ligesom at den
7:40
her needlen er hate stærk, især på grund af denne her indoction
7:43
head. Fænomen som antropic mener at
7:46
observere, at det her den her neatlende hate-stack er et
7:50
dårligt testresultat eller en en dårlig testmetode for en for
7:55
retreal og langs context vinduer lange kontekst vinduer, så det
8:00
de gør i stedet for Det er, at de genererer hash-koder som
8:04
prompt med lange, lange lange proms med hashkoder.
8:08
Som jo er perfektion af hash. Jeg ved ikke hvad man kalder det
8:13
hashkoder, men Sådan hash. Strings du er jo Sådan
8:18
tilfældig, så det eliminerer ligesom alt Sådan semantisk.
8:24
Hvad skal man sige? Semantisk som information som de
8:30
her benchmark skulle snyde med og Sådan noget og så der der har
8:33
de fundet af deres model. Den performer rigtig godt på
8:35
det. Det var en meget meget lang
8:37
indflyvning på at sige, at det de ligesom har gjort Det er at
8:40
de har bygget det de kalder for den de kalder for.
8:45
De har trænet deres første 100 mio.
8:47
Token kontekst model LTM long turn memory 2 mini kalder de den
8:55
og ja den kan spise rigtig meget tekst og den skulle være lavet
9:01
på Sådan en måde at. De skriver her, at hvis man
9:05
ligesom skulle sætte. Lama 3,14 105 b til at have 100
9:12
mio. tung kontekst. Hvad skal man sige bredde, så
9:16
skulle den bruge 638 h et. GPU er.
9:23
Så, hvilket er ret mange per brugere for ligesom bare at
9:28
holde den her 100 mio. toke kontekst II memory men deres
9:33
løsning der skal man kun bruge en lille frtion af Sådan en h
9:38
100 GPU per bruger og Det er jo så bare Sådan helt latterligt
9:44
meget mere effektivt end og de siger Det er 1000 gange
9:47
billigere at bruge deres metoder og så videre.
9:50
Ja. Ja så Det er kontekst window
9:54
wores der fortsætter og de har faktisk og de har faktisk en.
9:58
Jeg synes egentlig de har nogle meget Sådan interessante tanker
10:01
om, hvad man kan bruge Sådan nogle kontekstvinduer til fordi.
10:05
Det de prøver at gøre Det er et eksperiment de kører.
10:07
Det er de laver en de de forsøger at udvikle en
10:13
inkontekst. Grafficical user interface.
10:18
Altså 1 1 1 1 inkontekst gui sætter de 1 1 1 elementær
10:24
generere, men ikke med et Sådan åbent tilgængeligt gui framework
10:30
men men altså Sådan så selve frameworket til at lave den her.
10:34
Det her grafiske user-interface er ikke Sådan et kendt åbent
10:38
framework for internettet, men Det er ligesom hele frameworket
10:42
er ligesom beskrevet i konteksten.
10:45
O. K Sådan altså i stand til
10:47
ligesom at have vildt meget kontekst altså hele alt hele
10:51
helt kodebase i konteksten og så ligesom udvikle kun ud fra den.
10:58
Så hver gang man den så skal generere noget, så så har den
11:01
bare alt det virkelig har trænet på.
11:03
Den har bare alt alt koden II konteksten.
11:07
Men kan du ikke lige fordi jeg prøver nemlig mens du sidder her
11:10
og forklarer lidt joke fordi. Jeg tror du har læst lidt
11:13
forklaring. Sorry.
11:14
Jamen det. Det er fint nok, men du.
11:16
Men du har nok læst lidt mere op på det end Jeg har.
11:18
Men Sådan som jeg forstår det, så er det slet ikke en
11:20
transformer det her, fordi Det er det første man tænker der.
11:23
Hvis du putter så mange tobens ind i en transformer så er det
11:26
noget bæ og Det er også det de siger.
11:31
At lama. 3 1 som er en traditionel slags
11:35
formerarkitektur og skal lære hulen til at den skal bruge. 638
11:43
h ikke engang a 100 h. Eller h 100.
11:47
Som har jeg ved ikke fra mange gigabyte.
11:50
Ad helvedes til. Ja nå.
11:58
Så derfor er det jo normalt, at vi griner af det, fordi det der
12:02
Det er at det man kalder for fuldstændig latterligt og
12:06
upraktiske ingeniørkunst. Men så er det jo de bruger de
12:10
her stabilitet og effektivitet. Ja.
12:14
Så er det de bruger de her state base modeller og RN ns og det
12:18
der jo er i dem. For lever de?
12:20
Specifikt at de bruger Stage produkter.
12:23
Nej men de de nævner dem begge 2 ikke men det lad os lige prøve
12:27
bare hurtigt at forklare hvad Det er Der er forskellen på det.
12:29
Ikke fordi bare Sådan helt helt overordnet set så.
12:33
Det der jo sker II de her Stage space models.
12:37
Det er at at du opdaterer en matrice hver gang du kommer
12:41
igennem en. Hvad kan man sige en next toke
12:43
production så så hvor du står i din kontekst der opdaterer du
12:47
ligesom en matrice og den størrelse den matrice har den er
12:50
konstant. For for uanset hvor mange tungs
12:53
du spytter ind i den. Og det vil sige at.
13:00
Så er det noget computer der ligesom skal til, og jeg ved så
13:03
ikke lige. Jeg tror Der er stadig noget med
13:06
Sådan hastighed. Det kan godt være de så ikke
13:09
fortæller alle de downsites der så er med det med det her.
13:12
Der er noget med first token laden siger ekstremt højt og
13:15
Sådan nogle ting på de her ting. Men anyway, så Det er også Sådan
13:19
noget med at Det er upraktisk at spørge den live, for eksempel i
13:22
en chat og Sådan nogle ting der fordi så sidder du bare og
13:25
venter på på første tungen og og så kommer der ikke noget.
13:29
Og lige pludselig, så kommer det hele.
13:31
OK Sådan noget. Men men altså Jeg tror Der er i
13:35
hvert fald noget med det der. Nå men, men hvordan er det
13:39
altså? Det er jo stadigvæk.
13:41
Jeg ser det stadigvæk lidt som at Det er altså Det er stadig.
13:45
Der skal stadig meget computer til fordi Det er 100 mio. tunkes
13:48
og jeg ser det mere som Sådan et interessant teoretisk problem de
13:52
de ligesom udforsker her frem for et praktisk eller eller
13:56
tænker du at? At Det er praktisk rent faktisk
14:00
at sende så meget data. Altså Jeg har stadig svært ved
14:03
at sige det. Det er jo det.
14:04
Hvad hedder det jeg skrev her II dag en LinkedIn post hvor jeg
14:07
skrev Sådan hot take not Det var så mit hot take det her folk som
14:11
er oppe at køre over ultralange kontekst.
14:14
Du ved vinduer er dovne og frosser med tokens i stedet for
14:17
at smøge ærmerne op og komme i gang med noget ordentlig
14:19
retrival arbejde. Ja og det jeg plejer ikke at
14:24
være så så så smut i kanten der. Men.
14:28
Men Det var ligesom bare for ligesom at prøve at sætte det på
14:30
spidsen og så ligesom. Hvad skal man sige?
14:37
Fordi Jeg synes Der er en eller 2 form for.
14:40
At Der er en eller 2 form for relation mellem det her med bare
14:44
at vil have det hele i kontekst vinduet og så lave revolut ikke
14:48
altså fordi Det er jo på en eller 2 måde retreal at have det
14:50
hele i kontekst vinduet men men. Men altså hvorfor fanden laver
14:57
man så ikke bare nogle embedtings og prøver at ja det
15:00
Det er. Det Jeg synes bare Det er en
15:05
spændende diskussion af top, og Jeg synes bare Der er et eller
15:07
andet ved det her med bare at blæse.
15:09
Ting ind i kontekst vinduet som virker lidt som et hack.
15:14
Altså det virker ikke som om at Det er Sådan.
15:17
Kunst, altså rigtig intelligens fungerer vel.
15:20
Altså Der er jo ikke noget mennesker der læser 100 mio.
15:22
Tungens parallelt Sådan bare Sådan der.
15:27
Hvad tænker du om det? Jeg tænker.
15:31
Spændende. Det er noget helt andet.
15:33
Arkitektur hører jeg fordi at Det kan ikke.
15:36
Altså Det kan ikke. Det kan ikke være en intention
15:38
mekanisme det her. Det er simpelthen det skriver
15:41
det vist også, så Det er noget andet, men.
15:45
Er den er den open source kan man kan vi få noget mere at vide
15:47
om den arkitektur? Det kunne være interessant at
15:49
høre om Der er nogen derude som ved noget mere om det her.
15:52
Vi har. Vi har berørt en lille smule de
15:54
her stabse models og. Og og talt lidt om om det på det
16:00
tidspunkt. Det kan være Vi skal dykke dykke
16:02
ned i det igen for at se om Der er sket noget mere på det her
16:04
område. Jeg ser det.
16:07
Jeg ser det stadig som upraktisk altså 100 mio. togbens kunne jeg
16:13
godt tænke mig at nogen regnede ud hvor mange gigabyte Det er.
16:18
Hvis hvis Det er gigabyte det, det skal jeg ikke kunne sige.
16:21
Det er det nok ikke måske det mere, men stadigvæk.
16:24
Hun havde 100 er megabytes altså.
16:29
Det er Det er lidt special. Det det ville måske fungere på
16:34
den måde. Jeg tror også Det er det det
16:35
ligesom skriver her. Det er ligesom Sådan nå, men så
16:39
vi Vi skal lave noget med den her kodebase her den her det her
16:43
gud framework som du nævnte ikke, altså Det er det de gerne
16:46
vil arbejde på og så loader man det ligesom bare ind i
16:50
hukommelsen på den der GPU en gang alt det der data der i
16:55
konteksten og så er det ligesom nu er den så gearet til at den
16:58
skal stå og arbejde på det. Og Det er jo fint nok.
17:02
Og så kontekst ligesom sat. Men så så det skal jeg stadigvæk
17:06
ikke godt fordi. En bruger skal occupy en en
17:11
enkelt h 100. Altså.
17:16
Det Det er altså stadigvæk. Altså du du er konstant på den
17:20
der h 100 der. Men, der står der står at Det
17:24
var kun 1 1 1 lille fraktion eller en halv 100.
17:28
Det er sgu da nok den. Du skal ikke bruge alle de mange
17:31
100 eller mange gigabyte Der er i den.
17:33
Men du skal måske så stadig bruge noget eller jeg ved ikke
17:36
hvor stor en flig er Sådan nogle ting, men det kræver i hvert
17:38
fald at Det er enormt memory fishion.
17:40
Ikke fordi. Nu skal du slejse altså
17:43
timeshise eller gøre et eller andet med den her.
17:47
Hvad kan man sige? 100 per bruger ikke og du er
17:51
nødt til ligesom det lige bliver næsten Sådan en lille virtuel
17:53
maskine du kommer ind i og skal til at lave infå frem for at du
17:57
har. Den her, hvad kan man sige?
18:01
Delte kloster surfing metode, som du kan med med attention og
18:05
parallisering til til død pine. Og og det ja så Det var.
18:10
Det er en sjov af de ting. Det er sjovt fordi det man
18:13
egentlig det man vel egentlig gerne vil have.
18:15
Det er at ligesom du ved, hvis Det var et menneske og der blev
18:21
ansat i en ny virksomhed og skulle arbejde i en kodebasse,
18:23
så ville det jo også ligesom tage tid at lære den kodebase at
18:26
kende prøve at bygge den. Du ved altså lære den at kende
18:33
og så videre ikke. Og ligesom få den ind under
18:34
huden og Sådan noget. Ja og det det virker altså så så
18:39
så og så kan man på en eller 2 måde har man forestiller jeg mig
18:43
Sådan en eller 2 abstrakt konceptuel repræsentation af den
18:47
i ens hoved, og så kan man ligesom arbejde ud fra det og
18:50
ligesom arbejde rundt med den oppe i hovedet på den måde ikke?
18:55
Hvor at? Jamen så du ved så du ved og det
19:00
man og det man så ligesom hacker modellerne til her.
19:03
Det er ligesom bare at. Have det inden fresh hele du ved
19:08
alt tekst er hvert en enkelt linje kode i den her database
19:13
fresh in memory. Adl time altså hvad hvad på hver
19:17
eneste tidspunkt, ikke hvor at det virker som om at det man på
19:21
en eller 2 måde hellere vil er ligesom at få den bagt ind i
19:24
modellen på en eller 2 måde altså Sådan at få masseret den
19:27
ind i modellen Sådan så den ville kende kodebasen på samme
19:31
måde som den måske kendte. Nonprej eller et eller andet
19:35
ikke. Altså så den fik den her.
19:38
Den kom til at kende kodebasen på samme måde, som hvis Det var
19:40
et open source Frank work, som den havde set masser af
19:43
eksempler på og læst kildekoden til og og blevet trænet på,
19:46
ikke? Men man kan jo sige Det er jo
19:49
lidt ligesom. Ja altså det det ville.
19:53
Det ville sikkert fungere fint altså 100 mio. tokens at have
19:59
det i hukommelsen. Sammenlignet med en.
20:03
En en vektoriseret database af af.
20:07
Hvad kan man sige af en masse indhold fra fra nær og fjern de
20:11
de altså der bliver 100 mio. tokens jo bare peanuts altså Det
20:15
er jo Det er jo ingenting altså vi snakker jo når Vi er ude i
20:18
Sådan nogle rapløsninger der virkelig batter og har har meget
20:22
mulighed for at købe mange forskellige ressourcer, så Det
20:26
er jo milliarder af tåbens. Vi snakker om at du du har
20:32
tilgængelig. Som du kan rete.
20:35
Ja så altså. Det Det er stadigvæk begrænset.
20:40
Ikke fordi at du har måske så også den der ene opgave du
20:42
arbejder på som er det her gou firework i den her sammenhæng.
20:46
Og så arbejder du meget intenst på det.
20:48
Det er ligesom det. Det skal ligesom være det Det er
20:49
lavet til ikke, men så kan det være du egentlig når du så skal
20:52
begynde at engineere lidt omkring det der så er det så er
20:55
du måske interesseret i mange forskellige kontekster, for du
20:57
skal blande det og Sådan nogle ting der pludselig så så har så
21:00
har du ikke bare en bruger på. På.
21:05
En hvad kan man sige 100 mio. Cont hvad hedder det togen
21:08
kontekst vindue kørende, så har du måske. 5 af dem fordi du er i
21:12
gang med at lave agenter eller Sådan et eller andet ikke og de
21:15
skal have adgang til et eller andet.
21:17
Altså fordi man vælger jo at skifte det her ud med en
21:20
retrieverløsning som Sådan, fordi Det er det man siger.
21:23
Så Jeg har stadigvæk svært ved at se det praktiske i det.
21:28
At Sådan ren og skær engineering også jeg jeg.
21:31
Jeg er helt sikker på at at lost in the middle kan løses og nogle
21:37
andre arkitekturer og de mere mememin fition og alle de ting
21:40
der. Jeg er slet ikke i tvivl om, at
21:41
det godt kan løbe for dem, men hvor praktisk Det er i sidste
21:44
ende det. Det har jeg stadigvæk ikke.
21:46
Set ikke helt overbevist endnu. Hvad hedder det?
21:49
Der er en jeg opskriver LinkedIn opslag og så skriv op Bjarke
21:53
grønberg tilbage hot take hottake folk som er oppe at køre
21:58
over python er dovne og frå som CPU cycles i stedet for at smøge
22:02
ærmerne op og komme i gang med noget ordentlig
22:04
programmeringsarbejde. Jeg tror kode er tilgængelighed
22:07
det. Det er bare lige Sådan en
22:09
pushback ikke. Jeg tror kodeordet er
22:12
tilgængelighed. Det er simpelthen bare nemmere
22:13
at smide hele dokumentet ind i et kontekstsvindue frem for at
22:17
bruge tid på retrivet. Og Der er selvfølgelig kun nogle
22:21
og der. Det er også selvfølgelig kun til
22:23
nogle use cases Det er muligt. Så det tror jeg også.
22:25
Det er jo ikke Det er jo ikke nemmere, hvis du skal engineere
22:27
det hele fra fra fra grunden det der.
22:31
Så er det jo ikke nemmere. Dybest set altså det.
22:36
Det er jo kun fordi du har en en tastløsning hvor du så kan smide
22:39
det hen. Ikke ligesom at lige så nemt som
22:41
Det er at køre en stor sprogmodel ikke?
22:45
Jeg ved det ikke. Jeg ved.
22:46
Altså Jeg er Sådan lidt fattigmands retrivel ikke eller?
22:50
Det virker bare Sådan. Det virker bare Sådan lidt noop
22:51
retrie agtigt ikke og du skal passe på at.
22:53
Jeg heller ikke. Hvis du tager Sådan 100 mio.
22:59
tokens og du gerne vil embedte dem kortsigtet, putte dem ned i
23:03
en i en. I 1 1 1 vektordatabase eller et
23:07
eller andet sted og gøre dem klar til at blive retrevia Jeg
23:10
tror det tager det. Tager det samme tid som at loade
23:12
den ind i Sådan en model der. At embedte vil puttet det ned,
23:17
indeksere det og gøre det klart til at du kan true, men Jeg tror
23:19
Det er nogenlunde samme tid. Det tager altså du kan
23:22
parallalisere det der og Sådan noget.
23:24
Så ja selvfølgelig skal du have din vektor database og bruge tid
23:29
på at sætte den op, og den kan du også få som en sass service,
23:31
så du bare smider det ind altså. Det Jeg tror Det er lige så
23:35
nemt. Så ja jeg går efter det dovne
23:39
python disse. Sådan rent forståelsesmæssigt og
23:43
ren infrastruktursmæssigt. Er det jo nemmere bare at blæse
23:47
togkens og sted til 1-1 lille bemærkning og så er der også
23:51
Sådan noget som prump caching og Sådan nogle ting altså så er det
23:53
jo nemmere bare at sende en tekst til et API og så prompte
23:57
det end Det er at sætte en ekstra database op og find
24:00
embeds og lave dem om og så ind i en database.
24:03
Og send en side sværere, så sender ikke de her altså den
24:05
arkitektur du skal have for at surve de der 100 mio.
24:08
Tungs det det. Det bliver ikke en hvor du
24:10
sender 100 mio. tokens henover the wire hver gang ligesom du
24:14
gør med din chat vel? Det gør det ikke altså.
24:16
Det bliver en hvor du sender den, så har du noget statefulde
24:20
et eller andet en eller 2 session du skal forholde dig til
24:22
at sende nogle nogle completions til og du skal booke keeper
24:25
måske kappe book kiev for dig og Sådan nogle ting.
24:28
Det er ikke nødvendigt. Det andet er faktisk statementes
24:31
og det vil sige den måde du interagerer med med med den
24:34
arkitektur på er langt mere simpel når du bare skal lave en
24:37
chat completion end det her ville blive så jeg.
24:40
Jeg hopper ikke på den der med at Det er en simpel arkitektur.
24:43
Dem må vi lige have. Men så er det måske Det er måske
24:45
nemmere at forstå. Det er måske nemmere at forstå,
24:47
at hvis vi bare blæser det ind i token altså ind i
24:50
kontekstvinduet, så kan den jo bare fucking svare på det.
24:53
Kan man sige når anabase hvad hedder det vi vi?
24:56
Det er et tilbagevendende emne her eva's podcast, Det er det
24:59
meget lange token vinduer og. Vi er ikke.
25:02
Vi er ikke helt overbevist om, at Det er ligesom om Der er
25:05
nogen der Sådan tror at eller tænker at Det er.
25:09
Vejen til et jeg at trilliard tunge kontekst.
25:15
Hele internettet ikke? Koncert men hvad hedder det?
25:18
Men OK Jeg vil også godt sige Jeg vil gerne medgive at Jeg
25:22
synes at man er en idiot hvis man altså så det bare lige for
25:25
at call down ikke altså det det Det har sikkert sin sin plads,
25:30
og Der er helt klart helt klart nogle use cases hvor at Det er
25:32
brugbart, men. Jeg tvivler bare meget på
25:35
retningen. Altså fordi det virker som om
25:37
det, man i virkeligheden hellere vil have, er at det bliver
25:39
trænet ind i modellen at. Eller at man på en eller 2 måde
25:42
får noget memory op at køre ikke?
25:45
Altså Det er jo i virkeligheden virkeligheden interessant.
25:48
Sådan forskellen på Information lige foran din næse, som du skal
25:54
forstå og arbejde med versus noget du gemmer i din hukommelse
25:58
og kan. Næsten ikke lære inde i din
26:02
hjerne og bruge Sådan. Altså Det er den man ikke helt
26:05
har fundet endnu med. Alle lever ikke altså.
26:08
Så så. Så bliver man nødt til at lave
26:10
Sådan nogle hacks, hvor man ligesom bare caster det prompt
26:13
casher det ind i contact nå. Vi skal videre.
26:20
Vi skal videre. Hvad vil du have på listen nu?
26:23
Eller når jeg tænker på vi lige snakker om mel mom, kunne du
26:26
tænke dig at give en indflyvning til til den?
26:29
Det kan Det kan du tro så meget som jeg nu forstår af det momo
26:34
Det er de her jeg kalder dem allane jeg i, men så som du
26:38
siger så hedder de 2 AI 2 eller Sådan et eller andet de har vi
26:41
skiftet lidt navn nå men de har de har lavet 1 1 1 1 1 vision
26:48
language model tror jeg vist godt vi kan kalde det som er
26:53
open source og rimelig meget open source altså åben data åben
26:56
kode åben wait. Og noget af det, Der er mest
27:02
Sådan fremtrædende i det. Det er at de har Sådan en video
27:06
hvor de viser at at modellen den kan ligesom pege.
27:10
Og så tænker man hvordan laver Sådan nogle bouning bugs rundt
27:14
omkring? Hvor på billedet den siger noget
27:18
om, for eksempel hvis du giver den et billede og du giver den
27:20
om forklare nogle ting og Sådan noget, så kan så peger den med
27:23
at lave det der bowling bokser og Sådan nogle ting.
27:25
Det synes jeg sgu egentlig er. Det er ret fedt det.
27:27
Det kan man så se på Sådan en telefon.
27:29
Altså det virker Sådan rimelig rimelig cool som Sådan et ekstra
27:34
forklarende element. Men det Der er de 2 ting Der er
27:38
det fedeste ved det her, som som som jeg ser det uden at vide
27:41
særlig meget om arkitektur og alt det der.
27:44
Det er at den åben datadelen og så deres deres tilgang til til
27:48
data. De da i deres blogposte, hvor de
27:52
annoncerer det her der har de en en overskrift der hedder pix
27:56
mode. Det er deres det der datasæt de
27:57
har lavet datter quality winds over qvantity, og der må man
28:02
sige. Hvis hvis deres benchmarks og
28:07
deres forklaring på hvad hvor meget de har trænet på og Sådan
28:10
nogle ting holder stik, så må man sige det.
28:14
Det kan man vist. Det kan man vist med ro
28:17
konkludere ud fra fra. For dit tal.
28:21
Ja fordi at. Det de har gjort.
28:24
Det er de har samlet en en masse ny data ind, som ikke er noget
28:28
Der er destilleret ud fra andre modeller.
28:31
Altså det her med hvor man tager en model, og så beder man den om
28:34
man genererer noget noget ny data, så bruger man det i en i
28:38
en 2 træning. Når man optræder ligesom at
28:41
holde det destinationsfrit altså real destillationsfrit.
28:46
Det er jo klart at det de har ligesom set i det der Det er,
28:48
hvis vi virkelig skal videre i det her, så kan det ikke nytte
28:50
noget, at vi bare. Bliver reproduceret de samme
28:55
benchmarx scores på nogle andre modeller, der måske er lidt
28:58
mindre og og Sådan nogle ting. Vi er også nødt til at.
29:02
Kunne få de her modeller til at kunne mere, altså udvide
29:04
vektorspadset for hvad de kan, og det gør vi sjovt nok kun ved
29:08
at indsamle noget noget ny data af høj kvalitet, der måske
29:12
indfanger noget, som som modellerne ikke tidligere har
29:15
har været i stand til. Pretty simple, deaddesigns one a
29:19
one. Og og Det er det de gør, og den
29:23
dataindsamlingsmetode de bruger den er altså den er sgu rimelig
29:27
rimelig nice. Ja måske skal man bare lige.
29:29
Forklare den. Ja måske skal man bare lige
29:31
hurtigt sige, at de skriver at de har taget Jeg har.
29:34
Jeg har faktisk ikke super. Jeg er ikke Sådan helt skarp på
29:38
hvordan man træner de her vision language models, men de skriver
29:41
at de har taget udgangspunkt i en vision.
29:44
En cater altså den der hedder clip en opbe i udgivet.
29:48
Vision in cooter som hedder klip og invision and cater Det er 1 1
29:53
1 1 catermodel som ligesom tager et billede og eller billede
29:59
eller noget tekst. Så vidt jeg forstår og ligesom
30:01
embedter det i et delt space Sådan så at man kan for eksempel
30:07
en bette noget tekst og så søge ned mod billeder eller omvendt
30:11
language. Image.
30:16
Incote. Ja Sådan et eller andet ja lige
30:18
præcis og Der er ideen med den er ligesom at man har taget
30:22
billeder fra internettet og så deres captions, altså deres
30:25
beskrivelser der finder rundt omkring på internettet.
30:27
Og så har man ligesom trænet en et neuralt netværk til en bet
30:31
dem her i det samme rum, så vidt jeg forstår.
30:34
Det er første delen af ligesom at sige de her tekster og
30:37
billeder, de er er tæt på hinanden i mening og så antik.
30:42
Samrum ja. Og så har man så åbenbart og
30:45
noget man så ligesom laver dem på.
30:47
Det er at man også kobler det med Sådan 1 1 1 large language
30:51
model. Og det de så ligesom har gjort
30:54
med det her datasæt det her fordi det når man skal lave
30:58
Sådan noget her så skal man bruge et datasæt som består af
31:01
par af billeder og tekst, så så så det de har gjort det de
31:06
ligesom har observeret. Det er at Det er noget rigtig
31:09
lortedata det Der er på internettet fordi det ligesom er
31:11
så støjfuldt og Sådan noget. De der tekstbillede par man får
31:16
der og hvis man hvis man ligesom beder menneske annotører om at
31:19
sætte sig ned og rent faktisk producere det her tekst, så
31:23
bliver det ret hurtigt Sådan rimelig.
31:26
Kreativitetsforladt og Sådan rimelig hurtig en drøj omgang
31:29
for de her anotører, og så bliver ryger kvalitet.
31:32
Altså Det er svært ligesom at opretholde kvaliteten at skale
31:36
for menneske annotører. Så Det er ligesom man har gjort.
31:40
Det er, at de har i stedet for at de de her annotører til at
31:44
skrive beskrivelser og billeder, så har de fået annotører til at
31:47
indtale billeder, beskrivelser og billeder, hvor at de har fået
31:52
mennesker til at præsentere billeder for mennesker.
31:54
Og så har de simpelthen bedt dem om at beskrive dem med med med
31:58
tale, og så har de givet dem nogle bestemte guidelines med at
32:01
de skulle beskrive. De objekter Der er i billedet,
32:05
og hvordan de ligesom rent Sådan spachel er placeret og.
32:11
Og Det har de bare det. Det skulle de efter sigende have
32:13
fået noget rigtig, rigtig, rigtig godt data ud af så.
32:16
Det Jeg synes Det er. Det er lige præcis det her som
32:19
som slår mig bare var Sådan wow fedt mand Der er nogen Der er
32:23
back 2 basic her. Vi skal finde ud af at samle
32:25
data ind på hvad Vi skal have en ny metode til bedre indsamling,
32:29
men Vi skal også finde ud af en metode til højere kvalitet.
32:34
Ja menneskelige annotører ind og hvordan gør vi det?
32:36
Og så det her kreative med, at man simpelthen får dem til at
32:39
tale? Beskrivelsen i stedet for at de
32:42
skal skrive det ned på tekst. Det er geniallers det Jeg tror
32:45
Det er. Helt seriøst.
32:47
Jeg tror Der er så meget. Innovation i dataindsamling.
32:53
Altså 100%. Som Jeg tror folk vinder, for
32:55
Det er sygt meget, fordi folk er fokuseret på skab skala og
33:00
comput og er det første. Der bliver undervurderet.
33:03
Det er hvor vigtigt høj kvalitetsdata er.
33:07
Og så det næste, der bliver undervurderet.
33:09
Det er ligesom at at dyrke. Hvad kan man sige innovationen
33:14
indenfor metoderne til at rent faktisk at indsamle dem 100%?
33:19
At at Det er for dårligt, kan man sige.
33:24
Sådan. At komme ja sorry.
33:26
Kommer de der? Tunge processer, men også bare
33:29
Sådan noget brugergrænseflader, hvordan man kan indsamle
33:31
kreativt der og Sådan noget der det.
33:32
Det er der heller ikke særlig meget.
33:33
Der er der mange der gør i, synes jeg.
33:36
Så er processen. Processen har også indflydelse
33:38
på datakvaliteten, fordi hvis Det er røvsygt at sidde og lave
33:41
det man det der bliver noteret, så bliver data.
33:44
Det afspejler sig til data. Ikke så i virkeligheden, så
33:47
skulle det jo bare være. Altså jeg forestiller mig, at
33:52
menneskehjerner også fungerer Sådan på en eller 2 måde som
33:55
Sådan noget back propagation og har jeg nogle signaler de?
33:59
Hvad skal man sige? Pickkerup på og lære fra og
34:02
Sådan noget, men Det er bare Sådan noget.
34:04
Det bliver bare proppet hele tiden i Sådan et.
34:07
Forsyn og følesanser og stimulanser og alt Sådan noget
34:11
ikke. Hvor at det Sådan et et meget
34:15
Sådan real time feedback system hvor at.
34:19
Det virker Sådan lidt håndholdt den de her anoringsmetoder man
34:22
har nu ikke fordi så sætter man sig ned, så ser man noget data
34:24
og så gør man noget ikke? Jeg tror man jo mere man kan
34:28
gøre for Sådan aktivt kan gøre for at gøre det mindre mekanisk
34:32
og mere Sådan naturligt. Jo jo bedre.
34:37
Modeller på den 2 side, ikke? Altså man kan sige Det er også
34:40
det Der er lidt sjovt med. Hvad mener man mere naturligt?
34:43
Fordi hvis nu du bare gerne vil have folk til at beskrive ting
34:46
som mennesker gør i det daglige, så vil du også hvis du lytter
34:50
til Sådan nogle mennesker der beskriver ting bare lytte til
34:52
din egen podcast så nogle gange så Der er ikke nødvendigvis
34:57
altid sammenhængende sætninger og så videre og så videre.
35:00
Og egentlig vil man gerne have noget som er ret høj kvalitet.
35:05
Altså også noget som har høj kvalitet, mening og og
35:09
sætningsmæssige sammenhæng. Jo så Jeg tror, at Jeg tror Jeg
35:14
tror at problemet er. Problemet er, at Det er
35:18
mennesker, der skal producere i virkeligheden.
35:20
Det er, at Vi er ikke guder, og vi vil gerne have en gudmaskine
35:23
ud på den 2 ende. Ikke også så Vi er nødt til at
35:25
på en eller 2 måde, når vi så producerer data til de her
35:28
modeller, der skal trænes, så skal vi være altså the best of
35:32
the best når vi når vi putter det her ind i de her maskiner,
35:35
fordi hvis Vi er Sådan lidt sløve i det, så producerer vi
35:38
Sådan lidt halstør og Sådan nogle ting der så det der ære
35:41
det tænker Jeg er de hvad vil de de der mennesker der de?
35:45
Det er. Forstår du det ikke?
35:48
Det forstår det ikke, da jeg derfor der det støjer her og der
35:50
og alle mulige veje og Sådan nogle ting der og der tror jeg
35:53
at Det er. Det er altså vigtigt at at prøve
35:56
at finde ud af en eller 2 form for Sådan.
36:00
Ja hvad altså kvalitetsmarkørerne prøve at
36:02
finde nogle processer, der ligesom giver noget kvalitet på
36:05
en eller 2 måde. Det er jo et kæmpe kæmpe
36:06
problem, men altså innovation i den her retning her.
36:09
Det synes jeg bare Det er fedt. Det synes jeg Det er nice til
36:13
noget. Og så kan det jo.
36:15
Det er jo en god visionmodel som er.
36:19
Det virker som om at på på blockbusteret her.
36:21
Det er en af de første som Sådan er trænet uden model destination
36:24
fra de store dørmodeller, hvilket er meget godt i en.
36:29
Vi stemmer godt overens med med Allan i approach til at gøre det
36:32
hele open source kode og så videre og prøver at lave det fra
36:35
scratch det hele, så man ligesom kan trace the back helt tilbage
36:39
til ja, koder og data og så videre.
36:44
Så Det er jo en kvalitet af sig selv, og så er de også nogle
36:47
gode modeller ser det ud til og så kan de pege.
36:51
De kan pege. Og Det er sikkert fordi Der er
36:54
nogen der har peget på hvad Det er de de forklarede, når de de
36:57
skulle indsamle der data. Det er jo også sjovt.
37:00
Der er slet ikke lige mærke til. Læg lige mærke til.
37:04
Ja Det er lidt kæmpe, men også brugbart synes jeg.
37:08
Læg lige mærke til det her med, fordi nu siger vi Det er høj
37:12
kvalitet data. Men hvor meget er det så fordi?
37:15
Så 712.000. Audio dcriptions altså
37:20
beskrivelse af viadio af billeder.
37:26
Og som så blevet, hvad kan man sige samplet af de her blandt de
37:31
her 50. Overordnede topics.
37:36
Og og Jeg tror de skriver et eller andet sted, at de Sådan i
37:40
alt har samlet. Og lidt over en million eller
37:43
Sådan et eller andet, så de har altså sorteret Sådan 300.000 fra
37:48
ikke også så vi. Jeg er ikke helt sikker på nu nu
37:52
kan godt være jeg siger noget der bare er noget vrøvl, men Jeg
37:54
synes Jeg har set det sted, men Der er jeg ret sikker på Der er
37:57
noget Der er noget frasortering. Af af af data.
38:04
Nå anyways, men Det er jo altså. Prøv lige at overvej.
38:07
Det er jo ikke Sådan, Det er jo ikke vildt meget data vel når
38:10
man når man sammenligner med med hvad man ligesom tænker at GPT 4
38:15
blev trænet på og Sådan nogle ting, og så er den altså i
38:18
forhold til deres deres vision benchmark her, så er den helt
38:23
oppe altså human preference evaluation, så er den helt oppe.
38:27
Helt oppe ved siden af GBT 4 o ikke.
38:30
Jo det. Det er altså rimelig psycho.
38:35
Jeg vil bare lige sige det. Det skal man lige Sådan i
38:36
forhold til de datamængder. Den er trænet på ikke og og så
38:41
begynder det jo lige pludselig at blive Sådan lidt kan kan høj
38:46
kvalitet virkelig altså i den skala virkelig bare gøre
38:50
forskel, fordi jo mindre data man kan bruge.
38:56
Og få det samme ud af det. Jo nemmere er det at få trænet
39:00
de her modeller. Uden tvivl.
39:04
Det det synes jeg det. Jeg synes Det er et et big step
39:07
det her det. Er en god investering ikke at
39:10
altså at lave høj kvalitetsdata, fordi det skal du ligesom gøre
39:13
en gang og så skalere det godt i, altså tilfældig lang tid
39:18
efter. Det er jo også Sådan at det hele
39:20
startede. Det er jo at jeg plejer at sige
39:23
at åbne. Jeg snublede sig til at det her.
39:27
Human evaluation. Dataindsamling.
39:32
Som jo egentlig er Sådan præference.
39:34
Hvad er en præference? Men det Det er et eller andet
39:37
abstrakt, at det rent faktisk virkede fordi at det havde de
39:40
her meget traditionelle dallasinces nok ikke rigtig
39:44
forestillet sig, at det her Sådan lidt mere bløde evaluering
39:47
faktisk kunne give noget. Men det gjorde det jo så.
39:52
Sjovt nok så. Det, Det er jo egentlig egentlig
39:56
også sjovt. Ikke fordi en af de helt store
39:58
innovationer indenfor chatgw t. Altså man kan sige.
40:03
Der var selvfølgelig den her store prætræning, hvor man bare
40:05
forudser det næste ord ikke, men den er Sådan.
40:07
Det er jo bare en scraping øvelse og så en skalere computer
40:10
øvelse. Ikke bare så siger jeg bare OK
40:14
det det ved jeg godt, det ikke bare er selvfølgelig ikke, men
40:17
men Sådan rent kommandasæt mæssigt er det jo ikke særlig
40:21
spændende. Altså, Det er jo bare revl og
40:23
krat. For alle steder man overhovedet
40:26
kan få data fra ikke, men en af de store innovationer, Det var
40:29
da man fandt ud af at OK. Vi bliver altså nødt til at
40:31
træne de her modeller til at følge instruktioner, fordi
40:33
ellers så fatter de ingenting altså.
40:37
Og det krævede Det var dyrt også ikke.
40:38
Altså Det var dyrt i orkestrering af amatørteams og
40:43
protokoller og produktion af data og så videre ikke altså det
40:48
det. Det er en stor satsning og
40:51
producere så meget data og det virker.
40:53
Ja og og Der er også risiko forbundet med det.
40:56
Ikke fordi virker det virker det ikke.
40:58
Det kan jeg da også huske på ekstra Bladet, da vi havde
41:00
adoptør, da jeg var med til at drive det der teams ikke.
41:04
Altså Sådan Det er sgu en tung proces altså og man bliver god
41:08
til den og man itererer mange gange og Sådan noget men men Det
41:11
er også ja. Men men men du kan også.
41:16
Du kan også prøve at grave efter guldet ved at sidde og lave
41:18
hyperparametre optimering og prøve 13 forskellige arkitektur.
41:22
Af på det samme data, og så er det lidt ligesom einstein ikke
41:25
altså. Du bliver ved med at insane ikke
41:28
du bliver ved med at at prøve at optimere mod det samme optimum
41:32
med med forskellige metoder på det samme data der har det samme
41:36
optimum teoretisk set altså det Det er noget andet data Der er
41:41
svaret tit ikke og du ved ikke hvornår du har nået det optimum
41:44
det data kan have, jo det ved du så godt Det har du nogle lost
41:48
function til at eller nogle læringskurve eller et eller
41:51
andet? Learning race og alt muligt
41:54
andet. Grafshow til at vise dig men.
42:02
Altså det. Det er jo bare at Det er bare
42:06
virkelig, virkelig, virkelig sjældent.
42:07
Man løser problemerne ved at at blive ved med at bruge det samme
42:11
data, men man når ligesom til et punkt og så OK nu nu.
42:15
Nu nåede vi hertil og så så er next step stort set altid
42:20
forbedret data indsamt. Ny data gør noget mere, gør
42:23
noget mere med data. Og ikke bare featu engineer på
42:27
baggrund af det samme data, fordi det får man heller ikke
42:30
noget ud af. Fordi Der er ikke mere at hente
42:34
i det. Det er ligesom en citronen er
42:35
presset ikke? Men Det er sjovt.
42:37
Det er som om man ikke ser det som værdifuldt ikke altså man
42:39
tænker Sådan jamen det Vi er sgu da ikke vi kunne sgu da ikke gå
42:41
i gang med at lave data. Altså Det er sgu da.
42:44
Jamen det det. Som du ved, det giver da ikke
42:47
nogen mening eller man man ser det som Sådan.
42:49
Vi skal jo træne modeller og Vi skal jo lave koder og
42:53
infrastruktur og Sådan. Noget dit kode.
42:56
Ja nå. Ja Det er det der Det er the
43:00
curs altså Det er jo at det Det er der science.
43:02
Det ved godt at Det er det der skal til, men de får måske ikke
43:06
lige altså musklerne til rent faktisk at føre det ud i livet,
43:09
så der sidder der sidder helt sikkert mange.
43:11
Det er designtest derude og bare.
43:14
Vil du ikke godt lave en model på på det her data?
43:17
Vi har liggende hernede. Det har ligget hernede i et
43:20
register i 30 år. Det ser Sådan her ud at det
43:22
bliver alt. Det kommer aldrig til at se
43:24
anderledes ud end det her. Det er lort vil.
43:27
Du ikke vil du ikke så lave en model på det?
43:29
Vi vil gerne fange nogle banditter eller et eller andet
43:32
og så kommer man og kigger på det der data så finder man ud af
43:35
hov Det kan ikke bruges og så siger man Det kan ikke bruges.
43:39
Og så møder man og så smutter det design så kommer en ny det
43:42
designsassist ind og prøver det og får den samme opgave.
43:45
Vil du ikke godt prøve at lave en model på det her?
43:46
Vis Vi er i sikker på Det er noget guld.
43:49
Og så bare stadigvæk. Og altså Det har jeg set.
43:52
Det har jeg set og hørt mange sige at de har oplevet.
43:57
Ja det. Var vildten også den måske tager
43:59
den debat der, men med det der situation, den der diskussion om
44:04
den danske sprogmodel ikke skal vi lave en dansk sprogmodel og
44:07
det Det er virkeligheden ikke det man bør snakke om det man
44:10
bør snakke om. Det er skal vi lave et datasæt.
44:14
Så vidt jeg så. Så fra debatten til trods kan
44:18
konference før vi moderer den. Men altså.
44:21
Men Det er jo den måde man laver noget Der er uafhængigt af den
44:24
næste nye store model der kommer ud for meta ikke.
44:26
Altså ja nå. Vi skal Vi skal videre det.
44:31
Det er virkelig spændende moe Allan og jeg.
44:34
Vi må følge noget mere. Men Vi har lige 2 ting og den
44:37
næste junge. Hvad er det?
44:39
Det er jo fordi at ja, Det er jo faktisk lige nu.
44:44
Jeg kan se inde på Twitter at der bliver postet billeder fra
44:47
opinære i deft day til for de her breakout sessions.
44:51
Jeg ved ikke om de bliver streamet på youtube eller om det
44:53
bare er total undercover her III år fordi alle bare ligesom er
44:58
smuttet fra ubber i undtagen. Samalt.
45:03
Men men ja så så jeg ved ikke helt hvad der foregår men men
45:07
man kan i hvert fald gå ind på deres change lock og se hvor den
45:09
1. oktober. Så kan man se nogle nye releases
45:12
Der er kommet. Som jeg tænker at vi vil gå
45:15
igennem nu her og snakke lidt om.
45:17
Skal jeg ikke tage de 3 øverste, så tager du det træne nederst
45:21
eller jo lad. Os gøre det o.
45:23
K. Så den første.
45:27
Real time API. Det er et.
45:32
Jeg er glad for at høre de andre AP er.
45:34
De var ikke real time. Det er det her Det er real time.
45:40
Men, hvad indeholder det? Det indeholder speech 2 speech
45:44
experientes Det er det her Vi har set det her GBT 4 o.
45:50
Der kan du kan tale til afbryder og Sådan.
45:53
Nogle ting der ikke og voice mode IAPI form ikke og.
45:57
Det skal man bruge en APT og Det er det.
46:00
Er det man kalder for tovejskommunikation.
46:03
I og Det er man nødt til at lave som Sådan en.
46:06
Hvad kan man sige? Eventbaseret
46:09
tovejskommunikation? Der har vi en protokol der
46:12
hedder websuccket, og den har de sjovt nok brugt.
46:16
Så nu har vi en websocket hvor vi kan lave en speech 2 space.
46:21
Hvad kan man sige integration med?
46:23
Det er advans stof siger jeg bare lige for the engineers
46:26
outdoor. Websic det aner jeg ikke hvad
46:30
Det er. En websocket er en.
46:34
Ja stream slash event. Long living connection protokol
46:41
over over host TP mener jeg eller også jeg mener Det er en
46:47
en. Jeg mener Det er en HTP og ikke
46:51
TCP. Men anyways, og Det er en tovejs
46:58
kommunalktiv protokol hvor at. At serveren kan sende beskeder
47:02
til klienten, og klienten kan sende beskeder til serveren over
47:06
den samme forbindelse vilkårligt af hinanden, kan man sige.
47:10
Og Det er Sådan en samtale af jer, hvis man forestiller sig
47:13
det, at man man snakker hen over hinanden, og så når man
47:19
observerer den 2 og er begyndt at tale, så så stopper man med
47:22
at sige noget selv og Det er lige præcis Sådan protokol man
47:26
skal bruge, ikke? Ja ja.
47:29
Så Det er det. Det har de selvfølgelig lavet.
47:32
Det var da rart for ellers så kunne vi jo ikke bruge det til
47:33
noget. Så var der, så er der model
47:37
destination platform. Vil du hurtigt bare lige nå API
47:42
dokumentationen her, og det ser ud som om, at du kan, når du
47:47
sender lyd via Sådan en websocket her til det her real
47:52
time API, så kan du så kan du sende instructions med.
47:58
Sådan systempromsagtigt ser det umiddelbart ud til, og så kan du
48:02
vælge modeles altså. Og i det her eksempel har de
48:06
valgt tekst. Så jeg ved ikke det ser ud.
48:09
Man kan vælge at man taler til giver det en system frem, vælger
48:12
at tale til den og så få tekst tilbage, så ved jeg ikke helt
48:16
hvad det der realtime lige går ud på, men.
48:20
Men man kan sikkert også vel stemme tilbage, ikke?
48:23
Det var bare lige interessant, og så er det så et stateful API.
48:30
Og det betyder at. Wich means Der er it main
48:33
tjenester state of interactions through out the livet time ofte
48:36
session OK Det er så fordi at den ligesom Det er Sådan 1 1 1 1
48:41
forbindelse man opretter via Sådan en websocket her måske og
48:45
så så skal den ligesom. For dig og så og.
48:50
Så har den talt om datiden, intersession er død eller ja.
48:55
Stemmer gemmer den det du siger data du sender og det serveren
48:59
sender tilbage. Det gemmer den ligesom og har.
49:03
På serveren. Klienten har måske ikke behov
49:07
for at gemme det ved serveren gemmer det, men skal bare sende
49:11
det næste. Hvad kan man sige nu?
49:12
Siger jeg noget igen nu siger jeg noget igen nu siger jeg
49:14
noget igen. Og og på den måde så ja så så er
49:19
det statefull hvorimod at når du har en chat completion jamen så
49:24
sender du noget tekst. Det bliver projiceret, og så
49:29
begynder der en tågen completion, en produktion og
49:33
altså man kan sige den er jo statfuld II og med du du laver
49:37
den her complice, men Der er ikke noget der bliver ikke gemt
49:38
noget når den er færdig med det så er det bare så er det gøren.
49:43
Understøtter det også function calling og så videre.
49:45
Bare vent i morgen så helt dinero mand.
49:48
Det er bare real time. Det er bare real så siger du
49:52
bare hej dinero mit regnskab. Ja fik det.
49:57
Ja fik slår det okay, men så har vi model destillation og.
50:05
Altså. Jeg er ikke altså jeg tænker
50:11
bare er det ikke bare fine tuning?
50:12
Jeg forstår ikke helt. Hvorfor?
50:15
Det er noget særligt. Er Det er det, er det?
50:22
Ja det det, det forstår jeg ikke helt.
50:24
De skriver bare det det fine tuning.
50:27
Altså model destination er jo det her med at man ligesom tager
50:31
og genererer noget data med en storm model, og så bruger man
50:34
det data man har genereret med den store model til at træne i
50:36
en mindre model. Nå ja altså.
50:40
Det kunne man vel allerede? Altså du kan vel generere noget
50:43
data med GPT 4 og o og så træne eller fra en tunende GPT 4 o
50:48
mini for eksempel. Ja ja men det Det er derfor jeg
50:50
siger er det ikke bare find tuning men men men hvad hedder
50:54
det så OK så det du det du måske så er Det er Sådan en hjælp til
50:58
at. Du behøver ikke selv at bygge
51:01
det her model destination ved at at at have det egentlig også
51:06
noget med. Nej, de har ikke Sådan forbudt
51:08
det jo altså gøre det på på deres eget AP med det må man jo
51:11
godt, kan man sige. Man må godt fordi med modellen
51:14
ligger i deres side, den man har fintunet og Sådan nogle ting.
51:17
Nej det Det er nok bare Sådan en.
51:19
Hvad kan man sige nogle nogle nogle high level workflows?
51:25
Som du godt kunne i chat completion delen som du nu kan
51:29
få ligesom inde i de her. Den her de her endpoints ikke,
51:34
så man ligesom tager. Og og og hvad hedder det?
51:39
Ja? Giver måske gemmer nogle af de
51:41
der outputs eller Der er noget statefulde eller et eller andet?
51:43
I don't know. Men, det virker ikke som om Det
51:47
er Sådan en. Ja det Det er måske bare lidt
51:50
mere vinterlock end i virkeligheden.
51:52
Altså hvis man. Venter.
51:54
I stedet for at du holder data selv.
51:56
Nej, vi holder det for dig og det du har det det data du har
52:00
kreeret og Sådan nogle ting der. Ja nå OK.
52:05
Du kan og det ser ud som om du kan store.
52:07
Altså du kan når du sender en completion eller en prom så kan
52:10
du have Sådan en parameter der hedder stall lig med true.
52:15
Og så gemmer den dig den for dig.
52:17
Og så kan du find you min model på din OK det det finder vi.
52:22
Nok ikke ud af i her. Jeg har sendt det tilbage til
52:24
os, så bare genererer bare en helvedes masse data eksempler og
52:29
så lad det blive på Vores side. Så er det klart til at du kan
52:31
finde tun på det og så hjælper vi dig til ligesom at det ligger
52:34
i det rigtige format og bla bla bla.
52:36
Og Sådan nogle ting der altså. Der er jo ikke noget i det der
52:39
man ikke har kunnet gøre selv ved fine two AP et og.
52:43
Og upload filer selv og og complee and points altså som vi
52:46
ingenting. Så ikke super imponerende hvis
52:49
du spørger mig. Tværtimod vil jeg nok aldrig
52:52
nogensinde bruge den feature på grund af det vinterlogin, Der er
52:55
i det med at man lægger data på deres side.
52:57
Puha. Men Det er de jo.
53:00
Det er de jo meget interesseret i, så jo mere af det der, Det er
53:02
jo Sådan en rigtig business ting, jo mere af det der kom og
53:05
få det hurtige. Hos os hjælper jeg med de her
53:09
workflows som mange bruger, og Vi skal nok holde data for jer.
53:13
I behøver ikke at lave bookkeing eller noget som helst.
53:15
Vi klarer hele lortet. Jo mere af det folk oppe derind
53:19
på, jo mere venter login laver de til åbne jeg sagde piger just
53:24
serie så bare lige til alle jer der sidder derude og gør de der
53:27
ting der vær lige op for det så er der vision fine tuning.
53:36
Ej hvor stenet ej ja okay. Hvad så jeg?
53:39
Vil bare lige OK. Jeg er bare lige inde og kigge
53:42
på dokumentationen. Og altså er vi enige om at
53:48
vision find you Det er at du kan find tuning en 11 hvor der
53:53
indgår billeder også. Det er det altså.
53:57
Det er jo Det er jo Det er jo har jo de her contentyper til
54:00
til vision delen. Og hvis du hvis du skulle bruge
54:03
vision. Contenttypen så så laver du det
54:06
her type image og så kan du pege på en hvor image ligger og Sådan
54:11
nogle ting eller? Billedet ligge grunden til at
54:13
jeg griner Det er fordi at i deres eksempel der har de en
54:15
systemprom, hvor der står u are and assistent, er det identifes
54:19
uncumentes. Og så i er prompte ligesom what
54:24
is this cheese? Og så er der et billede af en
54:27
ost. Danbog.
54:29
En danboost Det er jo en dansk ost.
54:32
Det der det skal jeg sgu lige se.
54:37
Og så hvad hedder det? Ja ja det virker det så Det er
54:39
så Sådan en danbro ost. På på på wiki og danbo.
54:45
Og så svarer, så er svaret så ligesom assist assisten skal
54:49
svare. Det er så danbo.
54:53
Så. Så eksemplet i vision fine
54:57
tuning AP et, der prøver den at der skal den.
55:00
Dansk Det er fandeme godt det der.
55:03
Sådan. Nå fedt nok.
55:05
Nu kan man fintune vision ting og.
55:10
Ja. Hvis man har jeg ved ikke det.
55:13
Hvad kunne man bruge det til altså?
55:16
Til at fint muligvision task. Ja fordi hvis du skal anotere.
55:22
Billeder, identificere ting gøre et eller andet billede, hvis du
55:26
er meget billedtung virksomhed i don't know extraction.
55:30
Måske? Ja Det er også Sådan nogle.
55:31
Det er jo Sådan noget feature extraction.
55:34
Hvis du hvis du har mange billeder du skal.
55:37
Sådan en klassification ting kunne du bruge det til.
55:40
Du kunne godt bruge det til mange ting jo men.
55:44
Ja. Så får du simpelthen lov til at
55:48
køre resten igennem. Yes.
55:49
Jamen den nummer 4 på listen. Det er det der hedder evalies og
55:54
ev evals EE altså ligesom i evalu raading EVALS og.
56:02
Ja hvad er det? Det virker som om Det er
56:06
funktionalitet i openay i. Da sportet.
56:13
Altså Sådan den her playgrown dashboard whatever til ligesom
56:16
at lave. Altså definere testdatasæt, så
56:21
man ligesom kan teste sine elever på og så køre
56:24
evalueringer på dem. Ja så så det.
56:27
Det virker som om at det det kunne man jo godt forestille sig
56:29
at kunne spille ret godt sammen med den her fine tuning.
56:33
Model destillerings altså Sådan det virker som om de er i gang
56:36
med at lave en en masse funktionalitet til at gøre det
56:38
nemt at. Fine tuned af deres modeller og
56:42
laver Sådan, hvad skal man sige? Det mere brugervenligt at gøre
56:46
det. Der står her nummer et generad
56:50
og test date ofæt two define and run evalds agent ja dates free
56:55
tricky your trick, your promant endd all fine univer model 2
56:58
improve performance four repet untel-set fight OK så det kunne
57:03
virke som om at det ligesom var Sådan en.
57:07
En form for at generelt datasæt eller testdatasæt og så ligesom
57:11
iterere hen over det og tunes en prompt og eller fin tuning model
57:16
og så ligesom få feedback og og på en eller 2 måde Sådan kunne.
57:21
Prompt promptuna slash fine tune og evaluere på mange eksempler
57:27
på en gang for ligesom at kunne gange din model videre.
57:30
Jeg beslder mig fast i det, der står.
57:33
Generate dater set from real traffic så så skriver de her
57:37
ikke en af de bedste eller one of the bedste waste 2 generte
57:40
repræsentative test day-acs is uing real production request
57:45
from users. Ja ja måske mindre de går ind og
57:50
spørger om nogle mærkelige ting eller skriver hej.
57:54
Hej GPT hver gang, men så kan man bruge den her stort
57:57
completion ikke igen gem data hos os.
58:02
Giv det et eller andet metadata tag, så kan du filtrere på det
58:04
bagefter. Og så kan man bruge det til at
58:10
generere. Altså.
58:16
Genererer jeg ved ikke om generere altså lave eller sample
58:21
testdata. Måske måske i virkeligheden
58:24
generere ud fra det. Altså.
58:26
Det kunne være for eksempel Sådan noget med at nå.
58:28
Men din bruger laver altså bruger rigtig meget din løsning
58:32
til den her task. For eksempel så kan du gå hen,
58:35
så kan du gemme alt det de laver det på på GBC, en til at gå
58:40
igennem det og lave analysen for dig og sige Det har jeg sgu de
58:43
her emner her og de kan pluseres i de her kategorier og Sådan
58:47
nogle ting. Og så har du ligesom narral dit.
58:49
Task space ned. Og så ja, Det er både til til
58:52
evaluering af de forskellige taster du har, men Det kan også
58:55
bruges til at ligesom at identificere noget du kan fine
58:58
op mod men men ved ved ligesom at at du gemmer det igen hos dem
59:03
i stedet for at du gemmer det hos dig selv og og laver det
59:06
footwork der så skal til for at du kan gøre præcis det samme.
59:11
Så Det er Sådan jeg ser det lidt igen som Sådan.
59:13
En ah kommer easy 2 use ting ikke.
59:17
Sygt nok. Og man kan sige, Det er jo også
59:20
en ting man skal ikke skal undervurdere, tror jeg Det er,
59:23
at Der er også rigtig mange mennesker som er koblet ind i
59:26
alt det her ER udvikling, som ikke nødvendigvis kommer fra
59:30
Sådan en machine learning baggrund, men mere som har Sådan
59:33
en softwarebaggrund som ligesom har brug for de her.
59:37
Altså hvor hvor Det er en stor hjælp for dem at få den her
59:39
struktur. Omkring deres arbejde med at
59:42
fine trueer modeller og de her tools til at fintune eller Sådan
59:46
noget. Ja altså i forhold til at få de
59:49
workflows op. Hele hele kloster op selv og
59:54
laver altså Sådan der. Der er jo noget Der er noget
59:56
efterspørgsel, der virker til efter efter Sådan tools nocoat
1:00:01
tools eller API måder måder. Man kan ligesom gøre de her ting
1:00:07
via API eller Sådan en eller 2 dashboard opininger dashboard
1:00:12
ting. Næste på listen, Det er noget,
1:00:16
som Vi har hørt om før. Jeg ved ikke lige, hvem der var
1:00:19
der. Jeg tror måske Det var Google,
1:00:20
der var de første til at gøre det her, og så kom improbic vist
1:00:24
nok senere. Og ja, det ved jeg ikke om Det
1:00:29
er helt korrekt gengivet historikken, men Det er i hvert
1:00:32
fald det man kalder for prump caching, og Det har jo det.
1:00:36
Relaterer sig jo lidt til Vores tidligere snak om de her meget
1:00:39
lange kontekstvinduer og. Der er ideen simpelthen bare at
1:00:45
du ligesom hvis du har en meget lang stykke af din prompt som
1:00:49
ligesom er statisk, så kan du så vidt jeg forstår ligesom sande
1:00:53
den til API et og så bede den om at cache den.
1:00:57
Og så spare en masse penge på på på de ekstra tokens den den del
1:01:03
ligesom fylder. Og der står her, at Det kan gøre
1:01:10
det jo billigere hurtigere. Det kan der står de, de kan
1:01:14
reducere lægen sige op til 80%, når du gør det på den måde, og
1:01:19
at Det kan. Mindske din kost med 50% for
1:01:23
rigtig lang prompt. Så.
1:01:27
Endnu mere. Vi elsker lange kontekst,
1:01:32
vinduer, funktionalitet så så Det er jo fantastisk.
1:01:36
Det er jo det alle parently gerne vil have.
1:01:41
Hvad tænker du det? Jamen.
1:01:43
Jeg tænker at Det er Det er interessant.
1:01:47
Jeg tænker hvis jeg bruger det her, så bruger jeg det nok i en
1:01:51
eller 2 template sammenhæng hvor Jeg har en template jeg sender
1:01:55
med hver gang for mine brugere som er ens for alle brugere for
1:01:58
eksempel. Det kunne være en ting.
1:02:04
Så skriver de noget som jo er. Relativt åbenlyst at.
1:02:09
Brugerens input kan jo ikke komme midt ind i en template,
1:02:13
for eksempel fordi så så ødelægger du ligesom cach
1:02:17
cashet, og derfor er du nødt til at have brugerens input for
1:02:22
enden. Og alt det statiske input skal
1:02:28
ligesom være renderd i din template først, og det sendes
1:02:31
ind. Altså Jeg tror det her Det er
1:02:32
Det er en en. Det er en rigtig god feature, og
1:02:35
Jeg har egentlig haft mistanke om, at det Det var noget, de
1:02:38
allerede gjorde. Bagved uden at sige det til
1:02:41
nogen, men nu er det som om de siger at prump caching i sinable
1:02:47
for the folling models. Og så hvad er det så?
1:02:53
En enkelt by fall eller du skal selv lave det der.
1:03:03
Og det skriver han også bare 2 recriaments caching of the proms
1:03:08
contain op til har sjovt super godt tal ikke også vi cacher på
1:03:14
lige præcis. 1024 tokens Det er der jo en årsag til.
1:03:21
Fordi det der Det er mest effektivt at producere det så.
1:03:24
Det det. Det sker ligesom bare
1:03:26
automatisk. Jeg ved sgu ikke det burde
1:03:31
caching normalt automatisk. Joworks caching is a nable
1:03:35
automaterly for proms er der one thousand tour, no one House and
1:03:39
1024 tokens orl ongur it you make and ANAPR recest folling
1:03:45
step so care casshe lock up Thisted jacks of the an special
1:03:48
porssion of your point the storid in the cash.
1:03:52
Cashing prefics is found the system usersed the cast results.
1:03:56
This efterende lidt i quizzesladen t and reviews kost.
1:04:01
Cache miss if NO matching prefix is found thisteds improvisess
1:04:04
your full promed efter processing.
1:04:07
The prefix of your promant is cast for future recrest.
1:04:14
Sygt nok. Men, men hvordan fungerer det
1:04:18
der? Cash generally cast prefects
1:04:22
generly remain active for 4 accept and minits of in activity
1:04:27
how evering off peek perrys cas caresches mate passist for
1:04:30
optueren over OK så det OK så det sker bare det sker
1:04:34
simpelthen og s. Automatisk normalt fungerer en
1:04:37
cashew på den måde, at det sker automatisk agtigt, fordi ellers
1:04:42
så er det Sådan lidt, hvis man selv skal beslutte hvornår noget
1:04:45
skal caches og når det ikke skal, så er det Sådan lidt en en
1:04:48
sjov øvelse. For for klienten, og det gælder
1:04:50
altså. Også for billedet, og det her
1:04:51
kan jeg se. Ja, men det der synes jeg der
1:04:54
interesserer mig. Ja.
1:05:01
Jeg har svært ved at se hvornår de der cashheades skulle gøre
1:05:04
sig gældende nu. Jeg sagde det der med templates,
1:05:07
der sender man jo meget det samme tekst, men du modifire jo
1:05:11
alligevel hele tiden et eller andet med et brugerinput et
1:05:14
sted. Og og der har jeg Sådan lidt
1:05:18
svært ved at se hvordan jeg skal få særlig mange cache så på det
1:05:22
her. Jeg tror det Det er sikkert godt
1:05:25
III stor skala. Og Det er nok egentlig i
1:05:30
virkeligheden bedst for åbne jeg selv, fordi Det er producer.
1:05:36
Ligesom deres deres kost. Hvordan de så ligesom fordeler
1:05:40
det ud til brugerne igen. Det.
1:05:42
Det er et godt spørgsmål. Ja det, men Det er interessant.
1:05:49
Du sagde du lease det her vil jeg sige.
1:05:52
Og man kan få et, man kan få promptoppen detailet ud fra sin
1:05:56
use. Hvad hedder det diktionery når
1:05:59
man kalder ligesom man har fået det der med hvor mange tokens
1:06:02
man genererede, hvor mange puttet ind og Sådan nogle ting?
1:06:06
Ja nå interessant. Ikke helt ubrugeligt.
1:06:12
Nå men. Det var jo også Vi skal have
1:06:13
fart på. Ja Det var også så står der at
1:06:16
man kan få der står et eller andet der står nummer 6.
1:06:19
Det er generade in plaidgrown easy generte browns function
1:06:23
definitions andstruct output skema in the play ground useling
1:06:27
the genery button. O.
1:06:30
K så det ved det virker som om Der er noget ekstra
1:06:31
funktionalitet til play grounden, så hvis man er heftig
1:06:35
bruger den så. Den Det var, skal vi ikke sige
1:06:38
Det var overening a that day. Det var ligesom det vi vi havde
1:06:41
omkring den. Så skal vi videre til ugens
1:06:44
rapper og. Der er ugens travel.
1:06:49
Jo, måske skal jeg lige komme med historien bag.
1:06:51
Skal jeg gøre det? Gøre det endelig.
1:06:53
Jeg kan ikke huske hvad ugens pæbe hvad?
1:06:55
Hedder det ugens wrapot. Det er et webhoved der hedder r
1:06:58
eller, og Det var et som Mathias emil slettemark Nielsen delte
1:07:02
med mig 1000 tak for det. Det er altid fedt at få
1:07:06
brugerinput eller hvad hedder det lytter-input til til
1:07:09
podcasten her i mange af de nyheder, det skal i måske også i
1:07:12
øvrigt siges mange af de nyheder, Vi har snakket om i
1:07:13
dag. Er faktisk.
1:07:16
Fra Vores lyttere jeg skrev en beskedne på LinkedIn og Det var
1:07:22
altså Der er simpelthen. Nu skal jeg lige se her hvem der
1:07:26
har skrevet bare lige for at sende nogle shoutouts.
1:07:29
Det var jo Christian bech nørhave, som Vi har haft inde
1:07:31
som sendte det her link til den her 100 mio. token kontekst
1:07:36
Windows. Og så.
1:07:40
Er der. Var det mads Henriksen som delte
1:07:44
motor modellerne? Og ja, så Det er Det er Der er
1:07:49
også. Ja Der er flere der har skrevet
1:07:51
nogle forskellige ting, men vi kunne ikke lige nå at tage det
1:07:53
hele med. Anyways Vi skal snakke om er l
1:07:56
11. Og det skulle efter sigende være
1:07:59
et et bibliotek, som gør det muligt at køre en 70 mia.
1:08:05
Parametre. Køre inferens med en 70 mia.
1:08:09
Parametre lille m på en 4 gigabyte gig PU.
1:08:14
Ja. Og der står også at man og man
1:08:20
kan køre at man kan køre 405 mia. lamaer 3,1 modellen på en 8
1:08:27
gigabyte v ram står der. Det.
1:08:32
Lyder jo helt sindssygt. Det lyder rimelig rimelig
1:08:36
vanvittigt forstår. Ikke noget, hvor hurtigt det
1:08:38
går. Nej eller hvad?
1:08:42
Det. Altså Jeg har det Sådan lidt
1:08:46
kandisy true. Altså Det var værre noget med at
1:08:50
man loader et et lag ind ad gangen ikke måske en 1,5 lag ind
1:08:55
ad gangen i memory og så kører man det igennem og så kører man
1:08:59
så tager man ud af memory kører det andet igennem og så videre.
1:09:03
Jamen er Det er Det er Det er det bare det, men er det så
1:09:06
ikke? Eller bare skal man lade være
1:09:10
med at sige, men Det er det så ikke sygt langsomt.
1:09:15
Det er et godt spørgsmål det. Det ser spændende ud.
1:09:21
Det det det slår sig på, at det skal være hurtigere altså.
1:09:25
Det giver jo ikke mening at så siger det skal være langsommere.
1:09:27
Nej. Hvordan jamen, hvordan tror?
1:09:31
Du det? Jeg tror ikke det slår sig på at
1:09:32
være hurtigere. Jeg tror bare det slår sig på
1:09:34
ligesom at kunne mase rigtig meget LM ned i rigtig lidt
1:09:38
merry. Så det.
1:09:41
Nej Det er noget med noget model compression der der giver 3
1:09:45
gange infant speedup siger står der i det her repo.
1:09:50
Det er Sådan noget furt and creese OK så lad os bare lige
1:09:54
læse overskriften ikke altså. Er larmer 2.
1:09:59
Kan man køre Det kan man så køre på den der måde.
1:10:03
Direkte fra hongface. Og så skal man så.
1:10:12
Før influence OK, så bliver den nu op altså den originale model
1:10:17
den bliver. Dem lidt decompost og gemt som
1:10:21
de her. Enkelte lag.
1:10:27
Og det kræver en masse disk, så du har ret der har noget med
1:10:29
disken og det Det er jo også. Det giver jo ikke mening at man.
1:10:34
Kan gøre det, uden at man putter det her på disken, og det skal
1:10:37
man bruge masser af af af diskspace til ikke?
1:10:44
Og så skal man have. Der er der sikkert noget
1:10:47
komprimering af en eller 2 art og så skal man så skal man hvad
1:10:51
så skal man loade den. Du har sgu da den der gip
1:10:53
derhjemme. Har du ikke hvad er det 24
1:10:55
gigabyte eller Sådan noget? Jo jo jo jo.
1:10:57
Det skal jeg. Da bare prøve det her.
1:10:59
Og mase den på den der. Ja Jeg har også noget hurtigt
1:11:03
NMMEM dot 2 og det Det er også meget sjovt men ja.
1:11:10
Altså. What the?
1:11:14
Det Det er det. Det lyder lidt som som noget Der
1:11:17
er ret sjovt. Også fordi når man så siger
1:11:18
Sådan her. Vi kan supportere den der 405
1:11:23
mia. parameter. Lama det nye lama 3 1.
1:11:30
II 8 bitter og 4 bitcoins. Det er jo altså Det er jo.
1:11:35
Altså bare det at downloade det der i originale vægte er jo er
1:11:38
jo horribelt stort. Så.
1:11:43
Det må prøves. Er der nogen derude der har
1:11:46
prøvet det? Og så lagde man 4 0 5 b den
1:11:50
fylder vel? Ja. 2,5 terarbj eller Sådan
1:11:56
noget 3 2 terabyte eller et eller?
1:11:59
Andet gør den det det. Jeg mener bare jeg mener Jeg har
1:12:02
læst at kapitel 3 som var 170 75 mia.
1:12:07
Parametre den fyldte cirka 800 gigabyte.
1:12:10
Ja. Men det ved jeg ikke om Det er
1:12:15
rigtigt det. Det kan også være det bare er.
1:12:16
Noget altså Det er i fuld fuld position floating point
1:12:19
position, så lyder det jo ikke helt tosset, men hvis Der er
1:12:22
nogle. Af Vores lyttere, der der har
1:12:24
prøvet det her. Så skriv lige ind fordi vi vil
1:12:27
gerne lige høre om det her. Det er sort magi eller om det
1:12:29
rent faktisk virker eller om det bare er mombumbo.
1:12:32
Eller selvfølgelig er det ikke det noget med Mathias han har.
1:12:37
Han har skrevet ind men. Men det kunne da være fedt at
1:12:40
høre nogle der har rent faktisk prøvet at køre det her også på
1:12:43
noget af det, Der er lidt større for at se om om altså.
1:12:48
Altså ja Der er altid nogle goudchers i Sådan noget her,
1:12:51
ikke? Det, men men altså ja okay det
1:12:55
ser det ser det ser da egentlig meget, meget fornuftigt ud.
1:12:59
Man skal selvfølgelig lige have Sådan en graf inde på sit
1:13:01
reperto, hvor man kan se sin star historie.
1:13:06
Og den den den ser jo godt ud, altså opadgående.
1:13:09
Den er opadgående. Den har jo nogle stjerner.
1:13:12
Der. 4 4000 så Det er jo godt nok.
1:13:14
Alle ved at god kode er korreleret med.
1:13:18
Det bare lige her til allersidst, så vil jeg gøre bare
1:13:21
lige reklamere igen lidt for eller ikke reklamere for noget,
1:13:24
men bare lige nævne at 1 1 1 gang researchere som hedder
1:13:30
nathan lambert som jeg følger en hel del og som faktisk arbejder
1:13:35
hos Allan EI eller hvad hedder det AI 2 eller AE 2 alle EI
1:13:42
kalder det bare. Han har faktisk lige udgivet en
1:13:46
bog om reenforce learning for human feedback.
1:13:49
Som man kan tjekke ud på l age f book dot com.
1:13:55
En fed titel altså der. Er bare.
1:13:57
Det er bare det der ikke så hvis man hvis man er virkelig godt
1:14:00
kan tænke sig at kunne tænke sig at dykke lidt ned i array ch og
1:14:03
hvordan det fungerer og se noget kode og Sådan noget, så så er
1:14:06
det sgu nok et meget godt sted at starte.
1:14:07
Det vil jeg. Det bliver anbefalet i hvert
1:14:08
fald. Jeg ved ikke om array hvad
1:14:13
hedder det val liv og Det er nemmere at sige.
1:14:16
For for dansk eller eller RLFO? B 30 tror jeg.
1:14:25
Måske det? Skyggerne er ved at være de
1:14:27
lange. Classic.
1:14:29
Skal vi. Skal vi runde af?
1:14:32
Det synes jeg. Lad os gøre det 1000 tak fordi i
1:14:35
lyttede med. Husk at følge os på.
1:14:38
Overalt, og så ses vi bare igen eller lyttes igen ellers ses
1:14:44
igen i næste uge. Tak fordi i lyttede med.
1:14:47
Hey.