Latest / Verbos: AI og Softwareudvikling / #29 - Mojo til MacOS, llama2.mojo, Kontekst Vinduer, OpenAssistant er Færdigt

Transcript

#29 - Mojo til MacOS, llama2.mojo, Kontekst Vinduer, OpenAssistant er Færdigt · Verbos: AI og Softwareudvikling

0:00
Halløj alle sammen og velkommen til hvad boss podcast afsnit
0:03
nummer 29 i det her i den her episode er bebos podcast der
0:07
skal vi snakke om ã r nyheder, og det glæder vi os rigtig meget
0:10
til. Vi skal blandt andet snakke en
0:12
lille bitte smule om en lille bitte smule om mojoo det her nye
0:16
fede programmeringssprog som Chris ladder big boys Chris
0:23
leather har stået bag sammen med hans folk hos motor.
0:27
Så skal vi også snakke en lille bitte smule om.
0:31
Transformer modeller og kontekst, vinduer og attention,
0:34
som vi jo også som er en stor ting i øjeblikket indenfor å r
0:37
og alt det her. Lækre halløj her med deep
0:42
learning og så videre om genladning.
0:44
Og til sidst skal vi snakke om 1, 1 1 rigtigt tidligt projekt,
0:48
som var indenfor det her med at træne landbrugsmodels, især chat
0:52
modeller nemlig open assistent som er som er færdigt.
0:57
Projektet som er færdigt, og ja, det skal vi lige sætte nogle ud
1:00
til det projekt, fordi Det er mega fedt, men inden vi går i
1:03
gang, så skal vi lige huske at sige til alle jer Det er jer
1:05
derude som ikke ved hvad hvad bruges podcast er.
1:10
Så er det simpelthen bare en en dansk podcast, hvor vi snakker
1:13
om i hvor vi snakker om softwareudvikling og data
1:17
science fra Sådan en rigtig hyper nørdet vinkel tror jeg
1:20
godt man kan. Man kan sige ja, så hvis du
1:23
gerne vil lytte til Sådan noget, så skal du huske at følge os på
1:26
Spotify på Apple podcast på Vores youtube kanal og på
1:29
LinkedIn. Vi har næsten fuld plade på
1:31
sociale medier. Vi mangler lige tiktok og
1:33
Instagram selvfølgelig og 60 og OK vi får sikkert mange sociale
1:37
medier vi mangler, men Der er i hvert fald rig mulighed for at
1:40
følge os og. Og det synes jeg man skal gøre.
1:43
Hvad hedder det? Vi udkommer hver onsdag klokken
1:45
7 lige bortset fra den her uge, fordi den her uge der har vej og
1:49
Jonas Vi er lige kommet fra efterårsferie og der har været
1:52
en masse ting, så Vi er lige en dag forsinket, så når du hører
1:55
det nu her, hvis du er med på beatet lige fra starten af, så
1:58
er det torsdag klokken 7. Mit navn er Kasper young, Jeg er
2:03
machine learning engineer og. Jeg hedder Jonas og kysse
2:06
nansen. Ja og lad os se at komme i gang
2:09
med det her episode. Den her episode af Vores
2:11
podcast. Det blev en lang intro synes
2:13
jeg. Jeg ved ikke helt.
2:15
Blev lidt for lang, eller hvad? Ja ja du bliver rigtig god til
2:18
det så. Ja.
2:21
Mega fedt. Hvad hedder det?
2:23
Jamen skal vi ikke bare dykke ned i det, som han siger det
2:26
første punkt på dagsordenen? Det er simpelthen at mojo.
2:32
Det her programmeringssprog, det her nye programmeringssprog som
2:34
er kommet ud for en måneds tid siden til til linux ikke er det
2:39
ikke Sådan Det er kommet ud her for nylig til mac OS og.
2:44
Jonas og Jeg er er mac OS brugere, så det betyder, at Jeg
2:49
er i hvert fald ved ikke hvad Der er Jonas, men jeg fik
2:51
downloadet mojo her i for et par dage siden og fik lavet den den
2:56
berømte hello world med mojoo og ja så er du exittet over mod joe
3:02
er kommet til. Bortset fra at.
3:06
Jeg mangler lidt min arbejdscomputer som har 1, 1 1 1
3:09
måge chip. Man skal nemlig bruge det her
3:11
Apple selv Sådan en ja en af deres arm processer og Jeg har
3:16
en gammel Intel processor på mine mine mine private mælk, så
3:20
det gik ikke så godt. Jeg blev lidt skuffet.
3:23
Jeg fik Sådan en fin besked tilbage fra.
3:25
Margellan ser livet det det Det kan jeg ikke.
3:29
Og ja lige huske at disclaime til alle dem der sidder
3:32
forventningsfulde og glæder sig til at prøve.
3:33
Det er altså kun m et og m 2 chips man kan også.
3:37
Altså det kommer jo det kommer jo nok.
3:39
Sådan ruller mere og mere generelt ud de Jeg synes det Jeg
3:43
synes Det er for vildt. Også fordi at at community
3:48
omkring mojo det virkelig vokser hurtigt.
3:50
Altså snakker om om lange chain community, Der er vokset men men
3:54
men Det er omkring motorer programmeringssproget.
3:56
Det er helt eksploderet altså Det er så crazy.
3:59
De har flere 100.000 folk i det der community.
4:03
Det er vanvittigt. Det er vanvittigt.
4:06
De de har også en vild timing, ikke?
4:08
Og de har en vild mission, og de har en vild timing, synes jeg,
4:10
fordi det de gerne vil. Det er jo, at de vil.
4:15
Hvorfor bruger det godt dansk udtryk?
4:17
Bridge the gap mellem system udvikler altså Sådan low level.
4:23
Udvikler og så algoritme udviklerne.
4:26
Og ligesom. Smelte den verden sammen på en
4:29
eller anden måde. Og det vil de så bruge til r
4:32
programmering og så videre og og man kan sige, Der er bare kæmpe
4:36
demand for lige præcis det der lige i øjeblikket fordi at.
4:40
Verdenen er meget sulten efter computer og parallelisering og p
4:45
ur og accelerering og så videre og så videre.
4:47
Så så på den måde er det super god timing.
4:51
Det er det virkelig. Ja og.
4:55
Det der jo også er fedt ved det. Det er jo at de de er tro mod
4:59
python Sådan og læsbarhed og så Det er jo meningen at Det er
5:05
folk der. Ligesom har skrevet python og
5:08
lavet lavet de burning og har tænkt i den verden i lang tid og
5:12
måske har har siddet mig meget i pigetøj.
5:16
Som kommer over i mojo og finder ud af, at mojo har sin.
5:21
Sådan nette implementering af intense.
5:24
Sådan så Det er ligesom bare. Bagt ind i programmeringssproget
5:29
det her. Det er intensa ikke og til dem
5:32
derude, der ikke lige måske er er med på, hvad intensa er.
5:35
Det er ligesom en. En udvidelse af matricer og
5:40
vektorer, som ligesom kan holde, som kan simpelthen tracke.
5:44
Hvad for nogle operationer du har lavet altså.
5:47
Voteringer du har ganget 2 matricer sammen, så kan det
5:49
ligesom. Tracke alle de der.
5:53
De ferencer der der der sker undervejs og på den måde bruge
5:58
den information, når man skal lave Sådan noget som back
5:59
propagation og alt det der fancy algoritmer.
6:02
Det skal bruge det der ikke, så det ligger ligesom inde i det.
6:05
Altså Det er jeg. Ja ja præcis, og Det er jo noget
6:08
af det, der gør det til Sådan a first programmeringssprog.
6:11
Det er simpelthen vi vi vælger at implementere tendenser typen
6:15
lidt ligesom dengang da. Det der hedder RI dag som hed s
6:20
engang fra statistikkerne. De implementerede er det hed
6:25
engang, fordi de implementerede den her velkendte dataframe, som
6:30
alle kender i dag, og Det var også Det er også bygget ind i
6:35
programmeringssprog. Der er noget, der hedder
6:36
dataframe. Det er Det er en datatype, hvor
6:40
Det er vi ikke så meget. Vi er ikke så vant til, at Det
6:42
er Sådan lidt mere højere level datatyper, så så det.
6:47
Det er noget af Det er Sådan ret.
6:50
Og det vil så også den, man har forsøgt at efterligne i pandas
6:54
ikke? Ja det starter fra altså efter
6:59
min bedste Sådan viden og overbevisning så så så skulle
7:02
det meget gerne være noget der simpelthen nedarvet fra fra fra
7:06
r programmering, sport og. Ham, der har bygget pandas og
7:11
dem. De har haft et tæt samarbejde,
7:13
så. Skal man nævne, at Alternativet
7:18
til intensiver i python. Det vil typisk være Sådan noget,
7:21
så skulle du installere det framework, der hedder pitch, som
7:25
man bruger til at træne de beregningsmodeller med at bygge
7:28
modeller med og lave backpage og alt det her.
7:31
Og så ville den tænde så det tensor objekt du ligesom havde.
7:34
Det vil for det første være. Det ville ikke være nate i selve
7:36
programmeringssproget. Det ville være nate til The
7:39
touch. Og så ville det være Sådan et
7:42
eller andet porting ned til noget.
7:44
Se som kunne parallelisere det på en p og så videre hvor det
7:48
her. Det er altså bare.
7:49
Det, Det er bare i programmeringssproget ikke?
7:52
Ja, og der har python Sådan at det bedste gang du skal lave
7:55
noget Der er effektivt i python, så skal du prøve det ned til
7:58
noget at se og du kan ikke lave det i selve
7:59
programmeringssproget, fordi Det er det for langsomt til så.
8:03
Ja, så de kan noget. Så så.
8:06
Der er jo sket nogle nogle vilde ting meget hurtigt efter at at
8:10
mojo kom ud. Hvor at Der er en gut der
8:13
simpelthen har taget lama 2 for eksempel og Det er lige gøre
8:16
lidt videre og det synes Jeg er i crazy.
8:19
Ja snakke om næste gang, eller? Næste punkt, nu tager vi hul på
8:23
det, som simpelthen har taget lagde med 2 arkitekturen.
8:29
Jeg tror egentlig det. Jeg tror Det er en førerens han
8:33
bare har implementeret, altså inferens med en nål med 2 model.
8:37
Kører det i mojoo kun moto. Så der der lader man noget data
8:42
ind. Selvfølgelig fra den her model
8:43
fra disken mapper det ind til. De her tensor typer i mojoo.
8:48
Og laver altså laver de her forward pars, der skal til for
8:52
at at man kan lave inferens II det her netværk og det
8:55
implementerer han simpelthen bare fra bunden, og så laver han
8:58
nogle benchmarks og sammenligner det og ser at at det her det
9:01
kører på altså fuldstændig på niveau med med c implementering
9:05
af lama 2. Sådan.
9:08
Og hvis man går ind på github og finder det her projekt, så vil
9:11
man man meget hurtigt se, at. Det er en en fil der bare hedder
9:16
a med 2 dot mono som er da også langt fil ikke er en lang 1000
9:22
linjer jo jo altså Jeg tror hvis man går over IC implementeringen
9:27
så hvem er meget hurtigt opdage at Det er relativt.
9:31
Flere linjer af kode det går jeg ud fra.
9:33
Det er Sådan en. Det kan godt være det bare mig
9:35
Der er naiv men men det virker som om at Det er.
9:39
Det er meget, meget hurtigere eller Sådan meget nemmere at at
9:44
at lave den her implementering, og så får du samme performance
9:46
som se, og Det er jo virkelig Sådan noget, som mange tror jeg
9:50
mange programmører kan kan nikke genkende til.
9:53
Øh Sådan lidt. Kan lave noget Der er lige så.
9:57
Smukt i gåseøjne som python og lige så nemt at implementere og
10:00
så få set performance. Ja fordi det gør ondt i øjnene.
10:04
Det gør ondt i øjnene for en python programmør, hvis han skal
10:06
kigge ned og se kødet ikke altså.
10:08
Altså også bare måske ikke lige det fedeste for en python
10:12
programmør at skulle holde styr på på alt muligt lowlevel memory
10:16
og og ting og sager. Altså mit indtryk er, at mojo
10:20
klarer meget af det der får en, også selvom der helt sikkert
10:23
også er noget, hvor man skal være opmærksom på, hvis man vil
10:25
have en en noget godt performende, så skal man så skal
10:28
man ligesom gøre ting ordentligt ikke?
10:29
Men men det lærer man jo i motions, og så tænker jeg.
10:33
Men jeg startede også. Jeg startede ud på
10:35
elektroingeniør studiet med at lære se kan jeg huske at i gode
10:39
gamle dage, dengang hvor jeg lærte at se Det er det jo
10:42
efterhånden snart lang tid siden ikke?
10:43
Men og Det er fandeme love level ikke?
10:46
Og det prøvet det kom det ville jeg.
10:48
Det kom jeg væk fra så hurtigt som jeg overhovedet kunne, fordi
10:50
at det synes jeg godt nok var lige var lidt lidt tungt at
10:53
danse med ikke og så begyndte jeg mere Sådan noget med
10:56
modellering og tendenser i python og så videre og så videre
10:59
og nu er jeg mere Sådan efterhånden her på det sidste,
11:01
da Jeg er kommet mere ud i Sådan noget med bare at bo lars
11:04
landbrugsmodels hvor Det er Sådan helt nyt niveau, ikke?
11:06
Hvor det Sådan mere det der med man kalder PI og genererer
11:08
tekster og prøver at håndtere det på en eller anden måde.
11:10
Men Jeg kan mærke mojo har virkelig givet mig Sådan en lyst
11:13
til at komme tilbage til. The basics du ved hardcore
11:18
ligner algebra hvad hedder det? Den der type altså Sådan
11:23
virkelig ned i modellerne ikke, så Jeg har fundet mine gamle
11:27
sender et billede til dig Jonas er det Jeg har fået min gamle
11:30
hvad hedder det engineering mathematics, bog frem og så
11:33
siddet og lavet nogle matrix multiplikation opgaver og nogle
11:38
Sådan noget vektor calculus og Sådan noget så det.
11:42
Det er faktisk Det er faktisk mega hyggeligt, bare lige en kop
11:45
te og så bare lige nogle opgaver der så.
11:51
Det er lidt crazy jeg jeg glæder mig til at prøve det også lidt
11:54
mere og og følge med i hvad der sker der, det det det virker
11:58
meget lovende altså det må man det må man sige så.
12:03
Hvis Der er nogen derude, der har prøvet at lege lidt med det
12:05
og har nogle inputs, så kom endelig med dem.
12:07
Det med det vil vi meget gerne høre om.
12:09
Det kunne være fedt at høre nogle og det på en anden måde.
12:11
Det er et oplagt projekt åben altså åben åben projekt at
12:15
starte i mojo af på. Ikke fordi Det er jo lige præcis
12:18
det her lama og totalt symbolet på open source, lars
12:22
landbrugsmodels og og og det giver så god mening at at man er
12:26
dykket ned i og implementere lama i førerens med mojo
12:30
simpelthen så. Det er mega fedt.
12:33
Det er det jamen skal vi hoppe videre til til næste punkt på
12:36
dagsordenen? Lad os det.
12:39
Det er Det er nok. Det må nok indrømme Jonas.
12:42
Det er nok dig der har der har læst mest oppe på på på de 2
12:45
næste punkter her. Hvad hedder det så?
12:47
Jeg ved ikke hvad du ikke vil du ikke starte ud og og ja.
12:52
Vi har jo haft en gammel traver her i podcasten også lidt
12:56
ligesom Vi har den der med med en dansk LM, så snakker vi også
12:59
meget om de her kontekst vinduer.
13:02
Gamle LM traver. Gamle LM kræver det det vi meget
13:06
LMNI den her podcast må man jo nok sige at Vi skal skifte navn
13:09
snart pjat hvad hedder det? Nej, Det er jo det her kontekst,
13:13
vindue og og Jeg har Jeg har forsøgt at følge lidt med i hvad
13:19
sker der? Og bare lige for lige for.
13:22
Alle med kontekst vinduet. Det er den længde input, som en
13:28
som landbrugsmodel skal tage. Ja ja, og jeg mener ikke vi til
13:32
3,5. Den har 4000 kontekst længde det
13:35
vil sige den kan tage 4000 tungen ind ad gangen og så har
13:39
den også en 16.000 kg version. Det er også så og p 4 har 8001
13:43
32 k. Jeg tror, Det er noget i den dur
13:47
og. Om, hvor meget, hvor meget tekst
13:49
eller lars landbrugsmodels kan kan gabe over ikke.
13:52
Og de er jo, de er jo trænet, kan man sige med et hvad kan man
13:55
sige et maks i toppen størrelse og præcis hvad?
14:02
Åbner Jeg har trænet sin på. Det kan vi jo egentlig ikke
14:04
rigtig vide, men formentlig vil de ikke give en den fulde
14:08
konsekvente, fordi deres deres performance, den den altså
14:13
performance forstået på den måde deres den evnen til at ligesom
14:16
at forstå den samlede mængde af tekst og og kunne genfinde
14:22
information i teksten, når du giver den den fulde kontekst
14:25
længde er faktisk ret dårlig, når man når man ligesom
14:31
sammenligner det med at man. Kom kompromisser det den prompte
14:36
man har og og ikke bruger dens fulde kontekst længde.
14:40
Og det der så det. Det er noget af det jeg.
14:42
Jeg kan godt lide at følge med i, fordi Det er Sådan.
14:44
Det er Sådan et vigtigt punkt, når man skal bruge de her
14:47
modeller og ingeniører med dem og og lave ting, hvad de rent
14:50
faktisk i stand til. Hvad med det input man giver dem
14:54
i pumpen og der har været meget snak om det her med at jamen vi
14:58
kan bare give den store hvis bare kontekst mængden stiger så
15:02
er det bliver det simpelthen så nemt så nemt nemt.
15:03
Vi giver den bare hele internettet til sidst og så kan
15:08
vi bare stille spørgsmål, så den har uendelig kontekst meget
15:12
mærkelig tilgang nå og og det viser sig så, at Der er i hvert
15:17
fald noget forskning, der peger på at Der er nogle papers.
15:20
Piper, der hedder lost in the middle, som som fangede min
15:23
opmærksomhed blandt andet. Som som peger på det her med at
15:28
at hvad kan man sige evnen til, ligesom at genfinde information
15:32
II det man man spytter ind i modellen.
15:35
Det er faktisk bedst i starten af konteksten og i slutningen.
15:40
Og så titlen løst den af metal kan man så regne ud.
15:43
Den er dårlig midten simpelthen og ikke ikke at Det er
15:47
ubrugeligt eller noget i den dur men men den er bare den er værre
15:52
eller dårligere til at at at at genfinde det her i midten og det
15:55
synes Jeg er enormt enormt relevant viden for nogen der
15:58
skal bruge og bygge noget fornuftigt med de her modeller,
16:02
fordi det betyder simpelthen. At man kan få bedre performance
16:07
ved at fokusere den information man putter ind i, altså
16:12
simpelthen. Lave måske nogle systemer, som
16:16
vi kender fra de her rack, altså trippede op med generation, hvor
16:19
man prøver at at cherry picker. Hvad for noget information Der
16:22
er relevant på forhånd til det spørgsmål man måske stiller,
16:25
fordi så får man ligesom komprimeret informationen på
16:28
forhånd og så har man ikke det samme problem med den spredning
16:32
og. Mangel manglende evne i den her
16:35
i midten af den her kontekst længde.
16:38
Så og man kan ja man kan se her på på det paper som vi snakker
16:41
om nu her lost lost in the middle how language eller how
16:44
language models young kontekst der kan man se at der har de
16:49
gået ud fra og lavet de har et plot lige i starten og der har
16:51
de jeg går ud fra at de har lavet et eksperiment hvor de har
16:55
brugt gt 3,5 turbo med den lange kontekst vindue, det lange
16:59
kontekst vindue og så har de. Testet.
17:03
For dens evne til at svare på spørgsmål fra et dokument.
17:08
Og så har de ligesom varieret hvorhenne i.
17:11
Teksten svarede jeg hvor? Er der svar på et spørgsmål,
17:15
hvorhenne finder du svaret II den i den præcis et eksperiment?
17:21
Jeg er i virkeligheden super simpel og fedt og Sådan noget
17:24
altså hvad er det? Men i starten der kan man se at
17:25
Der er accuracy altså nøjagtigheden er 75% når du
17:29
kommer hen til midten så er den under så er den måske Sådan 54%
17:32
og så når man kommer ud til enden af kontekst vinduet så er
17:36
den oppe på lige knap 65%, så den er altså i starten 18 20%
17:41
bedre. Men den er i midten og i
17:45
slutningen af den 10% bedre end den er i midten, så så Det er
17:48
Sådan den den den mister, den mister den taber tråden ikke jo
17:52
længere i midten man kommer, og den bliver ligesom den den på en
17:55
eller anden måde. Den er ikke så god til at
17:58
retrieve fra fra fra midten af som den er ude II kanterne der
18:02
og ja det. Og hvis man hvis man kobler det
18:08
der fordi Det er nemlig et andet paper det hænger lidt sammen med
18:12
med med med det næste. Det næste punkt Vi har.
18:16
Vi snakker om som som er. Et paper der handler om om de
18:21
her attention sinks, som er ligesom nogle, der har opdaget.
18:25
Det er lidt paper der hedder streaming eller lims.
18:27
Det er som jeg opdagede værdien af det første toppen II en i en
18:34
sekvens, hvor vigtigt Det er. For hvad kan man sige
18:37
forståelsen af den samlede altså det her attention er jo, hvad
18:42
kan man sige en en måde at vægte et ords betydning over for andre
18:47
ord i sekvensen, og der har man så fundet ud af at at.
18:51
Det det første toppen her det. Det har bare helt vildt meget
18:54
betydning for nærmest altså Det er altid noget der har er
18:58
væsentligt for alle andre tunges lidt mærkeligt.
19:03
Mærkelig opdagelse. Og og og det hænger jo så lidt
19:08
sammen med det her med at. Starten af konteksten er rigtig
19:12
vigtig formentlig for for det samlede billede og formentlig
19:16
også noget af det, som er nemmest for de her modeller at
19:19
forholde sig til. Så Det er jo lidt interessant.
19:23
Vi kan lige komme lidt længere ned i hvad hvad det der
19:25
streaming ellers er. Ja, men man kan sige, Jeg tror
19:29
bare at hvis vi lige hopper et skridt tilbage til til den her
19:32
med at atención, altså hvad skal man sige l den er ikke
19:36
nødvendigvis lige god alle steder i kontekst bredden eller
19:39
hvad skal jeg sige der? Der synes jeg bare Det er
19:42
interessant det her med at Det var ligesom på et tidspunkt, så
19:44
var det bare Sådan ahh nu har vi et et paper vi kan skalere Vores
19:49
contec link op til 1.000.001 milliard wow du ved.
19:55
Godt nok du ved vi kan ikke få nok contest længde, men men så
19:59
det. Jeg synes også det her paper det
20:00
ligesom eller Sådan budskabet med med paperet kan man sige.
20:05
Eller grundideen er ligesom at kontekst længde er ikke bare
20:08
kontekst kontekst længde. Der er også noget kvalitet af
20:11
kontekst længde man skal være opmærksom på, ikke?
20:15
Så ja og og og det ja, så det synes jeg bare er interessant.
20:19
Ja Det er jo helt. Vildt vigtigt at forholde sig
20:21
til, når man altså de der procenter er forskelle som man
20:25
læser. Jeg kan.
20:27
Jeg kan sige det som Det er. Det har direkte implikationer
20:31
fra fra noget af det, Jeg har siddet og arbejdet med lige det
20:34
jeg røg på på barsel og og der må jeg bare sige, altså når jeg
20:38
kommer tilbage så med den viden, så så kommer jeg altså min
20:42
tilgang til til de problemer. Jeg har simpelthen ændret sig på
20:45
grund af det rent invoice hvad hvad?
20:48
Hvad skal man gøre? Hvordan skal man forholde sig
20:50
til det? Så Det er jo noget viden man man
20:54
samler ind efterfølgende ikke, og så finder man ja.
20:59
Det er faktisk helst undgå at komme så langt ud i
21:01
kontraktlængde, hvis du kan. Sådan har jeg i hvert fald at
21:04
tænke på. Vi har også lavet en hel del
21:05
eksperimenter hos sig, og hvor Vi har prøvet at sammenligne de
21:10
2 i 2 længere altså Sådan længere dokumenter og så brugte
21:14
den lange kontraktlængde, fordi Sådan yes så kan vi bare.
21:17
Helle tokens ind i som gale, ikke?
21:20
Men så stod vi også meget hurtigt ind i det her problem og
21:23
Sådan. Jamen hvad?
21:23
Hvad så med den kvalitet der kommer ud, hvad?
21:25
Hvad? Hvad hvis man Sådan ligesom
21:27
dykker ned i det og prøver at finde ud af hvordan du egentlig
21:29
opfører sig ikke og der? Det er også sjovt og Det er en
21:32
anden irriterende ting ved at lemmer.
21:33
Men for eksempel hvis du har en prompt, hvor du gerne vil
21:36
sammenligne 2 dokumenter. Så sætter du så siger du her
21:41
putter du en dokument ind, og her putter det andet dokument
21:43
ind. En en Sådan en den allermest
21:47
basic test man skal lave på Sådan noget ifølge eller min
21:51
efter min opfattelse. Det er okay jeg jeg sætter den
21:54
ind på det ene input og den anden tekst inde på det andet
21:56
minut får et eller andet. Hvad skal man sige får et andet
21:59
resultat? Det kunne være en klasse fra jer
22:01
for eksempel. Hvad sker der hvis jeg bytter om
22:05
du ved okay så bytter jeg bare om på dokumenterne.
22:08
Ja. Og og så burde man jo gerne få
22:11
det samme input ikke? Men det det det.
22:14
Det gør man altså ikke nødvendigvis især ikke når man
22:16
kommer rigtig, rigtig langt ned i kontekst længden så har den,
22:19
så havde den i Vores tilfælde der havde den bare en tendens
22:21
til altid at vælge den 1. Og ligesom bare Sådan nå ja,
22:26
altså være Sådan. Men man kunne bare tydeligt se,
22:31
at den den den havde mere attention mod det der var
22:35
tidligere i konceptet og ikke så meget, så var den lidt ligeglad
22:38
med det. Der var Sådan i længere henne,
22:40
ikke? Det er jo et form for indbygget
22:43
bias i virkeligheden, fordi at i og med at den den har en bias i
22:49
de her tensions, der ser Sådan ud.
22:53
Og på tværs af af hvad kan man sige af forskellige dokumenter,
22:57
der kan have en en kontekst, der ikke er formet som den her vugge
23:02
kurve her? Jamen så.
23:06
Så vil et et stykke tekst, der har vigtig information i midten.
23:11
Få mindre betydning. Selvom at det måske i
23:15
virkeligheden er der. Hvor?
23:17
Hvor Det er altså det vigtige er det der kan være.
23:21
Jeg tror, Der er en af en af forklaringerne, og Det har også
23:25
filosoferet lidt over. Det kan være at.
23:28
At typisk er den måde vi mennesker skriver tekst.
23:31
På dokumenter på. Rent faktisk.
23:36
Altså Sådan hvis Vi skal bede os selv om at opsummere noget, så.
23:40
Så trækker vi det vigtige op først i Vores artikel Vores.
23:46
Du ved papers og alt det der, Der er et abstrakt og så videre.
23:51
Og så kommer vi med nogle konklusioner til sidst ikke og
23:55
og og så man kan forestille sig hvordan hvorfor at en eleme har
24:01
det. Den måde at se det på problemet
24:05
med Det er bare når vi laver prompts, som vi gør på den måde
24:09
vi gør, når vi gerne vil bruge modellen, så er det langt fra
24:13
Sådan teksten ser ud, som vi putter den ind.
24:16
Tværtimod, så bliver det noget noget helt andet og lidt lidt
24:19
Sådan. Ja.
24:21
Så er det på en eller anden måde er der noget Jeg tror Der er
24:24
noget prøvetræning Spies i det der.
24:26
Ja Det er jo ja, nu har jeg ikke.
24:29
Nu har jeg ikke læst papiret, men men hvad hedder Det har
24:32
skimmet. Det.
24:33
Men det kunne være det kunne være meget sjovt at finde ud af
24:35
om de har et eller andet Sådan en eller anden ide om hvorfor
24:40
det forholder sig Sådan ikke mon ikke de har Det kan.
24:44
Heller ikke huske det så, men jo det tror jeg de har.
24:50
Så lige at de har faktisk white. Ja okay, det må vi lige tage op
24:53
på et andet tidspunkt. Ja, men hvad hedder det?
24:55
Så kan vi jo snakke lidt om, fordi Det er noget paper som vi
24:59
godt kunne tænke os at snakke om, som vi også nævnte for Det
25:02
er det her der hedder efficient streaming language models with
25:05
attention sænkes og Det var faktisk.
25:08
Det var trenden på hacker news. Det var der hvor jeg så det, og
25:11
så har jeg set, så Jeg tror Det er noget halvdelen af den der
25:15
jannick. Hvordan er det man udtrykker det
25:18
kliché kliché. Både jannick, som også er manden
25:24
bag det, der åbnede sidst blandt.
25:25
Mange og hvad hedder det? Og han er jo en legende på
25:29
youtube til altså det han har simpelthen bygget en youtube
25:31
kanal op om at tage deep learning papers og så ligesom
25:36
bare forklare dem og han og han har også.
25:40
Han har også snakket om det her attention zinks paper og Det er
25:44
bare en kæmpe service det der med at have et der forklarer det
25:46
til en altså det. Det er bare virkelig fed
25:49
content. Men.
25:51
Der venter du lidt til ham? Ja helt sikkert eller begyndt at
25:54
lytte til ham. Hvert fald det.
25:55
Det synes jeg helt sikkert, men han det.
25:57
Det er Sådan så vidt jeg forstår på hans forklaring, så det de
25:58
finder ud af det påpeger Det er at den 1 token.
26:02
Er bare virkelig vigtig den 1. Den intention der bliver sat til
26:07
den 1 token er utrolig vigtig og hvis du fjerner den, så går hele
26:11
intentionen nærmest i stykker. Det fandt de vist ud af, fordi
26:15
de ville prøve at lave Sådan et sliding Windows.
26:17
Så vidt jeg forstår henover, skal man sige konteksten ikke
26:22
Sådan så at Der er fundet ud af hvis de hvis man ligesom taber
26:25
den 1 token så gør det bare et stykker det der attention.
26:30
Ja altså man man kan forestille sig det, det de det de siger Det
26:33
er at Der er mange der forsøger at løse problemet med med
26:38
kontekst vinduet størrelse vil jeg bare ligesom at tage det her
26:42
fikst vindue og siger nå men vi kan gabe over over mere i Vores
26:47
chat eller hvad det måtte være. Vi tager ligesom bare slut og
26:51
start, og når det så er, at Vi har.
26:53
Magtede Vores Vores tunge længde.
26:57
Jamen så flytter vi simpelthen bare det hele, både toppen og
26:59
bunden Sådan i et vindue ikke henover hen over Vores tekst.
27:04
Og det det det siger, Det er der mange, der har gjort, og så har
27:07
man. En sliding Windows ting.
27:09
Ja og Det har man så fundet ud af, at det Det kan måske en
27:14
noget, men det. Det er tydeligvis Det er
27:17
tydeligvis ret skidt på sigt, altså når man bare kommer en
27:21
lille smule væk, så det så Det er helt forfærdeligt.
27:25
Og og så siger de så at at de der eksperimenter, det laver at
27:29
de de finder ud af simpelthen at hvis nu man fryser de første
27:34
tokens i teksten, og så flytter det deres sliding vindue, så får
27:38
man en helt anden performance. Og ja, Det er jo det super
27:43
mærkeligt, og Det er som om at alle andre ord efter det første.
27:50
Tungen der det blev ligesom ved med at at vende tilbage til det.
27:55
Der ligger et i den. Det var sjovt.
27:58
Det var sjovt fordi det mener jeg Det er noget han kommer ind
28:00
på at det første token altså det her attention.
28:03
Det kigger jo kun bagud. Kan man sige så altså når du
28:07
træner Sådan en model, så træner du attention til hele tiden at
28:10
kigge bagud, og de kigger jo ikke forud.
28:15
Det er den her position med en coating.
28:17
Altså Der er jo Der er både hvad kan man sige den semantiske og
28:22
så er der den her positions in coating, som jo egentlig ikke er
28:25
noget transformeren er særlig god.
28:28
Ned til, men man har bare det her indeks.
28:31
Ja ligesom man har 1, 1 1 1 1 tal for for et tokens IDI en
28:37
dictionary som man bruger så har man bare.
28:40
Den her positionelle encoding, det ligesom bare er indekset for
28:43
hvor er den placeret i den her kontekst det?
28:47
Det er ligesom den de også fryser, og det viser sig også at
28:50
have en betydning, ikke? Sjovt, men Det er også lidt det.
28:53
Det så vidt jeg forstår det på på jannick Det er så var det
28:55
fordi så er det ligesom om. Den 1 tungen.
28:58
Det er den eneste tungen der ligesom er til stede.
29:01
Ved alle de andre tungs? Så er det, og Det er ligesom om
29:04
modellerne lærer ligesom at putte en masse rigtig vigtige
29:07
information ned i den token måske Sådan en lidt 1 1 1 1
29:12
sidefag. Altså man har jo tiltænkt, at
29:14
tingene til at gøre en bestemt ting, men Det er måske Sådan en
29:16
sideeffekt af det, at den bruger i virkeligheden.
29:19
Den token den 1 token til til at gemme Sådan du ved Sådan lidt
29:24
lidt hygge information den her generelt bruger ikke.
29:27
Man kan sige det på en anden måde.
29:28
Bare lige få. Parafrase det du siger den 1
29:31
token er det eneste toppen alle andre tokens kan.
29:36
Altså alle tokens kan tage det til.
29:39
Ikke. Lige.
29:41
Nummer 2 tokens altså det næste fordi det første token kan ikke
29:47
er tændte til nummer 2 token vel fordi Det er findes ikke på det
29:50
tidspunkt II Sådan et l forstand og det skal vi lige være huske
29:54
her at Det er jo det her next tung protection, hvor man jo
29:57
selvfølgelig siger til LM, du må ikke vide noget om om fremtidige
30:00
tokens, fordi Det er jo det du skal presse.
30:02
Det giver jo god mening og Det er derfor at det forholder sig
30:05
Sådan. Det er ikke altid, Det er ikke
30:06
nødvendigvis Sådan i andre modellering sammenhæng, Det er
30:09
bare lige for at Sådan være helt skarp.
30:11
Og der nævner han også at 1 1 1 Sådan hvad skal man sige teori
30:14
de har fordi de jo heller ikke læst det her, men Jeg har set
30:18
videoen ikke hvad hedder det? Det er jo sjældent man læser de
30:20
der papers tid. Ja men hvad hedder det?
30:24
Men de har Sådan en teori om at du ved hver token der bliver
30:27
lavet en attention kaldt beregning på den token hvad?
30:32
Hvad for nogle andre token skal den attente til ikke og Der er
30:35
ligesom og Det er jo Sådan så max der bliver ender med at
30:38
blive kørt ud over det Sådan så at den skal ligesom den det den
30:43
er tænder til de andre tungen skal ligesom give en kan man
30:46
sige og der mener jeg at Jannik han siger at Sådan så er der
30:50
nogle gange hvor at den den den ligesom har lidt noget attention
30:54
til overs. Så er den ikke rigtig lige vil
30:57
dele ud på de andre tungens fordi den ikke har brug for det.
30:59
Og så bliver det. Jeg tænkte det bliver ligesom
31:01
bare lige puttet over i den 1 og så ja jeg ved ikke altså Det er
31:05
jo også det Der er lidt griner ved de her de løsningsmodeller
31:07
ikke de ved det man ved ikke rigtig hvad fanden det egentlig
31:09
er, men hvad de lærer og de og de kan godt finde på at have
31:13
Sådan nogle interne finurligheder på grund af den
31:16
optimerings algoritme og data. Det er altså ja.
31:18
Det er noget mystisk mærkeligt noget, men Det er rigtigt nok
31:21
den der software som som du siger ikke hvor man jo ligesom
31:24
for at få normalisere de her. Løgets så så så så har man
31:30
ligesom så ser man det her med, at der der kommer altid lige en
31:35
god andel af alt ud af de der nul til et.
31:40
Overskud. På første token ned observation
31:44
super cool. Hvad kan vi bruge det til ikke
31:46
og så er det derfra det ligesom ruller hvad nu hvis vi fryser
31:49
det til dukken der ikke? Og der det Der er jo noget sjovt
31:53
ved det fordi der de laver så også det at de de siger jamen
31:57
det kunne man jo bare implementere på en hvilken som
31:59
helst LM the box og så har man muligheden for ligesom at Det er
32:03
der hvor de kalder det streaming, ikke at den bare kan
32:05
fortsætte ud af sin kontekst med den, så har frosset det her
32:09
første tog. Men hvad nu hvis vi trænede en
32:13
eller dem fra bunden med et special første tog altid?
32:17
Og det gør de så også og så kommer.
32:19
Det fra, så Det er ligesom så så de træner LM til ligesom at
32:23
holde det her tog. Altså så behandler de den rent
32:26
faktisk som det de observerer den.
32:30
Og så og så træner de åbnet, og så ser det endnu bedre.
32:36
Det er ikke. Er det ikke word?
32:38
Det er super fedt fuck ja Det er bare Det er interessant at man
32:41
kan Sådan så kan man sidde og proppe lidt rundt i de her
32:44
netværk og se Sådan hvordan ser det attention ud og Sådan prøv
32:47
at finde ud af Sådan hvordan opfører det sig egentlig og hvad
32:50
sker der hvis vi finder først i toppen og så er den pisse dårlig
32:53
hvordan kan det være og så begynder man at gå i dybden og
32:56
så ja så kan man ligesom stryge med hårene når man når man
33:01
træner dem og gør dem ja det synes jeg bare er.
33:03
Interessant altså Jeg vil jo det.
33:05
Jeg synes Det er 1 1 1 1 interessant observation.
33:08
Jeg vil jo sige, Vi er ude i noget af det, som vi snakkede om
33:11
sidst der ikke? Altså Det er lidt ligesom Trump
33:12
ikke. Det er noget af et hack ikke?
33:14
Altså. Er det jo, og Det er jo Det er
33:17
jo, hvis hvis Det er noget som helst det her ikke, så er det jo
33:20
blackbox engineering. Det er jo det der med hvad er
33:23
det her for noget og hvordan? Altså lad os prøve af hvordan
33:26
det opfører os og lad os prøve at gøre fucke lidt mere systemet
33:29
ikke. Og Der er lidt match test over
33:31
det ikke? Altså Det er ligesom vi blander
33:33
noget kemi, og så finder vi ud af noget, så prøver at forstå
33:36
det bagefter. Men Det er jo i virkeligheden
33:38
Sådan en videnskab er ikke der var også engang hvor man ikke
33:40
vidste hvad statisk elektricitet var.
33:43
Så er det jo også Sådan Det er. Det opfører sig på en eller
33:45
anden måde det her. Hvad fuck er det så?
33:47
Lad os prøve at gøre nogle forskellige eksperimenter, og så
33:51
bliver man klogere og klogere på det og så lige pludselig så
33:53
finder man ud af en masse ting om det ikke så Det er jo science
33:55
for helvede. Det er jo data science for
33:57
helvede altså. Vi må godt kalde det lidt
34:00
science. Nå mega fedt.
34:03
Så lad os håbe at vi en dag får 1 1 1 kontekst længde på en
34:09
milliard eller Sådan. Noget?
34:10
Det ville jo være. Det ville løse alle Vores
34:12
problemer, ikke? Databaser så ja.
34:19
Google sidste nyhed på eller nyhed events, begivenheder,
34:25
udmelding et eller andet på plakaten.
34:27
Det er at at ikke og den er nærmest lige kommet ud i den
34:30
video, ikke? Altså Vi har begge 2 set den
34:31
nærmest ikke ja så så Det er fresh.
34:36
Det er frisk friske nyheder det her, og Det er at open det
34:43
projekt som hedder open assistent som du startede er den
34:45
gode jannic slisher. Nu kalder han mig også bare
34:48
klicheer. Lige, vi må lige huske at lægge
34:51
lidt, når vi når vi udgiver, så folk kan følges.
34:54
Men Jeg tror 2 måneder inde i hele den her chatty hype altså
35:00
rimelig ærlig. Der fik han ligesom mobiliseret
35:04
et en hær af open source folk til ligesom bare at gå i gang
35:09
med at træne deres egen version af den her de her.
35:14
Hvad skal man sige de her? Chat modeller?
35:19
Og det det det Det var ret har været ret burning hot.
35:24
Det er i starten hvor der virkelig har været mange til at
35:27
til at udvikle de her ting, og man har ligesom prøvet at lægge
35:29
en plan for, hvordan strukturerer vi data og hvad?
35:31
Hvordan skal datasæt se ud og man ligesom prøvet at reverse
35:34
engineer? Hvordan mon åbner?
35:36
Jeg har gjort det og så har man læst det der instruct g paper
35:41
som ligesom var det man havde på det tidspunkt.
35:45
Og så kunne jeg forestille mig, så den her chat protokol med g
35:48
3,5 turbo kom ud lige pludselig og så ved jeg ikke så ved har de
35:51
sikkert ændret kurs og så videre.
35:53
Ikke og så den man kan sige den store som jeg ser det i hvert
35:57
fald som den store bedrift i det her.
35:58
Det er jo ligesom at de har fået lavet det her interface.
36:01
Hvor man har kunnet hvor de ligesom har lavet Sådan et det
36:05
virkelig Sådan annotering interface, hvor de har
36:07
crowdsourcet et RLAGF. Altså ryan frost, men learning
36:13
from you and feedback datasæt er det ikke.
36:16
Er det ikke Sådan at du forstår? Hele det projekt altså.
36:21
Hvis Der er nogen der har prøvet at være derinde så så så så vidt
36:24
jeg husker det den der brugergrænseflade så så lokker
36:28
man ligesom bare ind som min bror.
36:30
Man skal have et login og Det kan man bare lave og så kan man
36:34
ellers begynde at stille spørgsmål.
36:38
Få svar på. Og annotere og hvad skal man
36:43
sige, curated? Andre svar, som ligesom bliver
36:47
valgt ud via nogle algoritmer, hvor de Sådan hvor du så er med
36:51
til at være inficere andres svar på på på andres spørgsmål så du
36:58
ligesom får Sådan. 1 1 1 1 1 cirkulær motor der simpelthen
37:03
bare. Validere data helt vildt
37:09
voldsomt op på en meget effektiv måde, men i en fuld Sådan
37:14
decentraliseret open source er rimelig rimelig kenyas måde at
37:20
gøre det på. Og og og Det har så gjort at de
37:24
de er jo i det hele taget kunne samle data ind til at lave Sådan
37:27
en en chat model der. Så mener jeg at de har brugt en
37:31
open source LM som de så har lavet ryan force med lønnen for
37:36
human feedback ovenpå, så de har ikke lavet Sådan en præst stor
37:39
præ træning med den her indsamling, men de har indsamlet
37:42
den den virkelige vigtige data til til at lave chat chat delen.
37:49
Hele selve datasættet, ikke? Og.
37:53
Ja og så den den nyhed vi så er ved nu Det er nu er det så kørt
37:58
i 10 10 måneder eller Sådan et eller andet, hvor de jo så har
38:02
samlet data ind og de har de har også trænet og så har de også
38:05
haft den her åben assistent model kørende hvor man folk
38:09
kunne gå ind og bruge den, så den har også været det pløjede
38:11
samtidig. For ligesom der var ikke nogen
38:14
andre, og Det var Sådan en protest mod åbnere ikke Vi skal
38:17
have en åben. Variant af det her.
38:20
Det var meget Sådan rebelsk ikke?
38:23
Eddermame tosset over at opnå jeg de var open air i ikke og de
38:27
er. Sådan nogle rimelig store hajer
38:31
indenfor for de learning ham jannick der ikke hvem som helst
38:35
vil jeg bare lige sige. Jo, han er jo samlet et vildt
38:37
community af af research og så folk der bare ja.
38:41
Alle folk som jer der har skrevet et utal af artikler om
38:46
om det her ikke så nå og og og og nu er de så ude og sige.
38:52
Vi er færdige. Det vil så sige de Sådan stopper
38:54
Sådan lidt, lidt brat og siger, nu går vi ikke videre med det,
38:58
altså selve model træningen og selve det at have det pløjede
39:01
løsningen og alt det. Det er Sådan noget, det lukker
39:04
de ned. Men de vil gerne ligesom der.
39:08
Der er mange der Sådan lidt. Hvordan kan i gøre det og Sådan
39:11
noget? Det var jo meningen vi skulle
39:12
konkurrere med med den her lukkede variant kan vi skulle
39:16
have reddet verden med en åben model, Sådan nogle ting der
39:19
ikke, men som som jannick det jeg siger II sin på sin youtube
39:23
kanal. Det de har gjort, og det som de
39:26
ser der, er en allerstørste værdi.
39:29
I det arbejde de har lavet. Det er de har indsamlet data af
39:32
høj kvalitet, som de nu kan gøre klar til at open source.
39:40
Ja lige præcis. Og Det er Det er selvfølgelig
39:44
jeg jeg ikke. Jeg ved faktisk ikke om de har
39:46
forskellige sprog eller hvad de har med indover af det der.
39:48
Jeg aner ikke noget, jeg tvivler.
39:50
På, at Der er noget forskellige sprog.
39:52
Ja, Jeg tror ikke Det er nok dansk.
39:54
Nej, Der er sikkert ikke noget dansk.
39:55
Ville, Vi har sikkert ikke været flittige inde på den platform
39:58
der. Og ved du, hvad Det er Vores
40:00
skyld Jonas, blandt andet Vores. Skyld ikke skulle have været
40:04
gået ind og stillet en masse data science og python
40:06
spørgsmål, men men men man skal nok bruge noget Der er lidt
40:10
bredere for hende. En god moden nå men men okay.
40:16
Det er stadig ret crazy. Jeg tænkte på at de så kan open
40:19
source og Jeg tror Det er et ret stort datasæt.
40:21
Jeg tror Det er et virkeligt potent datasæt til til 1 1 god
40:25
engelsk variant. Men som de selv siger, at de de
40:29
er allerede blevet overhalet af andre open source projekter, som
40:33
bare har fokuseret på at træne gode modeller og så indsamle
40:37
noget data og måske også brugte generative modeller til, fordi
40:42
Det er jo så også det folk har fundet ud af, at man kan jo
40:44
faktisk generere de her syn chat datasæt syntetisk.
40:49
Men men Der er noget i det der med høj kvalitet.
40:53
Human feedback data de har indsamlet.
40:55
Jeg synes Det er Det er vildt. Det bliver fedt at se hvor hvor
40:59
meget de har fået indsamlet og hvor høj kvalitet Det er.
41:01
Det ryger selvfølgelig i en eller anden benchmark.
41:06
Tabel på et tidspunkt tænker jeg ikke.
41:08
Og det heroppe altså man kan sige de var jo virkelig tidligt
41:11
ude. Ikke?
41:12
Og det Jeg kan huske der var Sådan helt rebelsk.
41:14
Du ved Sådan helt. Stemningen ikke virkelig kan man
41:18
sige og og det her felt open source wise har det jo bare.
41:23
Eksploderede altså fuldstændig. Det er jo Det er jo værd.
41:27
Anden uge eller et eller andet, hvis ikke mere, hvor der kommer
41:29
en åben lars language model ud fra det ene og det andet
41:32
research lab. Som har vanvittig funding, ikke
41:37
hvor Det er, så er det Microsoft og så er det Google og så er det
41:40
det meste altså du ved så er det falcon og så er det stable
41:44
stability og så videre. Ikke hvor at de Sådan.
41:47
Det der Sådan selve model træningsdelen virkede det på
41:51
jannick som om at. Det det det den den der kunne de
41:55
ligesom ikke rigtig følge med og der ville der gav det ligesom
41:57
ikke mening at følge med, men men men men det de ligesom har
42:01
opnået Det er at lave det her datasæt, hvilket Jeg synes er
42:04
rigtig fedt og i virkeligheden så.
42:07
Synes jeg Det er en kæmpe overset ting generelt.
42:10
I kan også bare ud i virksomheder og den måde man
42:12
tænker på machine learning omkring machine learning det
42:15
snart vi vi snakkede også om lidt om det sidst, og det synes
42:18
jeg virkelig man skal. Man skal tænke over det her
42:21
fordi. Det, der i høj grad er lige så
42:25
vigtigt som at træne de der fucking modeller Det er at lave
42:29
den maskine som skal indsamle det data.
42:32
Og som indsamler det data, uden at Der er nogen, der skal sidde
42:36
død og pine og sidde og notere til de er ved, at øjnene er i
42:40
hvert fald ud af hovedet på dem. Det er gerne Sådan noget, altså
42:43
de de de smukke elegante løsninger på på indsamling af
42:47
data. Det er Sådan noget, hvor Det er,
42:48
altså Det er en dataindsamling, hvor Det er en del af selve
42:52
produktet, ikke vi snakkede om en for eksempel.
42:55
Øh, hvad hedder det? Midt journey er jo et stort
42:58
produkt bygget op omkring data noteringen, som jeg ser det i
43:01
hvert fald ikke, at Der er brugerne de de vælger de bedste
43:04
billeder, og de har incitament til at vælge de bedste billeder,
43:07
og Det er en fed op. Øvelser når de gør det, og det
43:09
bliver bare bedre og bedre det her produkt de de bygger bare
43:12
datasæt til til Midtjylland ikke så er der også, så var der den
43:16
her med Netflix, som hvis du sidder og ser et eller andet, og
43:20
den tror at du er faldet i søvn eller andet, så stopper den og
43:23
så beder den dig om lige og så spørger den, ser du stadig det
43:26
her? Og hvis du ser det så har du ret
43:28
stort incitament til ligesom at sige ja jeg fucking ser det lad
43:32
mig se videre hvis du ikke har hvis ikke du ser det hvis du
43:35
ikke har sover så. Sker der bare ikke noget vel?
43:38
Og Det er Sådan. Du kan bare ikke undgå at få
43:40
høje kvalitetsdata ud af Sådan et setup der og.
43:44
Og og og og Det er jo det der med som jannick siger i det her
43:48
at at de de kunne se at meget hurtigt så så løbe alle de her
43:52
model træninger og og algoritmer der måtte blive brugt.
43:56
Og hvilken hvilken foundation model altså hvilken stor præg
43:59
trænings model man kørte med om Det var flash tension eller hvad
44:03
for en attention man nu kører der det der det bevæger sig bare
44:06
hele tiden og og du sætter en træning i gang og så går der 2
44:10
måneder mens din træning den kører ikke også og så så er du
44:13
overhaler så og hvad det skal vi.
44:15
Så den her træning og implementerer den her nye flash.
44:18
Fordi attention og og så er du så er du videre igen, og Det er
44:23
jo også Sådan som han siger det her datas forever og det.
44:27
Andet er rigtig god pointe. Det det det dør, dør hurtigt, og
44:31
så kommer der noget bedre. Men men du kan stadig tage det
44:34
samme data og og køre på på på det nye på det nye udstyr.
44:40
Og Det er faktisk at få noget Der er federe.
44:42
Og Det er faktisk en mega fed pointe.
44:45
Det må man sige, fordi Det er nemlig rigtigt.
44:47
Det er forever ikke med mindre der selvfølgelig nogen der
44:50
kommer og finder ud af, at man skal bruge et andet dataformat
44:53
eller et eller andet til det, ikke?
44:54
Jo men men men Sådan. Kan man altid bruge det på en
44:57
eller anden måde, ikke? Nej, men Jeg synes det altså
45:01
det. Det er i hvert fald langt mere
45:04
stabilt over tid lige i øjeblikket at få styr på sine
45:08
data og og ligesom lave en god et godt format for det til til
45:14
hvad det nu er, man man har behov for og.
45:16
Lad os nu bare tage, at man er en virksomhed, og man gerne vil,
45:21
og man vil gerne udføre en eller anden opgave, end man har en
45:24
eller anden task. Det Det er måske endda kernen af
45:27
virksomheden, at man har den taske, og at den skal man være
45:30
rigtig god til. Og Det er ikke noget, der ændrer
45:31
sig lige i morgen. Hvis du indsamler god data til
45:35
det, som også er i et format, der kan der kan bruges af en af
45:40
en LM for eksempel. Har du så ikke skabt noget, Der
45:44
er rimeligt robust og meget værdifuldt over tid?
45:47
Fordi du kan egentlig tage det data og og bruge og anvende det
45:51
II nye LM algoritmer og nye modeller og så videre og så
45:55
videre over tid det Det er ligesom, og Det er også der det
45:58
Det er nemmere at tage. Det samme data du du havde for
46:03
et år siden og implementerer det en gang til en ny model end Det
46:06
er at skulle. Hvad ved jeg hele tiden gå ud og
46:10
prøve at finde. Ja det ved jeg ikke.
46:14
Altså Der er bare et eller andet Der er et eller andet i at det
46:17
det Det er mere konstant det data, det domæne du ligesom har
46:21
som virksomhed en end alt det der der hele tiden ruller og
46:24
bevæger sig derude det. Det synes jeg bare er så
46:28
freaking vigtigt at at at få tunet ind på som virksomhed, når
46:32
man gerne vil lave og lave i. Få styr på jeres data.
46:38
Ja helt sikkert. Altså til til a formål, så skal
46:42
så skal vi nok nå langt. Og og selve indsamlings maskinen
46:45
og evaluerings maskinen og så videre ikke man kan sige.
46:48
Jeg tror også at at og Det er nok også det der sker med open
46:51
source projekter. Det lyder også lidt på jannick
46:53
som om at Det var en af tingene ved det.
46:54
Ikke at det mister også Sådan lidt momentum.
46:57
Hvad skal man sige? Der er meget hype i starten, du
47:00
ved Vi er jo begge 2 været i en open altså en open source
47:03
forening eller man skal sige en en frivillig forening ikke, og
47:05
der kan man også godt se Der er Sådan nogle bursts.
47:08
Ja ja energi og så videre ikke så så ja så så så hvad hedder
47:14
det så? Det er også fuldt forståeligt
47:16
at. Altså Der er bare ikke uendelige
47:19
engagement II frivilligt arbejde og og over tid så vil middel
47:25
altså Sådan kølige kontanter og kølige middel altså penge der
47:30
bliver puttet ind i Sådan noget de vil vinde.
47:32
Ikke fordi hvis folk kan betale deres regninger ved for at lave
47:35
det arbejde de laver så. Så jeg hørte i øvrigt bare bare
47:38
lige hurtigt ikke mozilla firefox de får 400 millioner af
47:43
Google tror jeg Det er kan det passe.
47:47
Hvert år tror jeg Det er 4.000.400 millioner dollars,
47:50
mener jeg. Det var for at have Google som
47:52
default search. Hårdt.
47:56
Er det ikke sindssygt, og Det er bare den måde de funder hele det
47:58
der lort på altså mozilla research og Sådan noget så du
48:02
ved. Der skal bare nogle der skal
48:05
nogle penge til at holde Sådan nogle ting kørende, ikke?
48:06
Det er en. Det og hvis man er lidt idealist
48:09
som som jannick Det er, så tager man nok ikke lige mod Google
48:12
penge, fordi det man gerne vil Det er at man gerne ligesom rock
48:16
the boat lidt med det der open source ikke og ligesom være være
48:20
mere Sådan brain sucking idealist hoppen kort øjeblik.
48:24
Så men det ja, men Jeg synes bare det der Det er deres
48:28
forever det den er sgu go. Men er det ikke et godt sted at
48:32
afslutte ugens ugens afsnit? Datas forever Det er.
48:40
Ked af data på evigt. Data for evigt mand.
48:47
Vi kan sidde jamen tak for tak for snakken Jonas og ja og tak
48:54
fordi i lytter med derude. Husk for filan at.
48:58
At at subscribe og til Vores youtube kanal og følg os på
49:01
Spotify og Apple podcast og på LinkedIn og så videre og så bare
49:06
lige her på falderebet helt ud af det blå.
49:09
Jeg har lidt overvejet man skulle lave Sådan en discord
49:11
server. For at være podcast.
49:13
Og se om det kunne være sjovt. Endnu en kanal.
49:18
Endnu en kanal. Endnu en ting at holde styr på
49:20
hvorfor ikke? Hvorfor ikke bare lade sig selv
49:22
med lidt mere? Måske måske har vi prøvet det?
49:27
Eller hvis Det kan vi det. Det nu er i hvert fald kastet
49:30
ud. Alle sammen have det rigtig godt
49:33
til. Vi ses igen i næste uge på
49:34
onsdag klokken 7 og ikke torsdag klokken 7.
49:37
Hey hej hej.