Latest / Verbos: AI og Softwareudvikling / #24 - Mads Henrichsen: DanskGPT

Transcript

#24 - Mads Henrichsen: DanskGPT · Verbos: AI og Softwareudvikling

0:00
Har du alle sammen og velkommen til hvad?
0:02
Bos podcast nummer 24, mit navn er Kasper junge og Jan machine
0:05
learning engineer hos co dot ære.
0:07
Og jeg hedder Jonas og quizzer Andersen og er data scientist på
0:11
ekstra Bladet. Og til alle nye lyttere, som
0:14
ikke kender podcasten, så vil jeg bare lige sige at hvad
0:16
bruger podcast handler om r softwareudvikling og data
0:19
science og hvad bruges podcast udkommer hver onsdag klokken 7
0:22
om morgenen til alle early birds derude.
0:25
Og i dag skal vi snakke om noget utroligt spændende.
0:27
Jeg er mega sejt og det ved jeg at du er Jonas om at snakke om
0:30
det her, fordi Vi skal nemlig snakke om dansk GPT en ny dansk
0:34
trænet l som er kommet ud her fra før ikke forfærdelig lang
0:39
tid siden og til at hjælpe os med at tale om det.
0:41
Så skal vi have selveste manden bag nemlig mads Henriksen med i
0:46
podcasten til at tale om det her velkommen til mads.
0:48
Mange tak. Men, før vi går i gang, skal vi
0:51
lige huske at sige, at hvis man kunne tænke sig at støtte Vores
0:54
podcast, så kan man gå ind og følge os ind på Spotify ind på
0:57
hvad Apple podcast man kan også føle sin på youtube, og ellers
1:01
har vi også en LinkedIn side hvor man kan gå ind og og følge
1:03
med at uploader vi for eksempel uddrag fra podcasten og så
1:06
videre, så det vil jeg helt klart anbefale, at man går ind
1:09
og gør. Men ja velkommen til.
1:13
Og hvad hedder det mads? Det er mega fedt at at du ville
1:16
være med det måske lige fortælle baggrundshistorie hvad hedder
1:19
det vi havde i dansk data han community meetup hos os og jeg
1:24
hvor at og det havde vi i torsdags hvor du var ude at
1:28
holde oplæg om dit projekt dansk PT som Vi skal snakke om i dag,
1:32
hvilket jo er. Ja jeg ved ikke.
1:35
Jeg kom lidt bag på det. Kom lidt bag på mig, hvor
1:38
egentlig var vildt det egentlig var Sådan egentlig når man fordi
1:41
så vidt jeg ved så er det Sådan først først er Sådan den 1 dansk
1:45
danske specifikt danske large language model der findes lige
1:49
bortset fra den der shitty g 2. Der findes på dansk, men altså
1:54
som er helt helt. Ærligt forsøg ja.
1:57
Lige præcis, men men før vi går i gang med at kan du så ikke
2:00
lige gøre os lidt klogere på hvem du er og hvordan du er
2:04
kommet hertil? Ja som sagt hedder mads, men Det
2:08
er altid et godt sted at starte. Og Jeg er ansat IPFA, som Det er
2:16
décentes, og det skal lige nævnes, at mit projekt dansk
2:21
bibliotek har absolut intet med f at gøre det.
2:23
Det er noget jeg startede på længe, før jeg blev ansat IPFA.
2:29
For Det har jeg arbejdet i. Han starter.
2:34
Og jeg arbejder som konsulent, men i den startup, jeg arbejdede
2:39
i den, blev så opkøbt af et stort amerikansk startup.
2:43
De var også noget 600 mennesker, og ikke om kan det starte op
2:46
længere, men det kaldte dem selv.
2:49
Som har fået et par milliarder dollars i funding til at lave
2:53
Sådan en. Ja jeg kender Sådan en en
2:58
platform til at digitalisere nogle kliniske forsøg, så man
3:01
kunne lave alle de her doctools meget hurtigere end man kan i ja
3:05
nu. Så der har jeg siddet man lavet
3:07
en masse l obs og for Det er en masse Sådan rent dahl science og
3:12
udviklet en masse. Algoritmer til at detektere
3:17
hudkræft og alle mulige hudsygdom.
3:21
Cool mega nice. Hvad med hvad Sådan en
3:24
uddannelse og Sådan noget er du ja hvordan?
3:28
Jeg har læst næsten en hel bachelor i økonomi.
3:32
Og så bliver jeg nødt til at stoppe.
3:35
Der var jeg ikke nødt til at stoppe, men det vil jeg gerne
3:38
ville skifte, og jeg kunne ikke færdiggøre den, fordi der var
3:40
uddannelsesløft på det tidspunkt.
3:41
Så hvis jeg havde gjort jeg tvunget til at tage kandidaten.
3:45
Og så skiftede jeg til HIT på CS, så kunne få en masse merit
3:49
fra alt det økonomiske, så jeg kunne få noget programmering ved
3:54
siden af. Og så da bacheloren der blev
3:57
færdig. Så.
4:00
Så blev der oprettet en kandidat i data science på cbs.
4:06
Og nu slukker jeg lyset. Ja, så blev jeg brændt en
4:12
kandidat dancers hvor vi var den 1.
4:14
Årgang, og vi var kunstnere 25 eller Sådan noget, hvor altså
4:20
kursusmaterialet. Det var bare tyvstjålet for
4:22
stanford for alle slides ned og stå noget nede i hjørnet.
4:26
Det var bare stadigvæk. Så Det var ja altså Det var ikke
4:30
lige noget at lave et kursusmateriale selv, så så til
4:32
alle. Ja Det var bare Det var meget
4:34
sjovt meget, OK. Sælges igen OK Det er fint.
4:41
Det er jo også Det er også lyden Der er det vigtigste, kan man
4:43
sige. Men Det er også meget rart at
4:45
kunne se dig bare lige øvrigt. Det er ikke helt tilfældigt.
4:48
Jeg har taget min min Danmarks farvede poly på i dag, fordi jeg
4:51
havde selvfølgelig dansk iptv Vi skal se når nu vi snakker om
4:54
det. Vi kan se på videoen ikke altså
4:56
Det er mega fedt bare lige Sådan fordi så du startede ud i
4:59
økonomi egentlig Sådan okay fordi Det er meget sjovt jeg
5:03
egentlig Jeg synes Der er mange der Sådan.
5:05
Transitioner fra Sådan mere økonomi agtige fag og Sådan
5:09
finansielle fag hen til til data science.
5:12
Men Det har måske også er der ikke er der mange overlap eller.
5:15
Altså Der er jo rigtig meget matematik II økonomi og Det var
5:20
lidt på på godt og ondt for mig og fordi jeg kunne man sige Jeg
5:23
kan rigtig godt lide matematikken.
5:25
Men på økonomistudiet er alt næsten teoretisk, så Der er
5:31
ikke. Jeg følte ikke der var så meget
5:33
praktisk anvendelse. Og det får man jo rigtig meget i
5:36
programmerings delen, hvor du stadig har matematikken.
5:39
Men så er det lidt mere. Praktisk anvendt, og Det er ikke
5:44
lige Sådan, at man lige kan gå ud og starte en eller anden
5:46
recession i Danmark, bare lige for at teste sin teori om om et
5:49
eller andet. Det er Sådan Det er lidt for
5:50
dyrt ikke så så ja, Det var mere lokal skala er, kan man sige.
5:59
Data science. Ja Det er jo meget sjovt du
6:02
nævner det der jo unge med at Der er mange der går fra fra
6:06
økonomi eller Sådan et fag over i det ellers egense.
6:08
Men der var faktisk engang hvor der også var rigtig rigtig mange
6:11
ingeniører der hoppede ind i bankverdenen og lavede en masse
6:14
finansielle ting. Jeg ved ikke om Der er nogen der
6:16
kan huske det eller om det bare er mig Der er gammel, men Jeg
6:19
har siddet og kigget på nogle tal, hvor man simpelthen kan se
6:22
den der ingeniørerne bare flygter ind til bankverdenen.
6:27
Det kan være de har fået en god gage for det måske det.
6:30
Rimelig gode lønninger II den del.
6:34
Før vi før vi hopper videre, fordi man tænker også nu skal vi
6:36
snart i gang. Folk vil gerne høre dig om om
6:38
dansk politik og så videre og historien bag den.
6:39
Men før vi vi går i gang, så Vi skal jo snakke om om
6:43
sprogmoduler, language models og så videre NP og så videre hvor
6:46
hvornår Sådan hvornår begyndte du at interessere dig, fordi jeg
6:51
går ud fra at du interesserer dig da jeg begyndte at
6:53
interessere dig for sproget modeller for et tidspunkt
6:55
hvornår Sådan begynder du at interessere dig for det og hvad?
6:57
Hvad kommer det ligesom at? Jeg tror at.
7:01
At Sådan helt generelt, at Sådan rent praktisk anvendelse af
7:06
modeller har interesseret mig rigtig meget.
7:09
Det der med bare at bruge en model og så bare lægge den i
7:10
skuffen eller vise den i en notebook eller andet Det har
7:15
interesse, så Det har altid skulle have haft en anden case
7:18
for mig. Og så tror jeg Det var omkring
7:23
Sådan. Altså der gik vi til 2 udkom og
7:26
at man begyndte at Sådan godt kunne se at det havde jeg godt
7:28
kunne have Sådan 1 1 1 potentiale ikke.
7:32
Altså bliver der lavet. Nogle er Sådan lidt open source
7:35
versioner og v 2 som også var nogenlunde.
7:37
Men man kan sige, jeg havde ikke rigtig nogen.
7:40
Altså Sådan. Ikke en rigtig god anvendelse,
7:43
som Det har noget, for det bliver de her Sådan instruktion
7:46
eller chat modeller som som Der er kommet for ja snart de 12
7:50
måneder siden ikke så Det er først der hvor at altså man kan
7:54
sige open source community også virkelig har trænet sammen og.
7:58
Og lavet noget, som som regel kan bruges.
8:02
Ja. Ja fordi Det er jo så vidt så
8:07
vidt jeg ved så er det jo det her meget af det her instruction
8:09
tuning og chat tuning som som gør dem rigtig brugbar, er det
8:15
ikke rigtigt forstået? I.
8:17
Forhold til hvis det bare laver completion på.
8:20
Teorien kan du godt bruge en completion model.
8:23
Præcis samme måde som du bruger en chat model.
8:25
Det er bare 40 gange sværere at at sætte den op til det.
8:30
Så altså Det er ikke. Der er ikke nogen almindelige
8:33
mennesker der kan lave en template som talte til en
8:38
completion model, som kan gøre det samme som en chat model.
8:41
Bare lige for at gøre det helt klart for lytterne her.
8:43
Hvad forskellen er en en completion model.
8:45
Det er vel også bare for lige at via on the same page her en
8:49
komplikation model. Det var vel det vi så med g 3
8:52
tilbage 20 ikke hvor at man tager en stor fed transformer
8:57
decoder og ligesom sætter til at forudsige det næste ord.
9:01
Lidt altså rekursivt i en gigantisk bunke tekst er det
9:05
rigtigt. Sådan.
9:07
Men du skriver hej mit navn og så siger den finder den på et
9:11
andet navn og så videre og så videre hvorimod chatten eller en
9:15
eller instruktion modeller der kan du alt stille et spørgsmål
9:17
eller så kommer den og så forventer du et svar ikke mere
9:20
Sådan q and a agtig. Ligesom du vil interagere med en
9:25
person. Men er det rigtigt forstået, at
9:27
de egentlig trænede på samme måde?
9:29
Det er det samme træning objektivt.
9:31
Det er mere bare data end Der er forskellige.
9:34
Eller man kan sige altså complex.
9:37
Modellerne er jo bare trænet på den store pumpe tekst.
9:40
Og Det er måske Sådan det start startpunktet, kan man sige for.
9:43
Ja, og Det er at chatte modellerne og instruktion.
9:47
Modellerne er jo trænet oven på completion model, så Det er
9:51
endvidere fintuning af de her komplekse modeller.
9:55
Typisk for et meget mindre mængde data.
9:59
Og det man snakker om her, Det er, at man ligesom alle liner
10:01
modellerne ikke, altså man ligesom siger okay, nu skal du
10:04
ikke bare forudsige det næste ord i random tekst.
10:07
Nu skal du rent faktisk forudsige det næste ord i.
10:09
Noget der minder om en en samtale mellem 2 mennesker eller
10:13
en menneskesprog modeller 3 en til at følge instruktioner.
10:16
Og Der er jo lidt i det her element, som som nok bruges mere
10:22
i hvert fald community som Sådan en form for for censurering af
10:26
de her modeller. Du må ikke snakke om hvordan man
10:28
laver en bombe eller Sådan noget, men det vil være mere end
10:30
en fintuning af, altså den måde man interagerer med modellen.
10:34
Ja okay super det tænker jeg. Det er måske en meget god
10:37
terminologi lige at få på plads inden vi vi dykker ned II.
10:41
Hvad hedder det i den helt tunge ende af den her episode her?
10:45
Hvad hedder det inden vi inden vi springer til check eller til
10:49
nu skal jeg prøve at checke så. Til at sige, men dansk Politi
10:53
har du så nogle spørgsmål Jonas du lige vil?
10:56
Har du et eller? Andet, jeg tænker, at vi vi nu
10:59
er det spændende at høre, hvad er det, du har gjort med?
11:04
Ved du hvad? Så lad os bare gå i gang.
11:06
Hvad fanden er det her for noget?
11:08
Hvad dansk epite øh. Hvordan sætter man sig ned ene
11:13
mand og og begiver sig ud i det der og og vi?
11:15
Vi har jo siddet her og snakket jünger jeg om at at Det var da
11:19
latterligt, at vi skulle bruge tid på at træne en stor model i
11:23
Danmark. Og hvordan skal vi nogensinde få
11:25
tekst til det og Sådan nogle ting der men.
11:28
Lige snakke om til sidst, men det der med var Vores rand der
11:32
ikke. Men hvad er det lige præcis du
11:34
har lavet? Fordi Det er jo også lidt
11:35
anderledes end end end hvad kan man sige at træne en foundation
11:39
model, kan man sige. Jeg tænker bare tag dig god tid,
11:43
Vi har vi. Vi er lutter øre.
11:45
Vi er meget interesserede. Det tror jeg også at at finde ud
11:47
af hvad? Hvad fanden, hvad har du gjort?
11:49
Så lad os bare tage den fra en ende af.
11:53
Jeg vil lige starte med at sige. I torsdags så gik der ikke lang
11:56
tid, så fik jeg jo faktisk en jeg havde.
11:58
Jeg havde lidt en rand i torsdags, som som en stor del af
12:01
mit indlæg, og den har ramt handler om karneval og efter jeg
12:06
så nej, Det er min slides ud. Så gik der ikke mere end noget 5
12:09
minutter, så vi kan få en besked fra en fra karno og sagde at Det
12:13
var mega interessant og Sådan noget.
12:15
Og hvem blev måske lige? Hvem er Carlo?
12:17
Det kræver? Lad mig lige starte fra starten
12:21
af. Altså det hele startede i.
12:25
December sidste år til en til en julefrokost i mit liv, hvor jeg
12:29
var ansat. Tidligere altså hold Det er lige
12:32
lidt efter chatbot. Jeg kom ud i virkeligheden.
12:35
Velkommen i Danmark og og min min kone hun er jurist og hun
12:43
bruger et et program i hvad man Sådan onlineprogram i når hun
12:48
arbejder som hedder Carlo og cano er egentlig bare en en
12:52
kollektion af. Alle danske love og domme, og
12:58
Det er de så egentlig gør. Det er, at de indhenter alle de
13:01
her love og domme, og så arkiverer dem.
13:04
Og så skriver de kommentarer til dem, så de har nogle nogle
13:07
jurister som sidder og og kommenterer hvor de her love og
13:10
de her domme og Sådan lidt forklarer hvad de betyder.
13:13
Sådan i ren retspraksis. Og mit problem med carnero er
13:20
egentlig at, at de gør det virkelig godt, for de er
13:22
virkelig gode til det her problemet bare er Det er monster
13:27
dyrt altså din licens. Den årlige licens hos karma
13:31
koster mellem 22.032 1000 kroner, og Jeg tror Det er plus
13:35
moms. Så ja.
13:41
Det har adgang til at få lov til at slå op i det her.
13:43
Valg få lov til at slå op i de her domme og de her love, som
13:46
egentlig i teorien er offentligt tilgængeligt, så du får egentlig
13:48
bare de her. De er fuldt opladt tilgængelige.
13:52
Der er noget der hedder retsinformation.dk, og Der er
13:54
domstolsstyrelsens databaser. Hele svineriet er offentligt.
13:59
Så den værdi Carlo tilføjer, at Det er deres kommentarer til
14:02
dommene. Så så det så de er rigtig gode
14:06
til at lave de her kommentarer åbenbart.
14:11
Men så var vi så til den her julefrokost, og vi blev fulde,
14:15
og så begyndte jeg at ramme plet igen.
14:18
Ja, the rain Der er lidt om at jeg kunne bare lave noget, der
14:21
var meget bedre end det her canon.
14:23
Jeg kunne gøre det til. Altså altså Jeg vil lige sige
14:26
casino, de har Sådan noget 700 millioner kroner i banken.
14:29
Og har tjent noget, der hedder 80 millioner kroner, altså i
14:32
profit om året. Og slukker lyset igen 2
14:35
sekunder. Sorry.
14:39
Ja så altså Det er jo et kæmpe virksomhed, de gør det godt.
14:43
Lad os sige det Sådan. Nå, så så min ide var så at.
14:50
At downloade hele domsdatabasen og det skal man så ansøge om, og
14:55
det gjorde jeg så. Og så fik jeg lov til at få
14:58
adgang til deres api og så downloader alle de 3000 domme
15:02
der ligger derinde. Og ideen var så til at starte
15:06
med at træne en completion model på på alle dommene og så der.
15:12
Der er altså i de her domme. Der er en en domstol tekst og så
15:16
en dom til sidst. Som ideen var at.
15:20
Man skrev hele domsten selv altså Det er et handlingsforløb,
15:23
hvad Der er sket i dommen, hvad den ene part og hvad den anden
15:25
parts. Hvad er så en mulig outcome af
15:28
den her dom givet alle andre domme?
15:34
Fordi alt det her. Det er ustrukturerede data.
15:36
Det er umuligt at lægge en database og lave ja noget rigtig
15:41
data science på. Du ville gerne træne cookie PT.
15:46
Ja. Så så det gjorde jeg så ideen
15:52
var jo egentlig, at man kunne få dommen ud fra domsten, og hvis
15:56
dommen sagde, at hey, du kommer til at skylde den anden part
15:59
500.000, så kan det være man lige skulle gå til en anden part
16:02
og lave et forlig omkring ikke hvad?
16:04
Hvad siger du til at du får 400.000?
16:07
Så det kunne være man kunne spare nogle penge et eller andet
16:09
sted, ikke? Så så, så vil jeg træne den her
16:13
canon GBT var ideen. Og det blev så trænet på Sådan
16:19
et framework som hed nano GT, som egentlig er en meget, meget
16:22
meget lille transformer, som jeg så hamret igennem en laptop i
16:28
løbet af et par nætter og. Den var rigtig dårlig.
16:34
Den var virkelig, virkelig, virkelig dårlig.
16:37
Den er rigtig god. Jeg tror kontekst link var Sådan
16:40
noget, altså hvor meget den Sådan kunne huske i gangen.
16:42
Det var den 50 tokens, hvilket svarer til Sådan noget 25 ord
16:47
som du skrev et eller andet og begynder at skrive eller andet,
16:49
så så kunne den tage det rigtige cohérents i Sådan 25 ord der så
16:53
blev den bare altså mega forvirret ja og så spiste jeg
17:00
den faktisk til mit interview hos PFA og de sagde nej til så
17:03
jeg super godt ud og så begyndte man at læse teksten.
17:05
Og så var det egentlig altså man kunne ikke rigtig se om den var
17:09
dårlig eller om det bare var jurasprog eller eller hvad Det
17:13
var det der den måde det skriver på i forvejen er virkelig
17:17
forvirrende, men den var virkelig dårlig.
17:22
Og så blev det så januar og så udkom.
17:28
Så udkom de første larmer modeller.
17:31
Fra fra meta slash Facebook. Og Det er jo også bare komplekse
17:37
modeller og komplekse modeller kan du altså ikke direkte bruge
17:40
til så meget. Så blev det februar eller marts,
17:46
så udkom et paper fra stanford, som hedder alpakka, som
17:52
omhandler hvordan du fintuner de her komplicerede modeller til at
17:56
blive instruktion modeller så stanford nogle forskere fra
18:00
stanford og brugt check BT til at generere en hel masse af de
18:04
her instructions. Og så trænede en ja en Sådan que
18:09
altså en en instruktion model hvor du stiller et spørgsmål og
18:12
du får et svar, men så kan du ikke.
18:13
Du kan ikke stille opfølgende spørgsmål efterfølgende.
18:16
Så Det er Sådan en engangs. Spørgsmål, du kan kan stille.
18:25
Og så tænker jeg Sådan det det kunne være sjovt og og prøve at
18:30
lave 1 1 1 dansk version af det så det jeg startede ud med Det
18:34
var at jeg prøvede at oversætte de her 51.000 instructions,
18:37
altså de havde et engelsk datasæt som de udgjorde.
18:42
Og det oversatte jeg så til dansk.
18:45
Hvor jeg lejede en lille computer og et eller andet sted
18:48
og så. Brugte jeg en open source Sådan
18:52
translation, mouse lingual model ligger på hockey.
18:56
Jeg kan ikke huske hvad hedder. Til at oversætte.
19:00
Problemet var bare lidt at altså.
19:04
Verdensklasse Sådan translation modeller er stadig ikke helt
19:07
vildt gode og det og Det er noget problem var at.
19:13
At at den her kontekst link af de her translation modeller
19:17
heller ikke særlig lang. Jeg tror den var Sådan noget 770
19:21
87 tokens eller Sådan noget stil så mange af de her.
19:26
Translation jeg ville lave varer altså Sådan hvis i bliver for
19:29
lange så blev de bare virkelig dårlige og så kunne den ikke
19:31
huske noget. Så blev den virkelig forvirret.
19:33
Endnu dårligere end før. Bare Sådan for model.
19:38
Model når det så var færdig, så tænker man, så må jeg
19:41
understrege de her danske instruktioner, så må jeg jo bare
19:45
træne den der complication model på de her danske instruktioner.
19:50
Og så fandt jeg Sådan et et trænings framework der hedder
19:54
actual hotel, som er Sådan en Sådan en.
19:57
Jeg ved ikke hvordan det. Det er Sådan et akvarie ikke
19:59
hvad hedder Sådan et akvarium uden hvad den hedder?
20:04
Det har jeg lige fået det. Men hvor man har slanger i og
20:07
Sådan noget. OK når terrarie terrarium.
20:10
Terrarie ja så kan man få Sådan en lille et eller andet dyr
20:15
Sådan axolotl. Men altså Det var så 1 1 1 1
20:20
machine learning framework til til træne de her store sprog
20:24
modeller, som jeg så begynder at contribute lidt til.
20:29
Og så begyndte jeg at træne de her lam modeller startede med. 7
20:35
milliarder par meter modellen og tester lidt på den.
20:41
Og så fandt jeg ud af at de her translations altså at de her
20:45
instructions Jeg har lavet de var bare altså.
20:48
Du altså du fylder translations hvor du også bare translations
20:51
ud. Altså Det var Det var nogenlunde
20:53
dansk, men man kunne godt altså virkede lidt som om man sad og
20:55
chattede med en eller anden for Saudi Arabien der på Google
20:58
translate, ikke? Ja, så Det var ikke Det var ikke
21:02
så Sådan super godt. Og så en anden ting var, at de
21:07
her lameller de dem kunne du ikke bruge kommercielt.
21:10
De havde den her Sådan lidt restriktive licens og det gjorde
21:15
jeg så downloader prøver Sådan genskabe den, så Der er kommet
21:18
noget der hed åben lamme som har trænet en 7 milliarder om 13
21:22
milliarder model. Som performede i teorien lidt
21:25
dårligere end de oprindelige modeller, men de havde så en en
21:29
restriktiv patche 2 licens, så så dem kan du bruge
21:33
kommissionen. Ja og.
21:39
Jeg trænede, så prøvede jeg at træne igen, og Det var
21:41
selvfølgelig bare som resultat. Jeg skulle til at sige at at at
21:45
den hvor mange gange er du? Hvad har du været igennem før du
21:48
noget til den der hedder dansk ep the nu eller er det en af de
21:52
varianter du så? Jeg tror alt i alt har jeg
21:55
trænet omkring 30 eller 35 modeller.
22:01
Så der har været mange variationer, der har været
22:03
rigtig meget teste, og Det har også gået ekstremt meget op i
22:08
og. Træne effektivt.
22:11
Prøv at finde alle de optimisation Jeg kan overhovedet
22:13
kan lave fordi altså Det er mine egne penge af hvor det skal lige
22:18
siges, hvis Det er hvis det havde været en anden en anden
22:21
virksomheds penge, som måske valget min tid lidt højere end
22:25
jeg selv gør, altså hvor jeg også godt de betaler mig for
22:28
det, så kan det godt være. Jeg havde måske bare været lidt.
22:31
Ja, lidt mere vilde til at bare sætte det i gang.
22:35
Men hvis vi lige må Sådan afbryde historien, fordi det det
22:39
Vi skal høre mere ikke. Men Jeg vil gerne lige spørge
22:41
lige til den der del der med os med nu siger du Det er jo 30
22:44
gange før du ligesom er nået til den der danske elite endnu ikke
22:47
og Det er også bare lige for for dem derude, som som måske ikke
22:52
lige helt Sådan har prøvet at sidde og træne modeller selv og
22:55
og ved hvor hvor meget man virkelig skal gå op i sit data
22:58
ikke også og. Og hvorfor er det egentlig
23:01
hedder data science og synes jeg jo nå Det var lige min holdning.
23:06
Men men altså 30 gange, Det er jo alligevel Det er altså Det er
23:11
jo en del tid man skal bruge på at træne.
23:13
Og hvor lang tid tager det så? Og med hvor meget computer tager
23:16
det så at træne Sådan 1 1 1 lama 13 13 b der kan du ikke prøve at
23:22
komme lidt ind på det mads fordi Det er jo i sig selv interessant
23:24
også. Du kan sige, hvor mange kroner
23:28
og ører du har brugt, men du skal.
23:31
Men Det er helt i orden altså Der er jo Der er rigtig mange
23:33
forskellige måder at at træne de her modeller på det aller aller
23:37
dyreste du kan gøre. Det er at træne hele modellen,
23:39
altså det vi kalder i. Vi ved bare Sådan en fod fine
23:42
two altså du træner 100% af parametrene og Det er rigtig
23:48
rigtig dyrt fordi at lad os bare sige at hvis du skal træne 1, 1
23:53
7 milliarder par meters model, så skal du i teorien bruge 7
23:58
gange 12 gigabyte. Grafikkort memory så du skal
24:04
bruge 84 gigabyte grafikkort memory og Det er der bare ikke
24:07
noget grafikkort i verden der kan holde du sidder.
24:10
Du skal have flere grafikkort i. Ja serie for at have memory nok
24:17
til at træne de her modeller. Det er den allerdyreste måde.
24:22
Så er der noget der hedder loras og colorways loras er hvor du
24:27
kan diskutere modellen til en mindre størrelse.
24:31
De kommer typisk som flotte 16. Det vil sige 1, 1 7 milliarder
24:37
model fylder 14 gigabyte Sådan standard end hvis du bruger 8
24:44
bit så er det 1 8 altså integrere 8 så fylder de en 7
24:49
milliarder vil fylde 7 gigabyte. Og hvis du bruger det der hedder
24:53
kulører, som er en yderligere kvalificeret model som vil så
24:57
være 4 bit, så vil den fylde 3,5.
25:00
Og når du er nede på de 7 eller 4 eller undskyld 3,5.
25:05
Gigabyte så kan du træne på næsten alle grafikkort.
25:09
Wow OK. Men man kan sige altså, selvom
25:13
du kan træner på hvilket som helst.
25:14
Grafikkortet kan godt være det tager altså det tager evigheder
25:17
fordi de her grafikkort. Du kan i teorien ringe på kan
25:20
godt være enormt langsom. Ja så hvor lang tid tog det så?
25:27
Og og du benyttede ecuador tilgangen eller hvad?
25:31
Nej, Jeg har skiftet lidt. Jeg Jeg kan komme lidt nærmere
25:34
på Sådan ja præcis Jeg har jeg gjort altså jeg fandt ud af at
25:39
jeg havde oversat den der. Så fandt jeg ud af det her med
25:41
bare at træne på ren instruktions og især bare Sådan
25:45
nogle oversætte nogle. Det fungerer ikke, så Jeg er
25:47
bare begyndt at gå Sådan helt amok i web scraping, så Vi har
25:52
Vi har et dansk datasæt som hedder keyword som er.
25:57
Hvad er det? En milliard ord tror jeg der så
26:00
jeg tænkte jeg, jeg må have noget der Der er større, så jeg
26:04
kigger lidt på de ressour. Så hvor de har hentet data
26:08
handle nu, siger han det. Det må jeg også gøre, så Jeg har
26:11
wikipedia. Retsinformation, altså alle alle
26:15
store kilder information. Red altså Sådan Jeg har Jeg har.
26:20
Jeg har lige over 3 millioner ord nu, så Jeg har noget Der er
26:23
cirka 3 gange så stort som som giver word. 3 milliarder jo
26:28
også. 3 milliarder år, og Det er lige over.
26:33
Jeg tror Det er lige over 6 milliarder tokens.
26:40
Og man kan sige, at lam modellerne mener, Jeg er trænet
26:43
på 2 trilliarder 2 minus. Så Det er 2000 ja milliarder.
26:50
Det har jeg en meget lille. 12. Der er at sige til folk fordi
26:54
det der med trillion og milliarder billiarder og hvad
26:56
Det er på dansk Sådan nogle ting 12.
26:59
Så du er du er low on data kan man sige.
27:04
Altså. Jeg skulle træne den helt fra
27:06
bunden, så ja, men jeg bruger de originale vægte hvor den
27:12
allerede har lidt sprog. Den har meget få
27:15
sprogforståelse. Den har også lidt
27:16
sprogforståelse dansk. Det kan vi se, hvis i bruger
27:18
skulle GBT der har den altså den kan den kan lidt dansk men altså
27:23
den Det er rimelig gebrokkent så.
27:27
Altså det jeg gjorde efter jeg havde skrevet alt det data, så
27:29
tænkte jeg blev nødt til at Sådan gå gå all in og Det var så
27:34
og og fuldt træne en 13 milliarder på på alt min data.
27:40
Og det så du får lavet en fuld fintuning på al dataet også for
27:44
at få hvad kan man sige sproget ind i modellen?
27:48
Og viden ind i modellen. Og der og det, og Det er så bare
27:52
Sådan en completion træning. Det er en completion træning, så
27:55
Det er ligesom du har set med g 3 og g 2 og så videre, så Der er
28:00
ingen instruktion fintuning. Inden de unge er lige kort
28:06
øjeblik så lige back tracker til, så så læserne er helt med,
28:08
fordi at at det der kan du ikke lige.
28:12
Gå en lille smule ind på det der menes med hvad.
28:14
Hvad er det der Laura egentlig er for noget?
28:16
Altså fordi forskellen på ligesom at træne alle vægten op
28:19
igen og hvad er det nu det gør? Altså Det er noget med Vi har
28:22
det sidste lag eller vi putter ovenpå, så vi så tuner, så vi vi
28:28
putter i virkeligheden nogle flere vægte ind i modellen,
28:30
ikke? Altså Der er lidt forskellige
28:33
måder at gøre det på. Som oprindelig er det tiltænkt
28:38
de her loras til at man kun træner en meget lille del af af
28:43
modellen. Typisk under 1%, altså den.
28:46
Der vægter du putter på eller Der er 2.
28:49
Mål. Så så så du træner typisk 1% og
28:55
du træner typisk din lineær ved ikke hvor mange Der er super
28:58
nuttet, men man træner de de ligner lag.
29:01
Bare forventer folk er super nørdet.
29:04
Så det, så Det er en low ranking lov at adoptere og det her
29:08
adapter. Det er så den materien en lille
29:10
model ved siden af den her lille model kan man faktisk morche ind
29:15
i de lag som du har træner på. Så du får i teorien samme
29:19
størrelse model som før, men så har du bare lægger de låg som du
29:22
har træneren skal du Sådan erstatte i modellen?
29:26
Så Laura er bare ting. Det var tiltænkt ja det øhm dig.
29:32
Men Det er egentlig og egentlig tiltænkt, at man kan lægge det
29:36
ovenpå modellen. Så lad os sige du træner den her
29:38
ekstra lille model, som typisk fylder mellem. 60 eller 60 til
29:43
400 megabyte. Så er det tiltænkt, at man kan
29:48
lægge den ovenpå maden, så det vil være den der Sådan styrer
29:51
output. Ja men dannelser man beholder
29:53
den der fundation model, og så lægger man laurent ovenpå.
29:56
Men Jeg tror klart de fleste de modtager den ind i stedet for
30:00
nu. Det der hvis vi lige kort
30:03
øjeblik kan blive det, så Det er da også årsagen til, at man
30:05
selvfølgelig hos abonnerer ikke kan få sine egne fine tuning.
30:08
Det er jo at at man kan sige man man får ikke en fuld ny pind,
30:12
tunet model man får ligesom en. Ja et nogle tynde lag, som ikke
30:17
fylder lige så meget som hele modellen, som du Sådan set bare
30:19
kan plukke ind på en måde ikke. Jo.
30:22
Præcis, men men det du jo så skulle gøre fordi den her lama
30:25
model jo ikke kan dansk i udgangspunktet, så skulle det jo
30:28
først starte med at lære dansk og Der er man nødt til at
30:30
justere på alle vægtene, for ellers så får du ikke og det Det
30:33
var det du opdagede simpelthen i den her proces her.
30:35
Det var der mere til. Vi skal sige II mellemtiden,
30:40
mens jeg, mens jeg startede på det her, så er der jo andre der
30:43
har prøvet at træne deres egen modeller til deres eget sprog,
30:46
der har fundet Sådan en finsk og alle mulige andre sprog.
30:49
Nogle der har prøvet at lave lidt tysk og Sådan noget.
30:52
Problemet er med deres modeller, at de bare har lavet en en
30:56
Laura. Altså de har egentlig bare sagt
30:58
du skal bare snakke tysk, også selvom du ikke nødvendigvis kan
31:01
sproget så og det Det kan man se hvis man er insekt deres
31:06
modeller. Du kan gå igennem lag for lag
31:08
for lag for lag og så se om de om de om de matcher den her
31:11
foundation model, så du kan se hvilke lag de reelt har har
31:14
ændret i. Så ja det her Det er Sådan kan
31:19
man sige. Det tror jeg måske en af de
31:21
eneste modeller som er Sådan på et nyt sprog.
31:26
OK sygt. Nok så Det var.
31:30
Ja. Og hvor lang tid tog det?
31:33
Så Jeg tror fuld fintune tog 17 dage.
31:40
Og den lavede. Jeg kørte den på. 8 af 100 gpu
31:45
er. Og med 3. 3 milliarder tokens
31:51
eller hvordan var det? Eller ord?
31:53
Eller? Eller ja det Det er 3 milliarder
31:56
ord 6 milliarder tons. Yes.
31:59
Cirka. Sådan Sådan.
32:04
Og Det var så. Det var selvfølgelig også altså
32:05
det. Det er selvfølgelig den aller
32:06
aller dyreste træning, Jeg har lavet.
32:09
Det var den 1 af dem der for ligesom at få en variant af lama
32:13
der kan dansk. Ja og Jeg vil sige, nu har jeg
32:17
så testet den, og jeg bruger den i min fintunede model.
32:19
Rigtig rigtig, rigtig eller ikke mine altså den fulde fotomodel
32:22
rigtig rigtig meget. Og den snakker perfekt dansk
32:26
altså. Den har faktisk ikke, altså
32:29
fordi Det er jo det der med at Vi har jo de her foundation
32:33
modeller, fordi vi forventer ikke at de skriver forkerte ord
32:35
på sproget og vi forventer de her grammatiske korrekthed og vi
32:39
forventer alle de der ting der så kan det godt være at de er
32:42
completion wise skal tunes ind og Det er Sådan noget, men Det
32:45
er jo nu siger de. Det er jo det nemme ikke?
32:47
Det er jo det sidste det der hvor man lige får et godt
32:50
instruction set og man man kan ligesom prøve det mange gange og
32:53
man kan. Lave noget lidt på sit eget
32:56
data, men den der fulde fintuning fordi Det er også det
33:01
der nogle gange lidt går forbi i debatten.
33:04
Ikke så Der er fundación modeller så er der store
33:06
fintuner små fintuning og Sådan nogle ting, men Det er altså Det
33:09
er altså den store fintuning du har lavet en masse det.
33:12
Det skulle jeg imponerende, altså det.
33:17
Det det det det giver jo et godt resultat.
33:19
Siger du så at man rent faktisk begiver sig ud i det?
33:21
Så så hvad vil du mene så når vi Sådan sidder og snakker om Sådan
33:25
1 1 1 Sådan at vi kan træne Vores egen danske GBT model som
33:29
er altså jeg ved godt vi kommer ikke op på på åbne arme vil du
33:33
så vil du mene at det at Det kan vi sagtens begive os ud i.
33:37
Vi måske lige have en cliffhanger?
33:42
Det må han godt lide det fordi jeg tænkte.
33:43
Ja, Det er selvfølgelig rigtigt, ja, men jeg tænkte på, skal vi
33:46
ikke lige gemme den der snak, indtil vi lige har fået resten
33:48
af historien færdig fordi at fordi at den skal vi helt
33:50
sikkert også. Ja Det er Jeg synes han var.
33:54
Vi har jo en ekspert altså vi andre.
33:56
Vi snakker bare ikke og masser af prøvet det ikke.
33:58
Og Det er også det, jeg godt lige ville fortælle til lytterne
34:00
her, og Det var også noget af det jeg snakkede om her i tamil
34:02
hoppede i torsdags, at Det er ikke mange mennesker, der roder
34:06
med det her sidder og roder med det her faktisk i verden og slet
34:09
ikke i Danmark. Så hvad hedder det?
34:11
I skal lytte efter, når når mads han dropper dropper guldkorn
34:15
fordi at Det er noget værdifuld erfaring du har fået der vil jeg
34:19
sige ja. Hvad er jeg lige også der?
34:22
Jeg vil lige nævne et par personer Jeg har stødt ind i.
34:26
Altså Jeg har aldrig snakket med dem.
34:27
Jeg har bare set at de har været danske og at det de har lavet
34:30
nogle gode contributions. En af dem er Martin juhl aner
34:34
ikke. Hvem er dansk, at han arbejdede
34:38
på den 1 open lamer model som en af dem der har været med til
34:41
træningen. Og så hos meta.
34:43
Name altså den den. Åbner ja til jul, har vi lige
34:47
fat i? Må snakke med Martin.
34:50
Han gemmer sig sikkert nede i en kælder ved en masse af ingen
34:53
kender. Og den anden hedder Kasper
34:57
Hansen, han arbejder på. Og Sådan hjælpe med at
35:03
kvalificere de her modeller på ja, så de bliver både hurtigere
35:08
mindre og så ikke mister så meget performance.
35:12
Så aut. På AWQ og AVEWQ er et paper fra
35:20
et eller andet Universitet i Kina, som har fundet en anden
35:22
måde at gøre det på. Men han har lavet en en
35:24
implementation, som gør det nemt.
35:26
Okay spændende fedt med nogle danskere shoutouts.
35:31
Helt sikkert altså. Hvad siger de eneste danske navn
35:34
jeg lige har sparet? Det siger rigtig meget om.
35:40
Hvor meget vi ikke laver i den slags.
35:45
Men kan vi ikke. Jeg synes Jeg synes kan du ikke
35:47
fortsætte historien lidt. Og altså hvor var vi nået til?
35:51
Hvor er det Vi er nået til complete?
35:55
Complète, full full. 13 13 milliarder token eller ikke 13
36:03
milliarder par meter v 2. Så udkommer der heldigvis et
36:12
paper fra. Jeg tror den nej Jeg kan ikke
36:15
hvor Det er fra, men Det er et paper som beskriver hvordan man
36:18
kan hive rigtig meget nordlige ud af eller viden ud af de her
36:23
komplicerede modeller. Til instruktion fra hans Henning
36:27
altså du kan generere et instruktion datasæt fra de her
36:32
modeller. Og det tænker jeg pisse fedt
36:34
fordi det Det har jeg virkelig meget brug for, for jeg skal
36:38
ikke. Jeg skal ikke til at jeg skal
36:39
ikke til at oversætte mere mere data.
36:42
Det er fordi Det er bare ikke super godt, så det gør jeg
36:46
altså. Du står i en situation, hvor nu
36:49
har du lavet completion delen som bare er hvor du får, siger
36:51
det næste ord i en stor bunke random dansk tekst du har
36:54
skrabet nu har du nu skal du til at yderligere forfine modellen
36:59
med et struktion tuning og chat tuning, hvor du har brug for et
37:03
mere sofistikeret. Datasæt er rigtigt, forstået?
37:09
Så. Det handler jo lidt om, når man
37:12
genererer de her. Datasæt der altså Det er jo Det
37:16
er jo en syntetisk data. Altså.
37:20
Forhåbentlig så er det jo ikke synes Jeg kan ikke garantere at
37:24
det der kommer ud er korrekt, men jeg ved den har rigtig meget
37:26
viden om Danmark og teknisk skriver om i Danmark og så
37:29
videre. Så Det er Sådan at starte med at
37:34
prøve at hive nogle stunts ud og så.
37:37
Finde den der gode lave et lille datasæt og så træne en culotter,
37:43
altså en meget lille version af den her.
37:46
Adapter, og så mødte jeg ind i model.
37:49
Så nu har jeg noget, der altid afslutter instructions.
37:54
Og så er det bare om og bare skyde skyde løs med alle
37:58
spørgsmål, som jeg overhovedet kan finde.
38:01
Cool kan man gøre det Sådan II steps altså hvor du ligesom
38:05
iterativt får en del beder om nogle instruktioner og så går
38:10
tilbage igen og er det det det paper egentlig snakker om at Det
38:13
er Sådan man gør det at man hele tiden fødder tilbage ind II sig
38:17
selv. Altså det du altså de de papers
38:21
snakker de om og finde 2 nye modeller ofte tror de kalder det
38:25
en back translation. Jeg kan godt lide finde peberet
38:28
efter. Jeg har.
38:31
Jeg tror Jeg har læst eller hvert fald hørt det på et
38:33
tidspunkt der nogen snakker om det.
38:36
Det kan være Det kan være vi kan finde det til til til lytterne,
38:41
så kan vi lægge det med. Og vi udgiver.
38:46
Ja så så jeg genererede det her datasæt.
38:52
Og så var det egentlig bare at tage til at at fintune den her
38:57
complication model til at blive en en succesmodel.
39:02
Og Det var i sig selv rimelig hurtigt overstået, fordi Det er
39:08
egentlig bare 1, 1 1 lora ovenpå.
39:11
Den kompliment, så Det er en Det er hurtigt at træne og og meget
39:16
billigere. I teorien vil du nok gerne have,
39:21
at det skal også være en fuld fintune, men også møde 65.000
39:26
efter fintune igen synes jeg ikke var super sjovt.
39:33
Kunde kunde kunde kan man sige Det er jo nok ikke kostet så
39:38
meget igen som datacenteret meget mindre end et komplet sine
39:42
data. Så Det er en god pointe.
39:45
Men men stadig i Laura så er det, så er det et par 1000
39:49
kroner for for for en tun til det format, man gerne vil have
39:53
ud. Ja og den har jeg så bare lige
39:58
siddet på og hygget mig lidt meget i et godt stykke tid.
40:03
Så blev jeg lidt utilfreds med og Det er en en struktion model,
40:07
så nu har jeg. Genereret et chat datasæt og
40:13
formateret det gamle datasæt som det her, som var det her
40:15
instruktion datasæt har generet. Eller har jeg formateret til et
40:18
chat datasæt, så Det er et andet format, når man træner de her
40:23
modeller så er der Sådan lidt forskellige datasæt.
40:26
Det er en langt de fleste bruger det her at pakke datasæt format
40:30
fra det første af pakke paper, der i februar eller marts.
40:35
Det er meget, meget populært, men Det kan ikke chatte så så,
40:39
så Det er ikke så. At det.
40:41
Det kan ikke bruges til det gode til at svare på spørgsmål.
40:44
Så i chat er det. Er det så også ved en forskel
40:48
learning delen eller er det? Hvad kan man sige uden den del
40:52
hvor du simpelthen bare har et et sæt og du.
40:56
Og du ligesom bruger det du har du har du har ikke nogen rekord
41:00
modellen forskelling. Eller slet ingen renforcement
41:03
overhovedet. Det vil så også sige model er jo
41:06
så altså 100% ucensureret udover det udover det censurering der
41:12
skulle ligge II lama 2 modellen altså foundation modellen og der
41:18
ligger lidt deres chat model er meget mere censureret end end
41:22
deres base foundation model. Men der ligger lidt i ja den
41:30
original som man ikke altså Det er svært at komme udenom, så
41:33
skal man have et meget større datasæt end jeg havde til at
41:36
træne completion på. OK.
41:41
Bare lige hurtigt de her instruction datasæt versus chat
41:46
datasæt. Og de modeller, du får ud af
41:50
det. Hvad er forskellen der?
41:54
Er det REI instruction datasættet, der forestiller jeg
41:58
mig, at Der er datasættet par af instruktioner og så
42:02
eksekveringer af de instruktioner.
42:05
I chat datasættet og og Der er kun instruktion udførsel og Det
42:10
er så Det er et par i chat datasættet der har du der kan du
42:15
så have det der kan du Sådan have en samtale der går vilkår
42:18
Der er vilkårligt lang. Læs inden for den kontekst
42:25
vindue. Selvfølgelig så det du det du
42:27
det du når du træner de her modeller så er det Sådan en
42:30
anden form for forskel. Altså så er det 2 forskellige
42:32
protokoller du kører. Jeg forestiller mig format du
42:37
har Sådan et format mens du træner ikke hvor der står
42:39
assistent uman for eksempel eller hvordan.
42:47
Ja Det er helt rigtigt altså Der er jo som jeg nævnte før det her
42:51
pakke mod datasæt, som egentlig består af 3 dele.
42:53
Det består af en en sluger. Det vil sige i det det det
42:58
egentlig system med massage. Det var han vist havde
43:01
systemmæssigt. Så kan de instruktion,
43:03
instruktion og så er der input og så er der output.
43:08
Og i chat formatet det mest populære chat format er noget,
43:13
der hedder shake PT, som egentlig kommer fra en
43:17
hjemmeside eller Sådan noget shit hvor Der er folk bare har
43:20
uploadet alle deres conversations med.
43:25
Med chat kan vi se, og Det er et format hvor det bare siger.
43:29
Altså Det er bare Sådan dictionary af.
43:32
From som kan være system user eller GT og så er der en value
43:37
som egentlig bare hvad den person har skrevet.
43:41
Ja det den liste af dictionaries med med de 2 keys i.
43:47
Hvor har du så fået chat for med et datasæt fra fordi der tænker
43:51
jeg Det er lidt sværere at generere ud fra Sådan en smart
43:54
måde hvor man. Foder ind til sig selv.
43:59
Ja Det er jo det skulle man tro når men ja Det er så altså så
44:04
har jeg. Stillede et spørgsmål, som jeg
44:08
gjorde med instruktion i excel, så har jeg fået svar.
44:14
Så har jeg ikke givet dig svar, så har jeg spurgt en anden
44:16
model, hvad ville et godt spørgsmål være til det her svar?
44:20
Eller giver det her? Så har jeg fået endnu et.
44:22
Svar OK. Sådan i teorien snakker den lidt
44:26
med sig selv. Ja altså man kan sige Det er
44:31
chat. Modellen er jo ikke færdig
44:33
trænet endnu. Så nu.
44:35
Her den står og træner lige nu. Jeg tror Det er Sådan noget 10
44:39
dage tilbage. Sådan er der en dag tilbage.
44:43
Så spiller vi nick og jay. Z.
44:47
Jamen Det er jo Det er jo helt vildt det her med at altså.
44:52
Ja, Jeg synes bare det Det er crazy.
44:55
Det må godt sige det. Det var ligesom da Alternativet
44:57
de kom ind i Folketinget. Det er lidt crazy.
45:00
Ja. Så hvad så?
45:03
Fordi at. Hvad er dine planer?
45:07
Det bruger de jo selvfølgelig selv.
45:09
Ja nej hvad hedder det? Nej undskyld jeg afbrød hvad er?
45:15
Det. Ja, Det var det ikke.
45:19
Det er bare noget jeg laver. Det er jo bare fordi jeg blev
45:23
sur på karnov ikke og nu har jeg bare brugt 100.000 kroner på
45:27
sproget modeller. Ja.
45:30
Men Det er der jo ikke andre der gjorde noget, der har lyst til
45:35
at bruge det, så kontakte mig. Så finder vi ud af et eller
45:38
andet. Altså Der er Der er siden i
45:42
torsdags har jeg fået mange henvendelser.
45:45
Kunne jeg forestille mig, det kunne jeg forestille mig.
45:47
Der var en fra der var en fra invite og skrev til mig og så
45:50
skal jeg nå Det er super fedt. Vil du ikke låne GU?
45:53
S. Det var da tak.
45:56
For sig, Det er jeg virkelig, virkelig gerne vi.
45:59
Synes Det er synd for dig, at du skal betale for de Der er
46:01
hundreder som er Vores. Det var også den udbredte.
46:05
Hvad hedder det stemning? Da du havde holdt oplæg i
46:07
torsdags? Det var Sådan kæber, der bare
46:10
var tabt helt ned til gulvet og bare Sådan.
46:12
Hvorfor skal du selv betale for det her?
46:14
Det er forsvarligt eller Sådan altså hvad hvad er her med hvad?
46:16
Hvad er meningen med galskaben ikke altså.
46:19
Det er jo. Der sidder nogle forestillinger,
46:21
hvis der sidder nogle virksomheder derude, som gerne
46:23
vil sponsorere en en 70 milliarder parameter model.
46:27
Så må i gerne sige til, fordi den tror jeg ikke den den kan
46:31
være den kan være vild. Og Sådan rent benchmark mæssigt
46:37
er. Altså lad os sige at translater
46:40
direkte til engelsk, så er så er 70 millioner parametre
46:43
modellerne typisk Sådan noget 30 40% bedre end end 13 milliarder
46:48
parameter. Der er stadig rigtig meget
46:51
performance at hente i. Ja bare i parametrene.
46:56
Men må vi så stille det der spørgsmål nu Kasper hvad?
47:00
Hvad tror vi så med det data vi måtte have tilgængeligt II Vores
47:04
arkiver og det som du jo har skrabet og skrabet mads er der
47:08
med at finde derude. Altså kan vi.
47:12
Der er fodre den, der kan sagtens vi kan sagtens vende. 2
47:20
millioner hedder millioner af dem.
47:21
Ja, det gør det gerne igen. Det hedder milliarder.
47:25
Eller altså du tænker på? Rent faktisk.
47:27
Ja det hedder det der hedder billioner ja Det er. 10 12.
47:32
spørger jeg bare. Jeg tror godt vi kan finde 2.
47:38
Billioner tungs på dansk og og Jeg har Jeg har 3 milliarder så
47:47
Jeg tror godt vi kan finde 33 gange.
47:49
Så vi kan få en rigtig meget. Mere.
47:52
Adgang så meget data som Jeg har.
47:56
Jeg tænkte på, i skal tænke på. Altså at p har tonsvis af data,
48:02
altså de ligger inde med tonsvis af døgnet.
48:05
Det er nok ikke noget man Sådan har.
48:10
Der er meget rigtig meget. Jeg arbejder Sådan en dag.
48:13
Jeg ved, jeg ved, Jeg har 120 millioner dokumenter, altså
48:16
dokumenter ikke ikke ord eller. Nej, men Vi har masser.
48:21
Selvfølgelig har vi masser af tekst.
48:23
Vores problem er jo at det ikke er åbent for at bruge og anvende
48:26
til den slags. Det er det der.
48:29
Fra de nemlig lige Sådan kunne være sjovt.
48:32
Lige inden de kommer helt. Ud til at matche test mads.
48:35
Det kunne jo være sjovt. Lige inden vi kommer helt ud af
48:39
det model tekniske mads, så skal jeg lige høre, fordi det virker
48:42
som om Det har været en en tretrinsraket indtil videre ikke
48:46
der har været com. Asian tuning der har været
48:49
instruktion tuning. Nu er der så sat en en chat
48:52
model over, men som Jonas også kom ind på de her med
48:57
reinforcement learning delen, altså hvor man træner en reward
49:02
model til at hvad skal man sige score chat svar på baggrund af
49:08
hvad et menneske ville, hvordan mennesker vil opfatte den og så
49:11
laver jeg reinforcement learning op imod den som reward model.
49:16
Det step vil jo så være det naturlige næste, hvis man skulle
49:19
have minde for eksempel en endnu mere om chat kvote eller kyoto
49:23
3. 0 5 og giver vi til 4 eyes også ikke?
49:26
Hvad, hvad far, hvad, hvad er din Sådan?
49:29
Hvad tænker du udsigterne til DR er der haxi bogen til at få det
49:32
til at ske eller er Det er det sværeste at tage?
49:37
Ja, og Det er også på et tidspunkt når jeg får tid.
49:40
Der findes noget autoa. Element der Jeg har også et
49:44
paper Jeg har læst. Jeg skal nok linke.
49:47
Men hvor du bruger modellerne selv til at studse, prøve at
49:51
sætte nogle guidelines og så prøver du at voto vurdere de,
49:55
selv om de er inden for de her guidelines og så får de et slag
49:59
i hovedet, hvis de ikke er ikke så nu har vi egentlig Sådan 2
50:02
datasæt det her. Det er i orden og det her.
50:03
Det er ikke i orden på på det samme spørgsmål, så Det kan man
50:10
også godt. Jeg kan ikke sige om Det er
50:11
præcis lige så godt som som mennesker, der gør det, men Jeg
50:15
tror ikke vi kan finde 10.000 danskere, der kan sidde og sidde
50:18
og lave liniment på. På Vores modeller.
50:20
Det er nok først dertil begynder at blive rigtig, rigtig dyrt.
50:23
Og Det er jo lige præcis det, og så kan man jo sige altså
50:27
kvaliteten af af den menneskelige annotering versus
50:31
den maskinelle annotering på en eller anden måde.
50:34
Det er jo heller ikke sikkert at at Det er jeg ikke sikker på at
50:37
vi ved lige nu om om den ene er bedre end det andet eller
50:40
hvordan? Altså Der er også lidt i tvivl.
50:42
Jeg tror ikke nødvendigvis, at Det er.
50:44
At at danske annoncører, men hvis der sidder nogen derude og
50:48
har noget data, som er høj kvalitet og har det her format i
50:54
en eller anden form, så er det jo, så er det jo guld værd også
50:57
til en fuld fintuning, tænker jeg.
50:59
Så Der er et eller andet der fordi at at.
51:03
Ja så vis os jeres data, så vi kan.
51:08
Komme ud af det hul der. Komme ud af det der hul, så vi
51:11
kan få få få samlet nok ind og af de der ja 2 2 billioner
51:16
hedder det. Nu skal vi huske det hedder 2
51:18
billioner. Jeg stod lige og googlede det
51:20
lige før at det Det er det Det er trillions er.
51:25
Billioner på dansk. Det er også fjollet.
51:27
Det skal hedde belgiens på engelsk og så hedder.
51:29
Det en milliard af en Belgien på.
51:33
Vi ellers bruge forvirrede her i dag og science faget engelsk
51:36
hele tiden i virkeligheden. Og når vi så skal sige noget på
51:38
dansk, så ved jeg ikke rigtig, hvad Det er, Vi skal bruge for
51:40
nogle ord. Lige en ting omkring det her.
51:44
Jeg snakkede også om i torsdags. Generelt skal man lade være med
51:50
element, hvis Det kan lade sig gøre, fordi det begrænser rigtig
51:53
meget sprog. Kapaciteterne er modellerne, der
51:58
findes et paper der hedder the poison of the line.
52:01
Jeg kunne ikke lige huske et paper, som beskriver den her
52:05
liniment proces og hvor meget den reelle taber i sprogt
52:11
kapacitet på på nogle benchmarks.
52:13
Ja, Det kan være op til Sådan noget 33% eller Sådan noget i
52:16
den stil, så den kan miste så man skal være man skal kun gøre
52:22
det, hvis Det er det strengt nødvendigt.
52:26
Okay fordi jamen Jeg har. Jeg har nemlig holdt modsat at
52:28
det skulle være rigtig meget tricket til at få dem til at
52:30
blive rigtig gode. Den her reward altså hvis man
52:35
har eller i hvert fald at reward modellen er ligesom bottleneck,
52:39
for hvor god du kan lave eller måske.
52:41
Sige, Jeg tror Jeg tror Der er sket minus.
52:44
Jeg tror Der er forskel på. På censurering og element altså
52:50
du siger. Det Det er nok 2 forskellige
52:52
ting i virkeligheden. Jeg tror nemlig at det der line,
52:56
men også bliver tit. Brugt som en måde at at tune en
53:01
model til nogle specifikke tasks, og derved også på en
53:04
eller anden måde få dem til ikke at rent faktisk at kunne særlig
53:08
meget andet end det, og derved har man også at lege med dem,
53:11
altså for eksempel du vil gerne have at modellen kun snakker om
53:14
om nogle produkter, man har liggende i et katalog for
53:16
eksempel eller Sådan et eller andet ikke, og den kan ikke
53:18
noget andet end det. Det kan man jo kan man jo colore
53:22
sig ud af tænker jeg ikke, og og hvis man virkelig giver den gas,
53:26
så kan man nok også få den til at forsvinde.
53:29
Dens evne til noget som helst andet end det.
53:31
Ja, Det er jo også en en af liniment ikke så så kan du ikke,
53:34
så kan du ikke bruge den til alt muligt andet som den ikke skal
53:40
bruges til. Tænker jeg.
53:44
Jamen Det er rigtigt. Men, men bare lige for at være
53:46
under champagne og bare at være helt klar.
53:49
Reinforcement learning stel er ikke kun for at censurere den
53:53
vel reinforcing. Det er også for at gøre den mere
53:56
Sådan brugbar i sin opførsel. Ikke kan man hvis openai har
54:04
altså flere afdelinger. En som er bare fokuserer på, at
54:07
den ikke skal fortælle folk hvordan du bomber eller andet,
54:09
og en som bare sørger for, at den giver det bedst mulige svar.
54:14
Vi har 2 forskellige reward modeller der Sådan spiller
54:16
sammen. En der både holder øje med
54:19
toxicity og altså Sådan ting den ikke må gøre og så.
54:23
Det mener i hvert fald har hørt men men men er vi ikke enige om,
54:26
at Der er Sådan bred enighed om, at Sådan det her reinforcement
54:30
learning tuning op mod en reward model gør dem bedre?
54:36
Altså det det det tror ikke du kan sige med sikkerhed.
54:40
Altså det det her med det her med med human feedback.
54:44
Det er jo altid en præference. Altså Det kan godt være du.
54:48
Du kan godt lide at den svarer på den ene måde.
54:50
Det kan være jeg måske jeg godt kunne lide at den skulle svare
54:53
på en lidt kortere eller lidt længere stik et eller andet ikke
54:59
så langt hen ad vejen tror jeg Det er en præference og og og
55:03
hvis man prøver at ramme bredt, Det kan også godt være Det er
55:07
altså så får du en lidt bredere model men som er lidt mere
55:10
limited i altså hvis jeg hvis jeg siger til dem Jeg vil gerne
55:13
bare have et kort svar, Det er jeg rigtig tilfreds med.
55:16
Så tror jeg også man vil give bedre altså.
55:20
Jeg tror også Det er. Altså den der altså præference
55:25
menneskelige præference og de der svar.
55:29
Det data, som Der er blevet genereret i forbindelse med den
55:32
her human feedback, har en eller anden særlig kvalitet, fordi at
55:37
den måde de har har kreeret det der data på er.
55:41
Er med meget høj kvalitet og meget, meget, meget, meget,
55:44
meget fokuseret på, hvad Det er de her brugere, de her har
55:50
skrevet af tekst. Tror Det er det, der i
55:52
virkeligheden er er nøglen til hvorfor at nu snakker jeg
55:55
selvfølgelig mest om, åbner jeg her, at den er blevet så god til
55:59
til det den er. Og at man så kan skalere det ved
56:04
at have den her rekord model er jo så gør jo, så den træning
56:07
bliver endnu bedre. Men hvis man som du nævner man
56:10
kan skalere det på andre måder. Som også gør altså laver en bred
56:15
fordeling af i det her data og så videre, fordi Det er jo det
56:18
man er interesseret i. Man er interesseret i den stadig
56:20
skal være rimelig bred og ikke miste evnen til til flere ting
56:24
lidt ligesom foundation modellerne er meget brede.
56:27
Fordi Det er en fintuning af foreningerne, har jo måske en
56:31
tendens til, at hvis du giver dem meget, hvad kan man sige
56:35
fokuseret data, der ikke har en bred fordeling?
56:37
Jamen, så vil du så vil du komme et sted hen i et hjørne af den
56:40
her model, at miste en masse muligheder for den, ikke?
56:43
Især når du træner i længere perioder med meget data.
56:46
Det er min intuition, det her nu ikke, men men det vil give
56:48
mening i Sådan i hvert fald. Sådan som jeg tænker det, så
56:52
tror jeg noget af det, Der er en forskel lønning.
56:53
Det har været nøglen, men. Det kan jo godt være Der er
56:57
andre metoder der også kan være nøglen.
56:59
Jo altså man kan sige Det er et godt sted at starte.
57:02
Altså Jeg kan godt forestille mig at de er startet med
57:04
reinforcing og så fordi altså du havde jo ikke vidste ikke at du
57:07
kunne generere at et toksin datasæt fra din completion
57:10
model, så så det altså det. Det naturlige sted at starte.
57:15
Det er helt klart med med min forskning honning.
57:17
Og man kan også sige, at du mange af de her store modeller,
57:22
som altså tæt på BT og larmer 70 milliarder parametre og så
57:27
videre. Det var godt at opnå samme
57:30
performance som dem på meget specifikke tatarisk med en meget
57:34
mindre model. Altså lige nu er jeg i gang med
57:37
at træne. En ved jeg ikke, om i kan i
57:40
arbejde med Sådan noget væk fra databaser og så videre.
57:44
Jeg er i gang med at træne en model som er 1,3 milliarder
57:49
parameter til Sådan noget kontekst.
57:52
Aware tekst splitting på dansk. Nu giver den et stykke tekst og
57:56
så et antal ord du gerne vil Sådan får vandt af eller hvad i
57:59
gangen den længde af ord som den gerne vil du gerne have en
58:02
splitter på og så ræsonnere den. Ja en liste af.
58:08
Af strings det vil jeg gerne have det.
58:12
Nu kommer måske onsdag og en open source.
58:15
Til dansk. Bladene på den entreen, dansk.
58:18
Seriøst. Ja.
58:20
Så tak. Jeg vil i hvert fald gerne prøve
58:24
det. Det er jo en relativ lille lille
58:26
large language model, så Det er en du har kørt ind på på cpu,
58:30
ikke? Jeg laver lige et par et par
58:32
gigabyte computer ram og ikke ikke grafikkort ram men.
58:38
Jeg har lige snakket om at vi skulle lave Sådan en.
58:41
Hvad er det? Kan vi ikke lige få nu skal vi
58:44
også nu er der snart er gået en time og Sådan noget.
58:45
Vi skal også respekt for din tid med os også lige runde af.
58:48
Men hvad var det helt præcis den gjorde det model?
58:50
Jamen altså min ide var fordi vi arbejder rigtig meget væk fra
58:54
databaser og Sådan noget p ã og Vi har haft rigtig mange
58:57
problemer Der er. Hvornår skal vi splitte tekst og
58:59
hvad giver egentlig mine og så videre?
59:02
Og så tænker jeg for hvorfor laver man ikke bare bruge
59:05
sproget model til at finde ud af hvor man skal splitte teksten?
59:09
Så så Jeg har lavet en model som Sådan, altså man læser teksten
59:13
og så finder den steder i teksten, hvor Det er naturligt
59:15
at dele den op. Ja okay på den måde.
59:18
Så returnerer den det hele som en en dictionary.
59:22
Jeg er undskyld en liste af strings.
59:24
Det Det er fordi til det her retrieval argument generation
59:28
young, der vil man jo gerne have at når man query sin database ud
59:32
fra en streng, at man så finder relevante tekststumper man
59:35
putter med i sin prompt og de skal jo helst være II nogle
59:39
bidder der ligesom ikke er bare lad os se ekstra Bladets
59:43
kontekst en hel artikel og jeg fandt i øvrigt et 10 hele
59:46
artikler men. Men al information i denne
59:49
artikel eller de 10 artikler man måske ikke relevant i forhold
59:52
til den query du havde, så derfor vil man gerne splitte på
59:55
på de her kontekster eller top eller hvad man nu kan finde ud
59:58
af. Er det bare rigtig Der er det
1:00:01
virkelig fedt at have Sådan en løsning der, fordi ellers så er
1:00:03
man så lidt på bar bund. OK super.
1:00:07
Okay hvad hedder det? Vi skal snart tage runde af.
1:00:09
Vi har også ved at nå, end Vi har noget inden historien, så
1:00:11
Det er mega fedt lige her til afslutningen.
1:00:14
Hvad vil jeg godt spørge om, vil jeg godt spørge om 2 ting.
1:00:17
Det ene er altså er Der er der giver det mening at træne en
1:00:22
native dansk model. Altså Det er selvfølgelig.
1:00:24
Det er selvfølgelig at hive tæppet væk under hele den her
1:00:27
samtale og alt det arbejde du har lavet Sådan noget.
1:00:29
Men men kan man mærke at den er mere dansk på en eller anden
1:00:33
måde end end end g 3,5 eller p 4 er eller Sådan føles fordi Det
1:00:38
er jo i virkeligheden meget det vi vi nok bliver nødt til at
1:00:40
snakke om, indtil Vi har nogle benchmarks på dansk men følelsen
1:00:43
ja dansk kan man sige. Den føles rigtig dansk, altså
1:00:50
vendinger og sprog og så videre som du aldrig ville se III eller
1:00:56
IGT modellerne der, at den er bare meget dansk.
1:00:58
Altså så spørger dem hvad? Hvilke flag har vi?
1:01:03
Altså svarer den Dannebrog ikke? Hvem?
1:01:05
Hvem er dronningen? Det man går ind Margrethe ikke,
1:01:07
altså de har også dronninger i andre lande og så videre.
1:01:11
Så ja den. Er i din demo du lavede med den
1:01:14
på i torsdags. Der var det jo også Sådan at der
1:01:16
viste en demo, så var der en der spurgte hvad så hvis du spørger
1:01:18
på engelsk og så svarede den på dansk hvor de jo altså og det
1:01:22
virker også du ved den er bare det.
1:01:24
Det burde i virkeligheden røre folk dybt ind i hjertet, ikke?
1:01:30
Det er Sådan ej mand det ja wow fedt.
1:01:34
Hvad hedder det det det sidste jeg tænkt mig at spørge dig om
1:01:37
Det er Sådan hvad er dine tanker om, at vi som altså samfund
1:01:42
eller man skal sige skal træne de her sprogmoduler og ligesom
1:01:45
gå op i at gøre det og hvor fiable Det var det som jeg
1:01:50
tænkte, vi skulle have en cliffhanger for, men det.
1:01:52
Men det blev det så ikke, men der hedder det bare feasible, at
1:01:54
det egentlig er feasible. Tænker du egentlig er fordi Jeg
1:01:58
kan mig og hvad hedder det Jonas?
1:01:59
Vi har Sådan en lang, Vi har helt podcast, Vi har Vores
1:02:02
podcast, hvor vi hvor vi også rander om jamen Det er helt hul
1:02:07
i hovedet at gå i gang med. Videre så videre så videre.
1:02:09
Men man kan sige, Vi har jo heller ikke taget højde for at
1:02:12
Der er alle de her hacks kan man sige at du ikke nødvendigvis
1:02:17
behøver at træne en helt stor fed sprog model helt fra
1:02:20
scratch, men at du kan køre en fuld fintuning som kan være
1:02:23
billigere. Du kan lora og quizzer sagen og
1:02:27
alt muligt. Ja hvor feasible er det for os i
1:02:32
Danmark at træne? Dansk altså danske lemmer.
1:02:36
Og synes du, at vi bør gøre det? Ja det synes jeg helt klart vi
1:02:43
kan gøre. Altså en ting med de her open
1:02:46
source modeller er jo også at du kan køre med.
1:02:50
Eller altså Det er ja, en ting er jo også at du kan køre dem.
1:02:54
Du kan købe lokalt og altså Det er jo også lidt problemer med
1:02:57
med chatbots. Det er at hvis du skal sende et
1:02:59
eller andet ud, så sender du dem til til dem og Det kan godt
1:03:03
indeholde noget personfølsomt data eller et eller andet som
1:03:07
man måske gerne vil have noget feedback feedback på ikke så Det
1:03:11
kan du ikke bruge, altså tætklippet, så Jeg synes helt
1:03:15
klart at. Vi skal have en dansk sproget
1:03:18
model. Som som som ikke nødvendigvis er
1:03:22
mi, men Det er måske et godt udgangspunkt.
1:03:26
Ja. Og.
1:03:29
Det er lige før jeg får en lille tåre i øjet her.
1:03:31
Ej Det er. Vildt, men skal det så være skal
1:03:34
det så være en fintuning af? Altså en fuld fintuning af Sådan
1:03:38
en lama model for eksempel eller hvad?
1:03:39
Hvor vil du starte? Ville du ville du starte legeme
1:03:42
arkitekturen og så selv lave foundation model?
1:03:47
Vi skal absolut ikke gøre som Sverige.
1:03:50
Sverige har valgt den dårligst mulige løsning.
1:03:53
Vi har valgt at udgive deres helt egen model som med en
1:03:57
arkitektur, som ikke matcher noget andet.
1:04:00
Så den er. Fuldstændig scratch og de har
1:04:03
jesus så. Nej, Vi skal se altså Det har vi
1:04:08
ikke. Altså Det har vi ikke ressourcer
1:04:10
til. Og vi altså lige.
1:04:13
Med junge af mig. Realistisk set har vi heller
1:04:15
ikke nok tunges til det. Vi bliver nødt til at have nogle
1:04:18
vægte, som allerede er er trænet.
1:04:21
Altså hvis hvis PA og p og alle de andre store virksomheder lige
1:04:27
pludselig kommer til vente fejl at udgive alt deres data, så har
1:04:30
vi nu. Men Der er.
1:04:34
Jo masser af data også i det offentlige, som som egentlig er
1:04:37
i offentlighedens interesse, som man godt kan bede om at få
1:04:39
indsigt i og bruge det til den slags formentlig.
1:04:43
Så så men men men når vi kommer op på.
1:04:46
Altså. Vi skal nok også, Vi skal have
1:04:48
en rigtig foundation mål. Skal vi have mere end 2 2
1:04:51
billioner tons? Ja.
1:04:55
Ja. Måske jeg.
1:04:57
Skal i hvert fald op af. Nu er vi.
1:05:00
Vi har efterhånden snakket i over en time nu her, og Det har
1:05:02
været fucking spændende mads det.
1:05:05
Det ved at Jeg er kim. Jeg har i hvert fald kæmpe fan
1:05:07
af dig, og det tror jeg også Der er.
1:05:09
Der er mange Der er synes Det er mega fedt du har begivet dig ud
1:05:11
i det her og du har ja jeg ved ikke.
1:05:14
Det er Sådan lidt. Jeg synes Det er Sådan lidt sjov
1:05:16
i dont tell it eller don't show it don't talk about eller måske
1:05:20
mere do it just don't talk about it tilgangen ikke hvor det synes
1:05:23
Jeg er filme vi. Det Det er godt med nogle
1:05:27
eksempler på det, så i Jeg vil bare sige virkelig 1000 1000
1:05:32
mange tak fordi du ville være med her i podcasten.
1:05:33
Tak fordi du ville være med til mit oppe II torsdags og fortælle
1:05:37
om dit projekt. Det er vi bare sygt glade for,
1:05:40
og jeg glæder mig til at udgive den her podcast, så folk kan få
1:05:43
lidt mere indsigt i det her og blive klogere på.
1:05:45
Hvordan er det egentlig man gør de her ting?
1:05:46
Hvad er det egentlig Sådan helt praktisk der skal til, inden vi
1:05:51
runder af at der så har du nogle afsluttende bemærkninger eller
1:05:54
andet du gerne lige vil vil sige inden vi slutter?
1:05:57
Jamen først og så mange tak fordi i ville have mig med og
1:06:02
nummer 2, så synes jeg ikke Der er andre.
1:06:04
Både privatpersoner skal gøre det her.
1:06:05
Det har taget Det har taget virkelig, virkelig, virkelig
1:06:07
lang tid for virkelig mange penge.
1:06:10
Next step er. Der nogen der føler sig
1:06:13
inspireret så så så nej lige inspireret.
1:06:18
Skal vi ikke sige. Next step er, at vi gør noget i
1:06:19
fællesskab. Jo next hvad vi gør et eller
1:06:23
andet i fællesskab, eller hvis Der er nogen, Der er nogle
1:06:26
virksomheder, der sidder derude og har lyst til at sponsorere en
1:06:28
70 milliarder, så så skriv. Mega fedt.
1:06:33
Sådan. Men det synes jeg var nogle gode
1:06:35
historier og og vi vi tager lytterne godt i hånden og siger,
1:06:38
lad være med at kaste ud af det her.
1:06:39
Det er for dumt eller ved jeg? Det ved jeg ikke, om Det er, men
1:06:42
det synes jeg ikke Det er. Du har gjort det.
1:06:43
Men ja. Ja men i hvert fald 1000 tak
1:06:48
fordi du har med mads. Det var en fornøjelse at snakke
1:06:50
med dig. Hej.