Latest / Verbos: AI og Softwareudvikling / #18 - Skal Vi Have En Dansk ChatGPT?

Transcript

#18 - Skal Vi Have En Dansk ChatGPT? · Verbos: AI og Softwareudvikling

0:00
Hej allesammen og velkommen til. Hvad bruges podcast nummer 18?
0:03
I dag er vi faktisk sidder mig og Jonas rent faktisk i altså
0:08
IRL en real life over for hinanden og vi sidder ikke på et
0:11
eller andet freaking Google med måde, så Det er ret stort i sig
0:15
selv vil Jeg vil Jeg vil jeg godt sige så kæmpe optur over
0:18
det og Det er også lidt længe siden synes Jeg har set dig i
0:22
virkeligheden ikke, så Det er meget nemt at sige at at catche
0:25
op igen Sådan II alle men det Vi skal snakke om i dag Det er
0:28
nemlig 1 1 1 interessant ting en en debat Der er begyndt ligesom
0:32
at. Kommer op her på det seneste,
0:34
efter at. Ja chathash model så ã r
0:39
generation AI er blevet helt vildt, og Det er nemlig det
0:43
store spørgsmål om, skal vi i Danmark træne Vores egen large
0:47
language model, som er god på dansk, og som ligesom er åben
0:51
for danskere? Til den for af danskere til
0:57
danskere ikke og ikke at amerikanske tech giganter til
1:00
danskere. Det er det Vi skal snakke om i
1:02
dag, og Det har vi snakket en del om.
1:05
Jonas var så det vi godt gearet til.
1:07
Det har vi Sådan og og off er og så ja, nu arbejder jeg på ekstra
1:12
Bladet og og min chef har jo været II deadline jo og.
1:16
Den gode lindskov Kasper. Lindgaard og og taler med emnet
1:19
også. Og så sent som i dag faktisk
1:22
snakkede jeg med ham om. Gode argumenter for og imod og
1:26
og Sådan nogle ting. Ja, så Det er det emne Jeg har
1:29
tænkt meget over faktisk og forsøgt det at følge med i den
1:33
debat der har været i det, fordi Det har været Sådan storpolitik.
1:37
Men men Der er jo blevet snakket om Sådan nogle ting som at Det
1:41
er i statens interesse, at Vi har en en model på dansk jord,
1:46
fordi du ved Sådan fordi Det er også lidt er er Sådan et
1:50
sikkerhedsspørgsmål, men Det er også et sproget, især
1:53
sprogteknologier. Det definerer os som et land.
1:57
Og ligesom at kunne styre, hvad Det er for nogle værdier, der
1:59
ligger inde i de der sprogmoduler.
2:03
Det er Sådan blevet omtalt på den måde og det.
2:07
Det er bare Sådan det gør jo at lige pludselig bliver bliver
2:09
emnet omkring, at Vi skal, Vi skal.
2:11
Vi skal selv træne det og og ligesom have have styr med det
2:16
ikke? Ja, Det er bare.
2:18
Interessant, Det kan nærmest blive en trussel mod Danmark.
2:20
Ikke? Altså Det kan det.
2:21
Kan man kan få det til at virke som en trussel imod dansk
2:24
danskhed og Danmark og alt det der gør Det er det, Vi er ikke.
2:27
Lige så snart man siger det, så er der.
2:28
Så er der politik i det? Bliver det en national
2:31
anliggende ikke, så man skal lige prøve at starte.
2:34
Måske bare Sådan hvad er? Hvorfor er man overhovedet ude i
2:37
at tænke på at træne en en dansk læge language model?
2:41
Altså jeg hørte det. Det første jeg lagde mærke til
2:45
II debatten. Det var Det var det her argument
2:48
med at altså som jeg også sagde før, at at hvis ikke Vi har på
2:53
en eller anden måde styr med hvad for nogle værdier som
2:59
modellen optager gennem træningen så at sige, så kan de
3:03
blive, så kan det være den kan svare tilbage på dansk, men det
3:07
r det vil måske være være Sådan. Ladet med amerikanske værdier.
3:11
Ja fordi Det er eller eller engelske eller eller hvad ved
3:14
jeg eller der hvor den engelske tekst kommer fra internet
3:18
værdier, hvad ved jeg ikke. Altså fordi at at at selvom den
3:22
kan svare tilbage på dansk, har han måske ikke lært dem.
3:25
Mange af de der semantiske ting, men den kan finde ud af at
3:28
oversætte fra fra nogle af de. Hvad kan man sige formuleringer
3:32
Der er på et andet sprog til dansk, så man kan sige at Det er
3:37
Sådan en vægtning af at jeg tænker jeg at okay jo mere dansk
3:41
tekst man kan få ind. I den, jo mere kan man ligesom
3:44
styre de der ting, så ligesom de engelske tekster ikke crowder
3:50
det danske ud på en eller anden måde, fordi jeg tænker over Det
3:54
er Det er det Der er argumentet for at vi så.
3:57
Skal træne noget kun på dansk. Og det, det tager jeg som det
4:02
ene argument, men så virker det altså virker også som om til at
4:05
Der er et andet argument som er det her med.
4:07
Vi sender alt Vores data til amerikanske tech giganter
4:10
privacy. Alle de der data etiske ting
4:14
ikke som som hvor folk har lidt lidt svært ved at vi bare fodrer
4:18
de. Ganske virksomhed op
4:21
virksomheder med med med Vores data ikke så Der er også den her
4:24
med, at hvis vi så havde en en dansk stor sprog model, som var
4:27
måske open source eller andet, så kunne den ligesom være åben,
4:31
og så kunne folk selv bare lige det pointen lige hurtigt putte
4:34
den ind i deres app. Ikke også?
4:35
Og så var det dem der havde data, ikke er det ikke Sådan at
4:39
de så de 2 Sådan den skal nogle danske værdier forstå dansk
4:42
Kultur bedre og så skal den ligesom være åben for folk der
4:47
kunne bruge kunne tænke at bruge den i Danmark.
4:49
Sådan så man ikke behøver at være afhængig af.
4:51
Amerikanske tech virksomheder. Ja det det tror jeg også især
4:54
det der uafhængigheds, og Det er jo ligesom Sådan at at at vi vi
4:59
gør os uafhængige af af internationale interesser på den
5:03
måde også ikke ja helt sikkert og.
5:09
Og så ja alt det der AI safety som man kan sige i den her
5:12
sammenhæng, er det måske mere et spørgsmål om, at ligesom at
5:15
sikre sig, at den er linet med nogle nogle nogle nogle danske
5:18
værdier på en eller anden måde. Men det bliver også Sådan lidt
5:20
politisk, for Det er lidt ligesom at sige Sådan, hvad skal
5:23
der være på pensum i skemaet i skolen ikke?
5:26
Hvad skal de læse? Nej, men de skal læse noget
5:28
holberg og de skal læse det her. De skal læse det her og Sådan
5:30
nogle ting. Det er også lidt mærkeligt at
5:33
sige det om om om altså du ved at træne en model fordi det tog
5:38
bare den skal bare have virkelig virkelig meget tekst ikke også?
5:41
Og Vi har nærmest ikke engang så meget dansk.
5:43
Spørger, hvis vi tog alle Vores tekst, alle biblioteker.
5:46
Alt alt, alt, alt, alt. Så vil det bare stadig være
5:49
latterligt lidt, ikke? Altså Jeg har det.
5:52
Det skal jo ikke være en hemmelighed.
5:54
Jeg har tænkt over det her længe og og skriver også lidt på på
5:56
nogle tanker omkring det slaget. Sådan nogle af de der lidt sjove
6:00
beregninger på Sådan OK legeme. 2 jeg lavede på 20 trillian
6:05
tokens ikke OK hvad er et token? Det er Det er Sådan 3/4 et ord
6:11
ikke også og så kan man ligesom regne lidt på det der og finder
6:15
man ud af okay men hvor mange hvor mange?
6:18
Og hvor mange romaner? Skal jeg bruge på på på at træne
6:23
Sådan en ikke, og Det er jo nogle vanvittige tal ikke?
6:25
Altså Det er Sådan noget 15 millioner tror jeg.
6:28
Jeg regnede Sådan hurtigt mig frem til at skulle jeg bruge af
6:32
romaner ikke også? Og hvor mange romaner?
6:34
Overhovedet i Danmark, og så finder man ud af åh gud Vi skal
6:37
bruge. Jeg ved ikke hvor mange 1000 års
6:38
udgivelser af romaner på dansk for at nå frem til at have så
6:42
meget tekst ikke? Det er crazy størrelser og og
6:45
det tror jeg bare det glemmer vi simpelthen også når vi snakker
6:48
om det her, at vi kan ikke gøre det her alene, at mit bud Vi er
6:51
nødt til, at Vi er nødt til at at gøre det sammen med nogen på
6:57
en eller anden måde. Altså Der er nogle andre sprog
6:59
der der bidrager med tekst, der også skal med i projektet, ikke?
7:03
Men skal vi ikke lige prøve at tage bare lige okay, hvis vi
7:05
siger at Det er de 2 gode argumenter for at Vi skal have
7:08
en dansk stor. LM stor ære i dansk r ikke.
7:12
Hvad er det? Det hovedargumentet virker til
7:15
at være det her med, at den skal kunne forstå danske værdier og
7:17
Dansk Kultur og alt det her, selvom den godt kan tale dansk
7:20
eller ligesom kan skrive dansk, så skal den stadig kunne være
7:24
dansk inde i sjælen, hvad man skal sige ikke hvad er det man
7:27
hvad er worst case scenario, hvis det bare ikke bliver fikset
7:30
det der Sådan, hvad hvad? Hvad er dommedags eller hvad,
7:34
hvad, hvad hvad? Hvad ender det med hvis vi ikke
7:37
gør noget ved det her? Sådan hvis man tager den helt ud
7:39
af en tangent. Jeg tror bare at det måske så
7:43
ender med at. Vi får reproduceret noget tekst,
7:50
fordi den kommer jo til at være ophavet til meget meget tekst
7:53
der bliver. Spyttede ud i samfundet, så.
7:56
Ja fordi folk begynder at se fordi de har de bliver brugt
7:59
rigtig meget og de er faktisk ret handy og og kan bruges til
8:01
en masse ting. Derfor bliver de også brugt og i
8:04
og med at de bliver brugt så det.
8:06
Outputtet til at de. Kommer med det for os indfødte,
8:09
altså det kommer til at indgå i forskellige sammenhænge.
8:11
Og det vil sige, det vil så være præget af af nogle nogle andre
8:15
måder at sige og skrive ting på, som måske ikke er lige så II sit
8:21
udgangspunkt ikke er ligeså. Hvad kan man sige påvirket af?
8:26
Den danske Kultur og måske er det også Sådan 1 1 1 1
8:30
international mainstream Kultur fordi Der er jo Sådan lidt med
8:33
at den den bevæger sig i nogle gennemsnits kanaler ikke også og
8:36
kommer måske ikke helt ud i det jyske og alle de der ting der og
8:40
og og og og og Det kan man jo godt forstå fornuften i, så det
8:44
bliver ligesom Sådan en eller anden form for ensretning.
8:46
Og når det så er ikke når det så er ikke er noget vi vi kan
8:50
presse selv med med Vores danske tekst og.
8:53
Jamen så tror jeg at det man frygter simpelthen at så får man
8:56
reproduceret rigtig meget af en anden Kultur, som ikke er en
9:00
dansk Kultur eller man udvander den danske Kultur på en måde
9:02
gennem dem. Og Det kan man jo Sådan rent
9:05
teknisk, så er det jo faktisk ret rigtigt det.
9:08
Det er der ikke noget forkert i, men spørgsmålet er, om det
9:11
overhovedet er muligt, at ligesom at styre den i en anden
9:14
retning. Har vi nok tekst, skal vi til
9:17
at? Eller skal vi til at tastaturen
9:20
eller ikke? Så og hvad er det for noget?
9:22
Altså altså skal den er det. Er det Sådan noget Prosa sprog
9:27
eller hvad? Altså Sådan er det Sådan noget
9:29
talesprog vi gerne vil have den skal altså man kan jo også træne
9:32
den på Sådan noget offentlig. Hvad kan man sige?
9:38
Redegørelser fra. Folketinget altså altså Sådan
9:42
nogle papirer er af forskellige art ikke.
9:46
Men men men så kommer den jo til at snakke som en jurist, måske
9:49
ikke. Altså du ved så hvad er det?
9:51
Vi og Det er sjovt det der med man siger, at selvfølgelig Der
9:55
er nogle Sådan du ved gennemsnits amerikanske værdier
9:58
ikke. Og så er der nogle gennemsnits
9:59
danske værdier, men selv i Danmark.
10:02
Er der jo også forskellige værdier ikke?
10:05
Altså Det er jo ikke bare fordi bare fordi man er dansker, så
10:06
har man de samme værdier alle sammen vel så Der er jo også, så
10:10
kan man jo hvis man så havde en dansk model som bare var super
10:12
dansk og havde alle de rigtige danske værdier og Sådan noget
10:15
ikke, så ville de jo stadig måske være mere til den vugge
10:18
side for eksempel hvor at hvad så med alle dem Der er lidt mere
10:22
Sådan konservative eller lidt mere et eller andet og altså at
10:27
så bliver de tabt ikke. Der er også det her med at den
10:29
kan den kan ikke lide Trump Sådan statistisk set, så udtaler
10:33
den sig dårligt om Trump hvorimod Biden er Sådan.
10:36
Mere Sådan yes ikke og. Det er jo så der.
10:38
Hvor at? Og det mener man så medierne der
10:40
ligesom har det biers med i så og så ved Sådan altså Det er jo
10:43
ikke Det er jo ikke engang kun på nationalt plan, altså
10:46
Danmark. Det er jo også i.
10:47
Det er jo også Sådan en fløjene ovre IUSA, hvor altså Sådan så
10:50
Det er også hvad er den 100% ikke og altså uden biers model.
10:56
Altså spørgsmålet er helt crazy at svare på, fordi det altså
11:00
bios man kan jo kun svare på noget af anubias hvis man hvis
11:06
man ved hvad idealet for en bias er.
11:08
Og Der er nødt til at have en eller anden ideal ramme at veje
11:12
det op imod. Men hvem sætter?
11:15
Den, men det virker også som om det vi gerne vil have i
11:17
virkeligheden. Det er, at den er mere beast vil
11:19
være mere fast mod os. Ja hvis man ser det at bios er
11:23
afvigelse fra en eller anden form for gennemsnit ikke altså
11:27
en eller anden median eller et andet sted, hvor, hvor hvor at
11:31
flertallet befinder sig eller hvad skal man sige ikke.
11:34
Men jeg tænker også bare at at at for lige tilbage til det der
11:38
med at. At hvad så med?
11:42
Altså Det er jo hvis man skal have repræsenteret alle de
11:47
forskellige. Vinkler og synspunkter og ting
11:50
og sager, Der er der ikke, men så handler det jo i
11:52
virkeligheden om at have styr på, hvad for noget data den er
11:55
trænet på. Og ligesom hvad er den, der
11:58
styrer fordelingen i det data, og så skal der være en kritisk
12:03
masse, ikke også fordi det nytter ikke noget du har 2 2
12:06
stykker tekst der ligesom repræsenterer 1, 1 1 1 vigtig
12:10
gren af noget af noget samfundsmæssigt.
12:13
Det er nødt til at være i en vis volumen, og problemet opstår jo
12:17
der hvor at Det er så ikke fordi Det er en minoritet, at har det
12:20
heller ikke volumen. Og så sandsynligheden for at at
12:23
modellen bliver trænet til at den at du kan skrive til den.
12:26
Jeg vil gerne have at du du siger noget og opfører dig lidt
12:30
ligesom den her det her gren af samfundet, det det det vil den
12:34
så have rigtig svært ved samtidig ikke så opgaven i det
12:38
her er bare kolo enorm ikke altså for at kunne repræsentere
12:43
de der ting der, så spørgsmålet er, hvad er ambitionen hvor,
12:46
hvor langt ud II periferien skal den kunne agere og og Sådan
12:50
noget det det det Det er crazy at tænke på var hvor krævende
12:53
Det er at indsamle data til. Men, men Der er et eller andet
12:57
ved det her argument noget at den mister dansk.
12:59
Den har ikke nogen den her ikke danske værdier, og den er for
13:01
meget amerikansk og Sådan noget. Ikke Der er et eller andet ved
13:03
det som som. Der er nogen der har sagt det
13:07
Sådan. Du ved, så forsvinder Danmark,
13:08
og Det er dansk Kultur, og vi forsvinder som sprog.
13:12
Bor Sådan altså så videre, ikke hvor at?
13:15
Det er også bare Sådan meget fluffy sagt ikke at Det er et
13:17
meget fluffy statement på en eller anden måde.
13:19
Det der med Sådan ja okay, er det så slemt, er det måske ikke
13:22
udviklingen eller Sådan det på en anden måde, så er det Sådan.
13:25
Det er et meget blødt argument ikke altså det Det er meget
13:28
altså Det er ikke Sådan så mister vi 10 milliarder du ved i
13:31
2030 eller et eller andet Det er Sådan Det er meget Sådan, Det er
13:34
meget blødt argument. Ikke Det er Det er.
13:36
Hvad kan man sige noget, noget Kultur for trussel er en art,
13:41
men man kan se det som ikke Det er lidt ligesom altså frygten
13:45
for det fremmede på en eller anden måde, ikke?
13:46
Ja Det er lidt det. Jeg synes lidt det læner sig op
13:49
af den der indvandrerdebat i virkeligheden ikke.
13:52
Det der med at bevare det? Danske, danske, de her modeller
13:55
og Sådan nogle. Ting DF tech.
13:59
Men altså jeg kunne. Jeg kunne godt tænke mig så nu
14:02
når vi snakkede lidt om om det der med at at.
14:08
At argumentet for at Vi skal ligesom gøre noget på dansk
14:10
jord, men men hvad med Sådan? Okay, lad os nu sige vi vi
14:14
skulle lægge en strategi for hvordan ville gribe det an?
14:17
Skal vi ikke lige hurtigt, inden vi snakker om det, bare fordi
14:19
jeg havde, jeg havde jeg lige, skulle vi også lige hurtigt
14:21
kigge på det andet argument der med åbenhed.
14:23
Altså fordi. Der er jo også det her argument
14:27
på med Sådan OK. Du ved, Det er forfærdeligt at
14:31
de der modeller de er bag PI og Vi skal sende alle data til til
14:34
USA og nogle ting og så videre og så.
14:36
Og og Det er sjovt, fordi der tænker jeg det.
14:39
Det virker også lidt som om at. Der der der der der der kan man
14:43
godt se en trend mod at det ser jeg hvert fald.
14:46
Der ser man en trend mod de her modeller bliver mere og mere
14:48
åben ikke senest har vi set lama 2 som er sgu efter sigende er
14:51
lige så god som. Owner's gik til 3,5 turbo der
14:56
ikke så. Jeg ved ikke Sådan det, så Det
14:58
er også Sådan Det er Sådan lidt. Der der der føler.
15:01
Jeg er en udvikling, der taler for, at det skal man blive
15:04
klaret Sådan på sigt. Jamen jeg.
15:06
Jeg tror heller ikke at det. Altså vi kan jo vælge hvis vi
15:10
laver det til et nationalt projekt, og vi ligesom at
15:14
inddrage forskningsverdenen, og hvad der ellers måtte være, som
15:17
har interesse i det der helt sikkert og og og vi ligesom
15:20
staten går ind og støtter det og Sådan nogle ting.
15:22
Men så bliver det jo en offentlig ting ligesom en en vej
15:25
og en bro projekt, og hvad der ellers måtte være og så.
15:28
Så er det ligesom noget, Der er til for for for for Danmark og
15:33
danske virksomheder, og så bliver det jo open source, så
15:36
resten af verden jo også kan tage det til.
15:38
Så hvorfor skulle vi ikke have interesse i at udbrede en en
15:42
sportsmodel på dansk til andre lande?
15:46
Altså hvem ville ikke synes, at Det var rigtig hyggeligt at
15:49
komme til Tyskland, og så hvis der var nogen der ikke lige
15:53
havde helt styr på det engelske, som som som fællessprog jamen,
15:59
så var der en dansk translation, ikke?
16:01
Altså. Et eller andet i den nu er det
16:03
hvad ved jeg altså det skal andre lande der havde lov til at
16:07
bruge og gøre brug af, tænker jeg.
16:09
Så selvfølgelig har vi interesse i, og ligesom at lægge det åbent
16:13
på en eller anden måde ikke, så Jeg tror bare Det er.
16:15
Det er en no brainer, at hvis først vi går i gang med det
16:17
projekt der altså, så skal det nok lykkes.
16:20
Men men men Vi skal ligesom først have trænet den der model,
16:23
Der er ligesom der hvor at det der står det Sådan lidt.
16:29
Ja, fordi måske skal vi begynde at snakke lidt om hvad, hvad?
16:31
Hvad vil det egentlig sige at træne de der?
16:33
Large language models. Ikke Det er jo det.
16:35
Det synes jeg var spændende. Er det nemt er det svært.
16:39
Det var faktisk sjovt fordi at Jeg har jo altså.
16:42
Vi har jo også i dansk detail community foreningen der har der
16:46
har jo været der har faktisk i efterhånden en del år været
16:50
Sådan projekter med at træne danske sprog modeller bare II
16:54
meget mindre skala ikke altså det det Det er det man kalder
16:57
Sådan en scooter modeller typisk Sådan modeller der tager og Det
17:00
er Sådan lidt de lidt mindre sexet end sex generende
17:02
modeller, men Det er Sådan noget tekst ind og så.
17:04
Spytter din vektor ud så de en coder ligesom tekst fra tekst
17:08
verden en sprogversion over til den matematiske verden, så man
17:11
kan bruge dem til forskellige ting der ikke og Det er Det er.
17:15
Det er heller ikke noget, der Sådan er nemt overhovedet.
17:17
Det er også noget, der kræver. Mange GPU og meget dansk tekst
17:22
og så videre. Ikke så og du ved Sådan nogle
17:24
projekter der og det det det Det er bare de små.
17:29
Det var Det var en stor bedrift da altså.
17:34
Da da da da lidt ligesom også skete med med noget der var hvor
17:37
man kunne sige jamen. Nu har vi en dansk sproget model
17:39
ikke? Altså, men Det er jo bare altså
17:42
i forhold til LM ikke altså eller slange os mødes og Det er
17:45
jo bare. Micromodal altså Der er jo.
17:50
Der findes jo den danske board den 1.
17:53
Der blev trænet af jens bellahøj ikke hvad hedder det for det der
17:58
engang var body show i dr serien?
18:00
Ikke? Den blev jo altså hvad.
18:02
Hvad er det Sådan en bord model Sådan en bred base model?
18:06
Fylder det ikke Sådan? Det er måske en halv gigabyte
18:07
eller Sådan noget, ikke det? Jeg tror Det er.
18:09
Omkring 1,5 millioner parametre. Eller Jeg tror den har.
18:13
Jeg tror den har 100 millioner eller Sådan noget.
18:15
Det tror jeg alligevel. Den har ikke.
18:16
Jeg mener Det er Sådan en halv hel gigabyte.
18:18
Den fylder Sådan model der. Ikke der kan man bare se hvor
18:20
langt væk jeg var. Jamen lige præcis, men men og og
18:22
der skal man der skal man tænke på og Sådan modeller som for
18:25
eksempel g 3 man fylder 800 gigabyte med 175 milliarder
18:30
parametre, ikke der cirka 800 gigabyte ikke Det er Sådan okay
18:34
meget mere Det er Sådan ja hvad er det 1600 gange så meget ikke?
18:38
Og og Det er Sådan Det er lidt mere gpu memory der lige skal
18:41
til for at holde Sådan en model der II memory ikke jo.
18:46
Man skal jo ikke tage fejl af, at der sker rigtig meget på på
18:49
det område i forhold til at gøre dem mindre og stadigvæk ligeså
18:52
performende på på. Hvad kan man sige det sproglige
18:55
og Sådan det formand sig? Både altså hvor hurtigt er.
19:00
Til at arbejde med, ikke, men men også.
19:03
Hvordan hvor gode er de til de her reasoning ting og alle de
19:07
her matrikler? Man måler dem op imod ikke, og
19:10
der ser vi jo også en trend i, at der Det er nok ikke det.
19:13
Det er nok ikke de der meget store størrelser modeller som p
19:17
3 vi kommer til at se særlig meget af mere.
19:19
Ikke så Det er ligesom den lama 2 som jo slet ikke er så stor,
19:24
men som stadigvæk er er virkelig.
19:26
Virkelig, virkelig god. Og Det har trænet på mere data.
19:28
Det er simpelthen trænet længere tid trænger til mere data ikke.
19:32
Og så har man fundet det der med hvis man laver det der RLA cn f
19:35
reinforcement learning from human feedback, så bliver de
19:38
også endnu bedre. Ikke så så der kan ligesom
19:40
kompensere og få noget størrelse og få det ned på nogle mindre
19:43
størrelse ikke, men man kan sige, skal man så bare træne
19:46
længere tid? Ikke så ja, men men i hvert fald
19:49
Jeg kan ikke huske hvad det anslåede budget, hvad det
19:52
kostede Sådan cirka at træne kapitel 3 hvad man siger jeg
19:56
husker et eller andet om Det er Sådan noget er det noget 20
19:58
millioner dollars eller et eller andet?
20:01
Ja kan det passe og udviklingsomkostninger
20:04
selvfølgelig også så. Jeg tror, at sam målmand har
20:07
sagt til give til 4 altså hele alt udviklingsomkostninger var
20:12
omkring 100 millioner dollars eller dør så.
20:16
Så hvis man ikke, hvis man ikke er åbne i og ikke har en masse
20:19
erfaring indenfor at træne kæmpestore modeller på
20:21
kæmpestore PU supercomputere. Og Jeg tror måske i
20:25
virkeligheden GPU computer omkostningerne er er er måske
20:29
ikke engang dem Der er allervildeste her fordi.
20:32
Selve den indsamling af data, den den man skal forestille sig
20:36
der. Fordi man skal også have fucking
20:37
meget data, skal det også lige siges.
20:38
Ikke at man skal have virkelig meget data, men men men.
20:40
Dansk tekst, der altså simpelthen bare rå dansk tekst
20:44
dansk model. Ikke hvis du lærer når du laver
20:46
den der. Hvad kan man sige grundmodellen
20:49
ikke altså. Som du så tager udgangspunkt i,
20:52
når du så skal fintune den med reinforcement learning.
20:54
Jamen så skal du så bruge endnu en omgang tekst og i den den her
20:59
gang er teksten så bare de her Sådan.
21:03
Meget Sådan curated chat formater, som ligesom er nogle
21:08
stiller et spørgsmål og du skal svare tilbage og og du har måske
21:11
flere iterationer i det der, og Det er typisk noget, som er er
21:15
produceret af rigtige mennesker og og rigtig tit er den gode
21:22
model jo, som rigtig gerne vil være ekspert på mange områder,
21:25
for så skal vi jo ikke rigtig bruge den til noget, kan man
21:27
sige. Det kan ikke nytte noget den den
21:28
er rigtig god til at skrive digte for eksempel, så du kan
21:31
ikke lave et datasæt der bare indeholder right mia pomme
21:34
skrive et digt på dansk. Ja jeg skal nok skrive digte på
21:37
dansk på det og så sætter vi en masse digtere foran en maskine
21:40
og skriver digte og så har vi en masse dæk data.
21:42
Nej nej. Vi skal virkelig bruge en bred
21:45
palet af forskellige opgaver, som vi gerne vil have.
21:47
Den skal være i stand til at hjælpe os med det edderbankende
21:51
ikke bare noget man lige gør og lagde med 2 har de her.
21:56
Jeg tror Det er en million er noteret eksempler til til til
22:00
til chat formatets, altså reformers med learning træning,
22:05
og de har selv indhentet noget meta, men de har også taget
22:09
noget open source. For eksempel tror jeg.
22:12
Det er crazy mængder af af noterede data, ikke?
22:16
Altså? Ja så.
22:19
Så Der er noget arbejde. Der er noget arbejde der ikke.
22:21
Altså vi kommer jo nok ikke særlig meget i nærheden af det
22:26
herhjemme, vil jeg sige. Ikke hardware omkostninger man
22:29
skal jo også have hardware til det, og Det er jo altså mange
22:32
mange uger. Man skal have det til at til at
22:34
køre, ikke hvis ikke hvis ikke det skal tage. 10 år ja så skal
22:39
man virkelig. 2 2 1 halvt 1000 af 100 GP ur tror jeg vi snakker
22:44
om for for træne Sådan 1 1 1 1 rigtig stor en ikke altså du ved
22:50
Sådan 100 p og Jeg tror ikke at folk er ikke Sådan helt Sådan
22:53
hvad hvad er det nå men? Hvad koster Sådan 100?
22:57
Jamen den fylder vel, altså nu kan dem der ikke kan se det, men
23:00
men dem der har gamere derude de ved jo hvordan Sådan en PH den
23:03
fylder Sådan 100 den fylder nogenlunde det samme som som dem
23:06
ikke dem skal vi så lige have 200 eller 1000 af.
23:09
Det skal altså stå et sted, jeg siger dig, at der skal noget
23:11
nedkøling til for det det overhovedet spiller det der.
23:14
Det er massive mængder hardware, ikke?
23:16
Og hvordan skriver man jeg? Jeg er heller ikke helt Sådan
23:19
klar på eller Sådan er det i hvert fald ikke prøvet før.
23:21
Jeg har ikke lige haft et kloster der for lige til
23:23
rådighed, men hvordan skriver man overhovedet kode til at få?
23:27
Altså fordi jeg går ud fra. Det er en modellen der sker
23:30
paralleliseres ud jeg jeg ved slet ikke hvordan fanden.
23:34
Jeg håber i kan hjælpe mig med med den der parallelisering,
23:37
fordi der skal du jo netop splitte dine dine backward
23:40
propagation. Ud Det er modellen der skal.
23:43
Det er jo modellen selve model vægtene.
23:46
Og accepterer ikke i selve læringen sker parallelt.
23:49
Og det skal destrueres ud på kloster agenturer ikke?
23:53
Hvordan gør man? Det aner jeg slet ikke.
23:55
Jamen altså det selvfølgelig nok kunne finde ud af ikke?
23:57
Men altså Det er Sådan, Det er nogle kompetencer, hvor man
24:00
Sådan det skal man sgu lige finde ud af, hvordan man gør.
24:03
Ikke, men Det er et marvel i sig selv det der ikke fordi at Der
24:06
er heldigvis nogen der har hjulpet en II nogle af de
24:08
frameworks vi bruger er med en af pigetøj sagtens kan det der
24:11
altså men men men men gad vide om når man er oppe i så mange
24:15
gpu og netværkere. Men der skal spille om der ikke
24:18
også er et eller andet ekstra man lige skal være obs på det så
24:23
så Der er nok noget håndholdt man skal lave også for ligesom
24:26
at få det til at spille og og hvad nu altså prøv lige at
24:28
forestille dig at man kører IX antal dage med det der bare for
24:31
fuld smadder og så lige pludselig crasher det ikke.
24:34
Så lige at gemme. Shit, Vi har ikke glemt Vores
24:37
vægte for seneste døgn. Det var lige et par 100.000 der
24:41
eller hvad ved. Jeg.
24:43
Ja så. Og en anden ting, fordi nu har
24:47
jeg Sådan. Det ville være et ret stort
24:48
projekt, i hvert fald ikke være okay dyrt at gå i gang med.
24:51
Det vil sikkert tage lang tid Sådan modeller her.
24:52
De skal jo også træne i altså måneder og jo mere hardware man
24:56
har jo kortere tid til du er min forståelse at de skal træne ikke
25:00
de skal træne lang tid, ikke så Det var Sådan noget med mon ikke
25:03
lade mig 2 allerede var i gang med at træne da lagde mig et
25:06
blev udgivet eller Sådan et eller andet altså kunne man godt
25:08
forestille sig eller også var det bare, eller også er det bare
25:10
at lege med et fortsat. Det er i hvert fald mere tekst i
25:13
lag med 2 siger de ikke og og så det der med at Det er jo bare
25:17
alt tekst altså Vi har det her coming crawl som som.
25:21
De fleste måske har hørt om der har hørt om de der lidt længere,
25:25
og Det er jo simpelthen bare helt internettet.
25:26
Der er skrabet ikke? Og Det er jo et kæmpe kæmpe
25:29
kæmpe arkiv og guderne må vide hvad der ligger i det.
25:32
Ikke var fandme meget lort. Jeg har siddet med det der data
25:34
der virkelig noget lorte data jeg.
25:36
Skulle have fået til opgave at finde ud af, hvor meget ekstra
25:38
Bladet Der er nede i det. Men Det er ikke noget meget.
25:42
Men Vi skal hjælpe mig lidt igen der, fordi Jeg har ikke rigtig
25:44
fundet ud af hvor meget Der er, men men anyways så der.
25:49
Så har man jo også fundet ud af det, altså Det er jo det der med
25:51
bare at tage ravl og krat er nok ikke det fedeste altså Det er
25:55
nok en rigtig god ide at sortere noget af det der skidt fra, som
25:57
man ikke vil have. Og nu siger jeg skidt, hvad er
25:59
skidt så tekst der vil tekst ikke, men Der er bare noget med.
26:03
Altså højkvalitet tekst. Man forventer jo ikke at den
26:09
svarer Sådan gebrokkent tilbage med med masser af tipos og ting
26:14
og sager, når man sidder og interagerer med Sådan en chat
26:17
model. Og Det er der altså
26:19
sandsynlighed for at den gør, hvis man bare tager et eller
26:22
andet skævt hjørne af nogle nogle tekster som måske ikke er
26:27
super høj kvalitet rent skrift mæssigt, så det skal man jo være
26:31
obs på ikke? Men igen så er vi ude i det der
26:33
med hvordan vurderer man det og skal ikke være inkluderet og
26:36
nogle ting er man. Ja altså, men man får bare noget
26:40
noget bedre ud af Det har man fået ikke?
26:43
Lige præcis, men også noget jeg tænker over Sådan.
26:45
Og hvis man så lad okay, så lad os sige vi gik i gang nu her
26:47
Sådan vi går i gang, fordi Det er for dårligt hvad hedder det
26:51
giver mening modeller de har ikke danske værdier skal vi have
26:53
gjort noget ved? Vi træner Vores egen store sprog
26:56
modeller. Hvordan vil man okay?
27:00
Så målet er at gøre den bedre på dansk.
27:02
Den skal have danske værdier skal have bedre generelt på
27:05
dansk, hvor vi starter ja hvor starter, men men også hvordan
27:09
måler vi fremgang? Hvordan måler vi at yes nu har
27:13
vi faktisk brugt en milliard på 3 i den her model er den danske
27:18
Kultur hov hvordan hvordan finder vi ud?
27:22
Altså hvordan måler vi rent faktisk at den er bedre og måske
27:26
ville ikke også det vil være det vil være et nederlag hvis den
27:29
var? Hvis den var dårligere end end
27:30
BT 3 eller t 4 på på dansk. Og der svarede, at det tør.
27:34
Jeg tør næsten ikke tænke på, hvad det, hvad Der er svaret, at
27:37
Det er super subjektivt, fordi at måden man nu, hvis vi lige
27:42
går tilbage til det der reelt formodning, der der der der
27:45
siger man jo der der prøver man jo at guide den her model, så
27:48
vil formodning på gav jo på den måde at den får noget feedback
27:51
klarer det så godt klarer det så skidt så får du nogle point for
27:55
det de point dem giver man subjektivt når man laver de her
27:59
sprogmoduler. Og siger det der svar var
28:02
passende til det spørgsmål jeg stillede, og så kan man sige,
28:08
hvordan fungerer det overhovedet?
28:09
Altså, men det fungerer jo egentlig overraskende godt.
28:11
Men altså skal vi ikke bare sige, hvis nu vi satte en masse
28:14
professorer af og højtuddannede akademikere til at sige det, var
28:18
det svar jeg gerne ville have? Ikke så fik vi også nogle
28:21
modeller, som var rigtig gode til at chatte og interagere
28:25
efter den forventning, som den type af mennesker i Vores
28:27
samfund har. Men med nogle andre grene af
28:33
Vores samfund, der måske gerne ville gøre brug af den her model
28:35
ville måske forvente noget tekst i en lidt anden form og og noget
28:40
som som de kan forstå for eksempel og få få det tilbage.
28:45
Og hvordan? Hvordan?
28:49
Det er man så et godt svar for dem der skal jo der skal vi jo
28:53
ligesom nærmest tage Sådan en random sample af danskere, sætte
28:56
dem til at se og sidde og sige og vurdere om et svar godt eller
28:59
skidt. Ja jeg snakker altså tusinder af
29:01
mennesker fordi Vi skal jo det skal jo være bred nok til at at
29:05
altså Sådan ikke så hvis Det er det der igen det der med hvis Vi
29:07
skal styre værdierne og det kulturelle og ikke at være bias
29:11
og ligesom have jamen så det typisk i statistik, så tag en
29:15
sample ikke. Spørgsmålet er, om man kunne
29:17
styre den meget mør spørgsmålet er i virkeligheden om, om selve
29:20
den her reinforcement learning with human feedback del i
29:23
virkeligheden i sig selv kunne være med til at styre den hen
29:26
mere hen mod danske værdier? Det der med, at man træner den
29:29
til at ligne sig svar til hvad? Danskere synes er godt
29:33
spørgsmål. Det kan man jo godt Der er i.
29:35
Hvert fald meget. Der er mange der siger, at det
29:37
der altså Det er en stor del af det.
29:38
Det er den der reward model som. Ved.
29:42
Jo lige præcis. Vi ved jo fra fintune delen, at
29:46
du kan virkelig fintune vægte på Sådan en stor model et helt
29:51
andet sted hen. Du kan også smadre den helt
29:53
fuldstændig Sådan så at alt det den havde lært tidligere det
29:56
bare væk i løbet af nogle iterationer igennem det der.
29:59
Hvis det hvis din fintuning proces er dårligt for eksempel,
30:01
så kan det virkelig gå skævt, så man har virkelig meget power,
30:05
men med med mindre data der, så man kan også godt forestille sig
30:08
en strategi hvor et projekt var. Vi.
30:12
Ja nu kan vi jo nok ikke få fat i vægten til noget PT hi. 4
30:17
eller p 3,5 fordi det ligger ligesom hos åben og jeg men Der
30:21
er noget den er jo noget okay til dans der ikke kan man sige
30:24
Det kan vi godt bruge på dansk og så få lov til ligesom at.
30:28
Få reinforcement learning delen ind og præge den.
30:32
Den fine tuning af det danske. Det kan man også godt forestille
30:35
sig at et projekt, men men okay altså.
30:37
Det er jo ikke at lave sin egen model.
30:39
Det er jo at prøve at påvirke de store, de store tech giganters
30:44
modeller og. Ja det det tror jeg faktisk
30:48
mindre på næsten sige. Det er jo Det er jo.
30:50
Det er jo en strategi ligesom så meget andet, men Jeg tror ikke
30:52
på det. Det er vejen frem.
30:54
Men også bare noget. Jeg synes der også meget få der
30:57
snakker om, og Det er også fordi Det er så pisse usexet, men men
31:01
når når for eksempel Google og open air de sidder og træner de
31:04
har sprogmoduler. Det er Sådan det det tager vi
31:06
meget seriøst. De har en meget Sådan du ved
31:08
ordet proces omkring at gøre det og så videre.
31:10
Ikke så har de jo også de her kæmpestore evaluerings datasæt,
31:13
Sådan semantiske evaluerings datasæt, som siger alt muligt om
31:17
alle mulige mærkelige ting. Ja som på en eller anden måde
31:20
kan give en eller anden form for matrix, for hvor godt klare den
31:22
her model så på forskellige Sådan sproglige opgaver og så
31:25
videre. Ikke?
31:26
Det er jo selvfølgelig alt sammen på amerikansk, men men
31:29
men Det er jo 100% deres guide fra, altså hvis de hvis de laver
31:34
noget hvis de laver et eller andet tiltag som performer bedre
31:36
på det der så gør de den vej ikke altså fordi de er i stand
31:40
til ligesom at måle fremgang ved at benchmarke op mod de Der er
31:43
big bens og alle mulige forskellige datasæt ikke og der
31:47
tænker jeg hvis man har hvis man gerne vil.
31:49
Lave forbedre dansk sprogteknologi hvis man gerne
31:52
vil lave de der ting, så bliver man nødt til at have et eller
31:55
andet måle på, så man kan måle forbedring, fordi ellers så
31:58
kører man jo bare i blinde ikke altså så ved man jo så jeg
32:00
tænker også det ville også være useriøst at gå i gang med Sådan
32:03
et projekt, før man overhovedet havde et eller andet man kunne
32:05
måle på. Ikke altså et eller andet man
32:07
kunne sige det status quo. Det her er vi tilfredse med det,
32:10
hvordan er de, hvordan er det i forhold til de amerikanske
32:13
resultater og så videre? Ikke så altså uanset om man går
32:17
i gang med det eller ej, så tænker jeg at det Det er noget
32:19
arbejde man godt kan starte nu. Hun har prøvet at konstruere de
32:22
der ting og sige, okay, vi vil gerne have lavet et datasæt som
32:26
tester sproget modeller for hvor godt de forstår dansk sprog,
32:30
dansk Kultur og danske værdier. Dansk alt muligt, ikke dansk
32:34
alle mulige ting, fordi Det er jo noget man kunne sætte sig ned
32:37
og lave. Og så kunne man benchmark i
32:39
forskellige modeller og så prøve at få en føling for hvor er vi
32:42
henne i stedet for folk der bare snakker?
32:44
Ikke fordi fordi Der er mange der bare snakker nu her Der er
32:47
mange der bare. Den er dårlig på dansk og den
32:50
den. Den har ikke danske værdier og
32:51
Sådan noget ikke? Det er jo bare snak det.
32:53
Det er jo ikke nogen der kan vise noget som helst.
32:56
Det er ikke noget du kan ikke bevise du har Sådan nogle.
33:00
Altså anekdotiske hvor? Og folk har siddet og og og
33:05
spurgt dem om noget. Altså OK, Vi har for at være
33:09
helt ærlig så og Jeg har ikke læst den forskning, men der har
33:12
jo været noget forskning i forbindelse med den her debat om
33:15
hvor at man. Men viste, at den var mere line
33:18
med amerikanske værdier. Men det måler man jo man jo
33:21
ikke. Dansk Jeg er ikke nede i det, og
33:24
jeg kender ikke metoden og Sådan noget.
33:25
Men men altså et enkelt paper på på Sådan noget der ikke.
33:29
Det er jo ikke nok altså. Hvis man leder efter leder efter
33:32
noget, skal man måske også. Nok finde noget, hvis man leder
33:35
efter lige præcis det der. Men Det er også bare det vel
33:37
bare også svært at Sådan vi tager Vores sprog og Vores
33:39
Kultur og Vores værdier som som land seriøst ikke.
33:42
Det vil også være Sådan en et projekt der hed okay, nu laver
33:45
vi et. Et et eksamen en eksamen til til
33:49
til AD modeller på dansk, hvor klar de på dansk er.
33:53
Vi interesserede i, at de skal blive bedre.
33:55
Men man skal også passe rigtig meget på.
33:58
Ikke fordi altså det. Jeg ville nødigt have Sådan en
34:01
ære af en model der der der faldt fra det der tit ting til
34:04
test fænomen, hvor at man simpelthen er liner den til at
34:07
at at at være god til et snævert Sådan område af at det så.
34:14
Med fare for at man ligesom guider den der.
34:16
Så så Der er jo 2 måder at ligesom når man er i de der.
34:21
Regntung processor så kan man jo egentlig godt bruge Sådan et
34:23
testsæt der til at at at sige noget om hvor, hvor hvordan den
34:28
bevæger sig i en retning, så så man når man kan fintune den ned
34:32
til nogle specifikke specifikke tasks og og så så bliver det
34:36
ligesom god til det, eller man kan have den her meget mere
34:39
Sådan generaliseret tilgang til at man kan løse mange
34:42
forskellige opgaver ikke og det subjektive element i den der
34:47
reforce manning vurdering hvor 1, 1 1 1 menneske stiller et
34:50
åbent andet question, som man siger.
34:53
Spørgsmål, og man får et åbent svar tilbage, og man laver en
34:56
subjektiv vurdering af det giver jo faktisk.
35:00
Statistisk 1 1 1 1 1 bred fordeling og gør den jo mere
35:08
generelt tror jeg II sin læring i den proces hvorimod at hvis du
35:13
hvis du er kurator et testsæt og Sådan noget fintuning data der
35:17
ligesom spiller sammen med det jamen så får du også en mere
35:21
snæver model ikke så så jo jo du.
35:24
Det vil du jo gerne gøre i nogle sammenhænge, men men det Jeg
35:27
tror mere det skal være noget som.
35:29
At man finder på de her test, de er incomplete i forhold til at
35:33
teste den på alle dens område, men man man finder på de datasæt
35:36
der de tester separat og. Det skal ikke have noget med
35:40
foreningen at gøre noget. Som helst lige præcis, men også
35:42
også også, at man bare ligesom tænker i nogle nogle nogle nogle
35:47
nogle termer helt adskilt fra hvad skal?
35:50
Hvad skal en sprøjtemiddel være god til?
35:53
Og så ligesom at definere nogle nogle ting herovre det.
35:55
Være så bredt som muligt som helst, men man.
35:58
Prøver at komme rundt rundt om så.
35:59
Bredt men i det hele taget. Ja Det er jo et et problem i sig
36:02
selv det her med hvordan evaluerer man tekst generende
36:05
modeller ikke og så fordi hvem? Hvordan måler man om et stykke
36:08
tekst er godt eller dårligt ikke?
36:10
Altså det, Det er jo også oppe for grabs.
36:12
Det er jo Det er jo ikke et problem Der er løst kan man sige
36:15
ikke så også de her benchmark datasæt som som tech giganterne
36:19
IUSA benchmark er oppe imod de er jo heller ikke perfekte, men
36:22
Det er jo bare Sådan Det er jo bare det man har kan man sige
36:23
ikke jeg tænker det det det bedste Vi har bud på Vi har at
36:26
evaluere hvad skal man sige generelle tekst Det er vel de
36:30
her reward modeller som de bruger til at træne de her red
36:33
Vores madlavning. The man feedback loops eller
36:36
eller loopet der ikke eller så Det er den ene enten de der
36:41
reward modeller, eller også er det simpelthen bare p 4 altså
36:44
Sådan så BG 4 om det ikke altså? Tage tage thatcher modellen.
36:48
Det er jo også en kendt jamen Sådan.
36:49
Der er jo mange startups og Sådan noget der bruger GBT eller
36:53
bruger LM modeller som bruger gt 4 til at måle performance på
36:58
deres modeller ikke altså ligesom vurderer hvor godt hvor
37:01
det godt kan, hvor det hvor god er Vores program, hvor gode er
37:04
Vores tjeneste og så videre ikke?
37:05
Det er i hvert fald nogle startups, der gør.
37:08
Jamen altså til institutter med støtten.
37:11
Metoden er jo er jo er jo ret fin ikke så man kan jo også.
37:15
Man kan jo netop generere rigtig meget meget tekst og og annotere
37:19
jo også en tekst med geografi ikke så får man noget læring ud
37:22
igennem det ikke? Men jamen Der er mange veje.
37:25
Men men hold nu fast. Altså vi kan vi kan have en
37:29
debat om det, men men vi Vi er nødt til at finde en strategi,
37:33
hvis Vi skal spille penge i det her Vores kære politikere skal
37:36
også vide, at. Jeg vil bare så nødigt se et
37:41
eller andet it projekt. Sundhedsplatformen IJER
37:45
versionen er Sundhedsplatformen eller total hardware det.
37:49
Vi putter 2 milliarder i det her, og så.
37:52
Jeg skal love jer, for jeg skal nok få brugt de der 2 milliarder
37:55
hurtigt II den her gren af af. Er verden så med?
38:02
Altså Vi skal også have et eller andet 2 show på som man siger
38:05
bagefter ikke og det ville bare være.
38:09
Det ville være ærgerligt at gå i gang med at bare sige, vi
38:11
starter træningsmaskine nu, for som du også siger, at Vi har alt
38:15
det her data på plads, så hvordan skal vi evaluere den og
38:17
Sådan nogle ting, Vi er nødt? Til at decideret useriøst at gå
38:20
i gang med at træne 100%, og hvis målet er at gøre den god på
38:23
dansk og gøre den og line med danske værdier og man absolut
38:27
ingen måde har at evaluere det mål på, så ville det være
38:31
decideret useriøst at gå i gang med at.
38:33
Meget seriøst altså det Jeg vil sige.
38:37
Lad os lige kigge lidt til til Sverige og Norge og så bare
38:40
lige. Overveje, hvor langt bagud vil
38:42
jeg i forhold til dem og så lige overveje hvor langt væk de er
38:45
fra en en stor sprog model, fordi så ved vi måske lidt hvis
38:51
vi lige kigger på den seneste historie om hvad Der er sket der
38:53
ikke der man er begyndt at købe hardware ind stille og roligt.
38:57
Jeg tror Det er i Sverige og OK men altså man gør sig klar til
39:03
måske at starte en stor træning er et eller andet man føler sig
39:06
nogenlunde klar til det, men vi snakker altså de har i hvert
39:08
fald. Ja, Det er i hvert fald 2 3 år
39:11
foran os. Ja hvis ikke mere.
39:13
Ja og. De har jo trænet nogle smukke
39:16
modeller ikke Sådan nogle mindre nogle Sådan et eller andet i
39:18
den. Stil måske man engang skal til
39:19
det i år. Måske skal til det f ikke.
39:21
Men de har måske stadig deres helt store klippe 3 model til at
39:24
træne ikke? Og i mellemtiden brager du ved
39:29
åben og jeg derudaf og alt det du ved, så Det er også det der
39:31
med hvis Jeg tror også Det har en del med timing at gøre altså
39:34
Sådan du ved den her teknologi er i så rivende udvikling.
39:37
Der er så meget, Der er ikke nogen der ved hvor det her ender
39:40
i forhold til hvad der bliver bedst practice, hvad der bliver.
39:42
Hvordan du kan få mest for dine penge og Sådan noget.
39:44
Altså Jeg vil Jeg synes Det er rigtig dårlig timing at begynde
39:48
lige nu, fordi Jeg vil hellere Sådan vente til at det rammer en
39:51
eller anden form for innovations plato på en eller anden måde,
39:54
hvor at det ikke ændrer sig hver anden dag.
39:58
Hvad? Hvad Der er bedst praksis og
39:59
hvad Der er det gode og det dårlige og.
40:01
Nogle ting, men Det kan man næsten ikke vente på, fordi Jeg
40:03
tror bare det bliver ved. Men Det er selvfølgelig rigtigt,
40:06
men men. Ja, Det er selvfølgelig, men
40:08
hvad hedder det? Det er bare.
40:11
Det er i hvert fald bare 100% sikkert at hvis vi går i gang i
40:13
dag, så er den færdig om fordi vi ikke har.
40:16
Du er nok, så er den færdig om et år eller Sådan et eller
40:17
andet, og hvis vi lige skal finde ud af hvad vi gør og samle
40:20
data så 2 år 3 år måske men til den tid du ved nok.
40:26
Eller lemmer de så larcher altså det Der er kommet det.
40:29
Kan man jo så sige, at noget som som beholder sin sin værdi og
40:34
ikke ruster over tid, som man siger.
40:36
Det er jo faktisk dataet, altså hvis dataet er i indsamlet i høj
40:40
kvalitet og struktureret og lagt fint på hylderne og biblioteket
40:44
står der, og du kan stadig gå ned og hente den bog, og du kan
40:48
det med det data man skal bruge til at træne de der element.
40:52
Så kan det godt være. Det er en en ny dims der skal
40:54
spise det der data i morgen og Sådan nogle ting.
40:56
Men men så er udgangspunktet for at at at hjemtage noget af det,
41:00
den teknologi og det kode som producerer den model.
41:04
Jamen så er vi bare meget mere klar, så Jeg vil sige, at Vi
41:09
skal. Vi skal simpelthen have have
41:11
have orden i bøgerne. Det kunne være man skulle
41:13
begynde at betale nogle af de folk der har siddet IDC og
41:15
trænet sproget modeller i noget tid, altså i nogle år
41:19
efterhånden ikke inklusive mig selv.
41:21
Altså Det kan man gøre for Sådan relativt overskueligt budget,
41:24
ikke? Jo, og så kunne man ligesom
41:26
starte med at få i den proces kunne man ligesom få indsamlet
41:29
data, få styr på data og så videre.
41:31
Man kunne begynde at tænke lidt i nogle evaluerings datasæt,
41:34
Sådan som rent faktisk kunne måle hvad der, hvad Der er op og
41:36
ned og hvad Der er godt og dårligt her.
41:38
Og så kunne man stille og roligt også begynde at opbygge
41:41
erfaringer med, hvordan træner man på store PU kloster og Sådan
41:45
noget, ikke? Og så staten simpelthen skulle
41:47
begynde. At hvis man Sådan miniprojekter
41:49
i gang som ligesom siger okay, vi tager altså sprog dansk
41:53
sprogteknologi, seriøst, det gør vi, men.
41:55
Men det giver ikke mening at hoppe på den helt store vogn
41:58
lige nu, fordi det går simpelthen alt for stærkt.
42:01
Vi bruger pengene meget mere effektivt ved først at få styr
42:04
på data grundlag og Sådan ro tekstdata evaluerings datasæt,
42:08
så vi ved, så vi kan måle fremgang og så ligesom opbygge
42:11
kompetencer. Og lægge det åbent ud til
42:13
omverdenen fordi hey, bedste der kan ske Det er der nogen der har
42:16
sider der? Bruger det?
42:17
Jeg tænkte bare lige en terabyte dansk tekst i super kvalitet.
42:23
Og så fordi Der er jo mange der også tror Sådan at åbne jeg de
42:26
deres største problem lige nu. Der er også nogen der tror på
42:28
altså grunden til at appen g 4 kan tage billeddata ind Det er
42:32
fordi de de har ikke mere data du ved de har støvsuget alt det
42:35
data de overhovedet kunne få fat i og du ved.
42:39
Der er bare ikke mere så så de bliver nødt til også at tage
42:42
billeder ind og prøve alt det data de kan få med.
42:44
Ikke så så 100% de ville tage imod det hvis der var lige et
42:48
par til at arbejde danske høj kvalitetsdata og så kunne man jo
42:53
på den måde få. Data med ind i deres værdier ind
42:57
i det. Hvordan man dem?
42:59
Samle noget data, sætte det åbent ud, så Det er nemt
43:01
tilgængeligt. Det er jo ikke ned i statens
43:04
arkiver, og selvom Der er noget der ligger der noget noget guld
43:08
vi kunne smide ud til omverdenen.
43:10
Og så kunne det jo være, at staten skulle begynde at
43:12
overveje simpelthen at at købe nogle rettigheder til.
43:15
Til noget af det tekst, som rigtig mange fornuftige
43:19
forfattere ligger ude i eller ligger inde med, hedder det og
43:23
simpelthen frigive det altså og og og give det fri til til til
43:28
den slags, altså det. Jeg synes jo Det er rigtigt nok,
43:32
at Vi har en guld gruppe i noget noget dansk tekst, der kan
43:36
bruges til de her teknologier. Men Vi skal altså også bare Vi
43:41
skal vi virkelig have meget. Tekst men Det er også Sådan en
43:43
hel debat for sig selv. Ikke fordi så er der alle de
43:45
der. Jeg kunne forestille mig JP
43:48
Politikens hus og har et horn i siden på Google og åbning i
43:51
fordi de givetvis har trænet på ekstra Bladet artikler i
43:55
Politiken artikler og så videre. Du ved Sådan.
43:57
Det ved vi ikke med sikkerhed. Men men Sådan du ved, men Det er
44:02
også Sådan. Er der en bagatelgrænse eller
44:05
Sådan? Hvad er det okay at træne på
44:07
noget data som ikke er dit fordi man altså.
44:09
Det har jeg ikke nogen holdning til.
44:12
Men Det er jo også Sådan du ved. Det er også et spændende
44:14
spørgsmål, som som det virker til, at der ikke rigtig er noget
44:17
svar der ikke rigtig Sådan nogen.
44:20
Men Det er også bare Sådan en sur forfatter henne i hjørnet og
44:24
stopper hele den der kæmpe store teknologiske udvikling, der var
44:27
buldrer af sted, ikke altså? Det er klart at det skal være
44:30
altså altså Vi har jo nogle. Vi har jo noget lov at rette i
44:33
det her land, hvor Vi skal. Vi skal folk skal betales for
44:36
deres deres arbejde. Altså.
44:38
Det er også derfor jeg siger at. Det kan jo ikke lade sig gøre
44:42
bare at sige, hvis Vi skal have en masse tekst til der men men
44:47
men man kunne godt sælge retten til at bruge det i den
44:49
sammenhæng. Man skal jo huske at at når man
44:51
når man giver noget tekst til til træning af Sådan en model
44:54
der, og jeg ved godt der har været der eksempler med at hvis
44:59
man hvis man skriver starten af shakespeares et eller andet, så
45:03
får man den til at skrive resten af det og så har nu har jeg det
45:05
der tekst ikke. Men at det altså ikke Sådan det
45:09
fungerer på på romanen niveau vel?
45:11
Altså du kan ikke og Det er jo prøve at reproducere en en eller
45:17
anden kendt roman ud fra prompte chat kapitel you go forward
45:21
altså. Det ville det ville næsten være
45:26
være nemmere at simpelthen at lytte til.
45:28
Hvad hedder Sådan noget til en audio indspilning af det?
45:32
Og så sidder transkribere det i hånden, end det ville være at at
45:35
at at gøre det. Ikke så det der med at du giver
45:37
noget væk og at du mister. Dit produkt ved at at Det er med
45:42
i den der træning der den den. Det argument holder ikke rigtig
45:45
altså du kan ligesom reverse engineere særlig nemt på den
45:48
måde. Man kan sige det der kan være et
45:50
problem Sådan rent. Og nu ved jeg så meget om jura
45:53
ikke jeg ved nul om jura Sådan noget der kan være så i mine
45:56
øjne være et problem. Det er at du tager data en
45:58
fysisk eller du tager bitchen og bierne teksten fysisk ovre på
46:02
din computer bruger det til at træne og så gemmer det altså det
46:05
der med du har det liggende tænker jeg at det måske i sig
46:08
selv kan være noget et problem, men jeg tænker også Sådan, jeg
46:13
ved ikke. Det bliver ikke gemt i modellen.
46:17
Altså Det er jo ikke det. Det bliver bare brugt til at
46:19
modellere modellen. Altså nogle vægte ja ja ja og
46:22
Det er jo det der med at at. Det er helt emne for.
46:25
Sig selv, ja, men Det er det, og du har jo ikke monopol på det.
46:28
Det danske sprog og ordene og og det som sprog modellen jo
46:32
egentlig gør. Det er den, den bliver i stand
46:34
til at anvende danske sprog ikke.
46:36
Og så kan man jo så sige, at Der er noget originalitet i nogle
46:39
forfatteres og sprogudvikling og og.
46:43
Så ja, det som bliver lidt filosofisk ikke?
46:46
Men men men men men Sådan dybest set så.
46:50
Så tager den jo ikke en forfatters tekst og siger nu, nu
46:55
har jeg husket den her roman. Den lærer bare ud fra det der
47:00
står i den, hvordan ordene hænger sammen, og hvordan den så
47:02
skal forudsige det næste ord så. Så når du når du er færdig med
47:08
at putte den igennem træningsforløbet der jamen, så
47:10
er den Sådan set ligeglad med det der tekst der og derfor så
47:14
så forestiller jeg mig også at der godt kunne komme 1, 1 1 1
47:18
copyright regime op at stå et eller andet sted, som simpelthen
47:22
handlede om selve sal. Ned af af tekstmateriale til til
47:30
sprogteknologier, og at Det er noget, som kunne give nogle
47:33
nogle ekstra kroner og ører til forfattere i virkeligheden, og
47:36
at staten så måske kunne hjemtage noget af den
47:38
distribuering af det. Og så kan man ligesom oppe det
47:41
ind II Sådan en eller anden aftale, eller man kan købe det
47:44
ud ikke, og så er du ligesom bare bundet af en eller anden
47:47
overordnet aftale, ligesom Vi har.
47:49
Aftaler på arbejdsmarkedet overenskomster og den slags.
47:52
Det er, at man godt kunne have forestillet sig, der kunne laves
47:54
en eller anden form for rammeaftale på det der hvor at
47:56
at forfattere kunne vælge at være med i det og så få få penge
48:00
for det simpelthen at stille deres tekst til rådighed for den
48:02
slags. Fordi at Det er jo ikke Sådan,
48:05
at de så mister muligheden for at sælge den her bog i den
48:07
sammenhæng, at andre så bare kan få bogen gennem en en sproget
48:11
model så produktet. Bogen er jo ikke.
48:15
Altså det ophav og muligheden for at sælge det videre er jo
48:18
ikke ødelagt af, at den kommer med i træningsforløbet, så
48:21
derfor så kan man sige. At det ville måske være en
48:25
ekstra indtægt i virkeligheden for for for for forfattere.
48:28
Men hvad er det realistisk, at forfattere bliver betalt for
48:31
deres værker med i. Altså når vi når vi musikere.
48:35
Nu kan man se. Måske er der nogen der har lagt
48:37
mærke til at dem der kan se Vores podcast, at Jeg har lidt
48:41
musik stående i baggrunden? Flotte røde trommesæt.
48:44
Så, men musikere bliver jo for eksempel betalt, når når via
48:49
koda er aftalerne ikke og koda penge, som man kalder det for
48:52
musikere. Det er jo Det er jo noget, når.
48:54
Han er, Peter p 3 og hvem der ellers er PT spiller måske ikke
48:58
som har musik p 3 spiller. Musik som er så for den tjener
49:02
ikke så godt, hvis man bliver spillet på rotation på p.
49:05
Påtaler Det er jo, og Det er jo effektivt set staten der betaler
49:10
det til musikerne en eller anden form for honorar.
49:17
På, at noget er blevet spillet i den her sammenhæng og det det
49:21
koster så det her ikke, så du får lidt for det og så får du en
49:24
gang om året en eller anden check.
49:25
Han er Sådan en rigtig gammeldags hvor der står du er
49:28
blevet spillet så også bare en gange og du ejer det
49:30
rettighederne til 75% af den her sang her, så nu skal du have 75%
49:35
af det her honorar. Man kunne godt forestille sig at
49:38
man kunne lave det på på Sådan en træningstime.
49:41
Der ja ja, det kunne man sikkert godt.
49:43
Du er blevet stillet til rådighed her med din tekst.
49:48
Den er blevet downloadet du så så mange gange, at folk der
49:50
gerne vil træne. Du får 10 øre.
49:53
Og du får. Som seriøst det der.
49:55
Det er jo det der live. Jeg er jo altså ja det må det da
49:58
næsten være. Tror du ikke?
50:00
Nej, men jeg ved altså Jeg tror Det er realistisk at der at der
50:04
kan være nogle nogle nogle penge i det for altså det kommer jo
50:07
selvfølgelig an på hvor meget staten vil investere i det,
50:09
fordi Det er klart og der skal jo laves Det er jo noget det
50:12
skal man forhandle Sådan nogle ting der.
50:13
Det må vi jo endelig ikke bare sige, at Det er en eller anden
50:15
pris, så hvis det ikke er politisk muligt gennem en
50:18
forhandling, så er det ikke politisk mulig gennem
50:20
forhandling. Og så kan forfatterne jo sige
50:21
nej tak. Men ja Det er jo nok ikke altså
50:25
det vi snakker nok Spotify kroner ikke altså ligesom
50:28
musikerne får det her. Det er nok ikke de vilde ting
50:31
men men hey. Igen, det ødelægger ikke
50:33
mulighed for at sælge din bog. Der er mange muligheder.
50:38
Ja ja, og jeg siger lige Det har ikke noget med mit arbejde at
50:41
gøre. Jeg arbejder ikke noget, Jeg har
50:43
de her holdninger, men men men men Det er jo bare altså man
50:47
kunne godt forestille sig, at der var noget gevinst i
50:49
virkeligheden ikke så. Så skal vi, eller skal vi ikke
50:56
det? Det hele det stigende.
50:59
Binary classifier Jonas skal Vi skal vi?
51:02
Ikke. Jeg synes Vi skal arbejde hen
51:05
mod det, men okay. True falch Det er fint.
51:10
Du Det er rigtigt politikersvar det her ikke journalisten?
51:14
Spørger jeg siger ja, men. Du er minister minister,
51:19
minister for dansk sprogteknologi, ministerium
51:21
eller hvad det hedder? Jamen så vil.
51:22
Jeg da sprogteknologiske ministerium.
51:24
Så vil jeg gå i gang med at finde ud af hvordan.
51:26
Hvordan kan jeg indsamle så meget tekst som muligt at stille
51:29
til rådighed for for træningen af de der modeller?
51:32
Og hvis jeg så også har et lille budget, hvordan bruger jeg det
51:35
allermest effektivt til det og det?
51:38
Det skal spredes på noget forskning, der skal være nogle
51:40
institutter, der der skal stå for at gøre det der
51:42
tilgængelige. Vi har jo Alexander instituttet,
51:45
som arbejder rigtig meget med med den slags teknologi.
51:49
Det er de i øvrigt, som i øvrigt også er i gang med det her
51:52
danske tale, tekst eller spise tekst datasæt, som også bliver
51:58
en kæmpe stor ting i fremtiden. Det bliver det her med at kunne
52:01
lave tale om til tekst i mere end høj Sådan nøjagtighed, fordi
52:06
de kommer til at være interface til de der language models.
52:09
Det er 100%, det bliver mere og mere af det der.
52:11
Det Det er der nemlig mere og mere.
52:12
Af, og Det er at at sigrid til alexandersen cuttet for at
52:15
arbejde med de her. Ting til Alexandra instituttet
52:17
altså. Og man kan jo sige at.
52:20
Altså hele snakken om siri kan ikke forstå dansk den den er jo
52:25
netop Der er en af problemerne. Netop det der speciel tekst ikke
52:32
ja fordi at vi vil gerne først forstå hvad du siger igennem den
52:36
her mikrofon og måske om omdanne det til noget noget tekst som en
52:40
en sprogkoden jo så kan jeg spise og og få noget fornuftigt
52:44
ud af og svare tilbage med noget tekst som så bliver lavet til
52:49
lyd ikke altså man kan forestille sig hele den tjene
52:51
der ikke. Det er i hvert fald en måde at
52:53
lave Sådan en pipeline på, ikke? Det, det vil vi gerne have.
52:58
Det kunne være nice nice jeg altså Vi skal i gang med at tage
53:01
dansk sprogteknologi. Seriøst, Vi skal ikke
53:04
nødvendigvis købe tit 2000 g ã 100 p ur ind for at for at bygge
53:11
Vores kloster, så vi kan træne den næste klippe til i lama DK
53:16
eller. Var der stadig grobund for for
53:19
hvad kan man sige? 1 1 1 datacenter på dansk jord
53:22
til til Sådan til det offentlige vil jeg mene.
53:25
Men Det er en helt anden snak at købe en masse gpu og ind.
53:30
Det tror jeg ikke er det Vi skal starte med.
53:31
Det får vi ikke noget ud af. Jo, Vi har brugt en masse strøm,
53:34
og så skal de huske at køre på højtryk når vindmøllerne.
53:39
Træner vi ekstra hårdt, så er det.
53:41
Så er det bare masser af vindmøller rundt om ikke så.
53:45
Ja men. Ja, så Vi skal til at tage det
53:49
mere seriøst hvis bruge teknologi, men det ville være
53:52
det ville være skørt og det ville nok være en.
53:55
Ineffektiv brug af ressourcer alt hoppe direkte ud i at træne
54:01
kæmpestore. Det kravle før vi går.
54:04
Man kan godt man kan godt begynde at træne nogle små nogle
54:06
også. Altså man kan jo godt begynde at
54:08
lege med i det små og Sådan lege med modellering af ting og sager
54:11
ikke det og begynde at få. Dominerer du det?
54:14
De har slet ikke snakket om at. Der er jo så meget værdi, vi
54:18
slet ikke er har. Hvad kan man sige hostet af de
54:22
små modeller ikke? Altså og at løse løse løse
54:26
problemer med med med dem på en måde.
54:28
Ikke noget danske embedding. Enten skal det være meget stort
54:32
og LM eller også så skal det ikke være noget ikke?
54:35
Og Der er altså rigtig meget mulighed for at lave
54:38
forbedringer på danske sprogteknologier på Sådan et
54:41
lidt mere mellemniveau. Ikke så det kunne også godt være
54:44
at og det tænker jeg, at det ville naturligt være en del af
54:47
det at nå op til at træne en en stor l dem der der der havde.
54:51
Havde noget power at at at vi havde folk der.
54:55
Der var arbejdet på de intermediate.
54:57
Ja fordi det virker Sådan lidt. Vi har ikke engang styr på de
55:00
små ting endnu. Vel nej, Sådan så går vi bare
55:04
direkte til romerkirken. Ikke engang bygget en cykel
55:07
endnu cykel. Vil til mund.
55:09
Men nu vil vi til munden. Ja.
55:11
Så det. Men men men Det er jo altså når
55:15
alt Det er sagt, så er det jo bare så dejligt, at der kommer
55:17
mere fokus på det der. Altså Det er jo virkelig en
55:19
gave, men. Ligesom nu forstår folk det ikke
55:24
du forstår folk hvad det hvad Det er de der de er blanding
55:27
modeller kan og Jeg kan huske. Jeg har også været.
55:32
Jeg har jo været inde IP et og snakket om om sprogteknologi og
55:35
Sådan noget ikke med Adrian shows inde i hvad hedder det?
55:38
Klog på sprog, ikke? Ja.
55:40
Og der tror jeg bare jeg undervurderede, hvor svært Det
55:42
er at forklare, og det der prøvede jeg at forklare om en
55:45
coder modeller altså tekst 2 vector ikke, men Det er måske
55:49
også bare mig der skal i lidt ud af min notebook, men.
55:52
Der gik det bare op for mig, blandt andet der.
55:55
Hvor abstrakt Det er at forklare Sådan de der ting, som ikke er
55:58
nemmere at forstå, altså fordi Det er nemt at forstå.
56:00
Jeg skriver noget tekst, så kommer tilbage med noget tekst.
56:03
Det er nemt at forstå ikke, men Der er mange af de der tekniske
56:05
ting, andre modeller og Sådan der kan være svære at forstå, og
56:08
det giver også selvfølgelig altså.
56:09
Hvorfor er det at træne 1 1 1 1 1 covermodel til at lave fede
56:14
betting? Altså virkelig så så Der er
56:19
også, men der kan man virkelig mærke at nu forstår folk.
56:23
Folk kan virkelig se hvem er din i det folk kan se at Det er.
56:26
Nogle teknologi, der bliver ved med at være her.
56:28
Jeg ved, Det er noget, der bliver ved med at blive vildere
56:31
og vildere, og. Det begynder at blive brugbart.
56:34
Vi kan se nogle produktivitet Games derude i horisonten.
56:36
Der er allerede produktivitet Games hvor mange mene ja og og
56:40
så begynder det at blive interessant for for også folk
56:43
der ikke er nørder ikke jo. Det er Det er en sjov tid så.
56:49
Karen jesse skal Vi har vi fået, har vi fået tømt emnet ud eller
56:54
er der flere ting Vi skal? Nok komme noget mere end i dag,
56:56
men spørgsmålet er også om, om Vi har hele aftenen.
57:01
Jamen skal vi så sige farvel for i dag eller Vores kære lyttere?
57:05
Vi havde jo det, Vi skal snakke om hurtigt.
57:07
Vi havde jo i sommerferien der hvor vi holder sommerferie.
57:10
Der var vi jo oppe og være nummer 6 eller 7.
57:14
Mest lyttede podcast serie indenfor teknologi inde på Apple
57:21
podcast. Det må jeg nok sige.
57:23
Ja, så jeg tænkte, jeg ved ikke. Jeg tænker lidt at vide om Det
57:25
har været Sådan lidt noget agurketid eller et eller andet.
57:27
Der har ikke været så mange af de store podcasts der ligesom
57:29
har udgivet, fordi de har været på sommerferie og så har folk
57:32
ligesom bare Sådan. Jeg bliver nødt til at lytte til
57:33
et eller andet ikke, og så har de ligesom fundet os.
57:35
Jeg ved ikke hvad der skete der, men.
57:37
Nej men blive ved. Men Det er i hvert fald mega
57:39
fedt. Vi kan se tallene går op.
57:40
Vi kan se Der er flere der lytter med.
57:41
Det er meget det og Det er fedt at høre fra jer derude når når
57:44
i. Når i skriver og så videre, så
57:46
bliver endelig ved med det. Så vil vi blive ved med at lave
57:49
podcast. Vi har også lige kigget i dag på
57:51
noget podcast software, som vi overvejer at investere i, så vi
57:55
kan få bedre kvalitet. Kvalitetsmål hvad hedder det et
58:00
podcast så vi ikke bare sidder og optager at Google med.
58:04
Det er det. Så hvad hedder det 1000 tak for
58:06
i dag og i skal spille husk at i kan følge os inde på LinkedIn og
58:10
i kan følge os på youtube og subscribe til os inde på Spotify
58:13
og på Apple podcast og ellers må i bare have det rigtig godt til
58:17
vi ses igen i næste uge. Hey.
58:19
Hey.