Latest / Verbos: AI og Softwareudvikling / #38 - Danish Foundation Models (DFM) med Kenneth C. Enevoldsen og Lasse Hansen

Transcript

#38 - Danish Foundation Models (DFM) med Kenneth C. Enevoldsen og Lasse Hansen · Verbos: AI og Softwareudvikling

0:00
Hej allesammen og velkommen til. Hvad bruges podcast afsnit
0:03
nummer 38 i denne her episode? Der har vi 2 meget specielle
0:06
gæster i studiet. Vi har nemlig Kenneth Enevoldsen
0:09
og Lasse Hansen i studiet, som er 2 af de folk som er bag det
0:15
projekt, som hedder danish foundation models, som er et
0:18
projekt, som beskæftiger sig, beskæftiger sig med at træne
0:21
danske sprog modeller og og det skal vi høre om i dag, og det
0:25
glæder vi os super meget til. Ikke også også Jonas.
0:28
Jo, det gør vi i hvert fald. Ja, så lad mig starte med bare
0:32
at sige velkommen til Kenneth og Lasse.
0:36
Ved det. Ikke jeg jamen ved du hvad?
0:38
Jeg tænker, at vi vi vi vi hopper direkte ned i det, og så
0:43
kunne jeg bare godt tænke mig at høre lidt om om om jer kender
0:46
Lasse Sådan. Jeg ved ikke i hvis vi starter
0:49
med dig Kenneth om bare Sådan lidt om hvem du er og hvad du
0:51
laver og ligesom lige. På Aarhus Universitet, og så har
0:57
jeg arbejdet med sprogteknologi siden engang, da jeg startede på
1:01
min bachelor. Hjulpet særligt forsker i
1:05
humaniora med at anvende sprogteknologi.
1:08
Det er lige siden starten for dem, der kender til Sådan
1:11
transformerer. Det er lige Sådan, hvor det
1:13
starter med, at Sådan der hedder frem, så de der, jeg starter med
1:16
sprogteknologi, og så har jeg arbejdet med det lige siden både
1:20
i Sådan i Sådan den rene sprog forstand i Sådan en tekst, men
1:24
også med lyd billeddata også med sekvenser af genetik eller
1:32
sekvenser af sundhedscenter. Fedt hvad så med dig lidt?
1:37
Jeg er meget inde baggrund som Kenneth Vi har læst den kontakt
1:40
med bachelor ting som science her på EU og den samme kandidat,
1:43
og Vi har egentlig fundet på Vores første opgave sammen, og
1:45
nu sidder vi her på samme kontor og laver PD sammen en lille
1:49
smule forskellige fokus der hvor Jeg er ansat på Odense
1:52
Universitetshospital, som et fokus har været på de her
1:56
patienter og mere sundhed svindel i det, men har også
1:59
arbejdet på Sådan en computer sammen med Kenneth siden ja
2:03
mange år siden og hjælpe de her foreskrevne forskellige.
2:07
Ja data udfordringer og især skotske udfordringer og
2:12
problemstillinger på min jord. Og det tænker også Vi skal nu
2:16
nævnte du sundhedsområde. Og det tænker også Vi skal
2:19
snakke om lidt senere. Det her med anvendelighed af
2:21
sprog, teknologi i forskellige sammenhænge.
2:25
Og nu ved jeg, jeg fik ikke lige.
2:27
Jeg fik ikke lige sagt det her i introen, men hvad hedder det?
2:31
Altså nu har jeg jo. Jeg har jo fulgt danish
2:33
foundation models projektet II noget tid efterhånden og man kan
2:39
sige Det er jo blevet super relevant i det sidste års tid
2:41
med hele den her chat gt eksplosion og og Der er ligesom
2:46
kommet virkelig meget opmærksomhed på på på hele det
2:49
her med alt det her med sprog modellering og.
2:51
Altså dansk sprogvurdering også. Men men i har jo i har jo
2:55
faktisk kørt længere tid end det og har beskæftiget jer med med
2:58
det II længere tid end det. Så Det er jo Det er jo rigtig
3:01
spændende, men Det er især relevant nu her hvor at hvor at
3:04
alle snakker om ære og og og Det er ligesom ja altså meget oppe i
3:09
tiden, så så ja. Hvad hedder det?
3:15
Jeg tænkte på hvordan startede danish foundation models og hvad
3:19
er ligesom Sådan målet for projektet?
3:24
Ja så vidt jeg. Husker eller måske, eller måske
3:26
skal vi. Måske skal vi starte med, hvad
3:28
er bare Sådan en? En måske lige en Formel Sådan du
3:30
ved, hvad er danish foundation models Sådan definitionen først?
3:35
Gør den. Det er egentlig Det er et forsøg
3:38
på at lave en stor samling af af mennesker, der ligesom kan kan
3:41
lave nogle danske skoler, som opfylder de her 4 karriere som
3:44
jeg satte op som handler om, at vi vil gerne lave ting, som er
3:46
åbne og anvendelige, fordi Der er bare Der er nogle barrierer,
3:50
hvis man skal lave ting inden for en dansk kontekst, for
3:52
eksempel i sundhedsvæsenet eller andre Sådan lidt mere følsomme
3:55
steder, kan vi ikke bare sende data til optimering.
3:57
Vi har brug for at kunne køre det lokalt eller i hvert fald
4:00
have det på nogle servere, som er man bliver kontrol bord.
4:03
Og Vi har brug for at kunne stole på de ting, der kommer ud.
4:06
Jeg har brug for at have nogle benchmarks har brug for
4:08
validerede modeller. Sådan så vi kan stole på, at de
4:10
ikke laver alle mulige forkerte ting eller rent faktisk virker
4:14
på de benchmarks, som vi oprigtigt interesserede i.
4:16
Og ikke bare nogle tilfældige lingvistiske opgaver, men
4:19
faktisk bliver på de opgaver, som som de møder i
4:21
virkeligheden, så de forsøg på at skabe nogle sprog ressourcer,
4:24
som er ligesom bredt anvendelige i en dansk kontekst og gøre det
4:27
så åbent som overhovedet muligt. Jeg tror bare lige for at
4:33
definere vand, hvad vi mener, når vi siger sprog modeller vi
4:37
sproget modeller chatbots af i hvad er det vi snakker om, når
4:41
vi snakker om det FM men der snakker vi, hvad hedder det man
4:44
særligt har set en masse modeller at man har set siden
4:47
2017, så ser man i stedet for at gå fra at have de her
4:52
ekspertsystemer, som for eksempel til anonymisering af
4:54
tekst eller til at oversætte tekst, så begynder man at få de
5:00
her. Genudpege systemer hvor du har
5:03
en Sådan grunde model og så kan du træne den bedre og så kan du
5:07
Sådan finjustere den til forskellige ting og Sådan hvis
5:10
du tager den tendens til en ekstrem, så begynder du at have
5:12
de her helt generelle systemer som chat kan bytte hvor at du
5:16
næsten altså hvor overhovedet ikke Sådan.
5:18
Som bruger træner den til noget specifikt den.
5:21
Den er bare lavet til at kunne svare på spørgsmål i en bedre
5:25
forstand. Og så det man særligt ser er at
5:28
man kan finjustere den specifikt til specifikke sprog.
5:31
Og så klarer de sig bedre der, og det vi særligt vi gerne vil
5:35
have, er, at det skal være nemt at udvikle modeller til dans.
5:39
Og når Vi har spurgt modeller, så er det både til.
5:43
Tekst, men Det er også til lyd. Og det hvorfor er det?
5:47
De er så vigtigt, men Det er fordi mange både Sådan
5:49
forskningsspørgsmål og industri, der hedder cases er har bruger
5:56
ligesom sprog eller lyd som interface eller så fremtidens
5:59
teknologi bliver. Bliver hvad er det det hedder en
6:03
eller anden form for interaktion med lyd eller med tekst og så på
6:08
den måde, så hvis du ikke kan, hvis du ikke kan servere med
6:10
den, så kan du interagere med sit nologi på dansk.
6:12
Så kan man også bare at hvis du laver en forbedring på en af de
6:15
her Sådan grundsprog modeller, så skal du bare en forbedring på
6:18
alle dine krises. Alt hvad du har, så hvis vi kan
6:21
ligesom forbedre grundmodellen for dansk, jamen så har jeg bare
6:23
kæmpe gevinst. Ja for alle der sidder i en
6:26
virksomhed, Der er Sådan. Du nævnte også ret smukt.
6:31
Du nævnte også noget Lasse der Jeg synes der der også er ret
6:34
relevant her det der med at. Jamen vi kan jo ikke alle kan jo
6:39
ikke bare kalde open air chat PT så det der med ligesom at have
6:45
noget som som man kan tage ind og køre på en en mindre server
6:51
og rent faktisk få nogle nogle hæderlige resultater og Sådan
6:55
noget. Det har jeg bare en kæmpe værdi
6:57
i sig selv. Så er det da helt klart at at
7:01
altså jeg ser også det der. Potentiale i at small and fast.
7:08
Kunne ingen dirty eller hvad skal jeg sige?
7:09
Altså Der er et eller andet. Det slår næsten de der store
7:13
sproget modeller II mit hjerte fordi Jeg synes bare det.
7:17
Det har jeg bare så meget mere værdi på en eller anden måde.
7:20
Så. Folk værdi i så snart du
7:23
begynder at kende så snart du har kontrol over ting kan du
7:25
koste mig vise til din you case og så snart du begynder at få
7:29
intern data hvor vi ser hvordan bruger svarer så kan vi bruge
7:33
det til at forbedre Vores model. Jeg kan ikke Jeg kan ikke bruge
7:36
mine data til at forbedre chat kapitel.
7:40
Det er sjovt fordi Jeg kan huske da jeg startede med at rode med
7:43
med med transformere modeller der ja mon ikke har været noget
7:48
2021 eller andet deres arbejde på ekstra Bladet der begyndte
7:52
man jo Sådan ligesom at finde ud af.
7:53
Der er måske noget med de her transformere modeller.
7:55
Dengang var det meget Sådan en coating model og Sådan noget, så
7:57
har man lidt ah Det kan noget af det her og det virker til at
8:00
være state of the art og skulle vi ikke lige kigge lidt mere på
8:02
det og Sådan noget. Og der kan jeg huske.
8:04
Der kiggede jeg på om der var noget på dansk en eller anden
8:07
form for Det var så burde dengang en bird encoder model på
8:11
dansk, og det viste sig så, at der var den her virksomhed som
8:14
hed butik show, som som med Henrik fabrin II spidsen med.
8:21
Jeg tror han kan det passe. Ja, Det har Jeg har i hvert fald
8:25
været. Jens Møller har jeg ved ikke, om
8:26
han var ansat som city of der, men i hvert fald jens Møller
8:29
høj, som var ansat i body show, som senere blev omdøbt til
8:33
Sydney. De trænede en en dansk
8:35
bordmodel. Til deres chatbot virksomhed, og
8:38
Det var Sådan den den gal sagde. De så bare ud på nettet gratis
8:41
til til fri afbenyttelse, og Jeg kan huske Det var Sådan, for Det
8:44
var normalt at putte modeller op på hocking face, så den lå bare
8:47
ligesom deroppe et eller andet tensorflow format og Det var i
8:52
lang tid den model som jeg brugte som de i forhold modeller
8:55
til til dansk. Ja og Sådan og og det og så
9:00
begyndte så kom malte med malte højmark Bertelsen med elektra,
9:03
og så begyndte ligesom at ske nogle ting ind i deres base
9:06
begyndte at se flere og flere bud på det, men jeg ja og Det er
9:10
bare. Det er bare sjovt når man har
9:12
fulgt med siden dengang, ligesom at se hvad det hvad Det har.
9:15
Hvad det ligesom er endt med. Fordi og i startede jo også så
9:20
vidt jeg husker med Sådan det her med mere at træne Sådan
9:24
altså hvor fokus var i højere grad på en coder modeller til at
9:26
starte med, ikke? Hvis ikke projektet har udgivet
9:32
2 Sådan statut de art modeller som jeg Sådan kraftige eller
9:35
Sådan anbefaler på et set. De ugentlig basis, og Det er den
9:40
her en og den her. En kutter model og en anden er
9:43
Sådan en lyde. Sådan lyder en scooter og altså
9:52
Jeg tror de kom særligt, at vi følte der var en stor mangel på
9:55
dansk. Altså fordi at der var den her
9:56
danske model, men. For eksempel.
10:00
Jeg kan huske i starten, så håndterede den ikke altså den
10:02
håndterede ikke aa. Det var først efter en fiks
10:07
senere, at det begyndte. Ellers så indkodede den bare af
10:11
som eller aa som a. Ja vi havde også.
10:15
Jens mindre at lave nogle af de første dele af det, men han var
10:18
en del af det i starten. Og.
10:20
Og Det var jo noget han havde siddet og rodet.
10:22
Det var meget svært dengang. Altså der var i Kongens
10:24
transformers. Det var og at gøre det så nemt
10:26
som Det er nu, så han har måtte tage en hel masse beslutning.
10:28
Hans som måske ikke har været helt best practice i dag i hvert
10:31
fald. Det.
10:34
Det er sjovt det der, fordi fænomenet med at at der sidder
10:37
nogen der lige bare har leget med det og Det er så det der
10:40
ligesom er state of the art lige pludselig.
10:42
Det synes jeg går lidt igen også.
10:45
Hvad kan man sige i danske kontekst?
10:47
Og det siger lidt noget om og meget fokus Vi har på at få
10:51
skabt. Nogle danske sprog modeller
10:54
altså alt respekt til dem som sidder og gør det selv derude
10:59
ikke? Men men Det er ikke Sådan super
11:01
meget organiseret, Vi er omkring det.
11:04
Og hvad fornemmer i altså hvor du skal måske der Vi har nemlig
11:08
Sådan det næste skridt her. Jeg tror Det er et spørgsmål,
11:11
Det er Sådan hvor hvor hvor er vi henne i det der i Sådan en
11:13
fase altså hvad mangler vi folk som at komme videre i dansk
11:17
sprogteknologi? Hvad siger i til det Sådan?
11:20
Nu kommer jeg store spørgsmål status ligesom hvordan hvordan
11:24
står det til? Ved dansk sports teknologi.
11:28
Spørgsmål, du skal bruge ikke du skal bruge.
11:31
Data, du skal bruge computer, og du skal bruge mandetimer ikke
11:37
og. Normalt så tænker man det
11:40
computer vi mangler. Vi mangler computer.
11:42
Og Det er faktisk ikke det, der har været Sådan det store.
11:46
For os der igennem Sådan research infrastruktur kan du
11:49
faktisk søge Sådan OK mængder computer, så længe du Sådan kan
11:54
retfærdiggøre, at du skal bruge det.
11:56
Det der Sådan er virkelig hvad det hedder det der virkelig
11:58
havde været svært at finde. Mandetimer altså løn til
12:04
mandetimer, som man kan bruge til at udvikle, fordi folk vil
12:06
gerne Google vil gerne kigge computer.
12:10
Vi kan få det til at samarbejde med det kongelige bibliotek og
12:13
så videre. Men det der med at finde nogle
12:14
der gerne vil fonde at man laver den her.
12:17
Ingeniørarbejde, som det jo egentlig er at skabe denne
12:19
struktur og skabe det der med Det har bare vist sig.
12:23
Ikke som Sådan forskning vel? Det er jo mere Sådan en.
12:26
Altså Det er mere Sådan opgave. Eller sten for meget andet
12:29
forskning på en eller anden måde.
12:32
Det Vi har gjort før i tiden, er, at Vi har fundet forskning i
12:35
lignende, altså projekter, der skulle bruge sprog modeller, og
12:38
så har det givet noget funding tilbage til sport modellerne.
12:42
Men det gør jeg Sådan. Sport modellen altid bliver
12:45
Sådan en anden rangs borgere i forskning.
12:47
OK. Det det man kan se, når over
12:52
Sverige har været rigtig gode til at gøre.
12:53
Det er, at Norge har for eksempel lavet, hvad er det
12:57
nogle stærke biblioteker, der sørger for at udvikle
13:00
sprogteknologi til norsk? Og det hedder de Sådan lagt det
13:04
som en ressource på biblioteket som en ret stærk Sådan data
13:09
institutionen eller lige pludselig står universitetet for
13:13
ligesom at skulle? Hvordan udnytter vi bedst den
13:15
dag til at være til rådighed, og hvordan giver vi den til
13:17
borgere, hvorimod? Sverige har gjort det mere som
13:22
en. Altså der har også været en
13:24
biblioteker, men det der har været Sådan helt for stor fokus
13:26
har været i suiten, som jo så vidt jeg forstår.
13:30
Primært er en Sådan Alexandra agtig Sådan blanding af en
13:34
forskning og. Virksomheden.
13:39
Som udvikler er det. Det hedder særligt baseret på.
13:42
Så vidt forstår funding fra en fra en rigmand i Sverige.
13:48
Og så kom tilbage med status. Det er i måske har Danmark været
13:52
meget cowboyland, og Det har været de her motiverede
13:54
individer, der har der har siddet derhjemme har lidt sammen
13:57
som jens og meldte og Sådan noget, men Jeg synes Vi er klart
14:00
begyndt at se meget mere samling på det, så der bliver stærkt
14:04
samarbejde med for eksempel som laver helt vildt mange ting på
14:08
det her område og. Af virksomheder i København, som
14:11
som almindelig Vi har samarbejdet med om at lave lyd
14:13
modeller, som også laver en masse evalueringer og på k laver
14:16
de også benchmarks til generative modeller der.
14:18
Der er virkelig mange spillere, der nu begynder at spille mere
14:21
sammen og prøver at samle kræfterne og prøver at lave
14:23
nogle mere. Ja, nogle mere gennemtænkte ting
14:25
og nogle mere ting, som foregår i et samarbejde, som man faktisk
14:28
kan rykke feltet på en mere end bare en hvid.
14:31
Der ligger en model ud, og så bare så ligger den der, men det
14:34
så får vi lige er på det og have et mails noget mere bedre
14:37
infrastruktur ligesom at bruge dernede nu.
14:40
Det må da også være hvad hedder det?
14:41
Det må da være mega fedt, men jeg tænker også hvordan har i
14:43
oplevet her? Det sidste års tid er 2023 med
14:46
chatdk te bølgen har altså har i kunne mærke Sådan øget interesse
14:50
for projektet og Sådan øget samling og Sådan noget på på på
14:54
hvad skal man sige folk i forhold til det?
14:58
Og Det er det helt sikkert, havde faktisk sidste år både med
15:00
henvendelser fra virksomheder og fra samarbejdspartnere og.
15:03
Ja. Det har også været nemmere at
15:06
få, altså Det har gjort så hvis du havde spurgt mig for til at
15:10
købe, så ville jeg have sagt data var den helt store.
15:13
Det helt store problematik. Men Det er at Det er at folk
15:17
tydeligt kan se, at Der er en effekt af det nu gør.
15:20
Det gør både at Sådan at at folk kan se en værdi i at nå, men vi
15:25
giver noget data her, og så går vi en model tilbage, som vi kan
15:28
bruge. Det gør også, at folk fylder
15:32
deres data mere værd, hvilket vi kan snakke om efterfølgende.
15:35
Men men det der med Sådan at at fortælle om hvorfor Det er vi
15:39
laver det vi gør, og hvorfor Det er vigtigt, Det er pludselig
15:42
blevet tydeligt. Ja.
15:44
Så har man fået et kæmpe kæmpe rygstød i tasken PT.
15:49
Så det bliver nemmere at fortælle om, hvad man gør, hvad
15:51
i laver simpelthen. Meget mere tydelig.
15:56
Altså så jeg hører jeg hører, Jeg har taget fejl det sidste
15:59
stykke tid, hvor Jeg har tænkt, at Det er data Der er problemet.
16:01
Det er data, Der er problemet, Vi skal have.
16:03
Vi skal have samlet de her ressourcer, og Vi skal ligesom
16:06
have have gjort det bedre, mere tilgængeligt og Sådan nogle
16:08
ting. Men det du faktisk siger eller i
16:10
begge 2 siger, Det er jo at at Det er faktisk mellemtime til
16:13
ligesom at få få gjort noget ud af det her og få måske få
16:17
struktureret data og virkeligheden.
16:19
Det tænker Der er meget arbejde i også hvis man nu man skulle
16:21
forestille sig en eller anden dansk LM altså Vi har jo altså
16:26
vi kunne godt tage ravl og krat hvad vi havde liggende nu og så
16:28
køre men men Det er jo ikke Sådan rigtigt det vi giver.
16:30
Vi skal lige sortere lidt i det for at vi får noget ikke der Der
16:34
er godt så og Det er jo netop det der kræver manden timer på
16:38
en eller anden måde, så Det kan jeg egentlig godt se pointen i
16:41
at okay Der er mange Der er meget data villighed sikkert
16:44
derude nu efter chat kan vi se. Altså Det er jo Det er jo
16:47
positivt, men så skal vi så skal vi så samle os og om at få gjort
16:51
noget ved det? Jeg tror også du har ret i at
16:54
der ikke er. Altså Det er rigtigt nok der
16:56
ikke er data så meget data offentligt tilgængeligt, men Vi
17:01
har altså Der er mange ret imponerende modeller der har
17:03
trænet på den lille mængde data Der er, og det at det at udgive
17:08
data og Det er Sådan også udgive et godt kvalitets datasæt er
17:12
også en ret altså kræver ret meget.
17:15
Det er ikke længere altså før tid skal man bare udgive.
17:18
Have nogle sætninger, så den gamle sprog datasæt er ekstremt
17:23
stærkt annoteret. 2 sætninger. Eller måske altså?
17:28
Jeg tror Sådan danish dependency bank som er den Sådan.
17:34
Finest er noteret danske sprog ressource man kan komme forbi.
17:39
Det er jo Sådan noget 500 sætninger tror jeg i alt hvilke
17:43
data absolut ingenting. Altså al respekt til den
17:49
ressource. Det er bare ladet til at træne
17:52
sammen eller kongen. Nej.
17:56
Ja men. Hvad hedder det?
17:57
Jeg kom til at tænke på bare lige ved nu altså Vi er jo
18:00
rimelig nørdet alle sammen, så vi ved nok godt hvad Det er for
18:02
nogle modeller i arbejder med, men bare lige Sådan for at bare
18:05
lige for at lad mig lige prøve at brække det ned, hvad Det er
18:08
Sådan helt konkret for nogle modeller som i arbejder med og
18:10
så kan i rette mig hvis jeg tager fejl eller hvis Der er
18:13
noget jeg mangler det ene. Det er en kode en coating altså
18:17
en coder modeller som tager tekst og laver dem om til
18:19
vektorer og basically. Og Der er vel har jeg ret i hvis
18:23
Der er 2 typer af dem altså Der er ligesom en type Der er til du
18:27
ved til præge træning til videre præg, træningsbrug og så er der
18:31
Sådan en coder modeller som er lavet til en betinges altså
18:34
Sådan en betinges til similarity anvendelse.
18:39
Ja Det er rigtigt, forstået? Ja Sådan cirka.
18:44
Derudover, så er der, hvad skal man sige?
18:47
Så kan man sige, så er der tale modeller altså modeller som
18:50
tager ja jeg ved ikke. Kan man også godt sige, at Det
18:54
er jo så typisk de her way 2 væk arkitektur så vidt jeg forstår
18:58
man bruger og Det er simpelthen modeller som tager tale ind og
19:02
embedder. Ja fordi så er der jo også lige
19:05
hjælpe mig her, fordi så er der wifi modeller.
19:08
Der er vel også en form for cooder type modeller som laver
19:13
tale. Embedding eller hvordan skal det
19:15
forstås? Så kan det være de her
19:17
teambuildings til for eksempel tales tekst.
19:21
Men så det vil sige du skal have 1, 1 1 1 køter som laver dem om
19:23
til en betting og så skal du også have en decoder som laver
19:25
dem om til til tekst altså. 20. fintunede de er scooteren
19:33
basically. Hvad er det?
19:37
Ja længe siden. Jeg har heller aldrig lige fået
19:41
dykket ned i det. Det er også ligemeget.
19:44
Nå den har den har i hvert fald den.
19:47
Men det ser ud nu. Der er i hvert fald.
19:50
Ligner meget 1 1 1 kutter model som laver en betting og så kan
19:55
du lægge et lag på som du træner til.
19:57
Selve hvad hedder coding til tekst eller du kan have de her
20:02
end 2 end modeller som whisper som bare går direkte i tekst.
20:07
Så er der den sidste og det må vel så være det der så var
20:10
blevet super relevant her inden for de sidste års tid, nemlig de
20:13
her generative language. Eller hvad skal man sige, når
20:16
mange der kalder dem for language models?
20:18
Men men men Det er virkelig Sådan en PTID koder til 20
20:22
modeller som genererer tekst er det hvis jeg siger at Det er de?
20:27
Ja nu kan jeg ikke hvor mange der var 1, 3 4 5 typer er det så
20:32
dækkende cirka. Ja, det tror jeg ja.
20:37
Ja ja. Det, og Det er særligt for
20:40
tiden, så er det særligt de her generative sprog modeller, vi
20:43
fokuserer på. Vi har ligesom lavet 2
20:47
repræsentative modeller i de andre kategorier, og så har vi
20:51
været, der hedder fokus på de her generative modeller nu.
20:54
Og så kører. Der er lidt sideprojekter med de
20:58
her. Embedding modeller Sådan general
21:01
purpose, som man bruger til til søgning eksempelvis.
21:07
Som vi kan lide på sigt på, men Det er Det er helt sikkert de
21:10
generative modeller, Der er det helt store fokus endnu.
21:15
Ja fordi hvad? Hvad måske også være relevant at
21:18
spørge Sådan hvad er? Hvad skal man sige?
21:20
Hvad, hvad har II Sådan lige nu eller hvad man skal sige?
21:23
Ja Sådan hvordan er hvad hvad? Hvad kører der af projekter lige
21:25
nu og hvordan går det Sådan med det?
21:29
Jamen Det er klart at træne de her små hænder til modeller,
21:31
eller i hvert fald få få dataen klar til det og få
21:33
infrastrukturen klar til det. Vi har fået nogle penge på
21:35
lommen, som er en 5 supercomputer som har MDP, så
21:39
der har siddet Rasmussen fra Alternativet og nogle andre det
21:42
end at sidde der bruger lang tid på at sætte noget træningsskole
21:45
der kunne køre på det, og mens han vil sidde og kuraterede
21:48
dataen og lavet en hel masse data rensning og brede klargjort
21:52
det, så vi kan få skudt nogle ting afsted der, og derudover
21:55
også bare samle data, få lov til at bruge data fra forskellige
21:57
kilder. Ja, Det har været stort fokus
22:01
indtil videre. Så det sidste sidste halve år
22:04
har gået rigtig meget med. Data adgang data rettigheder
22:09
data Jeg vil sige meget lille del er gået med data rensning og
22:13
meget stor del af gæsterne og få lov til at bruge data.
22:17
Men Det er heldigvis giver os nogle.
22:20
Rigtig gode aftaler også som ikke Sådan.
22:25
Hvor man altså fordi mange af de her ting med Sådan hvad er det
22:28
det hedder den nye lovgivning og alt det der med tolker dem, så
22:31
så forskningsmæssigt kunne vi nok egentlig godt bare Sådan. 5
22:36
nettet. Men Det har vi valgt ikke at
22:39
gøre, fordi du kommer med en masse rettigheder for forfattere
22:43
og lignende, og maldon udgive modellen og er det brudepar
22:45
rettigheder her, da vi indgået nogle samarbejder med
22:50
institutioner, som er dataejere. Og det virker både som Sådan en
22:55
langt mere langtidsholdbar løsning, men også Sådan mere som
22:57
en ansvarlig løsning. Og Det har nok sænket farten
23:01
lidt på, hvor hurtigt Det er gået, men Jeg tror Det er sikre,
23:05
at møderne bliver taget ned om 2 år.
23:08
Ja. Det lyder som Jeg har lavet alt
23:11
det rugbrødsarbejde Vi har snakket om herinde på podcasten.
23:15
At hvis nogen skulle gå i gang med noget nu, så var det det.
23:17
Det er Sådan set det i har siddet og lavet.
23:20
Det, Det er jeg da glad for at høre, men.
23:23
Må man så ikke lige spørge bare for for nysgerrige du i må sige
23:26
til hvis i kan sige så meget om det, men altså hvad vi så hvad
23:29
vi så ude i, altså hvad? Hvad satser vi på at at eller II
23:33
på at køre for 1 1 1 træning? Hvor stor skal det være hvor
23:37
småt skal det være, hvor meget tekst har vi?
23:39
Er det i høj kvalitet eller lav kvalitet kan ikke prøve at løfte
23:42
sløret for det, det lyder næsten Sådan helt jeg finder popcornene
23:45
frem lige om lidt. Jamen.
23:50
Vi har søgt til 7 milliarder parametre model som den 1.
23:55
Og Vi er det der hedder Bjørn. Vi får bare få noget ud hurtigt,
23:59
så kører vi nok en videre prægning en.
24:02
Den bedste 7 milliarder var model vi kan finde som nok nu er
24:06
mistet. Ja og så bagefter hvad det
24:10
hedder, fortsætter vi nok på en altså på at træne en fra
24:13
scratch. Så sikrer vi også, at vi ikke
24:16
Sådan arver. Hvad er det det hedder
24:18
datarettigheder eller problemer med data?
24:21
Ja. På på Sådan en datasiden, Der er
24:26
vi i hvert fald. Altså Vi er.
24:30
Et langt stykke over 100 milliarder renset tokens.
24:35
Og hvis vi kigger så sidste gang, da vi trænede Vores bird
24:40
modeller tilbage til den. Det er FM Larsen coder.
24:43
Det havde de omkring 100 milliarder, og der brugte vi det
24:47
danske internet frem til 2016, og Det er cirka 100 milliarder,
24:50
rensede tokens. Og nu har vi gået den frem til
24:56
det seneste, vi kan få. Og altså og mængden af data på
25:02
nettet stiger helt ekstremt per år.
25:05
Så altså Vi har meget mere data der.
25:09
OK, det kommer an på hvor langt vi ligesom vi kørte tilbage alt
25:11
efter meget der skal gå. Og bare for at sætte det i
25:15
perspektiv. Måske så 100 milliarder tokens.
25:17
Hvad er det i forhold til Sådan, hvad man kunne forestille sig
25:20
måske 3,5 til 3,5 eller nogle af de der andre?
25:23
Hvor meget er det Sådan relativt?
25:28
Så mit jeg ved ikke hvad jeg ved ikke hvad 3 kan vi sige?
25:32
3 var trænet på. Men jeg ved at en replikation af
25:36
GP 3 fra Google deepmind brugt 100 milliarder donuts.
25:42
Så altså så Vi er. Via Sådan.
25:47
På data niveau, så tror jeg Vi er omkring 3 5 niveau.
25:50
OK. Hvad kan i sige, at det skal
25:52
være altså. Der er nok en vej til at komme
25:55
op på en. På en 4 niveau i data.
25:59
Uden at vide, hvad Det er? Altså.
26:04
Hvad hedder det nu her? Jeg har jo faktisk contributed
26:06
en lille bitte bitte smule til det FM, og Det har faktisk været
26:09
med hensyn til rensning af data, altså prøve at lave en eller
26:12
anden form for kvalitets filter til rensning af de her datasæt.
26:16
Og hold da kæft hvor er det meget forskelligt data.
26:20
Der er noget i de der store offentlige.
26:23
Nu var det især det her MC 4 datasæt kan i bare prøve at
26:26
sætte et par ord på. Hvad er det for noget data der
26:29
gemmer sig nede i de der gigantiske datasæt eller Sådan
26:32
har altså har i noget? Kan i prøve at se på det?
26:38
Alt, hvad du kan forestille dig at mærkelige sider på
26:40
internettet kommer jo med. Jeg ved ikke hvor meget sorteret
26:44
fra og Manuel kan du haft nogle fede filtre du har prøvet at
26:46
søge på nogle få og Sådan noget finde ud af hvad der skal væk.
26:52
Men Vi har dælme haft nogle. Især jeg havde Sådan en session,
26:56
hvor Jeg har forsøgt at gøre meget, men altså på engelske
26:59
modeller er det et meget stort fokus, at man filtrerer med
27:03
specifikke typer content, Sådan særligt pornografi i.
27:09
Sådan havde beskeder. Vi skulle lige content frem og
27:16
jeg prøvede at lave Sådan et. Fotografiske filtre på dansk
27:19
eller på engelsk ligger rigtigt dårligt på dansk, så vi prøvede
27:22
at lave Vores egne. Og de har været.
27:26
Så svær at lave. Også fordi at.
27:30
Vise mig det der filter der fede store.
27:33
Så kigger man på Sådan når man Jeg har en liste over
27:35
hjemmesider, så Der er kommet noget frem og Sådan det der
27:37
ligner dig ikke på nogen og så søger man lige på den i
27:39
browseren. Førstepladsen.
27:43
Det er ikke sjovt manuelt arbejde det der.
27:44
Det kan jeg godt forestille mig. At man er glad for, at man
27:47
sidder med Sådan computeren til væggen, når man.
27:52
Ja. Men.
27:54
Kan du huske dit pornofilter, der som der sad og arbejdede på?
27:57
Fordi dansk porno egentlig er meget venligt altså.
28:01
Så så kommer. Vi på den anden side og så.
28:04
Så er det en eller anden. Svend, der skriver om hvordan
28:10
han hvad er det det hedder han takker hvad er det det hedder
28:13
gertrud for i sidste uge. Han var glad for at han kom
28:16
hjem, kom hjem til hende og nyde lidt lidt analsex, så Det var
28:19
rigtig dejligt så meget høfligt Sådan.
28:26
Vi vil gerne have samtale, men altså hvad er det det hedder?
28:28
Den var meget venlig, som vi i princippet skal man prioritere
28:32
det fra. Det ved jeg ikke.
28:35
Det lyder helt dansk at lade det blive i datasættet.
28:38
Det er lige før det bliver mindre dansk.
28:40
Den der model der hvis vi fjerner ballen.
28:43
Ja og Der er ja, Danmark har været tidligt til at legalisere
28:47
porno, så Der er også ret mange. Jamen Det er jo det.
28:50
Det er jo det danske historie. Hvad hedder det bare lige hensyn
28:55
bare lige nu og nu vi snakker data hvad hedder det så det at i
28:59
er i gang med nu? Det er det her præg trænings
29:02
step er en stor landbrugsmodel eller i Sådan 1 7 milliarder LM
29:06
der. Hvad, hvad, hvad, hvad, Sådan en
29:10
ting? Hvad tænker i om?
29:11
Fordi så skal der jo typisk noget Sådan noget instruktion,
29:15
tuning eller noget chat tuning og måske noget reinforcement
29:19
learning, coming feedback eller en eller anden form for
29:20
præference tuning ovenpå for at give dem den her.
29:25
Skal man sige alignement mod eller at lære den ligesom at
29:28
følge instruktioner og chatte og så videre.
29:30
Hvad har i tænkt over, hvordan Sådan noget kunne lade sig gøre?
29:36
At få konstrueret sig nogle datasæt eller få lavet noget i
29:38
den stil. Jamen Vi har ikke været stor
29:41
fokus for os indtil videre. Vi har fokuseret på at få lavet
29:44
den her prægning, som også er den helt store og dyreste
29:47
opgave, så Vi har tænkt lidt over det og prøver at række ud
29:51
til nogle forskellige. Du har snakket med sundhed dk
29:53
for eksempel, så Vi har selvfølgelig haft det i
29:55
tankerne, men Det har ikke været fokus for projektet endnu.
29:58
Nu skulle vi lige have have klaret den her første del først,
30:01
før vi ligesom tager en fordel, for man kan rigtig mange ting
30:04
bare med den her grundmodel. Så og få den på plads som som
30:08
første skridt. Det har virkelig været ja også
30:10
kun fokus. Hvad?
30:13
Fordi også nej undskyld siger du kender.
30:17
Ingen er så meget den dyreste del, så det at vi kan lægge en
30:20
petrin og model ud, som folk kan bygge videre på.
30:24
Der er så meget vigtigere end næsten.
30:26
Jeg tror næsten vi kommer til at være Sådan en.
30:27
Vi lægger en trænet model ud, og så skærer vi op på den krævede
30:31
model, og så sælger vi op på den pretzel igen.
30:34
Og så så håber vi på, at Sådan community begynder at lægge
30:38
nogle instruction tunede versioner ud.
30:41
Det tror jeg helt sikkert nok skal ske, når først der kommer
30:46
Sådan en på dansk der der der virkelig batter det.
30:49
Det, Det er næsten ikke i tvivl om altså så så må der ske et
30:52
eller andet. Men jeg tænker Sådan, hvis man
30:54
skal lave, altså nu siger i at præge træningen.
30:57
Den her store træning med 100 milliarder tungen så videre er
31:00
den dyre del kunne man ikke godt argumentere for, at Det er den
31:03
dyre del i forhold til computer. Og du ved, få det her til at
31:07
spille og Sådan noget, men hvor i den anden del altså hvis man
31:11
for eksempel skulle lave et fuldt chat datasæt og du ved RAF
31:16
datasæt fra scratch, så er det vel.
31:19
Det er vel også Sådan okay dyrt tænker jeg og OK ja.
31:24
Det er du, men Jeg har smidt ufattelig mange penge på at have
31:27
ansat eksperter til at sidde og lave de her spørgsmål og svar og
31:29
Sådan noget. En ekstrem omkostningstung
31:31
opgave hvis du skal sidde og lave det helt fra bunden.
31:34
Ja. Jeg tænker bare Sådan jeg
31:38
sidder. Nu er det tilfældigvis sidder
31:40
jeg og arbejder på et på et lignende projekt i øjeblikket
31:42
ved øjeblikket, og der har jeg jo ikke tænkt mig at sidde
31:45
manuelt at lave de her instruktioner.
31:47
Branche, hvad hedder det datasæt simpelthen, men der har jeg jo
31:52
taget udgangspunkt i noget open source der findes, og så ligesom
31:56
er planen ligesom at prøve at se om man kan få det oversat til
31:59
dansk så høj i så høj kvalitet så som muligt.
32:03
Men så er der jo alle mulige forskellige uha.
32:06
Jamen så er det genereret af GP 4 og så har de rettigheder og du
32:10
ved så kommer hele det. Igen, hvor man skal til at
32:13
igennem det der show, så det virker ikke som om Det er Sådan
32:15
en en gangbar vej fra Sådan 1 1 1 projekt, hvor man ligesom
32:19
prøver at have styr på de der ting vi ser i det som.
32:25
En den eneste vej ud, så ligesom at sætte sig ned med med
32:29
blyanter og eller foran tastaturet og så bare lave
32:32
datasættet manuelt med en hær af.
32:34
Hvis dygtige folk til at sidde og lave det eller eller hvordan
32:38
tænker i det? Altså generelt kan jeg sige.
32:43
Man får nogle gange virkelig meget ud af at sætte sig ned og
32:45
kigge på data, altså så ingen og det Der er der nogen der gør.
32:51
Rigtig godt og jeg hvad det hedder.
32:53
Bolette fra KU har lavet en benchmark fra eksisterende
32:57
danske sprog ressourcer, som Sådan nogle wordnet lignende
33:01
Sådan. Det her ord kan demokratiseres
33:04
på den her måde her. Og så tjekker vi bruger det til
33:07
at benchmarke, hvordan modellen er klarer sig, men måske kunne
33:10
man bruge det til at generere, hvad er det det hedder Sådan?
33:14
Hvad er det der hedder en Sådan eller Sådan?
33:17
Spørgsmål og svar. Det er et sæt omkring Sådan en
33:19
sprogforståelse, og så kunne man forestille mig at gøre det andre
33:22
lignende med andre ting, for eksempel sundhed der DK, som Vi
33:26
er. Vi har ikke en aftale i hus med
33:28
Sådan noget i dk, men. Så sent deres hjemmeside er
33:31
bachelor et spørgsmål omkring hvad er den her sygdom?
33:34
Og så efter et svar. Og hvad gør man hvis man får den
33:37
her sygdom? Når man så er der nogle svar
33:38
her? Hvad siger doktoren, hvis du får
33:40
den her sygdom, så er der nogle svar, så du kan forestille sig,
33:43
man kunne. Det kan være, vi kan gå ind i
33:45
Vores datasæt, og Vi har et kæmpestort et og så finde
33:47
spørgsmål og svar. Der er naturlige.
33:50
Og så bruge dem. Men mit gæt er, at der kommer,
33:53
og Det er der allerede ved at komme med en masse ideer i
33:56
forskningsfeltet. Hvordan man Sådan kan enten
33:58
autogenererede det eller. På modellen selv til og lave
34:04
generere spørgsmål og svar, for eksempel bootstrappe sig på.
34:08
Som ikke er der at det at tage det hele eller skrive det hele
34:12
fra bunden af. Måske ikke bliver så nødvendigt,
34:16
som Det var for 2 år siden. Faldt en kæmpe dyr opgave, men
34:20
Der er de her juridiske udsmidere eller tilskuere som
34:23
som du snakker om Kasper har at. Det er ikke rigtig afgjort
34:26
endnu. Der har ikke været nogen
34:27
afgørelser fra nogle nogle dommerkendelser endnu om hvad
34:31
man egentlig bruge de her data, Der er genereret af for eksempel
34:33
chip til det siger bare. Du ikke med?
34:37
Ja, det skal vi nok vente det noget tid på at få de der meget
34:41
juridiske klare svar på, hvad vi må og hvad data, hvad vi ikke må
34:44
med dem. Men men Jeg tror også Det er
34:47
spændende det der i og du også nævner det her med bootstrap så
34:50
til at at generere den slags data Sådan nogle ting og det ser
34:53
vi jo også at Der er masser af nye løsninger som heller ikke er
34:57
så tunge som som renforcement løsning med human feedback som
35:00
DPO for eksempel og alle de der. Det her direct præference
35:05
optimisation og og den gode masse Henriksen med med dansk
35:09
giphy har jo også løftet sløret for at at at hvordan er han
35:12
overhovedet kommet derhen, hvor han har fået den slags?
35:14
Men han har på en eller anden måde bootstrapped af vejen til
35:17
det på en meget elegant måde. Ikke så så så tror jeg da også
35:22
at det. Det må være det vi så gør, når
35:24
når den der foundation model kommer ud.
35:26
Det er så begynder vi at prøve at bruge den til at ligesom at
35:28
lave noget af den slags tekst, Vi skal bruge til det andet, så
35:32
den bootstrappe og fødder ind i sig selv.
35:35
Men det skal der nok være nogen, der får en masse sjov mere.
35:38
Vi kan jo køre den på Vores homegrown p ur derhjemme, for
35:40
Det er jo kun 7 7 b model, så Det er jo passer jo perfekt.
35:45
Vi glæder os allesammen. Det er sjovt altså man ser de
35:49
her Sådan trends med folk som begynder at lave de her.
35:52
Der er det her der hedder trending brands mørch tror jeg
35:55
altså hvor basic folk tager en model finjusteret på den og så
35:59
laver jeg en publiques tilbage og siger Jeg har fikset lidt på
36:02
jeres model. Kan i lige opdatere den som
36:04
Sådan ligesom en en pulje quest på normalt?
36:07
OK så spændende. At Der er nogen der ligesom
36:10
siger nå okay jeg træner lidt videre på den her model, og så
36:13
laver jeg en march tilbage, at man kan forestille sig at vi
36:15
kunne gøre det på. Mistral for eksempel.
36:17
Vi træner lidt videre på dansk, og så laver vi en bus tilbage
36:20
til ministeriet og siger, Vi har tilføjet danske capabilities til
36:25
jeres model, så kan i videreudvikle.
36:28
Det som en ekstra ekspert eller et eller andet.
36:31
Så man kunne også godt forestille sig, at der måske i
36:33
virkeligheden bare mangler noget infrastruktur til ligesom bare
36:37
hele tiden løbende og give dem feedback for højre og Venstre.
36:40
Og ligesom løbende, hvad hedder det marché forskellige
36:43
opdateringer ind på modellen? Det er ikke en altså.
36:46
Jeg føler ikke den trend der Sådan er har sat sig endnu.
36:48
Men Jeg synes, vi ser mere og mere af de her sprog modeller er
36:51
Sådan modulære ting man kan. Man kan sætte sammen, når vi
36:56
kan. Det er små legoklodser.
36:58
Så kan vi tage en en tekst, en scooter her og en lyd en scooter
37:02
her, og så kan vi sætte dem sammen, og så har vi en tekst og
37:05
lyd en scooter, og så kan man også.
37:08
Der er også de her, hvor de laver Sådan hvor de er liner en
37:12
betinges i. Billeder og tekst og så lige på
37:15
så skal man stille spørgsmål og svar til billeder.
37:19
Så mit gæt er, at man begynder Sådan at.
37:23
I open source community når man ikke kan få de her computere, så
37:26
begynder man at sætte ting sammen, og så er det der, vi ser
37:30
udviklingen. Interessant interessant bare
37:33
hacke sig hacke sig ud af det. Simpelthen altså.
37:36
Ja, Jeg tror på Sådan et billede generering.
37:40
Der tror jeg, at Det er blevet. Der er nogle fora, hvor de
37:42
deler. Så er der en diffusion model
37:44
til. Til hvad er det der hedder
37:47
spilkarakter af en vis type? Og så er der en diffusion model
37:51
som laver rigtig flotte skæg og så det viser sig hvis du kan
37:55
tage de 2 adaptere og plus dem sammen så får du spilkarakter
37:59
med rigtig flot skæg. Og hvad er det det hedder?
38:03
Så lægger folk her adapter og lagde sammen, som folk deler med
38:06
hinanden. For at få Sådan helt unikke hvad
38:11
der hedder diffusion modeller. Ja grineren.
38:16
Hvad hedder det måske bare lige? Jeg kan ikke finde ud af Vi skal
38:20
lige snakke om det eller om vi ikke kalde men nu prøver jeg sgu
38:22
lige alligevel. Nu snakker vi jo snakket lidt om
38:25
det her med datakvalitet og tilladelse til at bruge data og
38:29
er det renset og. Jura og alle Sådan nogle ting,
38:33
alle mulige forskellige kompleksiteter, der kan være.
38:37
I forbundet med at træne de her language models.
38:40
Der er jo en sag lige i øjeblikket, hvor at opnå Jeg er
38:44
blevet så hvad hedder det sagsøgt af New York Times fordi.
38:49
Nu er jeg meget Sådan, men men fordi de har trænet for eksempel
38:52
gps 3,5 og 4 på på New York Times artikler.
38:58
Og der har Jeg tror faktisk Det er i dag, eller også var det i
39:01
går der meldte åbner jeg ud, at de synes ligesom at det at træne
39:05
modeller på andres offentligt tilgængelige indhold.
39:08
Det er fairys Jeg har senere hen fundet ud af det her fair.
39:11
Det er en amerikansk ting, men men Jeg tror måske lad mig bare
39:16
spørge jer. Synes i, at Det er okay at træne
39:19
sproget modeller på andres offentligt tilgængelige indhold.
39:23
Ja. Og i må godt ringe i må godt
39:30
give det. I må godt give et nuanceret
39:32
altså Sådan et svar lidt vævende svar, hvis ikke fordi jeg jeg må
39:35
indrømme Jeg er ikke helt jeg. Jeg kan sgu godt se i dilemmaet
39:39
i det her, hvis jeg skal være helt ærlig altså.
39:43
Hvad jeres tanker om det? Jeg ville at det hedder.
39:48
Man kan sige at hvis du tager nogle sprog og smider det ind i
39:50
din model. Det er meget tydeligt, når man
39:53
kan sige Sådan noget af dem på nettet, så lige pludselig hvem
39:56
ejer det? Den ligger stadig godt have
40:01
været oppe af en betalingsmur ikke, og så har de taget den
40:03
alligevel og så videre. Et Sådan som.
40:11
Som dansk borger, så er der mange ting, vi får i Vores
40:14
Sådan. I Vores Sådan system som vi
40:19
bliver givet fordi man nogle betaler skat, og så får man det
40:22
ikke nødvendigvis som som Sådan Sådan velfærdssystem, så kan jeg
40:26
godt lide ideen om at. Men for eksempel vil lave de her
40:30
modeller på et nationalt plan for at man kan udbygge
40:34
ressourcer, som borgeren så kan få igen i igennem.
40:39
Lige pludselig bliver de her borgerservices bedre, hvis vi
40:41
kan få integreret de her sport teknologier bedre, så på den
40:45
måde så kan jeg godt se, Der er Sådan en.
40:47
Basically så tager du noget, du tager noget værdi fra det
40:49
offentlige pulje, og så går du tilbage i den offentlige pulje.
40:53
På den måde kan jeg godt sige som ideal her, og Det er ikke
40:56
det, der skete IUSA, men Det er det, vi forsøger at gøre her.
41:02
Det jeg. Det det man Sådan.
41:06
På en måde, så kunne det være fedt hvis system hvor man.
41:09
Lige såvel som når jeg lytter til en sang på Spotify, så går
41:11
der en eller anden lille pulje penge til dansk kunstner.
41:16
Kunne man forestille sig det samme, hvis du trænede på en
41:17
eller anden fællespulje og data, så vil der gå Sådan en
41:21
lillebitte del af den her data er.
41:23
Stammer fra en eller anden forfatter, så vil der gå en en
41:27
lille bid af dem. Pulje til forfatteren.
41:31
Selvfølgelig er det de her datamængder så store.
41:34
Så ekstremt store. At.
41:38
At New York Times i open air træningsdata altså Det er Det er
41:43
en promille. Det er ikke engang en promille
41:44
af. Det er Sådan helt ekstremt lille
41:46
mængde. At.
41:49
At at sige Sådan altså man kan sige Sådan, hvor meget påvirker
41:52
det performance er modellen, hvis jeg fjernede New York Times
41:55
ingenting. Men hvis jeg.
41:59
Aldrig, hvis jeg gjorde det med alting, så var der selvfølgelig
42:01
performance tilbage. Som Sådan, hvad?
42:04
Sådan. Hvad er effekten af noget data
42:07
specifikt ikke så meget men al data sammenlagt det ret meget.
42:12
Eller lidt hykleri i ayaz argumentation i at at Det er
42:17
fair use for dem at bruge det. Men Jeg vil ikke være fair use
42:19
for for dig Kasper at lave en standset ud af det data, som du
42:23
så får ud af dem, ikke? Det synes jeg også.
42:27
Men der men deri ligger jo også en eller anden form for Sådan
42:31
idé om at nu nævnte du det her kort.
42:35
Altså hvis en, hvis vi lytter til en sang på på det jeres
42:38
radio, så får kunstneren en lille bid ligesom med det der,
42:41
fordi nu er den her sang blevet konsumeret ikke også og det det
42:44
koster ligesom at konsumere den igen og igen, og jeg kender
42:47
igen, eller hvad Vi skal sige. Det er ligesom et eller andet
42:49
økonomisk filosofisk, rationale og II, Det er der jo også.
42:53
Hvad kan man sige med tekst bredt materiale, der går forbi
42:56
et gymnasie og bliver brugt i en eller anden sammenhæng?
42:59
Og nogen tager noget ud af en avis, klipper det og putter det
43:02
ind i noget materiale til til nogle elever på gymnasiet.
43:06
Det det på en eller anden måde kommer der også nogle nogle
43:09
penge i noget tilbage der til dem der har skrevet det.
43:16
Dem der så måtte eje det ikke, og man man kunne forestille sig,
43:19
at Det var egentlig det samme der skete her ikke?
43:21
Altså og at det så også var på den måde, vi.
43:26
Vi skulle betale for det eller åbner jeg skulle betale for det,
43:29
men så er der lidt problemer med, at det åbner jeg jo Sådan
43:32
set ikke rigtig slutbrugerne der betaler her.
43:34
Det er jo også os der bruger check GBT som er slutbrugerne
43:37
der betaler det, så Jeg tror det som New York Times nok vil
43:41
argumentere, for Det er at de ligesom produkt i ficere.
43:45
Altså de de laver et produkt oven på deres produkt.
43:48
Og og på den måde sælger de videre rettighederne.
43:55
Og så kan man jo så diskutere, hvor meget værdiforøgelse.
43:58
Til Det er at man bare har teksten.
44:00
Det det det fylder måske så en meget meget lille del, men så
44:04
betyder det jo så at den meget meget lille del af når nogen går
44:07
ind og bruger chat, kapitel eller app eller hvad ved jeg
44:10
skal så gå til New York times ikke og så skal nogle sidde og
44:13
lave en eller anden stor forkromet friktionsfri tabel på
44:17
de siger at gå ned igennem der, og så er alle tilfredse på et
44:20
eller andet tidspunkt så kommer der en pris på det der ikke, og
44:22
så siger vi Det er det det koster ikke når nogen så det
44:25
her, Det er prisen, Det er den måde vi prissætter det på, at
44:28
nogen har brugt noget materiale til tekst træning, ikke?
44:30
Og så tror jeg faktisk, at Jeg tror godt vi kan lande et eller
44:33
andet sted i Vores samfund og bare sige jamen bum.
44:37
Men, men er det ikke, er det ikke forsvinde på alt.
44:40
Det er så meget som du også, siger Kenneth.
44:42
Det er så forbandet meget data så enten så vil de her fie eller
44:48
de her royalties eller et eller andet som folk får får for at
44:52
have tekst i datasættet være forsvindende, altså forsvindende
44:56
lige små. Eller også bliver det bare
44:59
total. Giver det overhovedet ikke
45:02
økonomisk mening at begive sig ud i at træne de her lange
45:05
https, fordi for det første er det så uoverskueligt at finde ud
45:08
af alle dem, der skal have blive kommenteret før for det som de
45:13
måtte have data Der er i datasættet.
45:15
Og for det andet, så når man så endelig finder ud af alle dem,
45:18
der skal have kompensation, så er det astronomisk beløb, som er
45:22
altså blegner i forhold til til computer og annotering af data
45:27
og så videre og så videre. Så altså på en anden måde, hvis
45:30
man skulle tænke den Sådan helt ud og.
45:32
Hvis man skulle Sådan principielt tænke den helt ud,
45:36
så. Så tror jeg sgu ikke rigtig på
45:38
den løsning der der. Jeg mener, hvis hvis hvis hvis
45:41
New York Times for hvis de får ret du ved, hvis OK, men de får
45:45
så penge for det, og de har et datasæt.
45:47
Jamen så skal JP Politikens hus der også have det og så skal
45:51
Washington. En post der også her er det, og
45:53
så skal jeg hestenettet da også have det og så ved så ruller den
45:56
der ikke og og så har vi bare ikke altså så så er der bare
45:59
ikke nogen der må bruge de der apier og jeg ved godt det måske
46:03
er Sådan lidt rent juridisk og rent Sådan politisk er det nok
46:06
ikke det der kommer til at ske fordi alt muligt, men men Sådan
46:10
hvis man tager det helt ud Sådan tænker jeg i hvert fald omkring
46:13
det. Altså man kan sige på.
46:18
På kødet fonden hvor at faktisk stemme, hvor det vil sige Det er
46:22
meget nemmere fordi at når jeg udgiver kode, så udgiver jeg
46:25
typisk til under en licens. Men.
46:28
Siger typisk det her. Det må folk bruge fedt.
46:31
Underviser forhold, og så derfor må man hvad det bedre.
46:34
Så kan jeg udgive min kode og en MT licens, så må vi lade sig
46:37
tage det og bruge det. Skriv det om, så man har lyst
46:41
til. Og altså man kunne godt
46:44
forestille sig en fremtid, hvor at hver gang du lagde noget ud,
46:46
så siger du også det må du gerne bruge.
46:48
Så når jeg skriver et blogpost på.
46:52
Twitter så siger jeg. Det må folk bruge det må folk
46:55
ikke bruge eller de må bruge de her forhold.
46:58
Ja, men jeg ser det ikke Sådan dem dem der laver de her
47:01
platforme er også et dem der udvikler modeller, og at det at
47:05
de vil give brugeren den. Den evne?
47:10
Den det skulle komme på Sådan en EU regulativ.
47:14
Det er Sådan den måde jeg kunne se.
47:15
Det er Sådan absolutte. Det er Sådan lidt den absolutte
47:21
effekt, at hvorfor skulle Sådan i må bruge mit content?
47:25
Ja nej, og Det er ikke kun Sådan til.
47:27
Til platform, men også Sådan til alle der ser din post også.
47:32
Men Det kan man jo ikke blackhill tilbage i datasættet
47:35
bliver man nødt til at du ved og alle open source modeller alle
47:38
GBT alle antropiske alle Google sted ud med dem.
47:41
Dem må vi ikke bruge. Altså det kommer jeg ikke til at
47:43
ske. Vi går jo bare ud, og så sender
47:45
vi en mail til alle dem, der har bidraget til con crawl og så.
47:51
Også eller hvad hedder det? Hvad ham der med der skrev til
47:54
gertrud? Jeg troede jeg, han skal også.
47:58
Nå kommer jeg. Jeg synes Det er fascinerende.
48:02
Jeg kunne godt tænke mig at vi lige ville lave den her og så så
48:06
har jeg lige noget jeg godt kunne tænke mig at vende tilbage
48:08
til, hvis Det er helt okay med jer.
48:09
Men Det er fordi at på et tidspunkt så her til at starte
48:11
med, så snakkede vi lige kort om det her med at evaluere de her
48:16
modeller og ligesom have noget et godt.
48:20
Sætte op for ligesom at gøre det, og vi kom ikke helt ind på
48:25
det, men men hvor i forhold til hvor vi står også på på den på
48:29
den danske scene der? Hvad hvad Jeg har på
48:32
fornemmelsen, at vi mangler nogle ressourcer derude omkring
48:35
at nogle åbne ressourcer, hvor vi ligesom kan kan benchmarke
48:40
bedre også de her især de her LM og som som Det er ret svære også
48:45
at benchmarke og finde ud af. Hvad vil det overhovedet sige,
48:49
at benchmarke Sådan en model? Den er generel men.
48:52
Den er også. Måske har den nogle specifikke
48:54
områder, vi godt kunne tænke os den var god til og ja sige noget
48:58
om det der, fordi det Det er vanvittigt spændende og Der er
49:01
noget der hedder scandal og så take away.
49:05
Jamen dans som er på. På det her 5 projektet fra
49:10
Alexandra instituttet. Udgav for et år siden
49:14
valgperiode, som er blevet Sådan en et benchmark, hvor man
49:19
benchmarker skandinaviske modeller, og Det har været.
49:22
Det har været virkelig været. Det hedder godt benchmarke, og
49:26
Det er lavet primært til de her encoder modeller.
49:29
Det sidste halve års tid har. Dan primært, men jeg selv og en
49:36
række andre fra projektet har udviklet med den.
49:41
Givet feedback glad k reviews for at få integreret både for
49:45
bredt Sådan brandmærket ud, men også at få det der hedder.
49:49
Få lavet det Sådan, at Det kan håndtere de her nye typer af
49:52
generative modeller. Jeg ved ikke hvor meget Jeg kan
49:56
sige, der kan sige ikke den eneste efter at Der er i den
50:00
retning. Jeg selv har lavet det her
50:03
Scandinavian embedding benchmark.
50:06
Det er ikke det generative modeller, men det siger en
50:07
betting modeller, og jeg ved at. Der hvad er det det hedder der
50:12
arbejdede for KU også på at lave de her evaluerings datasæt,
50:17
blandt andet det, som poletter for k har lavet.
50:20
Kommer også snart et speciale fra fra Søren winkel fra fra
50:23
aluminia, som også har siddet og kigget på på binds hver
50:26
benchmarks til en ressource eller på dansk.
50:29
Så de sidste halve år er der kommet et kæmpe boom og på det
50:32
og der kommer rigtig snart en del.
50:35
Det lyder vanvittigt spændende. Og det Jeg tror Der er også
50:39
altså Sådan det Der er lidt sjovt med de her benchmarks.
50:42
Og det lyder lidt Sådan. Leon lavede et opslag for noget
50:45
tid siden leon dinky fra. At k eller i 2.
50:51
Han. Han lader sig, hvorfor er det
50:54
folk fra industri jagte de her benchmark så meget altså
50:58
slutbrugeren er ligeglad, altså den person du bruger check Peter
51:02
ligeglad med hvor godt den klarer sig på et benchmark.
51:04
Jeg er interesseret i hvor hurtigt den er og hvor godt den
51:07
svarer på mit spørgsmål og måske også lidt hvordan interfacet ser
51:11
ud. Men Det er jo fordi Det er
51:15
Sådan. Jeg tror simpelthen fordi Vi har
51:18
ret få interne benchmarkes. Altså Der er ikke mange
51:23
virksomheder skal ligesom opbygge deres egen.
51:25
Hvad er det, vi gerne vil have, Vores model skal kunne?
51:31
På en måde, så skulle man forestille sig, at man i
51:33
fremtiden kom med et eller andet Sådan dansk benchmark som siger.
51:38
Det her. Det er det jyske specielt i
51:40
Danmark. Fordi.
51:42
Den måde som jacky bliver brugt på og evalueret på i dag, er jo
51:46
blandt andet til at svare på spørgsmål omkring kode og.
51:51
Jeg ville aldrig spørge en dansk grund eller omkring hvordan?
51:55
Skriver jeg det her forløb? Det vil jeg altid gøre på
51:57
engelsk, men jeg ville rigtig gerne spørge om hjælp til
52:02
hvordan ordner jeg min skat her og her?
52:06
Eller Jeg har den her. Det har afdrag her på min
52:08
lønseddel. Hvad gør jeg med det?
52:10
Altså lige pludselig bliver de spørgsmål du stiller, og hvad
52:13
den skal kunne noget helt andet. Altså du havde lavet et opslag i
52:18
dag på. Dansk design criminality omkring
52:22
den her dansk epi tegning tror jeg den hedder.
52:26
Henriksen. Opskriften er på rødgrød med
52:30
fløde. Og den giver Sådan en.
52:33
Den giver en noget der ligner en opskrift, men Det er på en helt
52:35
anden ret. Jeg tror Det var stegt ris med
52:38
kanel og flødeskum og vanilje, og Det var Det var på
52:42
risalamande ikke var på risalamande den.
52:45
Det var den sagde Det var. Altså den har jo Der er jo noget
52:47
jul i det der ikke så det kreative, men Der er jul i det.
52:52
Og den sagde, og så sagde også, at Det var vintermad.
52:55
Vintermad. Er jo heller ikke helt løgn, jo.
52:57
Kan man sige, bortset fra at Det er meget meget ikke særligt
53:00
dansk term at sige vintermad ikke?
53:04
Det er rigtigt. Jamen det ja Det er sgu meget
53:08
sjovt det der og altså jeg. Jeg kan jo også godt afsløre
53:12
altså på på ekstra Bladet, der arbejder vi jo også med med den
53:14
slags teknologi her det det tror jeg også de fleste efterhånden
53:18
ved, men. Man kan jo ikke undgå at hvis
53:22
man for eksempel vil lave Sådan en løsning, så så starter man
53:25
bare med at stoppe bum. Nu har vi en eller anden
53:27
løsning, altså det her retriever ventilation.
53:30
Og hvis man så og så siger man jamen det fungerer sikkert super
53:33
fint og og Sådan lidt anekdotisk sidder man og prøver den af og
53:36
den er da udmærket, men hvis man ligesom derfra vil tage et
53:41
produkt videre til next level som man siger eller skrive noget
53:45
kode eller gøre noget lave om på noget arkitektur, ingeniør til
53:48
nogle ting og så finde ud af er det bedre nu eller er det det
53:52
dårligere? Ikke så er du altså med meget
53:56
andet kode derude ikke? Altså du er Sådan lidt i blinde
53:58
hvis ikke du har en test på om du bevæger dig i den ene eller
54:01
den anden retning ikke og du kan virkelig sidde og.
54:03
Lommefilosofi og nørde derude Sådan noget, men Det er bare.
54:07
Freaking ligegyldigt alt det du laver.
54:09
Hvis ikke du kan måle at du er på vej det rigtige sted hen.
54:12
Så så altså værdien i at have et rigtig rigtig godt testsæt ikke
54:16
Sådan helt down 2 earth gammeldags machine learning.
54:20
Du lyder ikke altså jamen den er bare ekstrem høj og og Jeg tror
54:26
også at det helt ærligt også gælder, hvis nu Det var Sådan
54:30
lidt, hvad kan man sige noget noget noget offentligt benchmark
54:33
som var ret generelt? Altså man kunne godt også bruge
54:37
det. Men måske også nogle metoder
54:40
til, hvordan man laver man et godt.
54:43
Internt testsæt for noget rar eller et eller andet i den dur
54:47
ikke? Altså jeg savner lidt nogle
54:50
ressourcer her på en eller anden måde.
54:54
Jeg kan også huske da jeg sad på ekstra Bladet og prøvede at
54:56
evaluere Vores contrast learning en betting model der vi havde
54:59
trænet på alle artiklerne. Og Det var før vi havde datasæt.
55:03
Der blev så lavet et datasæt til det, men Det var Sådan lidt.
55:05
Er det den her bedre end den her?
55:07
Og du ved, hvad betyder det at tog artikler og minder om
55:10
hinanden og Sådan? Altså Det er altså.
55:13
Det Det er bare lort og sidde og arbejde på den måde.
55:16
Altså Det er og Det er kun blevet mere relevant efter alt
55:18
det her generative halløj her, fordi Det er endnu mere
55:21
komplekst. Endnu mere Sådan bøvlet, ikke
55:24
så. Lidt fokus i at prøve at se, om
55:27
vi kan finde de her mere Sådan relevante juízes en dansk
55:30
kontekst som for eksempel sundhed dk, hvor vi også snakker
55:32
lidt nemt og har ordbogen com for de laver meget på
55:36
skoleopgaver og Sådan noget som skulle være en mand case og
55:39
smide en skolekappe til for eksempel og se om man må få
55:42
lavet nogle benchmarks om testet på eller noget som reflekterer
55:45
og afspejler de opgaver, som vil bruge en dansk model på.
55:48
I stedet for bare nogle som er en oversat version af et engelsk
55:51
benchmark. Ja yes hvad hedder det i nu er
55:55
vi snart snakket en time og jeg tænker Vi skal så småt til at
55:58
runde af, men Jeg har lige et spørgsmål inden vi slutter, hvis
56:02
man som enten som individ eller som organisation godt kunne
56:06
tænke sig at støtte danish foundation models projektet,
56:09
hvordan kan man så gøre hvad? Hvad er det for nogle typer af
56:12
støtte i har brug for? Og hvis man bare du ved er fan
56:16
og har lyst til at støtte jer på en anden måde, hvad kan man så
56:18
helt konkret gøre både som individ og organisation?
56:24
Ja Vi har. Generelt så har vi Sådan. 3
56:30
typer af samarbejder altså Vi har research samarbejde, så hvis
56:34
du er researcher og gerne vil lægge eller i industrien gerne
56:38
vil ligge timer i projektet, så tager vi imod det med kyshånd.
56:44
Hvis du får industrie, så er der lige lidt mere, men så gør jeg i
56:46
forhold til rettigheder til data, så det godt være.
56:49
Det tager noget tid at komme ind og få lov til at kunne se data,
56:53
men. Men Der er helt sikkert mulighed
56:55
for at lægge timer, og Der er meget mere behov for timer, end
56:58
vi kan lægge selv, så vi vil værdsætte alle timer, der kan
57:02
lægges. Så er der data samarbejder, så
57:05
hvis du har et datasæt, du vil. Altså hvis du kan offentliggøre
57:09
det, så bare offentliggør det sender et link og så kan jeg
57:11
nyde godt af det. Hvis du.
57:15
Hvad er det det hedder? Hvis du ikke vil offentliggøre
57:17
det? Men godt vil dele det med
57:18
projektet. Så kan vi godt finde en.
57:20
Kan det være? Løsning, som sikrer vi arbejder
57:25
på, hvad det hedder lumia og cloud, og vi sikrer, at de ved
57:29
hvad hedder. Sikkerhedsforanstaltninger, der
57:32
skal til for, at vi må arbejde med personfølsom data er ligesom
57:36
er overholdt. Og, og det vil vi så det.
57:40
Hvad er det her? Forhandler vi typisk enhver
57:42
Sådan en dataejer? Hvad Det er, der skal til, Det
57:44
er. Og så har vi de her mere Sådan.
57:49
Anvendelses samarbejder for at Det er, hvad det hedder, hvor
57:53
det typisk enten er nogen som. Hvad er det, der giver
57:57
potentielle data til benchmarks? Altså Sådan Vi har en use case i
58:00
godt kunne evaluere på, kunne det være interessant at lave en
58:03
benchmark på det? Fordelen for brugeren er helt
58:06
tydelig Sådan hvis ekstra Bladet laver et benchmark eksempelvis
58:10
så så vil alle Sådan evaluere min model på, om de klarer sig
58:14
godt på ekstra Bladet. Det gør, at ekstra Bladet kommer
58:17
til at få modeller, der klarer sig bedre på deres data.
58:21
Vi lige snakke med. Men.
58:25
Det skal også være et samarbejde med Aarhus Kommune, eksempelvis
58:28
hvor man forsøger at anvende dem en specifik case Sådan et Sådan
58:33
et. Det er Sådan de her, vi prøver
58:35
at bygge en række positive use cases op af Dennis foundation
58:39
models. Det gør det nemmere for at få
58:42
funding, men og så Sådan og så han lidt en føling med, hvad der
58:47
sker med modellen, når det kommer ud af Vores hænder.
58:51
Det er selvfølgelig ikke noget. Altså vi vil helst ikke tage
58:54
timer væk fra fra udviklingen af projektet, så hvis man så, hvis
58:58
Vi har dit use cases, så er det typisk, så er det en eller anden
59:01
form for. For win igen ikke altså så hvis
59:04
de får noget fra os, så så får det en noget funding tilbage
59:08
eller noget data i den anden vej.
59:11
Hvis man ligesom bare googler danish foundation hotels, så har
59:14
vi en emneside artikel og Sådan noget.
59:15
På hjemmesiden står der også links til at kontakte os og
59:17
finde Vores kanal inde på din steinckes slack og Sådan noget
59:22
og hvad der sker rigtig mange ting og så kan man bare skrive
59:25
til mig og Kenneth eller gøre noget derinde.
59:27
Hvis man vil sælge noget. Det er hermed sendt ud i æteren,
59:31
som vi siger på podcasten så ja til alle lytterne derude er
59:37
interesseret. Go ahead.
59:39
Det synes jeg helt klart man skal gøre her til sidst, hvis
59:44
man sidder derude og ikke forsker eller udvikler med
59:49
nature Energy processing, NP, sprogteknologi og så videre.
59:51
Har i Sådan nogle råd til Sådan en aspirerende udvikler forskere
59:55
indenfor for det her Sådan felt? Hvad kan man gøre for at komme i
59:59
gang? Og ja.
1:00:01
Ja. Bare Sådan generelle tips og
1:00:03
tricks og råd Sådan. Jeg tror hvid hvad du udvikler
1:00:08
til at eller Sådan i hvert fald Sådan lige at prøve lige og
1:00:11
snakkede med Sådan noget teste. Altså hvad hvad du gør for at
1:00:16
forbedre dig altså Sådan så hvis man kan sagtens prøve.
1:00:19
Jeg prøvede med den her model og den her model og så kiggede man
1:00:22
lige på noget. Det kunne godt ligne Det var
1:00:24
lidt bedre for den her model, men Det er virkelig svært og man
1:00:27
lærer ikke særlig meget hvis man.
1:00:29
Hvis man ikke Sådan kan se, at man forbedrer sig, så det der
1:00:32
med Sådan at. Kvantificerer det bruge noget
1:00:35
tid på at notere nogle eksempler, få et datasæt hvor
1:00:38
jeg Sådan OK. Nu har jeg Sådan. 100 200 gode
1:00:41
svar her og Jeg kan evaluere min min model på de her spørgsmål så
1:00:46
kan jeg sige, så kan de begynde at forbedre mig ikke Sådan okay
1:00:48
for der svarer på 100 af de her 200 spørgsmål.
1:00:50
Nu svarer den på 150 om Jeg har forbedret mig.
1:00:53
Det bliver lidt ret tydeligt. Og der lærer man noget, så måske
1:00:58
starte med at fokusere lidt mindre på modellen og lidt mere
1:01:01
på evalueringen. Ja og så helt lavpraktisk skulle
1:01:05
ind på hocking fase transformers og se nogle modeller og nogle
1:01:08
torres. De har også nogle kurser man kan
1:01:09
følge som er virkelig fine. Der er så mange ressourcer og de
1:01:12
her spaces de her hvor folk udstiller deres modeller.
1:01:14
De har lavet alle mulige ting man kan prøve leg frem og få
1:01:19
nogle inspireret af folks kreative og skøre ideer og bygge
1:01:22
noget sejt. Sådan.
1:01:25
Det er vigtigt at sige, at altså feltet er har ændret sig markant
1:01:29
de sidste altså. Da jeg startede der var
1:01:33
transformere ved at blive nydt og allerede nu og dengang.
1:01:35
Men dengang var det en coder model, og nu er vi gået over
1:01:37
igen og til modeller, og det betyder, at feltet som skifter
1:01:40
sig hurtigt. Og Det kan både være skræmmende,
1:01:43
når du er på og tænker fuck, Jeg kan ikke følge med.
1:01:46
Det betyder, at Det er virkelig nemt at hoppe på, fordi at Der
1:01:48
er ikke Sådan en stor viden ting du bare skal have før i tiden.
1:01:53
Det skifter sig hele tiden hvad Der er relevant, så du kan
1:01:56
sagtens være bedre at komme på toget relativt nemt.
1:01:59
Så kan du lige hoppe ind fra siden og lige blive ekspert på.
1:02:03
Mischief experts, model eller Sådan et eller andet?
1:02:06
Jeg tror at det hedder. Du kan blive prompte genier
1:02:10
mange steder i dag uden den store erfaring, og Der er heller
1:02:12
ikke særlig mange der har stor erfaring, fordi Der er et års
1:02:15
ekspertise der har udviklet det på.
1:02:19
Det er grineren. Åh ja ja, men Vi har jo taget et
1:02:23
minut, 2 minutter eller en til et minutter 2 minutter en time
1:02:26
og 2 minutter. Ja altså jeg tænker Vi skal til
1:02:29
at slutte af. Her er der her et eller andet i
1:02:32
godt kunne sige, jeg tænker at sige her på på falderebet, inden
1:02:35
vi vi siger tak for i dag. Vi skulle have forberedt Sådan
1:02:40
en lille hilsen her. Nej.
1:02:46
Nej, Det er også helt fint. Hvad hedder det?
1:02:49
Men så vil så vil jeg bare gerne sige for det første 1000 tak
1:02:54
fordi at i kunne tænke at være med for det andet 1000 tak for
1:02:58
for ikke gøre det her projekt hvad hedder det?
1:03:01
Det har jo ikke der har altså Der er også, Det er jo ikke kun
1:03:04
funding der driver det her, Der er jo også noget noget
1:03:08
hjerteblod i, det ved jeg i hvert fald noget ja så så det,
1:03:13
det synes jeg bare er utrolig beundringsværdigt.
1:03:15
Og i 2 har fandme været med fra fra day one, så det synes jeg
1:03:18
bare er pisse sejt og jeg nyder seriøst at se at det her sidste
1:03:23
års tid med med chac bare har. Skinnet så meget lys ned på på
1:03:28
DF projektet og og ja gjort det endnu mere relevant.
1:03:32
Så tak for at tak, fordi i jeg arbejder på det.
1:03:36
Det er pisse fedt. Jeg tror Der er mange der sætter
1:03:38
pris på det. Tak for det Peter for.
1:03:40
Pengene. Jamen, hvis ikke Der er flere
1:03:45
der har noget at sige, så vil jeg rigtig gerne sige 1000 tak
1:03:47
for i dag og 1000. Tak fordi i ville være med tak
1:03:52
for det hej. Ja ja.
1:03:55
Hey hey.