Latest / Verbos: AI og Softwareudvikling / #48 - Tilbageblik på det seneste år i det danske AI- og Data Science-miljø m. Kasper Groes Albin Ludvigsen

Transcript

#48 - Tilbageblik på det seneste år i det danske AI- og Data Science-miljø m. Kasper Groes Albin Ludvigsen · Verbos: AI og Softwareudvikling

0:00
Har alle sammen og velkommen til bebos podcast afsnit nummer 48.
0:04
I dag har jeg Kasper gross med Jonas.
0:06
Han kunne være med i dag, men Det var så heldigt at Kasper
0:10
gross kunne, og i dag skal vi snakke om Vi skal på en eller
0:14
anden måde i dag have Sådan en form.
0:15
For hvad skal man sige tilbageblik på det sidste år?
0:19
Halvandet i hvad skal man sige AI og data science miljøet i
0:23
Danmark og Det er i høj grad i anledning af, at vi her på
0:27
fredag skal afholde generalforsamlingen her.
0:30
Den 12. April skal vi afholde
0:32
generalforsamling i. Den forening som Kasper og jeg
0:36
sidder i bestyrelsen i som hedder dansk data science
0:39
community. Ja, men i den sag i den her
0:42
podcast, og så tager vi ligesom et tilbageblik på.
0:45
Alle de ting og sager, Der er sket i de sidste et år
0:48
halvandet, og vi kommer selvfølgelig naturligvis til at
0:51
have et ret stort fokus på det, som alle synes er rimelig hypet
0:56
og spændende øjeblikket. Selvfølgelig.
0:58
Alt det her de har lars landbrugsmodels og chat GBT open
1:01
air hele den bølge af ting og sager, som det ligesom har
1:05
skubbet i gang. Men, men så stemmer vi bare lige
1:08
sige velkommen til Kasper. Mange tak Kasper.
1:11
Jeg og det skal også lige nævnes, at udover at være
1:14
bestyrelsesmedlem i dansk data science unitys arbejder du som
1:17
datatype sidst i Rigspolitiet? Yes så og er.
1:23
Ja du du er også du skriver også meget.
1:26
Ja. Ja jeg beskæftiger mig jo en del
1:30
med. Miljøpåvirkninger fra kunstig
1:34
intelligens og. Men det.
1:36
Det er altså bare en hobby. Ikke rigtig noget med mit job at
1:39
gøre. Udover at jeg selvfølgelig
1:41
arbejder med de her teknologier. Ja så det Det er rigtigt.
1:47
Det er jeg også. Jeg har faktisk haft det inde i
1:49
podcasten i forbindelse med med netop det det her med
1:53
bæredygtighed i data science ikke, og det må man også sige.
1:57
Det er også blevet Det er også altså hvis man skal bare snakke
2:00
om en ting, men Der er sket i de sidste års tid.
2:02
Det er da godt nok også kommet meget opmærksomhed på, ikke?
2:07
Det er rigtigt, og Det er meget sjovt at observere og og også
2:11
observere min egen altså udvikling i min egen.
2:14
Holdning til det. Fordi før var det Sådan meget
2:17
tror jeg. Jeg følte at.
2:19
Jeg var. Der var ikke ret.
2:21
Der var ikke så mange der talte om i hvert fald.
2:22
Så jeg var måske bare Sådan. Okay, jeg skal virkelig
2:24
italesætte det så, og og nu er jeg måske gå lidt mere over i
2:28
den anden går jeg for når folk. Taler meget om det, så skal jeg
2:31
prøve at tale lidt ned igen nu fordi at altså.
2:35
Ja Vi skal også lige have realiteterne med i det ikke så
2:39
Det er meget interessant selv at at se den udvikling der.
2:43
Det er sjovt. Jeg kan huske altså det vi
2:46
altså. Jeg tror du var.
2:49
Jeg tror nærmest du var en af de første jeg kom i kontakt med da
2:52
jeg da jeg lavede den gruppe der hed den LinkedIn gruppe som som
2:56
hvor vi fandt ud af at LinkedIn havde en.
2:59
Det dårlige gruppe funktionalitet.
3:02
Men, men Jeg tror du nærmest var en af dem.
3:04
De første jeg kom i kontakt med, da vi lavede dansk data unity
3:08
LinkedIn gruppen, og det må jo nok have været.
3:11
Ja Det har nok været 22. På et tidspunkt, ikke?
3:16
Det har nok været sommerens vindue.
3:17
Jeg tror det første event eller det første mener vi holdt der
3:20
hos Deloitte var det ikke Sådan noget?
3:22
Oktober 2021. Det tror jeg det tror jeg.
3:26
Og så laver vi etableret som forening ved generalforsamlingen
3:29
den 1. Generalforsamling i april 2022
3:32
cirka. Ja, men allerede dengang kan jeg
3:36
huske, at du var meget Sådan optaget af hele den her, hele
3:39
det her bæredygtighedsspørgsmål IIAIB og i virkeligheden i
3:44
virkeligheden, så tror jeg. At mange.
3:48
Af os og den omgangskreds, der ligesom er i forbindelse med
3:52
dansk data. Schmitt er hele det her.
3:54
Hvad skal man sige sprog modellerings community og så
3:57
videre? Jeg tror mange har så oplevet
3:59
det her med, at Vi har været utrolig passionerede og nørdede
4:03
omkring det her. Og så lige pludselig.
4:06
Så er det bare fucking sproget i luften.
4:09
Og så har man bare siddet med Sådan en utrolig dyb viden i
4:13
noget som bare. Altså fylder.
4:18
Overalt for rigtig mange mennesker i hele verden, ikke?
4:21
Jo og selv oppe på Sådan nogle af de der luftlag, hvor at at
4:26
der ikke er så mange af Sådan nogle teknikere som også det.
4:30
Ja Det har været rigtig spændende at se.
4:33
Altså Jeg synes bare Det er Sådan helt sindssyge ting altså.
4:35
Det blev jo også for fanden du har jo.
4:37
Du har jo skrevet og altså skrevet med blogpost omkring det
4:41
her med udledning af chatty og du blev jo fandme citeret i New
4:44
York times eller et eller andet ikke.
4:46
Altså fordi. Washington.
4:47
Post Washington Post ja okay, men men Washington Post ja men.
4:52
Det ved jeg ikke. Men men men.
4:56
Ja og så. Viser viser at.
5:01
Det er sgu vildt, ikke? Altså jeg ville.
5:03
Jeg ville faktisk hellere have været citeret på talerstolen i
5:05
Folketinget, når nu Vi er ved ved.
5:08
Det. Den.
5:09
Ja altså den den den den historie kan faktisk godt tænke
5:12
mig at høre Sådan fra hestens egen mund.
5:14
Jeg har ikke lige alle detaljerne.
5:15
Jeg har bare set det på LinkedIn og Sådan noget ikke?
5:18
Det vi snakkede lidt om at tage det.
5:23
Vi snakkede lidt om at tage det kronologisk.
5:25
Ja. Det skal vi ikke.
5:27
Bare skal vi ikke bare droppe det og så bare snakke Sådan lidt
5:31
tilfældigt omkring og så skal vi selvfølgelig også love, at det
5:35
ikke fordi vi sidder og lovpriser os selv og Vores egne
5:37
bedrifter igennem hele det her. Det var allerede på kanten.
5:42
Ja ja men men jeg ved ikke altså når jeg.
5:44
Jeg har ikke så meget imod ananas i egen juice så længe at
5:49
det ligesom er relevant og og så videre ikke?
5:51
Men, men Det var det der helt konkret skete.
5:53
Det var jo at der var SFSF 2 for SF havde fremlagt et forslag i.
6:00
I Folketinget, hvor de ligesom foreslog, at vi skulle, at
6:04
staten skulle ligesom skulle gå ind og stå for at træne en stor
6:07
dansk lars language model. Og for nogen der har siddet
6:12
siden. Ja mon ikke altså.
6:17
Øh ja, Det var vel også dengang vi trænede roberta modellen der
6:21
den der verdens Danmarks dårligste sportsmodel eller hvad
6:24
fanden Det var vel også i Sådan noget 21 eller et eller andet
6:28
ikke og Vi har fandeme snakket meget om det der med jamen hvad
6:31
med rettigheder til tekst og hvad med penge og alt det
6:35
computer og alle de der spørgsmål?
6:37
Har vi virkelig snakket meget om?
6:39
Så Jeg tror Det var en stor oplevelse for mange i især de
6:42
der hårdnakkede NP nørder i det DC at.
6:47
Jeg tror Det var en stor oplevelse at se, at det faktisk
6:49
blev foreslået i Folketinget og og de faktisk stod i Folketinget
6:53
og. Og hvad hedder det?
6:55
Debatterede det? Og så det der skete nu skal lige
7:00
prøve at se fordi jeg fandt faktisk et link jeg for eksempel
7:02
i noterne du har skrevet det der, at du gerne vil høre
7:05
historien og det der sker helt konkret.
7:08
Det er at der bliver selvfølgelig opmærksomhed på det
7:11
her, fordi Det er spændende og i forhold til og Det er jo for
7:15
fanden Det er alle snakker om. Så er der en gut der hedder
7:17
Janus sandsgaard, som jeg ikke aner, hvem er for det her, men
7:22
han laver ligesom Sådan en post, hvor han hvor han.
7:26
Ligesom bringer det her op og siger hvad er hvad synes folk om
7:29
det her og så ja og så er der en livlig debat i kommentarfeltet,
7:36
og så bør jeg også er en del af det og Sådan så tager fanden jo
7:41
en altså så gør fanden jo en og så sidder man bare der og
7:44
skriver diskuterer med folk og Sådan noget ikke og så på et
7:48
tidspunkt så siger jeg okay fuck nu deler hans opslag og så
7:50
skriver jeg Jeg vil bare det så skriver jeg Sådan her her er min
7:55
holdning til det der med at Vi skal træne den sportsmodel.
7:57
Og så skriver jeg nej med Sådan nedad mod staten bør i stedet
8:02
snakke med alle dem, som i forvejen skubber udviklingen af
8:04
danske åbne sprogmoduler frem. Og så har jeg i øvrigt lavet en
8:08
liste af folk, Jeg synes gør det.
8:10
Hvor du blandt andet er med 2 høre hvad de har brug for 3
8:14
filmen en måde at give dem det de har brug for, så jeg får
8:18
ligesom skrevet Sådan en rigtig du ved et populistisk.
8:22
Du ved hvad hedder det? Hvad skal man sige budskab med
8:26
meget lav friktion og som var meget nemt at forstå og som gør
8:30
sig godt på på Folketingets Folketingets talerstol og gas.
8:35
For det der så sker Det er at da de så livestreamer det her, den
8:39
her aftale eller den her, hvad hedder det behandling af
8:42
forslaget i Folketinget? Så mona Jeg kan ikke huske hvad
8:46
hun hedder mona mona juul fra konservative.
8:51
Hun citerer mig direkte. Og Det er og det det nogle
8:56
gange, så er det bare Sådan. Altså fuldstændig talentløs
9:03
aktivitet på sociale medier. Og så bare så skal jeg også
9:06
noget der lige pludselig ikke. Altså Det var selvfølgelig.
9:09
Det var selvfølgelig en stor oplevelse for mig også, men men
9:12
også Sådan for Det var det altså Sådan, før jeg ligesom fandt ud
9:15
af det, var det også bare det her med, at de havde taget det
9:17
op og skulle diskutere det, synes jeg var for stort, ikke?
9:21
Men altså så så hun bringer det hun bringer de citater op som en
9:24
form for modargument mod det forslag som SF frembragte.
9:30
Ja. Og Jeg synes også Jeg synes også
9:33
selv Jeg har nu snakket om det der med med bæredygtighed i data
9:35
science. Jeg synes og hvor du Sådan har
9:37
så skiftet holdning frem og tilbage.
9:39
Jeg synes også Jeg har skiftet meget holdning frem og tilbage i
9:42
forhold til det her med. Om Vi skal træne en dansk sprog
9:46
model om staten skal gøre det og så videre ikke?
9:51
Ja altså. Jeg tror Det er vigtigt at gøre.
9:55
Ja, Jeg tror ikke på at staten kan stå for det.
9:58
Nej, Det er vigtigt, at nogen gør det, og Det er vigtigt, at
10:01
Der er mere end en noget af det der Sådan slog mig ved.
10:04
S fs forslag var at. Den måde jeg opfatter Det er
10:09
formuleret på var, så skulle vi have en eller dem som skulle
10:13
være den danske eller dem og. Og det det det falder Sådan lidt
10:19
for brystet. Ja, Jeg tror også der var
10:23
ligesom du selv siger det her med at der var Sådan modellen.
10:27
Det er bare engang, og så er det overstået, og så har vi den.
10:29
Og så lige så snart den er trænet, så er vi færdige agtigt.
10:35
Og Det er ikke Sådan det fungerer Der er jo Det er jo en
10:37
kendt ting de har med, når når der kommer udbud fra det
10:39
offentlige, så skal det hele jo beskrives på forhånd og så
10:42
videre. Men Det er jo ikke aldrig
10:43
realiteten omkring Sådan nogle projekter.
10:44
Det er jo altid noget der udvikler sig ikke og og den der
10:48
retorik med at så skal vi træne sprog model og så er den færdig
10:52
Det er Sådan er det ikke det det Det er ongoing arbejde og Det er
10:55
ikke. Ja og så det.
10:58
Det er et problem, og så var det Sådan, at Jeg tror min holdning
11:02
er også til. Det er at.
11:04
Det, der i virkeligheden er brug for det data.
11:08
Fordi. Som vi plejer at sige her på
11:10
podcasten data s forever. Ikke med det her, vel men.
11:17
Nej, Det er selvfølgelig rigtigt, men hvis man ikke har
11:19
givet færre på, så så er det for hvor lang tid holder med gdpr er
11:22
det 3 måneder eller? Sådan noget.
11:25
Men men i hvert fald hvis man ligesom bruger tid og investerer
11:28
i at lave noget højt kvalitetsdata og det rigtige
11:31
data så. Så er det ligesom noget folk vil
11:37
tage til sig og bruge. Ja ja men altså.
11:41
Det er også mit indtryk at der. Mangler computer altså
11:46
selvfølgelig har universiteterne jo noget computer.
11:49
DFM altså dans foundation models som jo er Aarhus Universitet og
11:54
er Alexandra instituttet formelt set også involveret.
11:59
Men altså de de kan vel træne på noget hardware som ligger inde i
12:03
det her your cloud universiteter eller nogle af universiteterne
12:06
har jo en cloud med noget hardware, men.
12:10
Jeg kunne godt savne nogle gange der var hardware tilgængelig for
12:15
andre projekter end de her store forskningsprojekter, som kræver
12:18
at du sidder og bruger flere måneder på at skrive en
12:20
fondsansøgning. Hvis nu at vi var nogle der
12:23
gerne ville fine tune end 70 milliarder parameters lama på
12:29
noget dansk data. Ja, så vi så vi tvunget til at
12:33
anvende. Alle de her hacks som som som
12:39
man nu så kan anvende for at få dem ned på på 48 gigabyte ram
12:45
under træningen, men. Er det noget med du har siddet
12:49
og hakket med det i? Sidste side.
12:53
Jeg er jo på barsel, så Det har Sådan lige været en halv time
12:57
efter her, når der var en lur eller noget der tillod mig at
13:01
lave noget. Ja så men altså.
13:04
Vi har ikke fået det til at virke endnu.
13:07
Men, der ligger nu et docker image på dog hop som.
13:13
Ja, Det er jo så en anden fra communityet.
13:17
Jeg ved ikke om Vi skal nævne hvem Det er, så jeg lader det
13:19
bare ligge i vand men. Som.
13:23
Ja som nu har jeg bygget dogane, så skal han køre inviteret på
13:28
noget hardware som han har adgang til.
13:31
Ja Det er så 2 er til små klubber der har 24 gigabyte ram
13:38
hver og Det kan man lige akkurat få mast have Sådan 70 milliarder
13:42
meter så lagde man ned på hvis man anvender.
13:47
Når de her teknikker som nogle virkelig kloge mennesker har
13:51
brugt mange måneder på at udvikle, så man kan sige stor
13:54
kudu til til dem for at de har fundet på de her teknikker og og
13:58
gjort det opensource. Så rent faktisk kan lade sig
14:01
gøre at træne lama 70 milliarder parameter på noget hardware Der
14:05
er til at komme i nærheden af. Men det vil jo også være rigtig
14:08
spændende, hvis man hvis der var lidt nemmere adgang for for
14:11
Sådan nogle ildsjæle som gerne vil bruge noget fritid eller
14:16
hvad ved jeg på at lave den her slags.
14:19
Det kan være nu Vi er ved. Hvad skal man sige hele den her?
14:24
Omsorgs dansk lars language model snak er vi ligesom skal
14:28
prøve at spole tilbage og se på, hvad der egentlig er sket.
14:30
Ikke fordi. Vi gør det, så vil jeg lige Jeg
14:34
vil lige huske, men jeg husker det at rose SF for at være så
14:38
hvad skal man sige innovative eller idérig at de overhovedet
14:42
foreslår det her. Det er jo et kæmpestort skridt
14:44
og fedt at de bringer det ind i Folketinget og og at er med til
14:50
at sætte det på agendaen. Det er også det vil jeg meget
14:55
gerne tilslutte mig. Jeg føler også nu her hvor altså
14:58
ligefrem blev citeret med Sådan en rimelig nej hat agtig.
15:03
Citat Det er også sjovt fordi man skriver Sådan ting på
15:05
sociale medier. Man skriver dem jo ikke
15:07
nødvendigvis til at blive citeret i Folketinget.
15:10
Vel godt være hvis jeg vidste at jeg havde været at Det var det
15:13
hun havde brugt det til, så jeg sagt når han ikke, men Det kan
15:16
godt lyde som Sådan meget fuck jer Det var fandme et lovforslag
15:21
agtigt. Det er overhovedet heller ikke
15:23
det. Jeg synes Jeg synes Det er.
15:24
Det var et vigtigt forslag for at starte debatten.
15:28
Og så er der nogle småting som Sådan nogle meget
15:31
detaljeorienterede nørder som os studser over, men hele tanken om
15:35
at bringe det ind i Folketinget er jo super god og vigtig.
15:39
Men man kan sige det alligevel ikke detaljer vel fordi jeg
15:41
hørte hvad var det dem fra SF? De sagde at det kostede nok
15:45
omkring en 40 50 millioner. Og hvad var det Liberal Alliance
15:48
sagde? Jamen det de mente, de havde
15:50
estimeret at det kostede 1 1 1 milliard eller Sådan.
15:52
Noget altså. Det er jo hvordan.
15:56
Hvordan var det nu? Jo.
15:58
Altså PT 4 det det Det er der forlydender om at de blev til 4
16:05
trænede på 25.000 a 100 GU er i 90 til 100 dage og og Jeg kan
16:13
slet ikke regne ud oppe i hovedet hvor mange GU timer Det
16:16
er. Men altså du skal gange det med.
16:21
Ja, Der er nogle dollars, som måske ikke er per time.
16:25
Så jeg tænker det koster måske næsten 40 millioner.
16:29
Bare i timepris for for GU er for at træne noget der ikke er
16:33
gemt til 4 men p 3. Lige nu ikke altså.
16:37
Ja og man kan også se apropos eller bare Sådan relevant og og
16:42
skæve til når nu at SF selv bringer svenskernes initiativer
16:45
ind i debatten at. Vi tog var jo til det her
16:51
arrangement ude på på på det, der i gamle dage havde blev
16:55
kaldt qua. Det var noget sprogteknologiske
16:58
konference hed det ikke det, og at der netop var en fra i suiten
17:01
og fortælle om deres. Store sportsmodel og ja hvis jeg
17:08
husker rigtigt, så var hans egne ord noget i stil med at det ikke
17:11
var så godt. Fordi de havde så.
17:15
Det viser bare at Det er sindssygt svært.
17:16
Jo Det er rigtig svært ja og de var lidt.
17:20
De er lidt forbandet af. De var lidt for tidligt ude,
17:22
ikke fordi de er jo ligesom ikke fået alle de benefits af alt.
17:27
Det er open source arbejde der ligesom er gjort på området og
17:29
alle de modeller der har trænet i forvejen og Sådan noget ikke
17:33
nå men hvad hedder det? Hvad kan jeg sige chat kapitel
17:35
udkommer selvfølgelig II hvad hedder det i november 30.
17:39
november 2022? Til. 22 2022 i år jo jo og og
17:48
det der så sker Det er at hele verden som stille og ro altså
17:51
ikke lige med det samme, men Sådan stille og roligt begynder
17:54
at vågne op til at det her Det kan et eller andet og Jeg tror
17:57
den 1 artikel jeg ser på i nyhedsmedierne, Det er på.
18:01
Ekstra Bladets forside, hvor de skriver om, at eleverne bruger
18:05
en chatbot til at skrive deres opgaver, uden at lærerne ved
18:08
det. Ja så så Det er ligesom den 1
18:12
opmærksomhed det får i offentligheden, og så bliver det
18:16
jo gradvist mere og mere exciting for offentligheden og
18:19
mere og mere. Altså jeg oplever i hvert fald,
18:21
og det tror jeg mange af Vores kollegaer i branchen også gøre,
18:24
at der ligesom kommer mere efterspørgsel på Vores viden og
18:27
Sådan. Hvad er det her for noget og
18:29
bliver? Spurgt om at udtale sig i
18:32
podcast og medier og bliver citeret og Sådan noget ikke.
18:36
Og så er der ligesom Sådan kommer Sådan en stigende Demant
18:39
efter viden på det her og folk begynder at snakke om at Det er
18:42
det nye og så videre. Og på det her tidspunkt.
18:46
Jeg ved ikke altså Sådan. Jeg er Sådan lidt.
18:51
Jeg har Sådan lidt. Det de altså Det er for Det er
18:54
for dyrt at træne de her modeller.
18:56
Det er ikke noget det giver det ikke mening at arbejde med det
18:59
her open source. Det virkede på en eller anden
19:03
måde Sådan lidt out of reach på det her tidspunkt.
19:07
Men så sker der jo altså, så er der jo ligesom en en ret stor
19:11
udvikling hele hele open source text hacking og alle de
19:16
biblioteker og. Kunne hvad ved jeg der kommer
19:20
frem og teknik og metoder og folk der arbejder sammen, fordi
19:22
der bliver ligesom Sådan et ordentligt push på at folk vil
19:24
ligesom bare træne især de her små lege language models lama
19:30
modellerne udkommer og Sådan du ved der begynder at komme nogle
19:32
ressourcer ude i communitiet som gør det.
19:34
Mere og mere tilgængeligt, og så kan jeg se.
19:37
At ende II hvad hedder det? Jeg kan se ind i dansk
19:41
statsminister systemet, at vi holder den her det her makeup på
19:47
min gamle arbejdsplads ser ud og jeg.
19:49
Den afholder vi den 14. September 2023, og Det er der,
19:54
hvor mads Henriksen han giver. Han fortæller om, hvordan han
19:56
har lavet dansk ET. Og der kan jeg huske der var jeg
20:00
Sådan der der tabte. Jeg kæben lidt tænkt Sådan har
20:03
du seriøst? Har du sidst brugt de der 100
20:05
150.000 af dine egne penge på at træne end end en dansk?
20:10
Eller glem ikke det siger jeg bare for sindssygt.
20:16
Og og og så tror jeg bare Der er mange der Sådan han viser på en
20:19
eller anden måde. Vejen føler jeg for at.
20:22
Det er ikke så uden for rækkevidde som som alle tror.
20:29
Ja, det synes jeg i hvert fald. Ja altså ja det det det det Det
20:35
er jeg enig med dig ja det gør han og men altså.
20:40
Der er mange, Der er mange endelig open source communitiet
20:43
som taler, som er Sådan lidt kritiske overfor obernai fordi
20:48
at at det ikke open source har noget af deres LM teknologi.
20:56
Men det Det var vel egentlig først efter at de ligesom
21:00
sparkede døren ind til. For eksempel beslutningstagere i
21:05
virksomheder, at der skete ret er begyndt at ske rigtig meget
21:09
på open source l delen. Var det ikke det altså der?
21:14
Hvem tænker du på? Øh jeg tænker på.
21:19
Mistral for eksempel deres modeller kommer først ud, så
21:25
vidt jeg husker efter at tage hypen var gået i gang og så kom.
21:33
Så Microsoft kommer på banen med deres små feje modeller og
21:36
Google gemma og Jeg kan ikke huske hvornår lamellerne kom.
21:40
De kom muligvis lidt for at til at blive kom men.
21:44
Men så begyndte der også at komme med en masse værktøjer til
21:48
at der gjorde de her modeller med at tilgængelige for folk.
21:52
For eksempel alle mulige open source værktøjer til at quantify
21:57
modellerne, altså konvertere model vægtene til dataformat,
22:00
der fylder mindre og gør dem nemmere at eksekvere.
22:06
Og alle de her inference motorer.
22:10
Som gør det super nemt at køre. Storspove modeller lokalt altså
22:15
det jeg tænker ikke at at vi ville se den store udvikling
22:19
inden for open source eller lave, hvis ikke Det var fordi at
22:21
open air i først havde vist vejen.
22:24
Ja nej det. Er det i hvert fald som om, at
22:26
det ligesom var dem, der var med til at sætte generativ på
22:28
dagsordenen hos ledelsen mange steder.
22:31
Totalt totalt, og Det er også det der det.
22:34
Det er også Sådan en. Nu er jeg også blevet.
22:37
Lige blevet leder af arbejdet som leder hos dinero i en måneds
22:40
tid. Ikke og det og så.
22:43
Er man jo bliver man jo naturligt nysgerrig på ledelse,
22:46
og hvordan forskellige folk bedriver ledelse og Sådan noget
22:49
ikke. Men Det er også Sådan.
22:51
Det er også en eller anden måde. Er det også 1 1 1
22:54
ledelsesteknikker også det her med at hvad skal man sige?
22:59
Dont show don't show show don't tell ikke altså ligesom bare
23:03
gøre det og så ligesom vise Det er fucking sindssygt det her
23:05
ikke og så. Det bliver andre inspireret til
23:08
at til at følge med ikke. Og Det er jo totalt det som open
23:10
air gjorde altså. De viste jo det.
23:13
Det tænker også hvor målet for dem.
23:15
Det var målet for dem for at vise folk i verden med den her
23:18
teknologi kan og så ligesom få få.
23:22
Ja få flere investorer ind og Sådan noget ikke, men det følte
23:25
jeg i hvert fald lidt at mads altså for mig i hvert fald så
23:28
følte jeg lidt, at Det var det mads Henriksen gjorde for det
23:30
danske open source community, fordi jeg blev eller jeg blev i
23:35
hvert fald Sådan OK han kan. Alle er svært for en masse, men
23:41
altså ja Jeg kan godt følge dit dit hvor Det er du vil hen med
23:46
det. Du siger ikke altså at hvis
23:48
privatperson som er skide dygtig men men trods alt en
23:51
privatperson kan gøre det. Ja Jeg tror det Det er bare det
23:55
han viste det. Det var Sådan det tog lidt røven
23:57
på mig vil jeg sige i hvert fald.
23:59
Men det skal vi ikke snakke for højt om, fordi så sidder der jo
24:01
nogle folketingspolitiker, og så siger de nej, Vi skal ikke bruge
24:04
40 millioner. Vi skal kun bruge 150.000.
24:06
Det er jo det som mads han brugte.
24:09
Det er jo det det, men så kommer der også Sådan noget som skole
24:14
som er Københavns professionshøjskole.
24:17
Det har jeg slet ikke set komme Københavns professionshøjskole
24:21
og. Ja bliver involveret i den
24:23
slags. Det synes Jeg er virkelig fedt.
24:25
Godt set af dem. Og.
24:27
Så til danni drømme for at have hjulpet dem med det.
24:32
Ja helt vildt og, men det giver egentlig god mening.
24:35
Ikke fordi at Det er der hvor Det er et rigtig stort problem.
24:38
At det og Jeg tror mange som ikke er i
24:40
undervisningssammenhæng eller lærer et eller andet.
24:43
Jeg tror virkelig de undervurderer hvor stort et
24:44
problem Det er. II folkeskolen og i gymnasierne
24:47
og så videre fordi. Altså de skriver jo opgaverne
24:51
med check og de men de må ikke bruge det og de må ikke
24:54
undervise i det og så videre ikke.
24:56
Og der kom så ligesom den her løsning som.
24:59
Kunne gøre et eller andet, ikke? Så at sige eller i hvert fald
25:02
fra mit perspektiv. Den er skoledirektør er jo
25:07
rigtig meget over i på privatlivs.
25:11
Træt af hvis nu altså hvis man har dem i den ene ende og lad os
25:15
sige open air eller Sådan noget i den anden ende og Jeg har ikke
25:20
forstået altså Jeg har bare ikke fået forklaret endnu.
25:22
Hvad er rationalet er for at at de er så meget ovre i
25:25
privatlivets grøften. Nu ved jeg jo at du har arbejdet
25:29
sammen med dem og hjulpet dem med at lave det her skoleår til
25:31
en struct datasæt. Men altså hvis så har hvis jeg
25:38
stiller et spørgsmål som du kan besvare ved hjælp af noget
25:40
indsamle viden du ikke må dele ud af, så må du lige sige til
25:42
ikke. Men altså hvorfor logger man
25:44
ikke hvorfor anonymiserer man ikke du bruger data og så ligger
25:49
det så man kan få en ide om hvad er det egentlig folk spørger om?
25:51
Og hvordan kan vi gøre det bedre?
25:53
Jamen Jeg tror Det er fordi Der er en overdrevet berøringsangst
25:57
med at lokke noget som helst, fordi Der er Sådan en eller
26:01
anden form for fortælling om, at alt logging af data er
26:04
forfærdeligt. Altså men og Det er jo fordi at
26:07
Google og Facebook bruger det til at sælge os ting vi ikke
26:11
gider at købe eller Sådan eller. Der har i hvert fald en rigtig
26:15
negativ. Hvad skal man sige tone i
26:19
forhold til at lokke data? Og det tror jeg, man bliver nødt
26:22
til, at Jeg tror man bliver nødt til at.
26:24
Og Jeg tror, at Det er derfor de har gjort det fordi at.
26:27
Det fordi det ligesom var hovedproblemet ved ved ved ved
26:31
ved chat kvalitet var det her med at alle er bekymrede for det
26:33
her med at der blev lokket data og det bliver trænet.
26:36
Den bliver trænet på det og så videre ikke.
26:39
Men Der er jo ingen tvivl om at skolekappe ville være meget
26:41
bedre produkt i dag, hvis hvis hvis man havde været haft
26:45
mulighed for at lokke. Det data der kommer ind, ikke?
26:52
Og og det tror jeg også bare i virkeligheden er en kæmpe kæppe.
26:54
Hjulet for rigtig meget mening fremover, hvor vi bliver nødt
26:56
til at vænne os til at at. At nogle altså også for eksempel
27:00
i dinero ikke. Altså dinero er en virksomhed
27:03
som lever af at hjælpe små virksomheder og iværksættere.
27:10
Med med at lave regnskab ikke altså.
27:12
Vi vil bare gerne have at folk bruger Vores app så lidt som
27:14
muligt i virkeligheden. Ikke fordi vi bare gerne vil
27:17
klare ting og sige hjælpe, så Det er jo heller ikke alle
27:21
softwarevirksomheder som er onde.
27:24
Og bare høster data og sælger det.
27:25
Videre og Sådan noget så jeg jeg Jeg har Jeg har et Apple produkt
27:32
og jeg altså. Jeg føler mig som rimelig tryg
27:34
ved deres evne til at behandle mine data med med respekt.
27:41
Og så ja der det ja Det kan jo godt lade sig gøre, men Jeg kan
27:45
også godt se at Det er. Jeg er et følsomt emne og.
27:52
I særligt hvis Det er børn, Der er målgruppen og, og Det er
27:57
noget, der har med det offentlige at gøre Sådan.
28:00
Ja, der var jo også det der med børn, ikke?
28:07
Ja og så skulle jeg jeg. Jeg kan ikke helt huske præcis
28:10
hvornår skolepige kommer ud, men Jeg har skrevet Jeg har fundet
28:12
en artikel om skoletube her for den 16.
28:15
Juni 2023. Og Det er jo så faktisk for
28:19
dansk PT bliver annonceret på det der meetup eller ligesom
28:22
bliver fortalt og det bliver berettet om at der med op så så
28:27
har jeg skrevet at moon som er den her.
28:31
Læs videre træning på mistral 7 b på videre træning træning på
28:37
dansk så i en præ trænet LM på dansk fra danish foundation
28:42
models. Den kommer ud i Sådan en alfa
28:44
version i. I midt januar cirka.
28:52
Og så sker der jo ting og sager fordi så så så begynder det ikke
28:54
fordi så begynder så begynder rummer en yoichi som vi også har
28:58
med i podcasten, for Det er bare Sådan en eller anden LM open
29:01
source klub det her efterhånden men men men hvad har det så
29:04
begynder han jo ligesom at. Og rode med med de her modeller
29:07
og han har også trænet 1 1 1 kanelsnegl LM som.
29:13
Det er lidt som som Det var ikke så lang tid efter danske PT blev
29:17
arrangeret også. Og så så begynder han at rode
29:21
med Sådan noget, hedder model marching.
29:23
Hvor man matcher forskellige l lemmer sammen, og så lykkedes
29:28
det ham at lave monin neural beagle 7 b.
29:32
Som så bliver. Som så bliver.
29:36
Og Det er så i midt slut januar, som så bliver ender med at blive
29:40
state of the art åben model på dansk.
29:43
Hvilket jo er lidt grineren at Sådan en muret model.
29:47
Mellem den her ny lige udgivet mooning og så den her anden
29:50
Mercedes model neural beagle ender med at blive.
29:53
Hvad skal man sige komme helt på top af?
29:56
Scannere leaderboardet som er lavet af den så drop som jo
30:00
faktisk må have kommet. Jeg mener at.
30:04
En LG leaderboardet på scan evald kom ikke så lang tid før.
30:09
Så det ja så noget af det det. Det var noget af det sjove som
30:13
da jeg kom ud ikke og da roman roman han myrdede de 2 eller ja
30:19
de medaljer. Og Det er i virkeligheden skægt,
30:22
fordi noget af det, der sker, da det her bord kommer ud.
30:25
Det er at. Folk begynder at få, der
30:29
begynder at blive synligt, hvordan de her elever klarer sig
30:32
i forhold til hinanden. Og så så er det altså, ligesom
30:35
der begynder at gå noget sport i det.
30:37
Ikke fordi så går der ikke så lang tid, så får man kommer man
30:41
ligesom op og og prøver at slå hinandens modeller, så Jeg har
30:47
så har jeg det her projekt i januar sammen med Københavns
30:49
professionshøjskole, hvor jeg oversætter det her instruktion
30:52
datasæt og lægger det ud og så. Annette har vi den rigtig meget
30:59
juice. Kan du høre det?
31:00
Jeg ved godt, hvad du vil sige nu.
31:02
Ja så hvad hedder det så? Træner du så en?
31:07
Ja en ja så træner du monin videre på skolebibliotek
31:11
datasættet og bliver state of the art.
31:15
På emerged modeller. Ikke fordi at han har inde i det
31:20
der leaderboard natural language generation leaderboard.
31:24
Der skelner han mellem myrdede modeller og ikke murrede
31:28
modeller og det standardpraksis kan jeg se i.
31:34
I Sådan nogle edwards, og jeg ved ikke helt hvad er rationalet
31:38
er, men jeg gætter på at Det er noget med at de her myrdede
31:41
modeller nogle gange er nogle værre frankensteins, når man ved
31:45
ikke helt hvor de kommer fra. Man ved nogle gange ikke engang
31:48
hvem den person der har trænet en eller anden model er.
31:52
Og Det er jo det der for eksempel er tilfældet for romans
31:55
march som jo er. Altså nero beatle 7 b er jo et
32:00
mur af en by der hedder belle er en der hedder noget andet og en
32:04
af de 2 er i sig selv et mere af Sådan 14 modeller eller et eller
32:08
andet crazy og. Og nogle af de modeller, der
32:11
ligger til grund for nero beatle af udgivet på hockings fase af
32:17
nogle brugere, Der er anonyme. Altså Vi har selvfølgelig et
32:20
kingsize brugernavn, men man ved ikke hvem de er.
32:24
Så Det kan jo være. Ja altså.
32:29
Det er måske bare for at sige at så så er der mon nogle gange et.
32:34
Troværdigheds. Problem i de her benchmarkets,
32:38
og Det er derfor, at man har valgmuligheden for at slå eller
32:43
for ikke at vise de murede modeller, når man kigger på.
32:48
Plantevalg benchmark for eksempel.
32:49
Det er det jeg gætter på er årsagen altså.
32:52
Ja lige præcis, og man kan sige, Der er jo også Sådan altså bare
32:55
lige for alle er med her model mulching.
32:57
Det er en en teknik hvor man Sådan meget simpelt sagt ligesom
33:00
tager 2 eller lemmer og så ligesom tager et gennemsnit af
33:02
dem basically og så kan der ske hvad som helst, de kan blive
33:06
dårligere bedre. Ja virker det til.
33:09
Ikke. Ved altså med monin den LM, som
33:16
Det er femte ens foundation model udgav er jo at den i sig
33:20
selv, altså den rene model de udgav var jo ikke specielt god
33:25
på og er det stadig ikke på. Det det her skatteudvalg
33:30
benchmark, men så lagde den ud alligevel og Det var jo virkelig
33:35
fedt, fordi så var det nemlig at.
33:37
Andre såsom roman og mig kunne lege videre med dem og gøre
33:42
noget ved dem, der gjorde, at den faktisk blev bedre.
33:47
Den mulighed havde vi jo ikke haft, hvis ikke de havde lagt
33:51
deres middelmådige LM ud, så Det er bare Sådan for mig som bruger
33:57
af den her slags modeller, eller som som en der anvender dem.
34:01
Altså så er det virkelig værdifuldt, at i lægger jeres
34:05
forskningsresultater ud, også selvom at de ikke er state of
34:07
the art. Ja fordi man kan bruge det til
34:11
altså folk skal nok finde et eller andet anvendelse af det.
34:16
Om det så er romanen der model marcherer ud af eller om Det er
34:20
dig der ligesom ser en mulighed for at træne en ny model på de
34:23
her på de her skolep datasæt. Så ligger det derude og og skal
34:29
bliver brugt ikke så Det er. Men Jeg tror i virkeligheden.
34:31
Jeg tror måske virkeligheden, at man undervurderer meget
34:33
betydning af det her NLG bord og det her med at det lige
34:36
pludselig bliver muligt at. Måle hinandens modeller med
34:40
hinanden. Fordi netop fordi så begynder du
34:43
at sige Sådan. Det kan være meget sjovt lige at
34:44
prøve at fintune den her den her ja Det kan være meget sjovt lige
34:49
at prøve at fintune på det her nye datasæt som Kasper lavede og
34:52
så prøver du det og så kører du lige på det der hvor du tænker
34:54
fuck den er sgu da Det er sgu den bedste altså Sådan at
34:58
overhovedet eller Sådan er dem alle sammen ikke?
35:01
Og Det er jo sygt motiverende at kunne sige Sådan.
35:03
Hey hvad jeg skulle lige trænet den den bedste LLM på dansk åbne
35:07
l på dansk ikke? Ja Det er jo også altså det Der
35:11
er. Der er selvfølgelig noget af det
35:12
der forfængelighed i det på en måde eller konkurrencen der, men
35:16
Det er også lige så meget fordi at Det er jo en nem nem måde at
35:19
at få evalueret resultatet af den træning du har lavet, fordi
35:24
at vi sidder jo ikke nødvendigvis selv.
35:27
Med adgang til alle værktøjer, der kan fortælle os med et
35:30
fingerknips om modellen af god eller mindre god.
35:33
Altså hvis jeg skulle evaluere min fintune anonym eller mon
35:38
selv altså, så ville det jo være Sådan noget ad hoc testing, hvor
35:41
jeg lige sad prøvede nogle bruges af og prøve at se hvordan
35:43
det gik. Og Det har også sin værdi, synes
35:47
jeg. Med men Der er også rart med
35:50
Sådan et kvantitativt udtryk som skandia valgår.
35:54
Ja. Ja altså Det er fedt og og det
35:57
der så sker jo Det er jo at Magnus marbæk tror jeg han
36:01
hedder han kommer et par dage efter og dropper en Der er bedre
36:05
end din og et oversat instruction datasæt så kommer
36:12
man bare der og. Det er, og han kommer ligesom ud
36:18
fra fra. Hvad hedder det der hvor han
36:20
studerer og ligesom bare har haft noget computer til rådighed
36:23
og sidde og lave det her projekt, og så banker han bare
36:26
din model ikke og så lidt efter så kommer mads Henriksen med sin
36:31
danske t version 2 og kommer helt i top der den er så lukket
36:36
men men men men Det er jo også interessant og.
36:40
Jeg kan ikke huske hvad den Jeg tror.
36:42
Det er den seneste udvikling der har været, men så er der jo også
36:44
Sådan noget. Så sker der jo også Sådan en
36:45
ting og sager med, at Sønderborg Kommune tror jeg, hvis Det er
36:50
eller i hvert fald en sammenslutning af kommuner, som
36:53
har lavet noget noget i det, som er de her transformerer en koder
36:58
modeller. Der har de lavet et eller andet
37:00
en klasse fra internt i kommunen, som de ligesom har
37:04
hørt Datatilsynet, tror jeg Det er.
37:07
Eller. Dem, der dem der de har i hvert
37:12
fald forhørt sig hos en eller anden data myndighed, om Det er
37:14
ok, at de udgiver det her og så og og det og det hvad hedder
37:18
det, og det får de lov til, og så har de den, de kalder det for
37:22
AI aktindsigt, hvor det ligesom deler koder og modeller og så
37:27
videre. Det er jo også noget helt nyt
37:29
altså. Ja Det var også.
37:30
Se kommunerne dele af open source sprogmoduler.
37:33
Ikke ja Det er virkelig fedt møde.
37:35
Var der ikke også et datasæt med eller var det i en anden
37:38
sammenhæng? Jeg synes i så det inde på det
37:39
det clack at nogen talte om et datasæt, der var en masse e mail
37:44
korrespondancer fra nogle sagsbehandlere, som selvfølgelig
37:47
er anonymiseret og så videre ikke, men som en anden Kommune
37:50
også få lov til at udgive. Det er jo også.
37:53
Altså der der. Den Det kan godt være.
37:55
Det. Ja Det er jeg i hvert fald.
37:58
Det er ikke noget jeg. Jeg vil ikke rigtig ved hvad jeg
37:59
skal stille op med det, men jeg kunne forestille mig at at.
38:04
Kenneth og Lasse og dan og hvem der ellers er involveret i
38:08
danish foundation models kan bruge det.
38:11
Og Det er jo Det er jo pisse fedt signal at sende til de
38:13
andre kommuner om at nu gør vi det her, og så kan vi dele, og
38:17
så kan vi arbejde på den måde ikke.
38:18
Så Det er også bare en spændende ting som Jeg synes Det er mega
38:21
fedt at at der ligesom er blevet taget initiativ til og så senest
38:26
Det har jeg faktisk ikke delt på nogle sociale medier.
38:28
Men mike riis, som sidder oppe i Norge og udvikler sprogmoduler
38:33
deroppe, som er hvis dansker han har han har skulle oversat open
38:38
assistent. Datasættet, som er Sådan et, som
38:42
er Sådan et præference tuning datasæt.
38:45
Til dansk. Så Der er faktisk, og Det er jo
38:48
faktisk det Vi har manglet, og nu havde vi lige en stund
38:52
datasæt, men det vi lidt og mangler nu her.
38:54
Det er Sådan det her præference tuning datasæt.
38:56
Så hvis Der er nogen der sidder derude og kunne tænke sig at
38:59
prøve at slå slå nogle af dem Der er på mit bord, så så er der
39:03
en mulighed her virker det til. En stor opfordring til at gøre
39:07
det indsats. Ja.
39:11
Har du mere på Sådan LMNP delen i hvad Der er sket det seneste
39:18
halvandet års tid eller Sådan noget?
39:20
Ikke rigtigt nej, Jeg tror Vi er ved at være der.
39:23
I hvert fald været inde på de punkter, som jeg lige skrev på
39:26
min brainstorming liste. Ja.
39:32
Man kan sige, hvis man så kunne man altså, så kunne man måske
39:35
prøve altså at snakke lidt om. Hvad skal man sige?
39:39
Altså på en eller anden måde. Så føler jeg at.
39:42
Dansk data science community forening er blevet Sådan ok.
39:47
Centralt i det der community i Danmark.
39:51
Jeg ved ikke om Det er fordi man selv er en del af det, men men
39:54
jeg føler i hvert fald at det Sådan er.
39:58
Bare det her, for eksempel med ham her.
40:01
At folk ligesom kommer hen til til til til til community for
40:05
ligesom at dele deres open source contributions og Sådan
40:08
noget. Det viser bare et eller andet
40:10
med at det ligesom er. At at Der er nogle folk, der
40:13
ligesom fejrer det der ikke. Så måske ikke giver det også
40:19
mening Sådan at snakke om hvordan det går i selve for en.
40:21
Altså hvad hvordan Sådan vi oplever stemningen der.
40:28
Og jeg må sige, Jeg synes Det har været altså Det er meget NP
40:33
fokuseret ikke altså meget lars sandwich model a fokuseret må
40:37
man sige. Jeg er ikke engang altså jeg,
40:41
men på tekst ikke Sådan rigtigt på billeder og lyd og Sådan
40:43
noget synes Jeg er video men meget meget tekst.
40:48
Men altså Det er jo også. Ja Jeg synes at sige Det er et
40:55
af de mest oplagte steder at samarbejde og det og Det er
40:57
måske bare noget jeg siger fordi at det et af de emner jeg selv
41:00
beskæftiger mig mest med, men Sådan noget tidsserie forecast
41:05
ting som jeg tidligere selv har været beskæftiget mig med det.
41:09
Det er meget mere Sådan internationalt.
41:12
Ja, og Det er jo ikke specifikt for Danmark.
41:16
Altså hvis vi gerne vil forudse Vores elpriser eller
41:20
systemydelser på i elnettet. Det det sidder man også med alle
41:24
mulige steder. Jeg tror bare det på en måde er
41:28
ret naturligt, at Det er der for samarbejdet og samarbejdet
41:32
foregår. Og og et meget samtalen foregår
41:36
der. Ja Jeg tror Det er virkelig det
41:40
vi oplever. Det er at Det er.
41:43
Det er bare en rigtig god lim for community ikke Det er en
41:45
rigtig god måde. Det er en rigtig god.
41:49
Det Det er en god ting at samle sig om.
41:51
Det er en oplagt ting at samles om, må man sige.
41:56
Ja. Men vi Vi er jo også.
42:00
Vi hedder jo dansk data science. Vi havde jo ikke dansk LPK, så
42:06
Vi har jo også ja en masse medlemmer som laver alt muligt
42:10
andet end en p og l lemmer og Vi har også kanaler i Vores slack
42:16
workspace, som handler om om andre ting, men meget af
42:20
dialogen går på. Ja sport teknologi specifikt på
42:26
tekst ikke ja, så det. Jeg vil sige, at en en
42:32
opfordring til alle, der sidder og lytter med, at hvis man gerne
42:35
vil afholde et arrangement om et emne, der ikke lige er andet p
42:40
eller sprogmoduler, så er man jo meget velkommen til at bruge
42:45
dansk design community som platform til til den slags,
42:48
altså både til selve registrering til at ventet, men
42:51
også at vi kan hjælpe med promovering af Det kan
42:54
selvfølgelig at man er medlem, men Det er jo gratis, og Det er
42:56
nemt at blive det så. Bare en opfordring til at hvis
42:59
man sidder og savner et specifikt emne, der bliver
43:02
behandlet af DC, så vil vi gerne vide det, så Vi er opmærksomme
43:06
på det. Men men man må også meget gerne
43:09
selv. Afholder et arrangement eller
43:13
starte en samtale inde i Vores slackware space.
43:16
Vi vil jo gerne være meget mere end end at Vi er meget mere, og
43:20
Vi skal måske, hvis Vi skal pille den af bliver lidt bedre
43:23
til at dyrke nogle af de andre sider af decency også ikke.
43:27
Jo Det er jo også noget Vi har snakket om især.
43:30
Ja altså i interne bestyrelsen at.
43:33
Det det vi kunne godt tænke os at blive bedre til at
43:35
kommunikere, at vi ikke er kun vi ikke kun vi ikke kun er
43:41
slibebånd. Ja, jeg ved ikke om du kender.
43:43
Det er en kamp begge 2 reference men og hvad hedder det men.
43:50
Vi er vi altså. Det kan også være lidt ligesom
43:53
at sige være bedre til at kommunikere vi det ikke kun er
43:57
LP og Lars landbrugsmodels Der er fedt og relevant.
44:02
Men også Sådan ligesom sørge for, at der bliver sat gang i
44:05
nogle events, som også handler om andre ting og så for eksempel
44:08
time Series får casting. Det er jo også en super relevant
44:11
ting, men Det er lige før man kan i den her.
44:14
Den her stemning Der er II feltet kan føle sig Sådan helt
44:19
irrelevant eller Sådan helt uaktuel hvis man foreslår et
44:22
meetup der handler om noget andet end lars language models
44:27
ikke så, så Det kan godt være vi måske skal vise vejen der på en
44:31
eller anden måde så. Ja, Det er sat i gang og Sådan.
44:34
Noget det Det er rigtigt. Ja.
44:39
Men apropos. Nej nej, Det er fint.
44:43
Nok men Jeg vil lige lave Sådan en lille stik.
44:45
Jeg hedder Sådan noget lige lidt ud af en tangent nu.
44:49
Vi er ved det her med ting der ikke lige er LM og NP at Der er
44:55
jo også sket nogle spændende ting på.
44:59
Data science, der ikke har med NP at gøre.
45:04
Ja jeg jeg hæfter mig for eksempel.
45:08
Ved den her supercomputer som skal bygges på dansk grund,
45:14
finansieret af novo nordisk fonden og.
45:19
Hvad var det nu den hed et eller andet?
45:21
En eller anden statslig eksport fond, Danmarks eksport og
45:26
investeringsfond? Yes hvad hvad det så end er det
45:30
prøver jeg at. Stoppe jamen altså Det er en
45:32
stats finansieret investeringsfond, som Der er
45:38
noget lovgivning omkring, men hvad de konkret Sådan laver og
45:41
hvad deres formål er, det ved jeg faktisk ikke.
45:44
Men ja de skal jo bygge en såkaldt supercomputer som kommer
45:49
til at bestå af 1528 en vilje h 100 GU er.
45:57
Og når jeg siger såkaldt supercomputer, så er det fordi
46:00
at. Det er ganske vist en rigtig,
46:03
rigtig kraftig comp. Gutter, hvis man kan sige det at
46:06
det bare er en computer, men altså Det er mange giver urene
46:09
kommer til at bestå af, men. Det er blevet fremstillet nogle
46:12
steder, som om at det Sådan er en af verdens største for
46:15
eksempel. Og Det er det slet ikke.
46:16
Og hvis vi skulle sammenligne størrelsen på den med hvad
46:22
abonnere i for eksempel bruger, når de træner så, så så fortalte
46:25
jeg jo tidligere, at jesus er 4 blev angiveligt trænet på 25.000
46:28
GUI 90 til 100 dage. Ikke så, så Det kan være det vil
46:34
tage 1 3 4 år at træne GP 4 på den her supercomputer vi får på
46:39
dansk grund. Men grunden til jeg nævner det
46:43
uden for NP snakken er at Jeg tror ikke den kommer til at
46:46
blive brugt til den slags, når det nu er det novo nordisk
46:49
fonden der står bag eller er medfinansieret.
46:52
Hvad hedder den er med til at finansiere sig.
46:54
Fortæller mig at det kommer til at være en masse Sådan noget
46:56
life science der bliver kørt på den og simuleringer, som ikke
46:59
nødvendigvis er machine learning.
47:03
Ja så det. Det var i hvert fald en en stor
47:06
nyhed. Det må man.
47:08
Sige, der var også et en forskningsartikel fra en gruppe
47:13
forskere, der vidste nok både er en blanding af folk fra KUDTU og
47:19
ITU og muligvis også nogle andre steder.
47:23
Men, som altså de udgav en artikel et december, som hvor de
47:30
de viser, at man ved at at repræsentere data om folks liv
47:35
på et vektor espace eller vektorrum.
47:38
På samme måde, som vi gør, når vi embeder ord, at så kunne man
47:43
lave nogle. State of the art, forudsige.
47:47
Så om hvor om livsbegivenheder, for eksempel Sådan noget som
47:51
hvornår folk vil dø eller. Og det.
47:55
Det fik en masse opmærksomhed i alle mulige medier også i
47:58
udlandet. Og det blev selvfølgelig meget
48:02
Sådan doomsday agtig i meget af den der mediedækning, men Det er
48:06
det i virkeligheden slet ikke. Men, men Det var i hvert fald en
48:10
meget stor nyhed inden for data science, som ikke er noget med
48:14
med NP og sprog modeller altså man kan så sige jo okay, Det har
48:18
lidt mere end at gøre fordi at de brugte 3 en transformer model
48:21
og. Og Det er også den grundlæggende
48:25
eller den mest udbredte arkitektur i moderne sprog
48:28
modeller. Men Det er jo ikke sprog, Der er
48:33
anvendt på, så vidt jeg ved, de har bare repræsenteret.
48:36
Noget registerdata på samme måde som vi repræsenterer sprog på,
48:41
når vi træner sprogmoduler. Sådan som jeg forstår.
48:45
Ja jeg tænker Sådan lidt med den her supercomputer, ikke?
48:51
Hvem hvem skal have lov til at bruge den?
48:53
Og hvordan finder man ud af det? Ja det lyder som politik.
49:00
Det lyder som rigtig meget politik.
49:03
Men altså. Jeg tror da godt at vi kunne
49:05
finde på nogle projekter der har været sjovere at lave på Sådan
49:07
en hvis man kunne få. Bare adgang til nogle 100 h 100
49:12
gebyrer ikke behøver ikke dem alle sammen.
49:15
Nej altså, og Det er også det vi også har snakket om.
49:18
Især du har foreslået gruset. I virkeligheden, så er der mange
49:22
af Sådan nogle småprojekter. Som for eksempel træne de her
49:26
små open source modeller på de her datasæt, der altså så
49:30
videre. Som som kunne gavne rigtig meget
49:34
af bare nogle stykker af de her gpu er her.
49:40
Ja, og så er det sjovt det der med ja jeg.
49:44
Jeg tror også bare måske Det er også lidt min mangel på
49:46
forståelse for hvad man ellers kan træne på Sådan nogle
49:49
kæmpestore. Computer clusters her men.
49:53
Det er også rigtigt. Der er også mange der snakker om
49:54
Sådan nogle nærmest Sådan sprog modeller for for genen for gener
49:59
nærmest og genomer og Sådan noget.
50:04
Ja Det er ringer lidt en klokke når du siger det fordi der var
50:06
jo noget med at nogen fra Google de mind eller Google brain eller
50:10
hvad det hed på det tidspunkt de.
50:13
Lavet en en eller anden model. Der var virkelig god til at.
50:18
Forudse et eller andet, der mener at gøre, ikke?
50:21
Alt Det var alt for folk, ikke? Ja.
50:25
Så ja Der er jo også. Nogle gange skal man også huske
50:27
Der er også mere end mere end sprog teknologi.
50:32
Og ja Det er der og. Det.
50:35
Det er nemt at se potentialerne i generative AII virksomheder.
50:41
Og Det er lidt sværere af alt. Eller Det er måske mindre
50:44
håndgribeligt, hvad vi får ud af en supercomputer til life
50:48
science. Men Jeg tror at.
50:52
Muligvis at den supercomputer og de kommer til at lave der har en
50:57
større positiv effekt på Vores samfund end åbne jeres APIR.
51:04
Ja det tror jeg bare Sådan noget godt man kan sige.
51:07
Det kan man jo, Det kan man jo diskutere eller hypotese.
51:12
Hypnotisere hype. Det kan jeg ikke sige du har.
51:17
Nu bare lige hurtigt jeg. Jeg glemte lige at sige noget
51:19
her før med udviklingen i dansk sprogteknologi, fordi Der er
51:22
også kommet en hvis man sige en en lille konkurrent til eller
51:26
ikke om man kan sige det konkurrent, men en mere et
51:29
leaderboard mere for danske generative sprog modeller som
51:32
hedder danø litterat GL leaderboard.
51:36
Jeg linker til den i shownotes og de lavede så vidt Jeg kan
51:39
forstå at nogle folk ude fra DTUA som som benchmarker.
51:44
Ja sprog modeller de plejer, har blandt andet også testet Jimmy,
51:48
Google, Jimmy og cloud og giver til 4 og de forskellige open
51:53
source elever, Der er derude, og Det er altså stadig.
51:57
Der er stadig den gode hydron mistry for Magnus may beck, som
52:03
er, som er den bedste øverste åbne.
52:07
Ikke fordi at ikke modtog jeg stadig romans mørch som er.
52:16
På toppen så vidt jeg husker ikke hvis man tager i hvert fald
52:21
på Skanderborg. Jeg har ikke været at kigge på
52:22
det der nye lillebror der. Jeg tror faktisk mistral slår
52:27
den også. Den har de benchmarket, den er
52:29
ikke på Skanderborg. Er den det?
52:31
Nej, så Det er jo egentlig meget fedt at de lige har.
52:34
Prøvet nogle flere ting af ja, Det var også det altså man.
52:38
Det er svært at få indsigt i. I hvad hedder det modeller man
52:42
ikke har testet? Og når man har begrænset
52:44
computer til at evaluere og måle op mod de her datasæt, så er det
52:47
jo ikke så nemt at få indsigt. I.
52:51
Der er jo en masse leaderboards på engelsk, men Det er bare ikke
52:55
sikkert at de. Generaliserer til dansk jo.
53:00
Nej nej. Yes men jeg tænkte her på en her
53:04
bare Sådan en afsluttende. Tror jeg måske godt jeg kunne
53:08
tænke mig Sådan bare lige at snakke lidt om hvordan vi tænker
53:11
hvis vi lige prøver at snakke lidt om om dansk statsminister
53:14
sige hvad der kunne være fedt at arbejde på i fremtiden og hvad
53:17
der ligesom kunne være fedt for at udvikle det Vi har gang i.
53:21
Har du nogle? Har du nogle tanker der?
53:23
Ja Det har jeg. Jeg.
53:27
Jeg synes, at der mangler understøttelse til små sprog.
53:33
Teknologi relaterede projekter. Vi har god støtte, går ud fra
53:40
til Sådan noget som danish foundation models, et
53:43
forskningsprojekt, der har til formål at udvikle.
53:47
Foundations for modeller. Og Der er vidst nok også en
53:52
masse projekter vedrørende masse offentliggørelse af offentlige
53:56
data eller data fra Sådan nogle semi offentlige organisationer.
54:02
Men men understøttelsen til de her bittesmå projekter, som kan
54:07
udføres af en person eller få personer på en kort
54:11
tidshorisont. Ser vi mangler og det altså.
54:15
Det drejer sig konkret om understøttelse til generering af
54:19
datasæt til fintuning og Sådan nogle præference dataset, og så
54:24
drejer det sig om understøttelse til at køre selve fintuning.
54:31
Træningsprocessen. Vi så jo med Københavns
54:35
professionshøjskole skole PT. En strup datasættet.
54:40
At Det var. Relativt overkommeligt for dem
54:45
og for jer altså at lave datasættet både i hvad i har
54:49
brugt af tid og hvad jeg brugte penge på det.
54:53
Og hvis vi havde flere af den slags projekter, så tror jeg vi
54:56
ville se en en opblomstring IL udviklingen.
55:03
Og Vi skal selvfølgelig stadig have offentliggørelse af
55:06
kæmpestore datasæt fra biblioteker eller fra DRK, og
55:09
hvad der ellers er tale om. Og Vi skal selvfølgelig stadig
55:11
have finansiering af forskning. Det kunne også være meget
55:16
gavnligt for communityet, altså for for alle der arbejder med
55:21
eller lemmer og andet sports energi.
55:23
Hvis vi havde understøttelse til de lidt mindre projekter.
55:26
Og det konkrete gode eksempel er jo, at vi kunne se, at da jeg
55:30
fintunet mon altså den her model, der kommer ud af noget
55:34
forskning på det datasæt, som i har lavet som.
55:39
Jo trods alt er relativt begrænset i omfang, så så vi et
55:43
markant alt. Det ville jeg sige.
55:45
Det var markant løft i. Mønts performance altså mønt
55:50
blev bemærkelsesværdigt meget bedre af, at jeg lige trænede
55:53
dem i 4 timer på de 21.000 eksempler, som i havde lavet hos
55:57
Københavns professionshøjskole. Så forestiller jeg, hvis der var
56:02
mange organisationer, der lige gav nogle penge hist og her til
56:05
at lave de her datasæt, så kunne det være vi kunne få nogle endnu
56:08
større kvalitetsløft i de der store foundation modeller som
56:13
kommer ud for eksempel Det er dem.
56:15
Det blev det lidt langt svar, men det Det er Sådan et projekt
56:17
jeg ser at det kunne være super gavnligt og som Jeg tror at Det
56:21
er c kunne engagere sig i. Jeg tror vi kunne være
56:23
bindeleddet mellem organisationer der gerne vil
56:26
stille noget computer til rådighed eller som gerne vil
56:28
stille en api. Access token til rådighed.
56:31
Og så nogle folk der sidder ude i gymnasiet og gerne vil lave et
56:34
eller andet givent projekt enten i deres fritid eller på deres
56:37
studie. Eller hvad ved jeg.
56:40
Hvad med dig selv? Det du siger, er virkeligheden
56:43
bare lige for at følge op bare lige for at følge op.
56:45
Jeg synes Det er en rigtig god pointe og det du i virkeligheden
56:47
siger Det er at. Altså små investerer relativt
56:52
små investeringer Sådan hist og her.
56:54
Vel relativt små, velplacerede investeringer kan virkelig har
57:00
virkelig mulighed for at skubbe skubbe rigtig meget, så Der er
57:04
en mulighed for at bruge ressourcerne til udvikling af
57:07
dansk sprogteknologi. Utrolig.
57:08
Effektivt og og rigtig mange af de mennesker, der ved mest om
57:13
den slags her i landet, er jo på en eller anden måde aktive IDC.
57:20
Og Det er derfor, at jeg ser at at vi kan, at vi som forening
57:24
kan være bindeleddet. Og være med til at facilitere
57:26
den slags? Ja.
57:30
Jamen Jeg tror Jeg vil tilslutte dig lidt din din, din din vision
57:34
om at også involvere sig lidt mere i hvordan man kan få Sådan
57:38
en ting til at ske, men også den her.
57:41
Jeg tror også jeg godt kunne tænke mig at og det virker som
57:44
om Der er opbakning til det, at vi vi på i højere grad mener
57:48
noget som forening jeg havde for eksempel kunne Jeg synes Det var
57:53
fedt, hvis jeg ikke bare var blevet citeret i Folketinget,
57:56
men var blevet citeret som dansk datakilde.
57:59
Unitys formand mener det her eller udtaler det her eller et
58:02
eller andet. Ikke fordi så kunne det bare
58:04
have været mere tjekket, og der tror jeg, vi kan blive bedre til
58:07
ligesom at. Jeg tror, at hvis vi Jeg tror,
58:11
vi kan blive bedre til ligesom at få samlet den der
58:15
kommunikation på en eller anden måde.
58:17
Og så synes jeg også bare jeg så i den her behandling af
58:19
forslaget til det, om der skulle være en dansk staten skulle en
58:23
dansk teknologi i sprog model. At der var Der er meget
58:27
forvirring i debatten. Fordi den er så teknisk ikke.
58:31
Der er mange tekniske detaljer. Det kræver at man har styr på
58:34
nogle tekniske detaljer for at vide hvad den gode beslutning
58:37
er. Og den tror jeg måske, at vi kan
58:42
som community og foreningen. Hjælpe med at gøre mere klar?
58:48
Det er meget. Enkelt ikke noget klarhed.
58:50
Og Det er det altså, Jeg har gjort mig præcis de samme
58:54
tanker, og. Og Jeg vil Sådan.
58:57
Jeg synes Det er vigtigt, at vi ikke kommer med holdninger, men
59:02
med viden hvis man kan lave den skelnen altså vi så så for
59:09
eksempel hvis nu der lige pludselig var nogen i
59:11
Folketinget, der snakkede om, at vi skulle sætte en.
59:14
En bremse på udviklingen af r ud fra nogle klimahensyn af alt, så
59:19
kunne det være, at vi som forening gik ind og sagde, her
59:22
er nogle tal, i kan tage udgangspunkt i, når i skal.
59:26
Da den er en holdning til, hvorvidt Det er en god idé eller
59:28
ej, og ikke nødvendigvis, at vi som forening skal komme og sige,
59:31
Det er en god ide. Det er en dårlig idé og så
59:35
konkret også indenfor snakken om LM og så bare belyse hvad Det er
59:41
for nogle problemstillinger man står overfor.
59:43
Hvis man skal lave en en LLM ikke altså.
59:47
Og gør dem let forståelige for lægmand, ikke?
59:52
Ja. Ja og derudover så tror jeg
59:55
altså. Jeg tror måske også personligt
59:56
at Jeg har lært meget i de her 2 år af at være formand, og
1:00:00
hvordan man altså Sådan bare Sådan nogle organisations ting
1:00:04
og hvordan man arbejder. Sådan er lidt mere tjekket med
1:00:07
en masse forskellige ting og sager, så det tænker jeg også at
1:00:10
det kommer den erfaring. Jeg tror Vi har fået i forhold
1:00:15
til det tror jeg også vi kommer til at få gavn af og det og Det
1:00:18
er blandt andet Sådan noget med at blive bedre til at jeg kunne
1:00:21
altså så blive bedre til at. Holde mere regelmæssige meetups
1:00:27
altså Sådan noget med at folk kan forvente at Der er en meetup
1:00:30
en gang om måneden. Jeg ved ikke om man kunne gøre
1:00:33
det Sådan noget sidste torsdag i måneden.
1:00:35
Det var Sådan et eller andet, men Sådan så Der er lidt mere
1:00:38
forudsigelighed i det der altså man måske i højere grad kunne.
1:00:42
Kunne planlægge det Sådan lidt mere og ligesom på forhånd lave
1:00:47
samarbejde med flere virksomheder og plotte ind i en
1:00:49
en plan ikke, og så kunne jeg godt tænke mig, at vi blev bedre
1:00:53
til at håndtere. Og hvad skal man sige?
1:00:57
Gribe og engagere medlemmer som kommer og siger de gerne vil
1:01:02
engagere sig og virksomheder der kommer og siger de gerne vil
1:01:04
samarbejde. Blive lidt mere skarp på.
1:01:09
Hvordan man ligesom bliver. Kommer ind i varmen eller ikke
1:01:15
ind i varmen. Sådan skal det ikke lyde.
1:01:16
Men altså Sådan ind i maskineriet og bidrager.
1:01:19
Vi skal jo nok arbejde på at at definere selv nogle, nogle komme
1:01:24
til enighed om, hvordan vi griber den slags ting, altså i
1:01:27
bestyrelsen noget. Det er jo Sådan en opgave for
1:01:29
den kommende bestyrelse. Der er jo valg.
1:01:32
Det ved jeg ikke, om vi finder dem.
1:01:32
Der er jo valg til bestyrelsen på fredag til dansk designs
1:01:36
gymnasie ja så. Efter fredag så er der jo så en
1:01:40
ny bestyrelse i foreningen, som skal.
1:01:43
Jeg skal arbejde videre. Ja så hvad hedder det?
1:01:49
Og Det er virkelig sjovt fordi jeg ser det der med frivillige
1:01:51
og virksomheder der kommer ind. Det er lidt ligesom den open
1:01:53
source projekt man tænker man laver et open source projekt og
1:01:56
Sådan så kører det bare Sådan så er det bare ligger det bare ud
1:01:58
og så bruger folk det bare jamen så begynder folk jo også at lave
1:02:02
commits og Sådan nogle ting og så skal man til at håndtere det
1:02:05
og så er der en masse management i det og en masse organisering
1:02:07
af det og publiques og Sådan. Nogle ting?
1:02:10
Så. Så ja.
1:02:14
Og så skal vi bare fortsætte med at.
1:02:17
Udvikle Vores open source. Community og fejre det endnu
1:02:22
mere og være endnu bedre til. Ligesom at.
1:02:25
Sørge for at folk har et sted at komme hen, hvis de har lavet et
1:02:27
eller andet fedt open source arbejde, som kan bruges i det
1:02:31
danske datacenter. Jeg har skrevet for at du nævner
1:02:35
det her med, at Vi skal. Fortsætte med at lave mit ups og
1:02:40
fordi at det ser jeg også som super vigtig del af Vores
1:02:43
forenings virke. Vi skal Jeg synes personligt at
1:02:47
Vi skal. Vi skal både kunne favne det og
1:02:50
lave meetups og stå nede på stå et eller andet sted nede på
1:02:54
gulvet og snakke teknisk snak. Og så kunne det være fedt, hvis
1:02:57
vi også kunne engagere os i en i nogle af de lidt mere Sådan.
1:03:03
Ikke så tekniske, men politiske eller skal det snakke?
1:03:06
Der foregår ikke hvis vi kunne favne begge dele.
1:03:09
Det er jo rigtig ideelle. Ja, Vi er jo lige pludselig
1:03:13
blevet super relevante på grund af at Vi har den her, og de har
1:03:17
den her flok af mennesker, som har arbejdet rigtig meget med
1:03:19
noget Der er så hypet i øjeblikket.
1:03:21
Ikke så. Så Vi har også en stemme der og
1:03:25
som som Jeg tror folk vil være villige til at lytte til, fordi
1:03:28
vi ligesom Sådan er. Har ry for at være lidt lidt på
1:03:31
en eller anden måde, så. Ja.
1:03:35
Yes jamen nu har vi snakket en time, og Det var ligesom et
1:03:39
tilbageblik på, hvad Der er sket i de sidste års tid og lidt
1:03:44
omkring hvad vi godt kunne tænke os der skete i foreningen i
1:03:46
hvert fald i fremtiden. Er der noget du har her på
1:03:51
falderebet, som du gerne vil? Dele.
1:03:54
Ja nu fik jeg jo sagt før at der kommer en en ny bestyrelse, men
1:03:58
Vi er jo nogen der genopstiller, og så er der nogle eksisterende
1:04:01
medlemmer der ikke genopstiller. Og så er der nogle nye
1:04:04
kandidater til bestyrelsen så. Det bliver jo formentlig et mix
1:04:07
af af velkendte og nye ansigter i bestyrelsen så.
1:04:11
Ja men en ny bestyrelse. Ja, Det kan se mindre.
1:04:15
Ja Det er fedt det bliver spændende.
1:04:17
Det bliver rigtig spændende. Yes jamen så tror jeg bare Jeg
1:04:22
vil sige 1000 tak fordi i lyttede med alle sammen og vi
1:04:25
lytter selvfølgelig ved i næste uge og måske ses vi da på fredag
1:04:28
til dansk dataekspert unity generalforsamling det det kunne
1:04:31
i hvert fald være rigtig hyggeligt, hvis vi gjorde det.
1:04:34
Have det godt til vi lyttes igen.