Latest / Verbos: AI og Softwareudvikling / #33 - Morten Lantow: MLOps og LLMOps

Transcript

#33 - Morten Lantow: MLOps og LLMOps · Verbos: AI og Softwareudvikling

0:02
Hele sammen og velkommen til afsnit 33 aabos podcast ja hvad
0:06
hedder det velkommen til i dag skal vi snakke om et rigtig
0:09
spændende emne, og Vi har en rigtig spændende gæst med i
0:12
Vores virtuelle studie her til at snakke om det og og Det er
0:15
nemlig det emne Vi skal snakke om.
0:17
Det er m ops og LLM ups altså large language model og til at
0:23
snakke om Det har vi fået Morten legetøj med i studiet som er
0:27
head of m obs hos DSV. Velkommen til Morten tak for det
0:31
Kasper selv tak ja Det er dejligt.
0:35
Ville komme i ja, og mit navn er selvfølgelig Kasper og.
0:38
Jeg hedder Jonas og hvis Anders. Yes, før vi går i gang med den
0:43
her, det her, den her snak om elops og l os som jagte
0:48
personligt glæder mig rigtig meget til.
0:49
Så skal vi bare lige nævne en lille ting som er en en smule
0:53
uundgåeligt i det her miljø i øjeblikket med i forhold til ã r
0:57
især og Lars landbrugsmodels som skal oplæg, og Det er henover
1:01
weekenden her. Vi optager her den 20.
1:04
November. Der er samme almen blevet fyret
1:06
som CEO fra Open i, og Det har simpelthen jeg ved ikke med jer
1:10
men. Jeg har virkelig fulgt meget med
1:12
i det, og der har virkelig været et kæmpe drama omkring alt det
1:15
her og lige her til at starte med, så vil vi gerne sige, at
1:18
Det er ikke fordi vi ikke ved at det her, det eksisterer, men Vi
1:21
har besluttet os for at vente til at snakke om om det, og hvad
1:25
det rent konkret får betydning til.
1:27
Der er Sådan lidt mere ro på, og vi ved mere hvad, hvad der
1:30
kommer til at ske Sådan. Ja, så er det lidt mere konkret
1:33
at snakke om, så Det var bare ligesom bare ligesom for lige at
1:35
gøre opmærksom på. Vi er ikke totalt.
1:37
Blinde for at en af de største CE os indenfor AI er blevet
1:41
fyret af bestyrelsen i appen. Jeg.
1:44
Vi venter bare lidt til at snakke om det, så er det måske i
1:46
næste uge kunne jeg forestille mig.
1:48
Men apropos opa ny ustabilitet i openai så er det jo der kan man
1:54
sige så er det jo i virkeligheden måske ret relevant
1:56
at tale om det her large language model ups eller LM obs
2:00
som man også kalder det fordi hvad nu hvis vi lige pludselig
2:04
ikke kan regne med at opnå jeg se piger er tilgængelige, så
2:08
kunne det måske blive interessant at rent faktisk at
2:11
høste sine egne open source modeller?
2:13
Ja, og Det er så det Vi har dig med til at snakke om her i dag
2:16
Morten og jeg tænker inden vi går i gang, kunne du ikke tænke
2:19
dig bare lige at fortælle lidt om dig selv?
2:21
Og og hvad du laver? Jo, Det kan du tro.
2:25
Langt tilbage i fordums tid, der havde tog jeg en bachelor i
2:28
filosofi, og der med lidt lidt snilde og lidt.
2:34
Lidt blod, sved og tårer fik jeg skiftet over til noget
2:37
computervidenskab i stedet for et et tværfagligt studie, der
2:40
hed it kommunikation, som var sprogteknologi primært og så en
2:44
masse valgfag på datalogisk Institut som det primære er, så
2:48
startede der i det offentlige, hvor at jeg også var kollega med
2:51
den kære Jonas vi herovre og der arbejder vi også med med med
2:55
sprogteknologi på det tidspunkt, altså de her sprogmoduler.
2:59
Jeg blev lovet de her 500.000 tror Det var 500 600.000 mails
3:05
om året, som var lidt den store grund til til jeg hoppede ind,
3:08
men der fandt jeg rigtig hurtigt ud af, at hvad kan man sige
3:10
platformsarbejde? Er en altså nu hørte jeg lige en
3:15
podcast med Mikkel musk og joe rogan, hvor han siger at det at
3:19
bygge fabrikken er 1000 gange sværere end at lave prototypen,
3:22
og Det er lidt det samme med modeller det.
3:24
Det er ofte hvis fabrikken ikke er der, så får man ikke ligesom
3:27
noget værdi ud af det, så jeg fandt ret hurtigt ud af for at
3:30
lave alt det sjove, så bliver nødt til ligesom at grave et
3:32
spadestik dybere. Og hvordan er det man så bygger
3:34
platformen og Der er en masse Sådan teknisk interessante ting,
3:38
Det er også. Og så blev jeg simpelthen
3:42
headhuntet over til i et stykke tid.
3:43
Det var også super spændende. Jeg ser det lidt som min min cbs
3:46
uddannelse på en eller anden måde, for ligesom at fokusere
3:50
enormt meget på forretningsværdien og Sådan
3:51
noget. Og så efter det der fandt jeg ud
3:56
af at salgsarbejdet omkring elops ikke var det super
3:59
spændende, men det Jeg har fået ud af det ligesom var der min
4:01
passion og det der der helt naturlig.
4:05
Sådan var drev min nysgerrighed og kildede min hjerne eller hvad
4:09
man siger. Og så fandt jeg et jobopslag fra
4:12
DSV, hvor der de nævnte deres teknologi.
4:15
Tak for deres tid værende tidspunkt havde jeg fået
4:17
nogenlunde overblik over folks forskellige teknologi stakke
4:20
rundt omkring. Det var en del af mit job
4:22
ligesom rende rundt og undersøge folks modenhed.
4:25
På det her område, som man vidste, hvor man kunne sælge
4:27
Sådan noget. Og der så jeg bare du ved
4:30
bleeding edge teknologi hele vejen så Sådan hey skal jeg ikke
4:34
have job og der var jeg heldig nok til at de de ligesom bød på.
4:39
Og få den på den ligesom det drive og og engagementet med, så
4:43
Det er så der jeg nu efter så der bliver ansat som leder er
4:46
designet med ansvar for de her områder, og nu har jeg så fået
4:50
mit eget team, der står for at prøve at bygge en Sådan lidt
4:53
agnostisk platform på på tværs af.
4:56
Så Det er super sjovt. Meganice bare lige Sådan nu
5:00
altså Vi er antager at de fleste ved hvad MO betyder, men måske
5:04
bare lige for en god ordens skyld kan du ikke lige brække
5:06
ned? Hvad betyder ML ps og hvad er
5:09
det egentlig for noget? Det kan du tro jamen ML står så
5:11
for machine learning og obs det står for operations så Det er
5:15
lidt ligesom en en søster disciplin til devops som også
5:18
har været i gang siden 2010, 2011 eller Sådan noget, så er
5:21
ellers forholdsvis nyt, og Det er en måde hvor man.
5:26
Rammesætter udviklingen i produktionsstigningen og så
5:30
derefter. Hvad kan man sige driften af de
5:33
her med sine løsningsmodel? Præcist.
5:38
Ja. Det er ikke første gang blevet
5:41
spurgt så. Nej.
5:42
Men Der er også. Der er også det her lars
5:44
language models obs el mobs som det det glider, ligesom ikke er
5:48
tunge. Lige så nemt kan man sige.
5:53
Det er lige så stort i munden, som som i virkeligheden.
5:58
Og. Ja som ville du gøre tanken
6:02
færdig? OK jeg tænker på, men humlen med
6:08
det her ML mobs Det er at Det er præcis det samme stort set som
6:11
hemmelig, men det arbejder bare meget mere med sprogmoduler
6:16
selvfølgelig og det men Der er nogle af de samme logikker der
6:19
ligesom går igen også med hvis man skal arbejde med billeder og
6:23
den slags, så Det er Det er egentlig bare Sådan, at
6:26
produktionsanlægget store hvad hedder det de blødning modeller
6:31
lidt på samme måde som jeg ser i open AI Der er der også Der er
6:35
der jo også på den nye nummer 4 der Der er jo hvad hedder det
6:39
der? Model, så Vi har også billeder
6:41
af den slags indover, og det kalder vi jo stadigvæk language
6:44
model, og Det er stadigvæk underlæggende på en eller anden
6:46
måde lidt l obs Der er ikke rigtig noget.
6:49
Large. Visual models obs endnu.
6:55
Kan man måske sige bare lige Sådan, bare fordi det nu kom jeg
6:57
til at tænke på det Sådan hvad det egentlig er der giver laver
7:00
forskellen på SM og l hedder det l obs det hedder Det er svedigt
7:07
fordi jeg troede det hedder LM obs men whatever ja men men jeg
7:11
tænker den den hovedsageligt den store forskel forestiller jeg
7:14
mig i hvert fald som umiddelbart som jeg ved af Det er.
7:16
Det er vel egentlig at man kører sine modeller over flere, altså
7:20
på distribuerede systemer eller hvad?
7:22
Det kan man gøre. Det er en af teknikkerne, kan
7:24
man sige noget af det der adskiller m obs fra l moms Det
7:27
er. Altså udad vi kan grave mere og
7:30
mere ned i dybden af det, men Det er Det er meget Sådan noget
7:33
med at begynde med at gå op IGPU utility utilization.
7:39
Altså hvis du hvis man skal begynde at træne store
7:41
sprogmoduler eller gentræne store modeller, så er det meget
7:44
vigtigt at bruge FU. Og så er det meget vigtigt, at
7:48
man så begynder at bruge alle ressourcerne, når gpu er dyre.
7:51
Så hvordan dælen kan man i stedet for at bruge 60% af sine
7:55
h 100, hvis man nu har været så heldig at få få skaffet nogle af
7:57
dem, så skal man gerne du ved bruge fuld utility for dem.
8:01
Det er en af delene, så er der Sådan noget som hvad kan man
8:05
sige? Ja nu er det ved at være lidt
8:08
sent på dagen, så min hoved er ikke det hurtigste, men Det er
8:13
når man vil gerne undgå. For eksempel spiller for meget
8:15
personlighed, så det vil sige, når man genererer noget, så er
8:18
det her content filtering begreb, hvor man gerne vil finde
8:21
ud af, at du skal helst ikke have en en algoritme, Der er for
8:25
stærke politiske holdninger og den slags eller som.
8:30
Bliver ved med at. Af en eller anden rabiat, Sådan
8:35
personlighed eller Sådan noget, men vil gerne have de apolitiske
8:38
og at de er. Hvad kan man sige?
8:41
Behagelig og der. Og ja, internettet er ikke et
8:47
apolitisk og behageligt sted. Kan man sige Sådan, så når man
8:50
har trænet det ind i algoritmen, så skal man også finde ud af,
8:52
hvordan er det så, man sørger for at at det ikke ligesom kom?
8:56
Skinner igennem på på når den sygdom, især hvis Det er en
9:00
ekstern vel man kan tilgodese måske håndtere en.
9:04
En lidt rabiat chatbot hvis det så er indadvendt i det mindste,
9:07
men hvis det så er udadvendt er Det er det mere drastisk.
9:10
Men også både det her med at undskylde bare lige for lige at
9:13
følge op. Der er jo både det her med
9:14
hardware, altså. Det kræver typisk noget hardware
9:16
kører det her effektivt, men Der er jo også det der med at
9:18
håndtere det der meget. Hvad skal man sige det der
9:21
meget? Hvad skal man sige ustyrlige
9:24
output? De kan have de her modeller?
9:27
Kroner og og alt muligt andet. Så Det er også en stor del af
9:30
det, og så er der en af de andre Sådan sjovere nuancer, som er,
9:34
at hvis man hvis man træner, hvad kan man sige en SK ø n
9:39
model på lige på tabular data, så kan man faktisk tillade sig
9:43
at træne den først II sit nærmiljø og så træne den
9:47
gentræne den igen i sit testmiljø, og så kunne vi af og
9:51
så prøv Sådan, så man overholder det her devops princip med at
9:55
man ligesom skal have de her air.
9:58
Miljøer på en måde er jeg måske lidt for teknisk begreb, og de
10:01
skal i hvert fald. Man må ikke overføre nogen
10:03
artifakter fra et miljø til et andet miljø, og grunden til Det
10:07
er, at Det er Sådan softwaremæssigt principper for
10:09
at sørge for, at man ikke begynder, at man ikke begynder
10:12
Sådan at. Når man går i produktion, så har
10:14
man minimeret ligesom om tingene går i stykker.
10:17
Det man bliver nødt til, når man træner lars language models.
10:19
Det er, at når man har trænet det, så skal man faktisk
10:21
overføre det her artifact til næste miljø og til næste miljø
10:24
til næste miljø fordi. Koden man ligesom har trænet
10:29
algoritmen på. Det er faktisk ikke så meget det
10:32
interessante og det og det skinner ret meget igennem med
10:35
det her el mobs, fordi når man har trænet det artifact, så alt
10:40
det andet kode det falder lidt fra igen, så Det er lidt som om
10:43
at det kun stilladset eller hvad kan man sige?
10:46
Det er form som ligesom laver skulpturen og så smider man det
10:49
væk bagefter som Sådan et giftstof købe ting og så har man
10:52
ligesom skulpturen tilbage som så det vil sige i stedet for at
10:57
skrive noget kode der løser et problem.
10:58
Så skriver man noget kode, som rammesætter.
11:01
Et neurale netværk der lærer, hvordan man løser problemet, så
11:04
man er ligesom Der er en mere degree of movement på, og det
11:07
gør det en smule mere anderledes end normal devops og og og så er
11:11
der det her aspekt med, at man bliver nødt til at overføre sig.
11:16
Modellen fra fra miljø til miljø.
11:19
En af de her ting med som som du kom lidt ind på Morten med at at
11:25
man ligesom skal og legende modellerne til at opfører sig,
11:29
som man gerne vil have dem. At at Det er også bliver det
11:33
anset for at være en del af. Hvad kan man sige
11:35
udviklingsprocessen i det her l moms flow.
11:42
Der er i hvert fald rigtig mange tests på.
11:44
Det kan man sige, så man vi Vi er for at være helt transparent,
11:49
så IDSV er vi i gang med at udvikle en chatbot ikke er ret
11:52
spændende. Den kører på på lama 80
11:55
billioner det ved jeg det hedder på dansk.
11:57
Det er nok kun fordi det nok bare milliarder egentlig, men.
12:01
Ja. Det er altså det der.
12:05
Det er i hvert fald mange. Det er rigtig mange mere end Jeg
12:08
kan tælle sig, og humlen er så at.
12:13
At så vi Vi er ikke helt, kan man sige Det er stadig en proof
12:17
of concept, så Vi er stadig i gang med hele testfasen og der
12:21
hvor at l obs ligesom ryger ind i billedet eller l obs Det er
12:24
når vi begynder at automatisere og standardisere og strømline de
12:28
her udviklingsprocesser, produktionslinje, processer og
12:31
så monitorerings processer, så Vi er faktisk ikke Vi er det
12:35
stadigvæk Sådan helt i. Hvad kan man sige den spæd?
12:40
Research and development fase det egentlig også super
12:43
spændende, men det vi gør altså at vi.
12:45
Vi træner den, og så har vi en en research and development
12:49
afdeling. De hedder så
12:50
innovationsafdelingen. Undskyld.
12:52
Ja de sidder ret tæt oppe på på topledelsen faktisk og snakker
12:56
med alle mulige spændende ting omkring hyper loops.
12:58
Og altså Det er ikke noget som de.
13:01
De tænker er noget, der ændrer sig i morgen, men Det er det,
13:03
der ligesom har øje for ude i horisonten for at være sikker
13:05
på, vi kan følge med i det lange løb og en af de ting, som de
13:08
tænker nu er relevant af det her.
13:09
Chatbot noget, så det vi ligesom blevet sat til at at at udvikle
13:13
det, og de har så en lang række tests som.
13:16
Som handler omkring. Præstationen på chatbotten, kan
13:20
man sige. Nogle af de test vi så vi så
13:24
selv har mindet dem om, at de skal teste.
13:25
Det er jamen prøv lige så for det ikke er en alt for rabiat af
13:29
i noget andet er at. Altså hvis den stiller alle
13:32
mulige politiske spørgsmål til den, så skal den helst være
13:35
politisk. En anden ting er, hvis man
13:37
oplever, ligesom man har gjort det her for nylig, at chatte PT.
13:40
Den er løbet tør for for for gpu eller hvad der var sket.
13:43
Det tænker jeg Kasper først du du ved mere om jeg vidste ikke
13:46
Det var en politisk ting bagved, men aviserne har været nede i
13:50
hvert fald, og det der så er sket er, at hvis Vi har en chat,
13:53
Det er v kørende, som som vi ikke ligesom har pålagt nogle
13:56
begrænsninger på, så kan folk sige hey chat gt er med chat DSV
14:00
dens hvad kan man sige? Halvdum.
14:05
Hvad kan man sige kopi? Måske kan den hjælpe mig med
14:08
mine lektier eller hvad ved jeg og så lige pludselig får vi en
14:10
masse trafik over på DSV. Hvad kan man sige chatbot som
14:16
faktisk vil måske lægge Vores PUR ned, så så Der er også nogle
14:20
ting der skal tænkes lidt ind. Men Det er jo sjovt fordi at det
14:25
i virkeligheden så Jeg har det Sådan lidt med med devops og m
14:29
ops og de der begreber. Det er at nogle gange så
14:31
begynder de Sådan at blive Sådan kæmpe paraply begreber ikke hvor
14:36
det ligesom bare Det er næsten alt hvad vi foretager os, når vi
14:39
udvikler eller vi træner. En model eller indsamler data,
14:44
eller så kan det ligesom puttes ind II under den her paraply, så
14:48
er der ikke noget der ikke falder ind.
14:50
Bliver det ikke Sådan nogle gange som begreb lidt en altså
14:54
lidt mærkeligt at bruge det II. Hvad kan man sige i daglig tale?
14:57
Altså? Jeg har i hvert fald svært ved
14:59
at se hvornår at Jeg synes, at det giver god mening at sige til
15:03
mine kollegaer. Nå ja, men Det er jo bare
15:04
ligesom det der. Det var Sådan noget Vi skal
15:06
fordi at det det ligesom intetsigende ordet siger ikke så
15:11
meget vel? Så jeg.
15:14
Jeg er holdt op med, at ligesom at tale om det udover at at at
15:18
at jeg at jeg tænker ja ja, Der er nogle gode principper, som vi
15:22
kan kalde nogle devops principper, nogle principper
15:25
eller et eller andet, og så kan vi snakke om dem.
15:27
Men altså. Jamen hvad siger du til det
15:29
Morten altså. Jeg vil.
15:31
Jeg vil også begynde at tænke på det mere som platformsarbejde.
15:34
Altså vi bygger en platform. Grunden til at vi ikke bare
15:37
hiver ned i en fra hylden, som man jo også kan gøre.
15:39
Det har vi faktisk på mange måder vil jeg sige, at hjertet
15:41
er Vores. Hvad kan man sige?
15:44
Hjertet er Vores platform lige nu er vertex som er Googles
15:48
platform til den her type af i lidt ligesom sage maker ejer for
15:51
Amazon og m studio. Jeg tror det hedder r for for
15:55
Microsoft. Det som vi så har gjort Det er
15:58
at Vi har taget lidt mere ejerskab over det.
16:00
Det Der er nogle. For eksempel er der nogle
16:02
problematikker med, at man har trænet language model, at så
16:06
overføre det fra projekt til projekt i Google.
16:09
Det kan man ikke automatisk ved det her vertex, og det vil så
16:12
tvinge os til at gentænke Vores modeller hver gang.
16:14
Og Det er jo egentlig, hvad kan man sige den?
16:17
Det den det flow er ikke bygget ind i platformen, som som som er
16:22
som er vertex, men Det er en, hvad kan man sige en devops
16:26
princip også, som Jeg synes du kalder det for Jonas eller hvad
16:30
man kan kalde det, og så vil sige den det princip den logik
16:32
som ligesom er der for en god grund.
16:34
Det er der for at lave software kan man sige som ikke går i
16:37
stykker, Det var bare ikke. Hvad kan man sige out of the
16:42
box? Og Det er jo Det er jo faktisk
16:43
ikke noget med Google at gøre de ellers lavet en fremragende
16:45
platform, som har enormt mange features, som Vi er rigtig glade
16:47
for, og det fik også enormt hurtigt.
16:50
Ud over rampen kan man sige til at skabe noget værdi i
16:53
forretningen, men når det så kommer til at modne det.
16:56
Det er ligesom Sådan til, at Vi har governance, som går på tværs
17:01
både af hele deres liv, men også Sådan lever op til reguleringer
17:05
fra hvad kan man sige fra EU med det her erik og alt muligt.
17:08
Det skal også bygges ind i platformen, så faktisk hvad Vi
17:13
er i gang med nu, Det er, at vi tager bidder af den.
17:15
Kan man sige platform som som hedder vertex Sådan noget som en
17:18
metadata store for eksempel Sådan noget som et feature
17:21
warehouse kalder vi det, men det.
17:23
Det er fordi Det er en smule anderledes end det man kalder en
17:25
feature store. Så har vi.
17:29
Så har vi Vores datalag og alle mulige andre bidder af
17:33
platformen kan man sige, som vi begynder ligesom at hive ud og
17:35
og lave open source så det Jeg tror man kalder email ups i dag.
17:39
Det er faktisk på mange måder en platform, altså hvor man har de
17:41
her værktøjer noget af det aller allervigtigste har jeg fundet ud
17:45
af Det er det her lineage, hvor man ved du ved, nu har jeg
17:49
trænet en model. Nu er den gået til i produktion
17:53
efter en masse miljøer. Hvordan klarede den testede
17:56
undervejs? Hvem testede den?
17:58
Hvem skrev koden? Hvem præprogrammerede data, hvor
18:01
stammede dataen fra og så? Hvis hvis Det er helt vildt, så
18:03
kan man koble derover på på datalinjer som kører så hele
18:07
vejen hen til hvem der skabte data eller Sådan noget.
18:09
Og så har man faktisk Det er meget nemmere de brug for en
18:13
data science kan man sige, som man har det der hurtigere time 2
18:16
market hurtigere de på klub, men humlen er også bare at man kan
18:21
Sådan forsvare, hvorfor algoritmen gør som hun gør.
18:23
Jo nemmere. Det er jo der at EU regulerende
18:26
har set komme. Og hvis vi lige skal følge op på
18:29
det der Morten, så Det er jo ikke en hemmelighed at du og jeg
18:32
Vi har siddet inde i det offentlige og og netop været i
18:35
en situation hvor at at at meget af platformen ligesom skulle
18:39
understøtte. Det her tracing krav kan man
18:44
sige, at man ligesom kunne vide præcis hvad Det var var var
18:49
trænet på og hvad Det var for noget kode og hvornår Det var
18:52
kort og alle de der ting der og alt skulle versioneres kan man
18:55
sige ikke og og. Altså Det er jo også rigtig fint
19:02
når vi så kommer til. Til de her lege landbrugsmodels
19:05
her, så er der nogle af de processer, der ligesom ligger
19:08
omkring det. De er jo så tunge.
19:11
At altså nu sagde du godt nok at at Det var ikke lige helt
19:15
ligesom Det var fordi at at man var nødt nødt til ligesom at
19:19
overføre nogle artefakter og Sådan nogle ting.
19:21
Der kan du ikke ligesom prøve. Prøver ligesom at lave en
19:26
distancering imellem hvad? Hvad er så det nye i det her LM
19:31
op som som ikke er nogen? Altså som er der nogle nye
19:33
principper, som ikke lå i devops principperne man tog med.
19:37
Altså Det er meget skægt fordi lige nu så kigger elops folk
19:41
meget på l moms folk som der hvor folk kiggede på folk for
19:46
altså er det ikke bare det samme med lidt stjernestøv hvorfor
19:49
skal i gøre det så specielt? Altså altså du ved kan man
19:53
berette det som en enkeltstående disciplin.
19:55
Det er ikke bare det samme med lidt fluffy og lidt hype, og det
19:59
ved jeg faktisk ikke om l moms er.
20:01
Det kan godt være altså Jeg vil sige Der er rigtig meget af det
20:03
samme som der også er hjemmelavet, men Der er også
20:05
nogle lidt nyere ting som for eksempel det her content
20:08
filtering og og så stærk. Fokus på at optimere sin gpu og
20:13
sin bro og gpu, og at den her slags.
20:16
Så, men Jeg vil sige imellem eller så devops der har nogle et
20:19
et ret klart skel synes jeg fordi Det er 2 forskellige
20:22
logikker for ligesom at gøre. For at gøre software til et
20:27
produkt, så skal man bruge en specifik tankegang for at gøre
20:31
algoritmer til et produkt, så skal man bruge nogle af de samme
20:35
værktøjer faktisk også, men og nogle af de samme tankegang, men
20:38
også nogle helt nye værktøjer, nogle helt nye tankegange og
20:41
det. Det gør ligesom at ja Der er.
20:42
Hvis Det var et diagram så er der en masse, men Der er altså
20:44
noget der man bliver virkelig nødt til at skære mere end en
20:47
hæl og tå for at få skoen til at passe på dem.
20:52
Men Det er jo Det er jo også det der med at at at dem der måske
20:56
kender Det var ups. De har tit sikkert set den her
20:59
det her uendelige. 8 tal altså du ved uendeligheds 8 tallet
21:03
ligger ned som jeg betyder uenighed ikke og så den her live
21:06
life cycle hvor at vi vi ligesom bare kører i en uendelighed i
21:10
den her iteration og og og Det er jo rigtig godt, fordi Det er
21:15
noget som man så forestiller sig i.
21:17
Det var også Det kan man gøre en gang om dagen kan man faktisk
21:20
komme igennem den her lifecycle, ikke at man kan komme helt.
21:23
Det er det der hedder continente levere ikke og vi vi vi kan
21:25
deploye og vi kan komme ud og og få Vores ændringer helt ud til
21:30
brugerne, og Det er jo en af de drivende principper for hvorfor
21:34
Vi skal bygge. Bedrive devops og Jeg har det
21:38
Sådan lidt med altså ja Der er måske en mulighed for det med
21:44
med Lars landbrugsmodels, men Det er altså godt nok nogle
21:46
tunge træninger, så så hvor kommer den her Sådan?
21:50
Det her princip omkring, at iterere hurtigt hen over nogle
21:54
ting og få. Forbedringer til en model ud til
21:57
nogle brugere altså er Det er Det kan man forestille sig at at
22:01
de her lad os kalde dem vandfalds træninger, ikke?
22:04
Altså vi venter på at modellen er færdig og det tager 2 måneder
22:08
og Sådan noget så er færdig fuck mand.
22:09
Det virkede ikke det lort vi prøver igen, altså der må være
22:13
der må være noget i den måde at træne modeller på, hvor man
22:17
ligesom siger det skal altså Vi skal se evaluere den godt og
22:20
grundigt undervejs, og Der er et eller andet der som som så hvad
22:24
har du ikke nogle nye friske tanker derinde fordi når man
22:27
ser? Aspekt.
22:29
Til dem, der gerne vil introduceres til elops lidt
22:31
mere, så vil jeg sige en af de ting som virkelig skiller sig
22:34
ud. Det er den her feature store for
22:35
eksempel, som også er meget forbundet med en vektor
22:39
database, så Det er en måde, hvorpå?
22:41
Hvis du har det meget forbundet med recommends systemer, derfor
22:44
vi kalder Vores en feature warehouse, fordi vi faktisk
22:46
ikke. Vi har ikke et produkter eller
22:48
brugere, som Vi skal have en bette, men du kan forestille
22:51
dig, hvis du har Spotify for eksempel de har.
22:54
De har nogle de, de har en masse sprogmoduler for eksempel så det
22:59
så sprogskolerne de bliver måske fightede engang imellem eller
23:03
opdateret. Det er ikke så meget, Det er
23:04
faktisk, som er det interessante.
23:06
Det interessante er, at så teksten i sangen, den skal så
23:09
embedes igen og smides ind et sted, hvor den kan fås fra for
23:13
at lave rekommandere kan man sige, men den embedding der har
23:17
USA en måske. Gået igennem en eller anden form
23:20
for lytte. Hvad kan man sige?
23:22
Rute, som så også skal indberettes ind i og så dét
23:25
kombineret sammen med måske også lyd inputtet sammen med.
23:30
Altså man har alle de her multi modeller aspekter både med
23:33
brugeradfærd og og og alle andre modaliteter, som så skal
23:36
kombineres og det skal fedtes derfra og det skal gøres live.
23:42
Nej og det og det skal skalere op, og det skal ikke gå i
23:44
stykker det eller altså og Det er pisse besværligt.
23:49
Ja det der med en bettingsider Der er nogle nogle sindsyge fede
23:53
tricks til hvordan man kan kan i virkeligheden man har jo tit det
23:58
man hedder man lidt kalder for noget kontekst og noget query
24:02
hvordan man kan faktisk træne det man query er med ikke altså
24:05
det der brugerbaseret men men holder det der ligger og er mere
24:09
konstant altså en sang for eksempel lad det være konstant
24:14
nede i en database og stadigvæk optimere imod de embedding der
24:17
ligger dernede, så man ikke ligesom skal ændre på den model.
24:20
Det er nogle af de tricks som som som ligger det, men Det er
24:24
rigtig nok det der Det er. Det er godt nok jeg.
24:27
Synes også, at vi var. Vi var nok nogle af de første
24:30
til Sådan helt af lave eller at lege lidt med det der vektor
24:34
databaser. Det var jo retsinformation dk du
24:37
håber jeg faktisk. Jeg håber godt vi måtte skrabe
24:39
retsinformation dk og vi ikke har brugt eller andet en eller
24:42
anden lovgivning. Hvem?
24:43
Hvem har ikke scrappet ret til Information?
24:46
Der er jo masser af tekst og der mangler jo stadigvæk en god
24:50
offentlig søge løsning til retsinformationssystem.
24:54
Det synes jeg stadigvæk, at Det er der nogen der skulle gå ud og
24:56
lave fordi Jeg har 3 børn. Jeg har ikke tid men.
25:01
Ja nej Det er. Som en håndfuld, må jeg tidligt
25:05
spørgsmål med fare for at punktere alt det, vi lige har
25:09
snakket om. At høste og træne sine egne last
25:17
language models versus. At kalde abe altså opening jeg
25:21
for eksempel eller asus p fordele ulemper cool og så er
25:26
det jo her min min tid ude i kommer i spil igen, for i sidste
25:29
ende er det forretningsværdien af Det kan man sige, og der har
25:32
vi hos DSV valgt at ved at eje det selv simpelthen et meget af
25:36
det at grunder i at. Hvis vi vi.
25:41
Vi er en logistik og transportvirksomhed, så det vil
25:43
sige, vi konkurrerer på margenerne.
25:45
Det er Sådan, vi går. På mange måder går vi i udbud,
25:48
eller Det er i hvert fald mange af dem, vi sælger til, går i
25:49
udbud og så den, der har en halv krone billigere de vinder, så
25:53
Det er Sådan virkelig kan man sige optimeret, og Der er det så
25:57
blevet sluttet oppe fra, at noget af det vi kan, hvad kan
26:01
man sige, konkurrere på og differentiere os ved ekstern
26:03
branding mæssigt? Men kan man sige rent
26:06
optimerende både på processer og og alt muligt andet?
26:10
Tak skal du ha. Det er via i og så er hvad kan
26:16
man sige ledelsen en smule nervøs ved, og Det kan jeg
26:19
egentlig. Det kan egentlig snildt gøre mig
26:21
enig i, at hvis vi tager Vores data og smider igennem et api.
26:27
Så bliver også selvom Der er skrevet af alle mulige slags s ã
26:31
lger på, og Der er det svært at være 100% sikker på, at Vores
26:36
data ikke bliver brugt til at forbedre en konkurrents
26:40
præstation også. Fordi hvis konkurrenten har hvor
26:44
alt Vores data og ejer det. Vi er rigtig glade for at have
26:47
en præmie for eksempel. Det er først nu er vi begyndt
26:49
virkelig at tænke cloud, og Det er meget sjovt at se, hvor mange
26:53
af de her helt old school teknologi hoveder, som har været
26:57
med helt fremme i fremtiden, sidder og og og og fortæller
27:00
Google, hvordan de har lavet nogle af de her ting Sådan alt
27:03
for usikre for Vores data og Sådan noget.
27:07
Det er super fedt. Og og humlen er så at at at vi
27:12
kan tage ejerskab på en eller anden måde over det her AI ved
27:15
selv at produktionsleddet ved selv at udvikle det og og det
27:18
gør det. Kan man sige, det gør det det.
27:22
Det giver en forretningsmæssig forskel, så Det er lidt der i
27:24
det lægger. Vi kommer nok aldrig til.
27:26
Hvad kan man sige præstationsmæssigt godt?
27:28
Ligesom åbner jeg selv om man kan håbe altså, men Der er Jeg
27:32
har hørt til dem, der siger, at næste step, Vi skal battle mod
27:34
Det er Det er Amazon altså på på last mile transportation.
27:39
Det, det lyder jo som om Morten, at selvom du er rykket lidt ud i
27:43
det private, så så er meget af den compliance tankegangen fra
27:47
det offentlige den den har du taget med dig, men Jeg synes
27:51
også fordi at Det er jo virkelig der hvor at at den her form for
27:56
tænkning altså Der er jo også meget af det af det her
27:58
compliance ind i de her obs principper ikke.
28:01
Altså hvordan drifter vi det? Hvordan sikrer vi alle de her
28:05
ting så hver gang man har et eller andet?
28:08
Pleje krav, så tænker jeg så putter man det ligesom også ind
28:11
i den her life cycle. Ikke fordi du kan jo ligesom du
28:13
kan jo ligesom ikke rigtig komme nogen vegne med dit projekt,
28:17
hvis ikke du kan vise at du også er compliant på de her ting.
28:21
Fordi så bliver det bare skudt ned på et eller andet tidspunkt
28:24
og det Det kan jeg da huske altså det.
28:27
Det er ikke. Det er ikke nemt at overbevise
28:31
folk om at det man laver faktisk er compliant og og Det er jo
28:36
selvfølgelig heller ikke nemt at overbevise folk om, at vi bare
28:39
skal stole på, at det der står på skrift hos åbne i det passer
28:45
der skal nok noget mere Sådan håndfast ind.
28:47
Jeg kan sagtens forstå, at man vælger at at tage ting og en
28:51
prim også fordi så har man taget den 1 store hurdle.
28:55
Og så kan man jo faktisk komme i gang med noget ikke?
28:57
Altså skal man bygge ting. Men ja.
29:02
Ja præcis. Det kunne også være lidt en
29:04
anden dag. At bare købe en hel masse IGPU
29:08
eller Sådan noget, så bare have dem nede i kælderen.
29:10
Der er et eller andet super fedt over det.
29:12
Jeg er ikke. Jeg er ikke i gang med at at
29:14
hamstre en lille smule. Altså Vi skal have nogle 30
29:17
halvfemser RX 30 halvfemser stående i min maskine her.
29:22
Var det ikke, er det en atex atex 30 90 så du har købt på det
29:26
da Jonas var ikke det. Vi skal have 2 af dem fordi at
29:29
at så har man lige præcis nok til at man kan lave noget sjovt,
29:31
ikke? Det er fedt jamen altså vi
29:36
træner ofte Vores sprog modeller på Sådan noget 16 a 100 og håber
29:40
her snart har været til at træne lidt på på 1 8 1 8 h 100 i
29:44
stedet for og de det. Det er et helt afsindigt tal på
29:47
en eller anden måde der det koster Sådan 10.000 træne i en
29:50
10 timer eller Sådan noget og 20 timer altså 10.000 euros kører
29:55
vi med ikke så så Det er meget dyrt.
30:00
Ja ja, Det er jo også det man kan sige, Der er ved ved det her
30:04
ikke, og Det er jo lidt peberet og begive sig ud i når man skal
30:07
køre lortet. Selv ikke jeg tænker også nu Jeg
30:09
kan faktisk jeg bor i Roskilde i trekroner, så Jeg kan.
30:13
Jeg kan nærmest se se året til DSV herfra hvor jeg sidder, så
30:17
Det er meget Det er meget hyggeligt jeg tænker tit på
30:19
jerom der hedder det, men man kan sige og jeg ved jo også at
30:22
Det er sv har jo også en en hvad er det 75.000 ansatte eller
30:26
Sådan et eller andet og tredje eller anden tredje sted anden
30:29
tredjestørste? Virksomhed i verden eller Sådan
30:32
noget? På anden nu.
30:33
Det kan faktisk godt være det går meget hurtigt.
30:34
Jeg ved det faktisk ikke nogle gange, så opkøber i firmaet Der
30:37
er 40% af os selv, så Det er Sådan lidt Sådan en blog effekt.
30:42
Og Det er ja hvis man tænker Der er en vis skala på ikke så der
30:46
har man også når man kommer derop så er der vel også nogle
30:49
andre ting der giver mening på en eller anden måde i forhold
30:51
til hvis man er en mindre virksomhed for eksempel.
30:54
Ja og Sådan er det enormt, altså de enormt dygtige til at tage
30:58
hurtig er det ikke hurtigt nødvendigvis, men tage
31:01
konsekvente beslutninger. Altså Sådan så hvis de har en
31:04
vis insisteret på ikke insisteret på, men investeret
31:07
IAI, så gør de det ikke halvt. Det er ikke Sådan, nu har vi.
31:11
Nu har vi en afdeling, hvor vi smider lidt penge i.
31:14
Få noget aron. Det er fordi ellers så er vi
31:15
ikke med eller Sådan det mere, Sådan hvor hvor forretningskæden
31:20
kan det betale sig og hvis Det kan så går all in på det det
31:22
her, og Det er fedt at få lov til at være være med på den vogn
31:26
lige her det det det der et eller andet en bølge lige nu Der
31:30
er ved at blive skabt. Det er ikke det.
31:34
Juni er en modeller egentlig så eller hvad skal du bruge?
31:37
Alle de der giver figurer til. Ja det det skal vi ikke snakke
31:41
om. Jeg skal bare lege lidt.
31:43
Det er jo Det er jo slet ikke nok til at at lave noget af det
31:45
helt sjove, men Der er jo nogle nogle 7 b modeller derude som
31:49
man godt kan lade lege lidt med. Men men apropos at at træne
31:53
modeller. Jeg kunne godt tænke mig lige
31:55
Morten, hvis vil du ikke dele lidt om omkring, hvad kan man
31:59
sige vi Vi har haft nogle inde der også har har haft nogle
32:03
erfaringer, for eksempel mads Henriksen der med med dansk ep
32:07
te og og Det er jo Vi er jo lidt fåtal i at ude af det deres egen
32:13
test eller folk der har haft Sådan en hånd.
32:15
Sådan med med rent faktisk at køre mange gpu og træne de her
32:17
store modeller. Her kan du ikke prøve at komme
32:20
med lidt lidt erfaring og lidt historier fra fra vilde Vesten.
32:24
Hvordan er det at at sende Sådan 111111 kloster af gpu over og så
32:31
bare sidde og holde vejret altså fortæl.
32:34
Lidt tips og tricks. Fortæl lige lidt om, hvordan det
32:37
føles at brænde så mange. Ressourcer af.
32:43
Det er faktisk meget fedt. Nu vil jeg også sige nu at jeg
32:46
mere. Nu faciliterer jeg mere de her
32:50
super kloge hoveder, som Vi har inde på inde på Vores team.
32:57
Og det vi bruger det her que flow som jo er de her dogs på en
33:00
streng kan man sige og det Det er super spændende ligesom at se
33:03
hvordan hvordan de har problematikker bliver løst.
33:05
Især fordi vi arbejder multimodalt så.
33:09
For eksempel, så Vi har en en data sciences der en der hedder
33:12
Martin. Han har lige.
33:13
Han er lige blevet bombet op til til leje data science faktisk
33:16
rigtig, rigtig dygtig fyr arbejde.
33:18
Noget der hedder kaktus for kun med sprog modeller, så han er
33:20
Sådan hvad kan man sige meget, meget specialiseret folk kalder
33:26
mig ekspert, det må man jo ikke sige længere, men hvad hedder
33:29
det? Han download nogle ting for det
33:32
her høringsfase, noget med nogle adaptere modeller som skulle
33:36
lægges på fordi vi havde underrepræsenteret
33:38
underrepræsenteret en specifik type data.
33:41
Mange forskellige sprog og så selvfølgelig Der er flere
33:43
engelske engelsk. Endelig bider i dataen end, Der
33:47
er altså værdierne eller hvad der?
33:50
Og så skal vi jo på en eller anden måde have formået ad
33:52
gangen deroppe, samtidig med at vi holder det, samtidig med at
33:56
vi holder distributionen af data.
33:58
Næ distributionen af data er. Hvad kan man sige?
34:02
Ja. Er ulige fordelt, og så skal vi
34:05
prøve at få bedre resultater uden at have Sådan noget.
34:08
For nu har jeg glemt, hvad det hedder.
34:11
Det er lang tid siden, Jeg har arbejdet hands on med data
34:13
science. Det Jeg kan høre håbet er så, at
34:16
ja. Humlen er så at.
34:21
Han downloader det her det her hvad hedder det den her hockings
34:25
fasemodel? Og så har de lavet lavet noget i
34:27
koden fungere forkert i forhold til den trainer, den træningsløb
34:32
som der så er det fordi de lavede en masse akademikere kan
34:35
man sige han er på mange måder en softwareingeniør som ligesom
34:38
har arbejdet med stammoder, så han går ind og omskriver en
34:42
masse af deres kode og går og brokker sig over hvor dårlig
34:44
kode og så smider han det over og så står den bare og køre og
34:48
så har han lige pludselig så er det magi så han rystede posen på
34:50
Sådan en måde hvor Der er de her resultater.
34:52
Og Det var superfedt at se på en måde men dark kan der kan jeg
34:56
godt selv se at. Det er ikke der altså det.
35:01
Det er jo Det er jo det Der er det fede på en anden måde, men
35:03
Jeg er der for at understøtte det og facilitere det.
35:06
Og så skal jeg sørge for at automatisere og gøre den
35:09
arbejdsproces nemmere, og det gør jeg ved for eksempel når
35:13
modellen så skal det pløjes, så for så skulle man manuelt ind
35:16
klikke på en masse knapper, så Det er mig og og i høj grad mit
35:21
team har gjort Det er at Vi har. Vi har bygget et lag oven på det
35:24
og siger CD pipelines som automatiserer alt den hele den
35:27
proces. Så Det er faktisk det, Der er
35:29
det spændende på mange måder. Det er at gå ind, forstå hele
35:32
processen, forstå hvordan det skaber værdien og så se jamen
35:36
her er der. Du ved 80% manuelle processer
35:39
som går rigtig langsomt, men også kan gå i stykker.
35:42
For eksempel så havde vi. Så var vi kommet til det her.
35:46
Det er jo Sådan er det man kalder en wars story.
35:48
Vi var kommet til at deploy en en sprogt model på et for lille.
35:53
Hvad hedder det computer engen Sådan så den gik i stykker, så
35:57
vi havde genoptrænet modellen det her.
35:58
Det var lige i starten da jeg var blevet ansat, når jeg siger
36:01
vi så mener jeg jo faktisk Det er team jeg var røget ind i og
36:05
Det var inden vi var begyndt at automatisere alle de her
36:07
processer som vi nu har gjort og der skulle vi ind og så skulle
36:11
vi det pløje en ny Formel der lige var blevet fintunet, men så
36:15
var Det var det pløjet på en. En 40, 40 PUSA 100 i stedet for
36:21
en 80 PUS eller 80 gigabyte a 100.
36:24
Og det tænkte vi altså Det var. Det var ikke nogen, der har
36:26
tænkt over. De havde bare set a 100 fedt
36:28
klikket det pløjede og så lige pludselig var breaket i
36:30
produktion hos shin. Og så var der ild i alting.
36:35
Det er der faktisk ret ofte med at sige, men Vi er blevet bedre
36:38
og bedre til at slukke de her brande.
36:40
Om at håndtere det. Ja præcis, så vi fik vi fik
36:43
ligesom diagnosticeret det ret hurtigt og så og så skifter det
36:47
over, men alt det der Det er det man undgå og Det er det Jeg
36:50
synes der gør det fedt. Det er fordi.
36:54
Man får ikke rigtig værdien forretningsværdien man får ikke
36:56
rigtig de Jeg har lidt ligesom Jeg har lidt fået at vide eller
37:00
Jeg har lidt noget hen til et sted nu hvor Jeg har indset.
37:02
Jeg kommer nok aldrig til at opfinde den nye sprog model
37:07
eller Sådan noget. Det er fedt at følge med og
37:08
Sådan noget, men jeg får. Jeg får stress, hvis jeg skal
37:12
kunne, hvis jeg skal se mig selv som værende den den bedste data
37:15
science. Ved du hvad?
37:18
Det vil jeg godt nok også få hvis det.
37:21
Er. Og ved du hvad?
37:22
Lov til at arbejde sammen med nogle af dem, og det synes Jeg
37:24
er rigtig fedt. Der har jeg også lige noget at
37:26
sige til det der, fordi der tror jeg nemlig også du har en rigtig
37:28
god pointe der, fordi Der er nemlig en del af arbejdet som er
37:31
den her meget. Hvordan fungerer de her?
37:34
Lars lange smuttes og hvordan træner man dem og hvordan
37:36
datasæt der og alt Sådan noget ikke?
37:38
Men Der er lige så høj grad som du selv siger det her med alt
37:42
det udenom og alle de der processer og pis og lort, som
37:46
også bare er en kæmpe stor ingeniørmæssig opgave.
37:49
Ikke og ærlig talt, Jeg synes også når man hører meget de der
37:52
wall stories for eller Sådan beretninger for hvordan de har
37:55
gjort hos opened in og de har trænet.
37:57
Modeller som p 3 og p 4 og så videre.
37:59
De i virkeligheden har meget af. Det er selvfølgelig noget af det
38:01
der har været det her med at lave modeller arkitekturen og
38:04
finde lave data og filtrere data og Sådan noget.
38:08
Men Der er lige så meget arbejde som har været det der med bare
38:10
at skalere op op op, og ligesom sørge for at hele det der
38:15
maskineri kører gnidningsfrit ikke, så Jeg tror Det er.
38:19
Jeg tror Det er godt, Vi har begge.
38:21
Begge typer ja jamen Det er jo rigtig nok altså der skal der
38:25
skal en motor ligesom design ved en bil nej, men der skal også
38:29
Der er også nogen der synes Det er fedt at lave sæderne eller
38:31
hvad ved jeg altså Der er ligesom og Det er ligesom den
38:33
arbejdsfordeling på en anden måde hvor at at man er mit team
38:36
vi står for rigtig meget af af det som Der er mange andre ser
38:39
lidt Sådan noget kedeligt. En anden årsag så og jeg ved
38:42
heller ikke helt selv hvorfor så er der så Der er en ret fed
38:45
passion omkring det. Jeg ved ikke hvorfor lige mit
38:47
hoved synes Det er så optog. Altså jeg det ved du også godt
38:51
Morten. Jeg har det jo på mange måder
38:53
også Sådan at at Jeg kan virkelig godt lide de der
38:57
processor. Fjerne ting, og jeg ser det i
39:00
dybest set som som en en del af af noget procesoptimering.
39:03
Det her med at have velfungerende m op, så Det var
39:06
jo hvad det ellers er ikke, men også at at altså Jeg kan godt
39:10
lide kvalitet og en af måderne at få kvalitet på.
39:13
Det er ligesom at få de her processer til at være optimeret.
39:19
Fordi at at det det man mister meget hurtigt overblikket over
39:23
at dette science projekt vi simpelthen har en ordentlig
39:26
platform og nogle måde at at holde styr på det, altså Der er
39:30
simpelthen bare ikke nogen der synes Det er sjovt at gå ned i
39:32
en eller anden uendelig log på på på amazons hjemmeside vel og
39:36
kigge ned i den og prøvede at scrolle lidt, når måske prøve
39:39
med en søgbar og ikke finde noget.
39:40
Ikke det det Det er rimelig trætte, så det bliver man ret
39:45
hurtigt træt af, hvilket lige minder mig om noget som jeg
39:49
ville spørge om i øvrigt. Det er også når du så arbejder
39:53
med det her. Hvad er hvad?
39:57
Hvad er din fornemmelse af, at de der da sciences der så bruger
40:00
det her system her for det det det ved du og jeg også at at det
40:03
der med at Sådan udvikler glas. Glæden ved at at at bruge nogle
40:08
værktøjer og arbejde i et miljø, der rent faktisk virker og
40:11
understøtter ens arbejde det. Det er jo bare sindssygt vigtigt
40:15
altså. Ja så kan du ikke lige prøve at
40:18
sige noget om det fordi det kunne jeg godt tænke mig at høre
40:21
det der. Jo altså det setup Vi har lavet
40:23
nu. Det tillader faktisk data altså
40:26
det. Det den måde man interfacer med
40:29
vertex på. Det er at man ændrer i sit
40:33
repository og definere alle de pipelines man gerne vil have
40:37
kørt i jamel filer primært. Jamen filerne peger sig over på
40:41
noget python kode som har det her KFP.
40:45
Hvad hedder det RSDK fra som python pip pakke man lige
40:49
installerer og så. Hvad hedder det nu?
40:54
Snakker direkte om arkitekturen. Det var ikke det du spurgte om
40:56
sorry, men det synes Jeg er spændende.
40:58
Det der sker altså at de definerer hvad for nogle hvad
41:01
for nogle pipeline der skal køres og så smider de så Pusher
41:03
de det til git og så ovre i git så er der noget der tilsvarer
41:09
ligesom Sådan git actions eller Sådan noget eller en jenkins
41:12
pipeline som hedder audio asics hvor vi sætter nogle processer
41:17
over der så kompilerer det til Jason og skubber det over til
41:21
vertex i vertex bliver de spundet op og det der så er sket
41:24
nu Det er at. Da designscene hvis de skal
41:26
gentræne alle 18 sport modeller. Vi har kører kørende, så går de
41:30
bare ind og definerer alle pipelinen.
41:32
Skubber et skub til git, og så bliver alle de der planter
41:35
derovre. Når spørge modellerne, så er
41:38
trænet, så bliver det gemt i Vores model registry, og Det er
41:42
vi så det så næste step, som vi arbejder på nu.
41:45
Vi tager ligesom en bid af gangen.
41:46
Det er, at vi automatiserer testningen af dem.
41:49
Det har vi allerede gjort, men ikke i balk, så det vil sige
41:52
data sciences kan der også. Sådan noget 20 forskellige
41:57
individuelle steps, som Vi har kørt sammen til en RO pipeline.
42:01
Det var Sådan de testede deres pipeline for at.
42:04
Jeg tester deres modeller objekt, for nu bliver det testet
42:07
automatisk. Vi kan ikke teste i bulk endnu,
42:08
det bliver det næste, og så bliver det pløjet.
42:10
Kan heller ikke pløjes i bold endnu.
42:12
Det er også det næste vi arbejder på, men i sidste ende
42:14
så er det egentlig bare med at designet kan sige, kører de her
42:16
fine tuning processer. Skub til git, og så kan de ikke
42:20
gå ud og drikke kaffe og læse nogle artikler.
42:22
Hvad der bliver det fede eller anden måde tror jeg.
42:26
Når det der. Det virker du nu, siger du Det
42:29
er kedeligt det her ikke, og du synes Det er måske lidt mere
42:31
sexet med 3 modeller ikke? Men Jeg kan mærke når du
42:33
fortæller det der uh det kit du ved, Jeg har også bare Sådan
42:35
noget processer og ting der bare jeg ja.
42:38
Jeg jeg. Jeg føler dig på den her.
42:40
Hund, Det er godt at høre hele tiden.
42:41
Det er kun mig Der er. Der er bare ikke noget så
42:46
glædeligt, når jeg Sådan en pipeline den kører, som den skal
42:49
ikke. Og Det er jo så også, man kan
42:51
næsten fornemme en lille, men i mit i mit udsagn der.
42:54
Det er jo også nogle gange når man laver de der ting der.
42:57
Jeg ved selv fra fra fra veletablerede tools, altså Der
43:03
er boks og Der er. Jeg synes der ikke er indfanget,
43:07
og Der er små irritationer hos udviklere, fordi udviklere er
43:11
ligesom brugere af en platform og brugere.
43:14
De har det med ligesom at finde huller alle steder ikke også og
43:18
og blive irriteret over. Hvorfor virker den der knap
43:20
ikke. Især udviklet så, men Det er jo
43:24
også glæden ved så at kunne kunne give igen.
43:26
Altså Der er den der proces med at man som Det er scientist kan
43:30
fortælle de her platforme team så vi.
43:34
Mange der skulle det her eller i kan få de der ting ændret og så
43:37
videre og og og det tænker jeg, Det er jo også 1 1 1 1 hel
43:41
proces i sig selv ikke at men Det er vel ikke altså Det er vel
43:44
ikke en del af emmaly's? Det er vel i virkeligheden en
43:46
anden form for obs. Der er Sådan en udvikling med en
43:48
métaux vikling af opsende og og Jeg har jo hørt på et tidspunkt
43:53
Der er noget der hedder platform obs og at det der med at have
43:56
platform steam Det var en stor ting.
43:59
Jeg ved ikke om Jeg synes Det er så nyt, for Det har været meget
44:02
en del af mit eget arbejde, men men hvad?
44:04
Hvad fornemmer du der morgen er det?
44:07
Er det Sådan en normal ting at man har Sådan en hel time til at
44:10
have en platform, og så er det ligesom.
44:13
Er det? Jeg tror det kommer til at gøre
44:14
det for. Det er en rigtig god tanke, men
44:16
Jeg tror der hvor at det stopper med ligesom at være
44:18
procesautomatisering er begyndt at blive platformsarbejde.
44:21
Lad os sige altså Det er når at det ikke bliver så
44:24
produktspecifikt hvis du har 2 3 modeller 2 3 use cases som
44:29
ligesom ret ofte så de her data science afdeling har de her
44:31
flagskibs use cases, som ligesom er med til af at gøre de fosfor
44:36
for det næste år eller hvad man siger og så hvis man har, hvis
44:41
Der er en masse processer omkring det for gentræne
44:43
algoritmen for at smide din produktion.
44:45
Udstille apiet alt det her hejs, så bliver man nødt til eller til
44:50
det man kan gøre er, at man kan automatisere den proces.
44:53
Okay, fair nok hvis man gerne vil abstrahere det ud på et
44:56
plan. Sådan så at alle på alle.
44:58
Hvad kan man sige use cases på tværs af organisationen kan
45:01
automatiseres, så bliver det en platform lige pludselig fordi
45:05
det skal det skal tænkes abstrakt og det skal, og det
45:08
skal tænkes i Rio stability. Det skal tænkes altså service og
45:12
alle de der tanker det det, Det er ligesom først der platform
45:15
bliver ordentlig måde det Vi har fokuseret på nu det Det er.
45:18
Det bliver jo nok nødt til at være lidt åben omkring.
45:20
Det er, at Vi har primært faktisk fokuseret på at lave
45:23
produkterne den værdi som fordi ellers så vil vi også som
45:28
hjemløs afdeling eller hjemløs team falde fra hinanden.
45:32
Fordi vi ikke havde eksistentielt grundlag til det,
45:34
fordi hele Vores eksistentielle grundlag stammer fra data
45:37
science. Det er det her, det her øjeblik,
45:40
så det vil sige, at det, som Vi skal til at gøre nu, Det er, at
45:42
Vi skal sprede ud til resten af forretningen også eller resten
45:45
af. Hvad kan man sige resten af
45:47
organisationen? Og det betyder, at vi bliver
45:49
nødt til også at tænke, hvordan ikke kun produktions lægger vi
45:52
låg til language models, men også hvordan produktions ligger
45:55
vi i gps data, hvordan produktions lægger vi tabular,
45:58
data og algoritmer bygget med det, og hvordan interface og de
46:02
data science så med Vores platform, og det tvinger os til
46:04
at gøre det en smule mere abstrakt.
46:06
På en måde og og og minimere entropien kan man sige på en
46:09
anden måde der hvor Vi skal gør. Vi skal finde den underliggende
46:12
essens er det på en eller anden måde, så Der er også noget noget
46:16
arkitektur, der skal tænkes ind over og og og og design og alle
46:21
mulige andre principper. Det lyder enormt spændende og og
46:25
lyder også som om at at du du har lidt fundet fundet din plads
46:31
sporten i alt det der, du er meget passioneret når du snakker
46:34
om det. Jeg synes Det er fedt.
46:36
Det er fedt at høre. Så hvad hedder det?
46:41
Jeg kunne godt tænke mig lige. Vi, Vi har lige lidt tid
46:45
tilbage, før Vi skal, Vi skal. Vi skal videre i på programmet,
46:50
som som desværre er slut programmet som det hedder.
46:52
Men men hvis vi lige tager en lille drejning, fordi Jeg har et
46:56
spørgsmål Jeg har skrevet ned omkring det her med med open
46:59
source. Jeg ved at.
47:04
At du selvfølgelig bruger open source du er gildas charge du
47:09
skriver ikke at eller i skriver ikke altid alting selv som team,
47:13
men kan du ikke prøve lige Sådan give et et?
47:18
Dit bestik på. Hvad?
47:21
Hvad synes du værdien imellem at bruge open source tools versus
47:26
at have noget Sådan proprietært? Måske noget man selv laver du du
47:31
kom lidt ind på det tidligere det der med at at Det kan godt
47:35
være nogle nogle ting kan man bare hente ned for for hylden og
47:38
så virker det. Men men.
47:39
Men hvornår vælger man det ene og hvornår vælger man det andet?
47:43
Prøv at komme lidt ind på det, det kunne være.
47:45
Interessant ja Det kan jeg godt spørgsmål ja altså.
47:48
Der er Der er en tid til det hele for at være helt præcis på
47:53
det. Men men Der er en, man bliver
47:55
nødt til nogle gange at vælge det rigtige værktøj til til den
47:58
rigtige problemstilling. Og hvis hvis man har valgt at gå
48:02
ind på, hvad kan man sige næsten Sådan aggressivt ejerskab over
48:07
sin sin AI? Så og og den store use case med
48:12
Det var at ikke at have været at have venter login på mange måder
48:16
er den store justice Vi har nu. Det er, at Vi har erstattet et
48:19
proprietært dokument intelligence program.
48:25
Og det betyder så, at hvis vi så begynder så at bruge noget
48:28
watson biases og den her type ting, så Vi er faktisk rigtig
48:31
gerne vil bruge til at starte med, men ikke kan nu på grund af
48:33
Det er ikke opensource. Den beslutning er blevet taget
48:35
og og Det er så blevet taget, fordi man ender med at at at
48:40
valget ligesom være være en frø i en gryde, hvor de kan blive
48:43
ved med Sådan et at skrue op for varmen hvis de vil så man er og
48:47
og så opdager man, at man bliver kogt det bestiller metaforen, så
48:50
så humlen er at man bliver nødt til at tage den her ejerskab
48:54
over sin sin sin egen platform. Hvis.
48:57
Men hvis man gerne vil vil være Sådan agnostisk både på på på
49:02
cloud, men også på vinter. Det er lidt den eneste måde, men
49:05
det kræver jo så også bare at man har et team af folk og det
49:08
kræver ressourcer, fordi man selv skal man træne og og
49:11
vedligeholde en en hel masse ting, fordi så går tingene i
49:13
stykker ret ofte og det skal man jo så kunne ligesom reparere man
49:17
tingene. Vi er så heldige at Vi har
49:19
ressourcerne. Vi har ligesom god vin op fra,
49:21
så vi kan gøre det open source i et højere og højere omfang.
49:25
Jeg kan godt se jeg jeg arbejdede også lidt sammen med
49:28
nogle startups tidligere i Det var Sådan slutningen af min
49:32
uddannelse agtig, og der var det Sådan altså service var det
49:36
vildeste, fordi så kunne man slippe for en helt ansat der
49:38
skulle drifte din hvad det så en database eller et omgangs, så så
49:43
det Sådan lidt afhængig af hvor man er i sin i sin vækstrejse
49:48
der Der er åben source er bedre eller værre tror jeg vi kører
49:52
med det her flow som bygger på coronatest som alt sammen er
49:55
open source, så Det er jo super fedt.
49:57
Ja men men men Der er det jo også nogle gange altså det.
50:00
Det er Sådan Jeg er lidt oplev. For det at.
50:05
Hvis man nu siger du, man skal have ressourcerne til ligesom at
50:09
drifte de der ting, men Der er jo også nogle gange det der med
50:12
at jamen hvis du vælger en open source løsning, så har du tit
50:15
muligheden for ligesom at at at gå ind og tage ejerskab over den
50:20
open source løsning skræddersy den til din din use case og så
50:25
har du et hvad kan man sige et fedt altså et match som er meget
50:28
bedre end hvis du tog noget pubertært som typisk er det jo
50:31
Sådan at Det kan man forstå. Fint for dem, der har den
50:34
business. Lad os tage white som biers, at
50:37
man kan ikke gå ind og ligesom at understøtte og lave noget
50:39
kost om til lige præcis den her kunde eller den her kunde fordi.
50:44
Det kommer faktisk an på hvor stor kunden er.
50:46
Har jeg fundet ud af eller til at skære hjørner nogle gange?
50:50
Det er med på det. Det er med på at hvis man er
50:53
stor nok kunde og Sådan noget, hvad de rigtige relationer, så
50:56
kunne man godt forestille sig det ikke.
50:58
Men skal vi ikke blive enige om alligevel, at Det er trods alt
51:00
nemmere, at som for den for den almindelige virksomhedsstørrelse
51:05
at at at lave fedtet. Med noget open source end Det er
51:10
at gå ud og prøve at lede efter noget proprietært som lige
51:12
skulle matche, og som du også siger, at hvis man hvis de så
51:15
drifter et sted hen og det begynder at supportere nogle
51:18
andre cases der ikke lige fanger en, så er man lidt låst og får
51:22
ikke. Hvis man bygger, hvis man bygger
51:24
en platform, så bliver man nødt til, ligesom at standardisere
51:27
også noget på tværs af en masse ting.
51:29
Hvis du så har noget som som bikes og så standardiserer det
51:32
jo så på tværs af firmaer, kan man sige, så der skal det være
51:34
endnu mere abstrakt, så Det er rigtigt nok der der ofrer man
51:37
ligesom lidt noget. Hvad kan man sige moduler?
51:40
Set, selvom på mange måder så er det jo bare 1 1 1 avanceret
51:44
loginsystem altså hvor du bare kan logge eller logfører en hel
51:48
masse forskellige data og så have din metadata store og din
51:52
og din lineage og nogle fede visualiseringer.
51:56
Det er ret modulært på mange måder, men det tror jeg også er
51:58
fordi de netop har tænkt som en platform hvorimod.
52:02
Ja så så egentlig bare for at sige.
52:04
Jeg jeg. Jeg tror faktisk også man kan få
52:07
rigtig meget ud af at bruge nogle af de værktøjer, også
52:09
selvom du bruger et open source værktøj som som lægger nogle
52:13
nogle krav og rammer ned omkring det, så er det nemlig man går
52:16
væk fra det her automatiserings perspektiver, som jeg over til
52:18
platform perspektiv. Men Jeg er selv stor fan af open
52:21
source også. Jeg kender ikke nogen, der ikke
52:25
er forfærdeligt. Nej altså man kan sige jeg.
52:29
Jeg går også ud fra at Der er et vis element er open source i når
52:32
i når i træner nogle modeller i bruger vel et eller andet lama
52:36
et eller andet falcon eller noget og og der går man jo også
52:41
ud og tager fra. Hvad kan man sige fra hylden?
52:43
Ikke så. Ja vi bruger faktisk en model
52:46
der hedder lte. Nu er vi ved at skifte over til
52:48
noget andet, men Det er Sådan hvordan man hvad hedder det det
52:53
multimodal hvordan man kigger både på PDF, den strukturen,
52:57
altså bowling boxes og så hvordan man kigger på for ordene
53:00
i kontekst så det det Det er multimodal algoritme som som vi
53:04
så fintuner for for. Så Det er jo.
53:08
Det er jo helt afsnit i sig selv.
53:10
Det der. Men må jeg ikke, må jeg ikke her
53:13
til slut, hvis Der er nogen lyttere, der skulle være
53:16
hængende tilbage, så ville jeg gerne lave et pløk for for et
53:19
pippi pakke. Jeg lavede tilbage i 2021, tror
53:22
jeg det hedder. Selvfølgelig trak det ned.
53:25
Super fedt LALABTOM levon det står for labeling 2 now.
53:32
Det er ret fedt. Det kan pip installeres hvor
53:35
hvorfra og så og så er det rigtig fedt at
53:38
monteringsværktøj. Et annoteringer værktøj
53:41
simpelthen så Det kan jeg godt huske.
53:43
Du har nævnt på et tidspunkt det det gør vi lige lidt reklame på
53:46
her og så så så sætter vi selvfølgelig linket med ind, når
53:49
vi når vi går totalt amok. Men Det er kun til dem Der er
53:53
nået så langt her i podcasten. Der kommer der kommer link med i
53:59
San oste det det lover jeg. Kasper Kasper har noteret.
54:05
Vi gør altid lidt reklame for Vores gæster, så.
54:08
Det er godt du nævner det, Morten.
54:11
Men Det var super rart. Jeg fortalte mere.
54:15
Ja Jeg kan se at laptoppen har 124 downloads i den sidste
54:18
måned. Er det rigtigt Sådan?
54:22
Noget. Det er ikke tosset.
54:24
Ja så har vi taget i betragtning af, at du formentlig forventer
54:27
er ikke min tjener mere så så er det sgu meget godt.
54:31
Nu får du nu Player her skal vi lige ind og kigge på stats
54:34
bagefter. Når du er med på Vores podcast,
54:36
så er det bare fuldstændig men hvad hedder det?
54:39
Jamen nu er vi jo så småt ved at lakke mod enden som man siger,
54:43
og Jeg synes Det var en rigtig rigtig spændende snak.
54:46
Jeg synes Det er, at Det er jo et super relevant felt i
54:48
øjeblikket, især når Der er ustabilitet i en af de største.
54:52
Hvad hedder det? Skal vi lige vente os på det her
54:54
område? Vi åbner jeg der har noget knas
54:57
II internt i øjeblikket, så bliver det jo mere og mere
55:00
relevant at snakke om. Ja, dels alternative udbydere,
55:03
men også det her med giver det faktisk altså hvornår giver det
55:06
mening at have Sådan nogle ting selv?
55:08
Og hvad involverer det? Og så videre og.
55:11
Jeg synes ikke du skal skamme dig, Morten over at være vild
55:14
med processen og Sådan selve de der du ved opstillingen af det
55:17
og ikke selve fordi Det kan jeg det.
55:19
Det tror jeg både mig og Jonas kan.
55:21
Der holder Pride i mit hjerte. Ret.
55:26
Ja, men hvis ikke du har, hvis du har, har du noget her til
55:31
udover bloggen fra laptoppen har du så noget her på falderebet,
55:34
som du gerne vil vil dele Morten?
55:36
Ægte store bare fred og kærlighed i verden.
55:39
Så Det er et godt budskab. Jamen så vil så vil vi gerne
55:43
sige 1000 tak fordi du grinede og kommer og fortalte om hvad
55:46
hvad? Hvad Det er du laver og de her 2
55:48
fede interessante begreber ML og jeg jeg kaldte det LM obs men l
55:55
obs Det kan du finde ud af fordi det lyder meget sjovere meget
55:57
hedder det ja. Nu ved vi hvad det rigtigt
55:59
hedder. Det er jo det.
56:00
Ja så kan vi være med på beatet nede på hos de med de unge der
56:04
ikke nej hvad hedder det? Ja men 1000 tak fordi du ville
56:07
være med i podcasten Morten. Selv tak ja, Det var fornøjelse.
56:11
Tak fordi i lytter med derude. Vi ses i næste uge.