Latest / Verbos: AI og Softwareudvikling / #21 - ChatGPT til Virksomheder, Code Llama, Hugging Face $235M Investering og mere - Verbos Podcast

Transcript

#21 - ChatGPT til Virksomheder, Code Llama, Hugging Face $235M Investering og mere - Verbos Podcast · Verbos: AI og Softwareudvikling

0:00
Halløj alle sammen og velkommen til denne uges afsnit af Vores
0:03
podcast. Vi er simpelthen oppe på nummer
0:06
et episode nummer 21, og det bliver en vild dag i dag, fordi
0:10
i dag skal vi snakke om den seneste uges.
0:13
Hvad skal man sige æren nyheder eller tech nørde nyheder, så det
0:18
bliver rigtig, rigtig, rigtig fedt.
0:21
Det var jo ikke meningen, at vi skulle have en gæst med det fik
0:24
vi rigtig proklameret ud på alle de sociale medier, men men der
0:28
var simpelthen noget med nogle flyafgange og Sådan noget, der
0:31
kom i vejen. Så derfor har vi ikke en gæst
0:33
med alligevel i aften, men så har vi til gengæld en masse
0:37
andet fedt på programmet, fordi. Vi skal tale om, hvad Der er
0:40
sket i den sidste uges tid IAI verdenen og i tech verdenen, og
0:45
det bliver mega fedt. Bare lige for en lille teaser.
0:48
Hvad kan vi sige så noget af det Vi skal snakke om det her?
0:50
Vi skal snakke om chat GT enterprise som lige er kommet
0:53
herind for de sidste par dage, så skal vi snakke om coop lama
0:56
Vi skal snakke om hockey fase, som Jeg har lige fået en ny stor
1:00
evaluerer eller investering. Så skal vi snakke om i.
1:05
Vi skal også snakke om coach og som er blevet fintunet til at
1:07
slå p 4 på Sådan en coach benchmark datasæt og så skal vi
1:12
snakke en lille bitte smule om de rygter Der er omkring python
1:16
ged. Hvad siger man python kilden ja
1:20
så og hvis ikke man ved at Det er så kan man finde ud af det
1:23
senere, så Det er en ordentlig mundfuld, men vi glæder os
1:25
rigtig meget til at komme i gang med også til at snakke om det,
1:28
og som altid så har vi jo Jonas o Det er en test på ekstra
1:32
Bladet. Kasper junge maskiningeniør på
1:35
seo eller hos co dot r. Hvad så?
1:38
Jonas er fresh? Ja helt sikkert.
1:42
Begge nice. Der?
1:43
Jeg står ikke stille. Det gør det fandme ikke.
1:46
Det gør det fandeme ikke. Det er Det er jo vanvittigt
1:48
altså Vi har jo bare kigget en uge tilbage og.
1:51
De vælter jo frem med nyheder, altså Der er virkelig.
1:55
Ja Der er gang i den så ja, men jeg tænker, skal vi ikke bare
1:59
dykke ned i det? Ja.
2:03
Jeg tror faktisk ikke Det er mere end et par dage siden, så
2:05
åbnede jeg de delte, at de havde nu ville de ligesom nu havde de
2:10
ligesom releaset chat gte ikke bare for privatpersoner, men for
2:14
enterprise løs altså Sådan en chatbot enterprise løsning og i
2:22
ja og Det er jeg personligt kender ret mange som har
2:27
efterspurgt en eller anden form for enterprise versionen af
2:31
chatten PT. Ikke mindst bare altså Der er jo
2:34
med Sådan nogle enterprise versioner og Sådan nogle
2:36
software. Produkter, Der er der jo Sådan
2:38
noget med bare Sådan noget med at være i stand til at have en
2:40
admin. Og ligesom kunne balke onboard
2:44
folk altså Der er nogle features som er som er er fede at have
2:47
ikke? Men så er der jo også en en
2:49
masse hvad hedder det? Hvad skal man sige?
2:51
Der er en masse, Der er mange virksomheder, som har meget
2:53
mange betænkeligheder med hensyn til at bo chat PT fordi.
2:58
De er usikre på om openai træner på deres på det data, som de
3:02
giver til open air eller ligesom giver til operere når de bruger
3:06
chat kampe de er bange for. Så er der ligesom sker med den
3:10
data om Der er noget noget. Hvad skal man sige følsomme
3:13
data, der ligesom bliver lækket ud fra virksomheden og så videre
3:17
og så videre så. Jeg kender.
3:20
Jeg har i hvert fald hørt mange, især større virksomheder, som er
3:25
lidt mere Sådan som skal have lidt mere kontrol over, hvad der
3:28
sker med med blandt andet det deres interne kode, deres
3:32
interne kode og. Følsomme interne informationer.
3:38
Der har altså jeg Det er min så vidt altså nu er jeg jo ikke en
3:40
stor virksomhed. Jeg har arbejdet i startup
3:43
virksomhed, men Det er min min indtryk, at i Sådan større
3:46
virksomheder. Der er det simpelthen bare
3:50
blevet bandlyst, eller der ligesom der i hvert fald ligesom
3:52
skulle. Tage stilling til en eller anden
3:54
form for politik med hvordan hvad skal man sige
3:58
medarbejderne? Bruger chat give BT så.
4:02
Så er det ikke også din din opfattelse, Jonas.
4:06
Jo altså det. Det plejer jo altid at være
4:07
Sådan at der kommer de her enterprise ting løbende og nogle
4:11
gange også on premise løsninger. Altså hvor hvor man simpelthen
4:15
kan få det til at køre på sin sine egne.
4:18
Fysiske maskiner, og Det er jo tit.
4:23
Men Det er det så ikke skal det lige siges.
4:25
Nej Det er jo Det er det jo så ikke Det er enterprise men men
4:28
Det er stadig i skyen og det det giver sig selv fordi de kommer
4:31
jo ikke lige og kører Sådan en kæmpe omgang server ind der der
4:35
der gearet til at køre de der modeller til dig, fordi Det er
4:37
meget meget specialiseret hardware der skal til, så Det er
4:40
de færreste der har det. Det kunne være sjovt, hvis
4:44
grupperne i bilen lige komme kørende og holdet.
4:48
Ja, ligesom amazoner deres snowball, når du skal når du
4:52
skal migrere data. Nu har de rent faktisk.
4:57
Så har de Sådan snowball, så hvis du har rigtig meget data du
4:59
ikke gider at sende over internettet, så kommer vi ud til
5:01
dig med en stor truck og så kan du lugte det derovre.
5:04
Så kører vi det indtil dato ser ned på dig.
5:07
Det er no shit Det er billigt. Sådan løsning, Det er Sådan en
5:10
løsning jeg åbner jeres tilbud. Men ja altså det jeg jeg læser
5:14
mig til det i de nyheder. Det er jo ligesom at.
5:16
Jamen Det er jo Sådan noget unlimited g 4 speed og
5:20
selvfølgelig high security og og og ja altså også noget længere
5:25
kontekst, vindue og Sådan nogle ting der ikke.
5:27
Kryptering, og de træner ikke på din data Sådan noget.
5:33
Og og og jeg tænker også det der med at du altså faktisk her den
5:38
anden dag. Så sad jeg lidt og og kiggede på
5:40
det der med med at der kunne have forskellige organisationer
5:43
det. Det var ligesom intern inde i
5:45
når du laver Sådan 1 1 1. Brugerkonto inde på dem når jeg
5:49
så har du ligesom en organisation, og Vi har jo
5:51
endnu, så der har vi jo organisationen ekstra Bladet for
5:53
eksempel ikke, men men Det er faktisk også Sådan, at man kunne
5:56
godt tænke sig nogle gange. Måske have.
5:58
Organisationer på Sådan et niveau, der hedder
6:01
applikationsniveau eller et eller andet.
6:03
Ikke fordi at at de har jo også. Marketingsafdelingen og så er
6:08
der. Eller du ved et eller andet, men
6:10
Det er lige så meget, at når man når man man bliver reddet det
6:14
altså det betyder til dem, der ikke lige er med der at at når
6:17
du når du sender request til til modellen, eller du gerne vil et
6:22
eller andet, så må du kun sende så mange II minuttet for
6:25
eksempel ikke, og det bliver man jo red limited på, og så bliver
6:28
man jo blokeret ret hårdt. Og den rate limit som de
6:32
beregner på den går ligesom på organisationsniveau, så det vil
6:36
sige, at hvis man ligesom så har en applikation herovre som
6:39
bruger den samme organisationskonto og en anden
6:41
applikation herovre. Hvis den her så rate this nummer
6:44
2, så er raider og har rammer muren, så påvirker det også
6:48
applikation et. Det er Sådan en irriterende et
6:50
produktions setup ikke, og derfor så er er det der med at
6:54
kunne kunne holde de 2 miljøer adskilt.
6:57
Ret vigtigt. For mange lige præcis, og Det er
7:01
jo faktisk et pisse irriterende problem.
7:02
Det der nu er vi jo en virksomhed ser ud og Det er en
7:05
virksomhed som altså i kernen af produktet er generativ af jer
7:10
ikke? Og Det er altså hvis vi rammer
7:13
rate limit, så er vi out of business altså periode så på den
7:17
måde så er det Sådan det det det Det er et ret irriterende på den
7:20
der red limit, men Det er jo et udtryk for at de er de er
7:23
struggler med ressourcerne, altså de er de har ikke
7:26
uendelige juice ikke? Noget.
7:29
Måder på ligesom at balancere forbruget af ressourcer, fordi
7:33
at at hvis du, hvis du kan sende en enkelt applikation, kan
7:36
overlade det hele. Altså Det er jo det man også
7:38
kalder d sit ikke eller eller bare det negle service.
7:44
Det betyder ikke, at det der står for distributed denial of
7:46
service, og så var Sådan en fancy måde at gøre det rigtig
7:51
svært for dem der har et server at køre, men men det altså Det
7:54
er jo bare Det er man jo nødt til at have når man har Sådan
7:57
noget der. Og når man så får Sådan en
7:58
enterprise konto, så bliver der også ligesom på en eller anden
8:01
måde. Så bliver der ligesom lavet en
8:02
lille mur rundt om om den enterprise, så er det Sådan lidt
8:05
mere nu. Nu har du lidt mere frie tøjler
8:07
ikke også så det ikke er Sådan. Helt forestille sig ja og Der er
8:11
nok altså nok. I det hele taget er der bare
8:13
Sådan en masse enterprise fede features i forhold til at manage
8:16
brugere og. Ja, men så forskellige måske
8:20
forskellige keys der med forskellige et eller andet Sådan
8:24
nogle ting. Men ud over det så er det jo
8:26
Sådan noget med at de siger, at Det er altså bare altså de har
8:29
godt lyttet til at folk brokker sig over at eller synes Det er
8:34
ærgerligt eller beklager sig. Jeg synes Det er et problem at
8:36
data ryger ud for virksomheden og bliver de træner på det og så
8:40
videre, men de garanterer altså at de ikke træner på på det data
8:44
der bliver brugt i enterprise versionen.
8:46
De siger også Det er secure. Du ved da jeg det her bliver
8:49
krypteret. Og Der er privat 100% privacy og
8:53
så videre og de siger også de de er SC 2 compliant som jeg lige
8:58
har læst at Det er Sådan noget Det er Sådan en eller anden form
9:00
for compliance standard for hvordan man håndterer hvad skal
9:04
man sige customer data så kundedata det, Det er jo nok i
9:07
virkeligheden det som mange virksomheder synes ville være
9:10
uhensigtsmæssigt, hvis deres kunders data blev lækket til
9:13
åbning altså og kommer med i du ved det vil bliver leaket i et
9:18
eller andet produkt hos en eller anden ikke altså hvis en eller
9:21
anden kunde i. Tryk for eksempel data så lige
9:25
pludselig rom kommer frem der, så vil det være rimelig pinligt
9:27
ikke. Jo så så Sådan nogle ting.
9:30
Og så er der også de, Der er noget med noget extended
9:33
kontekst Windows for længere inputs og man kan analysere
9:38
forbrug altså du ved forbrug der Sådan nogle dashboards hvor man
9:40
kan kigge på forbrug og så videre og så videre man kan
9:44
dele. Øh templates og Sådan noget.
9:47
Der er Sådan forskellige ting og sager som som hvad hedder det
9:50
gør det fedt. I en enterprise sammenhæng, så.
9:54
Det skal nok være rigtig relevant for mange derude.
9:56
Ja, men Der er stadig altså jeg hører stadig folk sige det her
10:00
med, at Det er ikke en pram og. Ved du, hvad Det er?
10:05
Det er ikke rigtige Sådan privacy og Sådan noget, så Der
10:10
er sikkert Der er sikkert nogle af de der.
10:13
Ultra altså hvor hvor security og data privacy og Sådan noget
10:17
er ekstra vigtigt, hvor den stadig ikke går, kunne jeg
10:20
forestille mig. Ja det Jeg tror der Der er mange
10:24
forskellige grader af det der, altså det bare Sådan noget som
10:27
er krypterer. Altså en trafik.
10:31
Og altså hvem? Hvem ejer den server der
10:33
krypterer det, men krypterer jo trafik imellem en server og en
10:36
klient og hvis hvis serveren kan modtage data og bruge det til at
10:41
lave indfries på en på 1 1 1 lm. Så er det jo dekrypteret.
10:46
Altså du kan jo ikke putte krypterede data ind igen en en
10:49
lm og få noget til. I hvert fald.
10:51
Så får du noget sludder tilbage, hvad?
10:52
Får du så får du rigtig meget sludder tilbage og så det ved
10:57
man jo at det på et tidspunkt. Bliver termineret altså TS
11:01
terminering, hedder det. Det er, når man det krypterer på
11:04
på den side hvor man har lavet til næste handshake, så sender
11:08
man et eller andet sted hen fra sin fra sit server.
11:12
Over til sin LM kommer det tilbage.
11:14
Så krypterer man det igen det output og sender det til nogen
11:18
ikke. Altså Det kan ikke være
11:20
anderledes altså man kan ikke. Man kan ikke kryptere data og
11:24
putte en lem og så lade den arbejde på det krypterede data.
11:27
Det er simpelthen ikke. Nej så ja, Det er hukommelsen.
11:32
Det er krypteret på et eller andet tidspunkt og dem der ejer
11:34
de maskiner. De har jo selvfølgelig adgang
11:36
til det på det tidspunkt. Det er dekrypteret period.
11:40
Så Der er ikke så meget at gøre, og Det er jo derfor, at Der er
11:43
mange, der har det der one prime ekstra security briller på der
11:46
bare siger jamen altså Vi skal have den fysiske maskine stående
11:49
hos os, ikke? Men Jeg tror i hvert fald uanset
11:52
hvad, altså Jeg tror den her. Det er i hvert fald en kæmpe
11:54
invitation til rigtig mange virksomheder om at tage det i
11:58
brug. Det her, fordi Jeg tror, at bare
12:00
det her med, at man skal lave en konto for hver bruger, og de
12:03
skal betale sig bare rart og Sådan.
12:04
Altså Der er Sådan noget ergonomi i at sige, okay, nu får
12:09
vi bare hele afdelingen med. Her kan vi se, kunne jeg
12:12
forestille mig en virksomhed og hvor det her.
12:14
Det er Sådan lidt mere nu inviteret ind til, at man
12:17
ligesom bare siger får taget en beslutning om at.
12:20
Vi. Nu nu nu gør vi chitty
12:23
tilgængelige for Vores medarbejdere.
12:25
Ja så. Så ja ja ja super.
12:30
Jamen, så lad os gå videre til den næste nyhed i det.
12:34
Ja og hvad hedder det? Ja coach Der er nemlig meta har
12:39
nemlig udgivet en en ny sprogø model en ny stor lege language
12:42
models i den i den her uge, og Det er en model som de kalder
12:47
coat lama eller lama coat lama 2 coat et eller andet kan du ikke
12:51
lige forklare Jonas hvad hvad der foregår.
12:55
Sådan som jeg forstår det, så er det jo en fintuning at lege med.
12:58
2 så kom jeg ud med 2 for noget tid siden og og så besluttede de
13:04
sig ligesom for at åbenbart at prøve at fintune det Sådan.
13:08
Til til kodes specifikt altså Jeg tror det de de i det der
13:12
påpeger det beskriver. Det er Sådan lidt at de forsøger
13:15
at undersøge for hvor hvor godt man kan performe på det her
13:20
coach human eval, som også kommer til at snakke om lidt,
13:25
men altså de her task der har med kodeændringer at gøre og så
13:29
laver de. De kalder de det en en cool
13:34
injection, hvor de ligesom træner den på at at altså Sådan
13:40
fill in the gaps ligesom at lave code completion og så træner de
13:45
den også på de her instruct. Altså hvor du på en eller anden
13:48
måde har Sådan en. Øh jeg skal bruge det her kode.
13:51
Giv mig noget kød tilbage eller du måske siger Jeg har noget
13:54
kode redigere i. Det gør noget for mig ikke og så
13:57
træner du til de der forskellige ting og så har de 3 forskellige
14:02
model varianter altså størrelse ligesom i par gange til til til
14:07
til lama 2. Ikke fordi Det er jo Det er jo
14:08
faktisk lidt på det. Og så får de bare rigtig gode.
14:12
Resultater og Det er 7 milliarder parametre, 13
14:15
milliarder parametre og 34 milliarder par meter.
14:19
Og Der er vist også en 70, men Jeg er ikke sikker på Det er den
14:21
de har har brugt. Den kan det.
14:24
Passe men jeg ved ikke. Jeg tror bare de har udgivet den
14:26
udgivet men Der er en lama 2 70. Jamen Det er det jeg husker også
14:32
så. For mig de der de der de der
14:35
steps af milliarder de. Tror jeg bare Det er noget nogle
14:40
fine tuning. Clips Der er der sikkert er.
14:44
De er sikkert sat på nogle tidspunkter, hvor læringskurven
14:47
at de ligesom. Jeg ved det knus.
14:51
Nå nu. Ja, hvad kan vi sige mere om
14:55
det? Jo altså det.
14:59
Jeg tror. Så meta har det jo med at gå
15:04
efter det her med, at hvis vi kan.
15:07
Hvis vi kan få purple spillets l lemmer, som er små.
15:12
Til specifikke task, så kan vi ligesom så kan vi slippe dem til
15:17
til klienten ikke? Det har de snakket meget om det
15:19
der med, at de vil gerne de vil gerne skubbe.
15:22
De vil gerne arbejde på at at skubbe godt performende
15:26
genoplive AI ud på din telefon. Simpelthen ikke altså det det
15:31
det Det er deres mål. Tror Jeg er noget der til at
15:34
køre på. Telefonen altså du ved meget
15:38
proof of concept sikkert, men det skal jo ligesom også
15:40
performe til et eller andet eller bare ud på din laptop.
15:43
For eksempel forestil dig, at du det nu udvikler at kunne sagtens
15:47
have Sådan en Sådan en completing kørende på der
15:50
performer rigtig godt på din egen maskine ikke og så ikke
15:55
skulle sende kode til til et p. Igen, Der er lidt privacy.
16:00
Man løser privacy problematikken der og Det er jo virkelig on
16:03
prime her i modellen. Der er ikke noget, der bare
16:06
kører på noget som helst. Der er ingen trafik og Sådan
16:10
nogle ting. Det Det er ret spændende altså.
16:13
Jeg havde da lyst til at downloade den der. 7 b og får
16:17
den til at køre. På 7 7 b erne er optimeret til
16:22
at den kan køre på en gpu ikke og så hvis den kører med
16:25
quantification og Mexico. I en bit en halv bit en bit
16:32
eller andet. Club.
16:37
Ja og noget Der er grineren også ikke også Det er at de har
16:40
fandme de har de har tunet en en specifik python version af den
16:45
her coat. Lamer, Det var derfor, Det var
16:47
rigtig sjovt at downloade det. Det glemte jeg lige at sige.
16:51
Det gør den ikke. Så er der en, du ved vi vi en af
16:55
de tidligere episoder babos podcast der snakkede vi om
16:58
danske elever ved human language, men nu begynder de
17:03
fandeme at tune dem til skal man sige specifikke
17:06
programmeringssprog. Det synes Jeg er er lidt sjovt
17:09
det. Er fedt.
17:11
Det griner, men Jeg synes Det er rigtigt det du siger at det
17:13
virker som om Der er en eller anden form for trade off mellem
17:16
altså hvor generel en model skal være eller kan være og så
17:21
størrelse ikke. Så hvis en model skal være meget
17:23
generel, skal den være rigtig stor.
17:26
Men hvis man kan gå på kompromis med noget af det generelle og
17:28
ligesom prøve at lave det mere, hvad skal man sige?
17:30
Specifik? Og så kan man slippe afsted med
17:34
en mindre model. Det er også det, man ser med a
17:36
yes. Hvad hedder det det de har?
17:39
Det er altså Jeg har haft Sådan en fintuning support for da
17:42
vinci modellerne længe, men de har også lige her for nyligt
17:45
udgivet fintuning muligheder fra for chat gt 3,5 turbo modellen,
17:52
og Der er det jo der kan man jo lave Sådan nogle tricks møder
17:55
man kan få. Man kan.
17:58
Lave et altså specielt lave et datasæt med kapitel 4 som løser
18:02
en opgave man gerne vil have, og så kan man finde tun indgivet
18:04
til 3,5 til at hvad skal man sige og mimi ikke det eller til
18:09
at efterligne det. Og så har man lige pludselig en
18:11
en intonation at give 3,5 som opfører sig som en p 4 til en
18:18
til billigere penge, og som ligesom med hurtigere end før
18:22
ens tid ikke. Så Det er også ligesom en.
18:25
Så gør du en model mere specifik, men træner den mere
18:29
til en mere snæver opgave. Ikke så.
18:31
Og og altså. Der er ikke rigtig nogen der ved
18:34
det, men altså, Jeg har jo hørt George hutch ham hacker duden
18:38
der sige til til hvor det freeman podcast at Det er jo
18:44
bare en ensemblet model der kører nedenunder gti 4.
18:47
Han er helt sikker på at at Det er i virkeligheden flere
18:50
fintunede modeller, og så bliver du routet ned til.
18:54
Ja. Ja.
18:57
Experts, model. Ja altså det det det hører jeg
19:00
som en ensemble model. Jeg ved ikke om om den
19:02
arkitektur, den er helt Sådan, men jeg forestiller mig at Der
19:06
er en eller anden form for Sådan en styring af, at du kan komme,
19:09
at du kommer ned til til der, hvor den er tunet til den task,
19:13
så Der er forskellige tunings og ikke bare en, men jeg ved det.
19:17
Jeg tror Det er Sådan noget hvor de har Sådan nogle.
19:19
Du ved, så er der Sådan et nærmest Sådan.
19:21
Jeg er ikke sikker på det, men Der er nærmest et great af.
19:24
Du ved for eksempel gives i 3 modeller og så er der ved første
19:28
lag anden lag af tredje lag, og så er det Sådan Det er modellen
19:31
gør når den laver inferiores. Det er den forudsiger hvad for
19:33
nogle af dem Der er mest optimale at bruge og så router
19:37
den ligesom du ved svar altså en en completion igennem den
19:43
bedste. Den bedste den den Der er bedst
19:46
gearet til det og det og jeg altså det.
19:48
Det er Sådan helt oplagt. Ren ingenting ja Det er det jo
19:53
altså du kunne. Jo du kunne jo i princippet
19:56
altså Det er bare 1, 1 1 1 flere flere steps modeller.
20:01
I virkeligheden ikke. Altså ja, så har du det første.
20:05
Skridt hvor du skal lave den der influence derfor lige at finde
20:07
ud af hvilken model skal jeg ned og lave generativ ting på for at
20:11
få bedst performance? Men hey, Det er jo det hele
20:14
værd. Altså hvis du kan løfte den og
20:16
overall performance. Jeg tror Det er derfor p 4 har
20:19
en så god bred altså generaliserbarhed.
20:22
Det er simpelthen fordi. Den er bygget op af nogle mindre
20:26
generelle modeller, Der er gode på deres domæne.
20:29
Det tror jeg simpelthen. Selv når du kommer bare bedre
20:31
til, så den er bedre til at vælge.
20:33
Du ved nå okay, nu skal jeg aktivere den del af modellen for
20:37
at ja. Men Det er også nu kan ikke
20:40
huske præcis resultaterne i det der, men men men de slår en af
20:43
de større parameter modeller selv er det deres egen lama de
20:47
slår på det på den der python kode ikke tager.
20:51
På på den mindste. Jeg mener også det skrev noget
20:54
med. Jeg mener jeg hørte nogen sige,
20:55
at grunden til at de har lavet en python model Det er fordi at
20:58
der i human evald er et python datasæt.
21:02
Ja, men Jeg har, men Jeg er ikke sikker på det så, men i øvrigt
21:06
en anden ting, som Jeg synes Der er meget spændende at snakke om.
21:08
Vi har jo været ude og se hvad hedder det Johan fra github, som
21:12
har været med til at vi holdt DS arrangement hvor Vi er ude og se
21:15
Johan fra github, som har været med til at træne eller udvikle
21:19
compilet. Hvad skal man sige completion
21:21
toolet der og de har jo de har faktisk rodet med det her rigtig
21:25
længe og har arbejdet med code completion og scorede modeller i
21:29
lang tid og Der er en på en eller anden måde noget lidt
21:32
interessant ved kode som. Tekst af genererer og evaluering
21:37
af det, fordi Det er faktisk muligt at lave nogle
21:40
interessante. Hvad skal man sige?
21:42
Evalueringsfase datasæt. Når Det har med koder at gøre,
21:48
fordi man på en eller anden måde kan.
21:50
Det er Sådan lidt mere målbart outputtet af det ikke?
21:54
Jeg kan huske at Johan han sagde en af de måder de evaluerer
21:58
github copilot på Det er at de ligesom skraber en masse
22:02
repositories for github. Så går de ind og finder unit
22:05
testene. Så går de ned i anden, alle
22:08
funktionerne og så sletter de bare koden, men beholder ligesom
22:12
funktionen og dens input for coopertest til at generere unit
22:16
testen og så hvad skal man sige? Så kan de ligesom måle antal af
22:21
unit tests der går igennem. Det er så ligesom så får de en
22:26
eller anden active ud af det det.
22:28
Det er jo en eller anden form for signal til hvor god compilet
22:32
er til at generere koder til at forstå koder og så videre.
22:34
Ikke? Og det jeg lover dig for da jeg
22:36
hørte den den evalueringsmetode jeg havde der ikke, så tænkte
22:39
jeg bare åh Det er det. Det er seriøst genialt og Jeg
22:43
tror i virkeligheden rigtig meget på at hele det her
22:45
generative eller paradigme det der sker noget, Sådan noget, det
22:48
handler rigtig meget om at finde snedige måder og evaluere de her
22:52
ting på. Ofcourse offentlig hvis du kan.
22:56
Lave en god altså løst beregningen er jo alfa omega og
23:02
den er kun så god som som. Hvad kan man sige det data der
23:05
bestemmer om du rammer rigtigt eller forkert?
23:08
Og det data skal jo have have hold i et eller andet objektivt,
23:12
og en unittest er jo fantastisk til det også fordi du får ramt
23:17
mange cases, så du kan i princippet så kan du lave Sådan
23:20
en er. Det er dit score ikke at du kan
23:23
teste på. 10 forskellige cases og så kan du sige hvor mange
23:27
ramte du eller du kan prøve at selv helt regne det ud ikke
23:31
eller et eller andet altså Der er så meget Der er så meget
23:35
variation III det du kan få ud af det data at det Det kan jeg
23:40
sgu kun kun gå godt når man gør det.
23:41
På den måde havde jeg nær sagt ikke, altså hvis Det er svært,
23:44
men. Ja, Det er helt sikkert en
23:47
rigtig god metode, men Jeg vil lige skyde ind her at mit
23:50
indtryk er faktisk at Det er den samme metode de bruger til den
23:53
her fine tuning. I forhold til at veje det op
23:58
imod unittest, men at de bruger den store lama som man siger til
24:04
at. Til at at generere de her
24:07
unittests ud fra de torsk som er beskrevet, altså simpelthen sige
24:13
Jeg har en taske til dig her den generative og så i stedet for at
24:17
bare hvad kan man sige ja. Du skal have en måde at vurdere
24:23
det på i stedet for at have en human feedback så at sige jamen
24:27
så så ud fra den taske, så bærer du en stor eller.
24:31
Om at lave en unittest til det, og så kan du jo få rigtig mange
24:38
altså Det er jo lidt som at i Det er lidt ligesom at træne. 1,
24:43
1 1 1 1 broward model baseret på menneskelig input men her har du
24:50
så bare en mulighed for faktisk at bare have en Sådan en en
24:54
fast. Kan man sige ja, Det var så ikke
24:59
en reward model i den her sammenhæng.
25:01
Det ved jeg faktisk ikke, om Det er reelt først med lønning.
25:03
De bruger til at fintune. Det er Sådan set også lige
25:05
meget, Der er en eller anden form for loss det samme i sidste
25:09
ende i og og så og så ja, så den her United blev genereret og så
25:16
så får de jo nogle en masse data på.
25:20
Task prompts og unittest. Og virkede det virkede det ikke
25:24
og fintune op ud fra det så det. Det er jeg ret sikker på.
25:28
Det er den måde de også scorer om du rammer rigtigt eller
25:31
forkert for. Ligesom Der er et eller andet
25:34
interessant ved kode ikke som som tekst indenfor som tekstdata
25:39
og genererer fordi Det kan køre på en anden måde ikke hvor altså
25:43
naturlige sprog natural language Det kan jo ikke køre på den måde
25:47
kan man ikke spille eller ej. Det var Sådan ligesom køre på
25:49
den måde ikke hvor Det kan man rent faktisk med kode så det på
25:53
en anden måde. Men en mulighed for at måle om.
25:56
Ja, Det er Sådan en objektiv måling versus en subjektiv
26:00
måling og der ved man jo fra altså fra fintuning med reel
26:05
forskel learning at. Den subjektive vurdering fra
26:08
mennesker er faktisk også rigtig god, og den kan bruges til at
26:11
træne en model på, og Det er ikke bare støj og øst og vest
26:17
og, og Det er også ret vigtigt, ligesom at at pointere, at man
26:20
kunne også godt have gjort det på en anden måde.
26:22
Men Det er jo altså det der med at at skrive noget der passer
26:26
nogle nogle nogle tests, så skal testene jo selvfølgelig være
26:30
genereret korrekt i forhold til den task man gerne vil også.
26:34
Og Det er jo også vigtigt, så de skal jo på en eller anden måde
26:37
nok også lige akkurat det en lille smule for at se godt går
26:41
det godt, når vi beder den om at generere ud fra de her beskrevne
26:43
tasks ikke? Men altså jeg, Jeg er rimelig
26:47
sejt og jeg. Jeg venter bare på, at der
26:49
kommer nogen med Sådan en eller anden python specifik løsning.
26:53
Jeg troede jo på github copilot, at det bare skulle ramme mig
26:55
fuldstændig, når det blev bredere og man fik chat på alt
26:58
muligt Sådan noget. Jeg synes sgu det står stille.
27:00
Jeg tror jeg skal ringe til Johan og spørge hvad hvor bliver
27:03
det af? De har ikke jamen, de har ikke
27:05
udgivet copilot med chat. Vel det Jeg har været man man
27:09
kan godt få lov at prøve det og Jeg har også fået lov til det og
27:11
Sådan nogle ting. Jeg synes ikke rigtigt Det var
27:13
noget altså Jeg har Sådan lidt. Jeg synes Jeg synes man giver 4
27:19
den performer super fint. Det er sjovt det der med.
27:21
Ikke fordi Det er ligesom om at lige med kode, ikke?
27:25
Det er ligesom om at Det er Sådan lidt en youi ting, ikke?
27:28
Der der skal, der skal knækkes der.
27:31
Hvordan er det vi? Godt kan lide at arbejde med
27:34
det. Hvordan er det folk arbejder med
27:36
det? Hvordan Sådan kan hjælpe og
27:38
Sådan noget ikke? Jeg føler også på sigt og Det er
27:40
jeg Sådan og generelt når man kigger på folk hvad folk bygger
27:44
med med eller lemmer ikke altså. Der er mange.
27:47
Der er også meget Sådan user interface i det i virkeligheden.
27:50
Det der med hvordan hvordan får man det til at arbejde med en
27:54
ikke? Og Det er i høj grad Sådan en en
27:56
UR ting som jeg sagde. Helt klart.
28:00
Yes coach damer og Vi skal i øvrigt sige det, det kunne måske
28:06
have sagt før, men hele. Hvad skal man sige?
28:10
Alt det interessante ved de her lama 2 baserede modeller som
28:13
coach lama også er? Det er jo at de er de er.
28:17
De er jo ikke helt open source, fordi Det er jo ikke.
28:20
Vægt, altså vægten er åbne, men så vidt jeg ved er koden ikke
28:23
åben og Sådan nogle ting og Sådan noget, men modellen er i
28:26
hvert fald frit tilgængelig, og den er tilladt at bruge til
28:30
kommerciel altså til kommercielt brug.
28:31
Og Det er jo lidt ligesom det der Der er.
28:34
Bangeren ved det her kan man sige ikke Det er det der gør det
28:38
ret interessant så. Så jeg og i øvrigt hvad hedder
28:41
det Facebook? Jeg får nogle gange altså jeg
28:44
får tit lidt kvalme over at høre hvor meget Facebook de pudser
28:49
glorien i forhold til open source.
28:51
De har eddermame travlt med at fortælle om hvor fantastisk
28:54
diske Det er og hvor meget de. Er Det er fordi åbner er blevet
28:58
kritiseret, så skal man lige tage den anden piedestal.
29:00
Ikke så. De har altså noget noget
29:02
goodwill. De skal indhente der med
29:04
Cambridge Analytica og nogle ting og sager der tror jeg de
29:08
har et eller andet der der lige skal tilbage på kontoen.
29:11
Yes, Der er med os videre til næste nyhed.
29:14
Den næste, den næste nyhed. Den handler om en en platform,
29:18
som som mange som sidder og arbejder med data science og i
29:21
har brugt på et andet tidspunkt og måske bruger endda nu her.
29:24
Og Det er en platform som hedder hocking face.
29:28
Og de har nemlig. Det er Sådan en der en startup
29:31
kan man godt sige, måske mere en skala op eller ja, Det er jo en
29:35
unicorn ikke? Men de har lige fået 235
29:39
millioner dollars II altså i fonde altså Sådan i investering
29:44
fra blandt andet salesforce, invidia, Google og Amazon.
29:49
Ja Sådan lidt brogede skare. Ja men og det vil altså sige, at
29:54
de har nu en valuation på 4,5 milliarder dollars, som er cirka
29:59
30 milliarder danske kroner. Og bare Sådan en lille
30:04
opsummering. Eller ligesom hvis ikke man
30:06
kender til høringsfase, var der mange der har hørt om
30:08
høringsfase de har de er navngivet efter den her emoji,
30:11
den her kramme energi og de de bruger den bruger de også som
30:16
logo og så på den måde er det en meget visuel, skal man sige
30:20
hjemmeside de har, og de har Sådan en hel tema med emojis
30:23
alle steder og Sådan. Så jeg på den måde, så er der
30:28
nok mange der har hørt om det før.
30:29
Har set hjemmesiden og det der logo og Sådan noget.
30:31
Men kan vi ikke lige prøve måske at tage en opsummering omkring
30:33
hvad hocking fase egentlig er og hvorfor fanden den er 30
30:38
milliarder kroner værd altså. Jo altså startede hocking face
30:42
egentlig ikke med bare at være et sted, hvor man altså da der
30:45
begyndte at komme Sådan transformer modeller ud og man
30:48
så at det her det. Det er fedt Det er der der Der
30:52
er modeller her Der er modeller det og Der er modeller alle
30:54
steder. Så skal vi ikke prøve at samle
30:59
de der modeller, og ligesom gøre dem tilgængelige og når nu de så
31:03
skal køre som man skal bruge dem til XYZ opgaver og Sådan noget.
31:07
Hvordan gør man så det? Fordi dem der måske måske er der
31:11
mange der har prøvet at tage Sådan en en model og så.
31:16
Og så sige project en eller anden metode Der er nogen der
31:19
har rappet eller andet rundt om og og kørt noget.
31:21
Og så er det måske tekst ind og tekst ud.
31:25
Måske er det tekst ind og og hvad hedder det tal ud og altså.
31:34
Mange af de her modeller kan faktisk det hele, altså når det
31:37
kommer til stykket. Altså de mange af dem er trænet
31:39
til tekst til en tekst ud og kan faktisk også lave.
31:44
Altså de er både DKONKDK altså ikke og kan kan også lave tekst
31:50
ind tal ud for eksempel ikke så og det det tænker man måske ikke
31:54
Sådan så meget over når man lige sidder bare og interfacer med
31:57
dem igennem Sådan noget der men det.
31:58
Men Det er fordi. Ja så fucking fase gjorde det
32:01
her meget tilgængeligt for folk der bare gerne ville prøve dem
32:04
af. Så behøver man ikke Sådan som
32:06
Sådan at forstå hvordan de fungerer indeni.
32:09
Altså man behøver ikke kende pige touch og går helt ned i det
32:12
der. Det tror jeg Det var.
32:14
Det var rigtig snildt. Det.
32:16
Du er en Der er rigtig meget, altså for dem af os, som har
32:20
været nede i de her transformer modeller og lege med tendenser
32:23
og matricer og. Alt Sådan noget altså Der er
32:28
rigtig meget. Det der der der Det er ikke bare
32:32
du ved tekst indtægt ud. Der er meget Sådan imellem som
32:36
som ligesom skal fungere ikke for at og det skraldekone
32:40
dernede lige præcis er der rigtig meget.
32:43
Der er mange Sådan ting Der er abstraheret væk og blevet gjort
32:45
nemt og lækkert ikke og Det er hårdt ja lige præcis Det er
32:49
fucking fået rigtig gode til at ligesom at gøre tilgængeligt
32:52
ikke, men det startede jo faktisk med at hedde pixwords
32:54
transformers, fordi hvad skal man sige?
32:57
Hvad skal man sige hacking face claim 2 fame Det er jo deres
33:00
transformers. Bibliotek eller open source
33:03
library, som som ligesom blev rigtig populært, også efter at
33:07
Sådan nogle modeller som board for eksempel kom ud dengang,
33:11
hvor man fandt ud af, at man kan faktisk pree Trane transformere.
33:16
Altså man kan træne det på en rigtig meget data til at lave
33:19
Sådan nogle selv supervise opgaver og Sådan noget det det
33:22
her ord. Hvad Det er og så bare gøre det
33:26
en milliard gange. Og så blev de faktisk rigtig
33:29
gode udgangspunkt, altså Sådan nogle grundmodeller til at træne
33:34
ovenpå. Altså så Det var ligesom state
33:35
of the art at tage Sådan en transformer ind som Sådan en
33:39
sprog engine, ligesom lægge et lag ovenpå og så træne videre
33:42
til ens specifikke opgaver og det Det var Sådan Det var blevet
33:46
mere populært og blevet state of art og Sådan nogle ting og det
33:50
gjorde bare og. Og så var der bare Sådan en
33:52
rigtig stor mulighed for og så så høringsfasen mulighed for
33:55
ligesom at lave en en hop i virkeligheden.
33:57
Og et interface og 1 1 1 1 community omkring at præge træne
34:03
store sprog modeller gør dem tilgængelige med nemt via kode
34:06
og træne videre på dem og dele dem og benchmark dem op mod
34:10
hinanden og så videre. Så Det var jo nok, Det var noget
34:14
der startede med at. At det ligesom ja at at at det
34:18
ligesom det, Det var jo nok Sådan noget som burde.
34:20
Der startede det ikke hvor man fandt ud af.
34:22
Vi kan rent faktisk tage de her transformer modeller træne dem
34:25
på Sådan nogle. Underlige, lidt mærkelige,
34:29
konstruerede opgaver og så lægge dem op online.
34:32
Og så kan folk faktisk træne videre på dem og få bedre
34:35
performance end de ville have gjort med de gamle modeller
34:39
eller ikke brænde modeller så ja.
34:43
Men det Det er jo også ja, Det er jo et kæmpe vildt altså hvad
34:46
skal de bruge de penge til nu? Ja, de bruger de jo.
34:50
Det er jo rigtig rigtig mange penge det der.
34:52
Altså må man sige altså, men de de så som jeg forstår det, så
34:56
arbejder de også rigtig hårdt på at at nu er nu er det ikke bare
35:00
et sted hvor man hvor man bruger et kodebog hentet af modellerne
35:04
og Sådan nogle ting? Det er jo også deployment.
35:06
Det er også altså model hop er en seriøs ting, det det Det har
35:10
vi også inde på ekstra Bladet, så bruger vi jo også hocking
35:13
fase. At, når du lægger en model op,
35:15
så så er der jo fin versionering og du kan hente den ned med det
35:19
samme library og du kan logge ind på din din private hop og
35:24
Sådan nogle ting der ikke så. Man kan være man bare lige sige
35:28
i øvrigt også hvis man lige vil forstå endnu bedre hvad hvad?
35:30
Hvad skal man sige hacking fase er så er det basically github
35:34
for machine learning modeller, ikke?
35:35
Ja Det kan. Man godt sige ja så på den måde
35:38
så så det. Sådan kan man godt se det ikke
35:41
og så har de de her features de har auto trading så har de Sådan
35:44
en ferie API. Og, og så har de ja Sådan.
35:51
Man kan sige meget af det de tilbyder.
35:52
Det er at fintune. Modeller på en nem måde Sådan
35:58
lidt no code agtig måde, hvilket Jeg tror bare er død nu hvor at
36:03
hele lemmer bliver en stor ting, men Det er en anden sag og så
36:05
har de de her tror du ikke er Sådan nogle transformações og
36:10
Sådan noget? Så Vi skal have en podcast hvor
36:11
vi snakkede om det tror jeg. Jamen.
36:13
Jeg tror aldrig Jeg tror fordi Jeg tror sgu aldrig.
36:17
Jeg ved ikke jeg. Jeg kunne ikke.
36:19
Jeg kan ærlig talt ikke se en årsag til at bruge 1, 1 1 byrde
36:24
for eksempel til at træne 1, 1 1 fin tune en eller anden.
36:29
Classifier, Jeg vil til hver en tid nu bruge 1, 1 1
36:32
landbrugsmodel med funktion calling og så bare banke afsted.
36:35
Nå men hvad hedder det så har Det har de ligesom i hvert fald
36:38
mulighed for jo man kunne godt forestille sig auto trading,
36:41
altså fine tuning af de her generative modeller
36:44
selvfølgelig. Ja ja, ved du hvad?
36:47
Det skal nok de det skal nok blive ja, men så har de også de
36:50
her inferiores API, hvor man ligesom kan, hvis Der er nogen
36:53
der har open sourcet lama for eksempel.
36:56
Så kan man lave Sådan nærmest Sådan klik solutions og så har
37:00
du ligesom bare deployeret en lama model uden at skulle tænke
37:03
på at sætte servere op og du ved få alt mekanikken til at
37:06
fungere, så har du ligesom bare en en model kørende, ikke?
37:11
Det og Det er jo det Der er. Hvad kan man sige når man har
37:13
bygget det som hocking face har gjort?
37:15
Altså de har jo lavet et et fælles interface for.
37:20
En standard ja for for alle typer af transformere arkitektur
37:25
og andre stable diffusion, ting og så videre og så videre.
37:30
Når man har gjort det på den måde, som de har jamen, så har
37:34
man jo lige pludselig altså trinbrættet til at kunne lave
37:39
Sådan noget. Jeg vil bare jeg klikker bare
37:41
ind. Jeg vil gerne pløje den her
37:44
fordi at den kode der skal til for ligesom at okay der skal
37:48
afstå kode til ikke men men men alt det der forarbejde med at
37:51
hvad for et interface har den her model jeg nu gerne vil
37:54
deploye det ligger ligesom III huden fase transformer library,
38:00
så derfor så er det jo. Det er jo det vigtigste at have
38:03
på plads, før man ligesom kan lave den slags.
38:06
Og ret nemt og man ligesom kan distribuere en service af den
38:10
type til brugere. Interfaces, interfaces,
38:14
interfaces, interface. Vi siger det lige igen til alle
38:18
dem, der interesserer sig for kode kvalitet derude interfaces
38:21
og clean code selvfølgelig. Men men men Det er altså det
38:27
her. Det er sgu ret genialt, så jeg
38:28
forstår godt, at man spytter mange penge i dem nu, fordi
38:31
potentialet er jo ret stort, og de vil jo selvfølgelig også godt
38:34
over hos Amazon, der de de hedder har heddet said saki lang
38:38
tid. Jeg tror sgu det dør jeg skal
38:39
være helt ærlig, og så bliver det bare hockings deploy.
38:43
På Amazon så lad være med at tage maker.
38:46
Eller hvad med at sige det ord? Altså der?
38:48
Man kan sige, de har fucking face.
38:50
Har virkelig. Hjerterne hos rigtig mange
38:55
machine learning data science nørder ikke research også altså.
39:01
Ja de de er meget centrale i hele den her udvikling.
39:05
Der er jo også de har jo også været med til det her big
39:08
science projekt, som hvor de har trænet bloom, som også er 1 1 1
39:11
kite 3 størrelse generativ sprog model ikke?
39:15
Og ja så så det, Sådan er det. Men men det står her, at de der
39:19
står i øvrigt også at de i Vores noter her som der står at de er
39:24
de har tænkt sig at bruge de her penge på at udvide research og
39:27
enterprise. Det var det jeg stillede det
39:29
spørgsmål. Ja, Det var lige svarede på det.
39:32
Men jeg tænker Sådan lidt research, ikke?
39:36
Research hvad altså er det research for modeller til at
39:41
køre hurtigere på hardware eller er det research?
39:45
Lave en bedre infrastruktur eller et eller andet eller er
39:48
det research træn modeller træn lege language models?
39:53
Altså når der kommer så mange penge fra nogle af de der store
39:56
folk over til til noget som hocking fase, så kan man ikke
39:59
undgå, at det kommer til at påvirke dem en lille smule i
40:02
forhold til hvilken retning de går og og Sådan er det og det
40:06
det de kalder det research. Men Jeg tror helt ærligt, så kan
40:10
det være at researche hvordan man for eksempel kører.
40:14
De her modeller rigtig effektivt på noget hardware, især noget
40:18
hardware som som nogle af de hardware winters cloud Windows
40:23
har, fordi at Google endvidere kunne være det sjovt nok være
40:28
interesseret i det fordi at at så kan man så kan man lave den
40:33
der kobling når jeg sælger hardware og software det Det har
40:36
jeg hørt det en stor ting IT at sælge hardware software og og så
40:42
og så må man jo bare sige at. Så er cup altså så er
40:46
interesserne jo af line når man har penge og det hele sammen med
40:49
noget som hockey. Så selvfølgelig er der noget
40:52
research, der har fokus på det, fordi Det er også der
40:54
problemerne er Vi skal have. Vi skal have det her til at køre
40:57
hurtigere. Det koster for meget, og det
40:59
sviner 7 2 ikke. Altså let set.
41:05
Yes puha puha Det er ikke godt. Så så hocking face fuld smadder
41:11
det må man roligt sige. Det er blevet en unicorn og ja
41:16
ja Det er jo godt for for hacking face at at de har vind i
41:20
sejlene kan man sige yes jamen skal vi gå videre til den næste
41:25
nyhed eller som ikke er en nyhed men som mere Sådan en du ved
41:29
word on the streets hvad sker der i gozzip tak gossip en?
41:34
Stor nyhed men altså. Det poppede op hos mig?
41:38
Det der sker. Ved jeg godt kan lide python.
41:42
Det der sker Det er at ja, hvad er det egentlig der sker?
41:46
Python er jo et open source programmeringssprog, som jo er
41:50
rimelig populært eller at sige det.
41:52
Jeg tror Det er det største programmeringssprog.
41:55
Men Jeg tror faktisk Det er nok. Tror du det?
41:57
Det er i hvert fald noget javascript python.
42:00
De kæmper lidt om den ikke tror jeg.
42:01
Det kan godt være, men ja. Det er rimelig stort i hvert
42:05
fald, og de er det. Det er bare Sådan, det bliver
42:09
bare større og større og så videre.
42:11
Og Der er ligesom en en open source community, så Der er
42:14
ligesom noget der hedder python. Der er nogen der hedder python
42:17
call developer som ligesom står for at udvikle sproget og gør
42:21
ligesom sørger for at montant og gøre det bedre og så videre og
42:24
så videre. Og der hvis man kunne tænke sig
42:27
at involvere sig i det her måde, man ligesom kommunikerer i det
42:30
her. Det er jo lidt Sådan en eller
42:31
anden form for demokrati. Eller Sådan en eller anden form
42:34
for politik spil, der bliver kørt II python.
42:38
Hvad skal man sige? Care, développer et eller andet
42:41
foundation halløj kommende tid, fordi Det er en masse mennesker,
42:44
der som ligesom kan blive enige om.
42:46
Hvordan gør vi med det her programmeringssprog?
42:48
Hvad skal den næste version, indholdet og så videre og så
42:52
videre og så videre, og hvis man gerne vil ligesom give et
42:56
forslag til hvad der hvad man kan gøre i python sproget, så
43:00
kan man lave det der hedder en pep.
43:02
Og hvad kan du se, hvad Det er, der står for?
43:04
Ej Det kan jeg faktisk ikke, men altså det.
43:08
Det er jo lidt ligesom et lovforslag.
43:11
Ordforslag eller et eller andet ikke, og.
43:14
Sådan, og så bliver det, kan vi ligesom du kan flytte det fra en
43:18
disk, altså github kan du flytte ting fra at være en diskussion
43:21
til at blive et issue til at blive et pool request ikke og nu
43:23
nu nu gør vi noget ved det det de har deres egen måde at gøre
43:28
det på i phone nutidig. Politik ting i virkeligheden.
43:32
Så så bliver det Sådan pep et eller andet at forslag til
43:35
hvordan. Og så har man ligesom
43:37
diskussionen og Sådan nogle ting jeg ikke, men jeg ja.
43:42
Og Jeg kan huske, da jeg var til driving it der mødte jeg en der
43:45
hed mark andre lamborg som er som er python call developer og
43:49
har været det siden halvfemserne og der spurgte jeg ham hvad er
43:51
det største problem Vi har i python?
43:53
Du ved korte billeder, ting der og der sagde han en ting og Det
43:58
er det der hedder the girl. Og han sagde.
44:02
Det ja, det sagde han. Det største største problem var
44:05
det største diskussions objekt overhovedet i Parken,
44:08
cocktailbar og communitiet ikke og gyllen står of the girl står
44:12
for global interpreter lak og Der er blevet lavet et pep
44:16
forslag. Noget der hedder det hedder pep
44:18
703 og titlen er making the global interpreter lock
44:22
optional, insee python. Og det vil altså.
44:26
Der er altså nogen, der foreslår at man skal ikke fjerne gedden
44:30
gider westers i dansk the girl, men man skal gøre den optional
44:35
Sådan så Det er. Det er en valgmulighed at have
44:37
den til eller fra. Indtil videre, så tænk så fatter
44:41
man 100% en sikkert ingenting. Men hvad hedder det?
44:44
Fordi hvad fanden havde givet Jonas jeg tænker, kan du ikke
44:47
lige prøve at give en lille primer på hvad hvad the girl
44:50
egentlig har og hvorfor man er interesseret i at fjerne den?
44:53
Så måske man lige skal. Så python er jo både et sprog,
44:58
altså i syntaks når man skriver noget tekst.
45:03
Og så er det en en turister. Som.
45:07
Fortolker det der kommer ud af den tekst, det bliver compilet
45:11
til noget bytecode som bliver en tablet af en tablet.
45:15
Men der findes jo faktisk så så en turen er er det der hedder c
45:20
python. En tobler Det er den standard
45:23
python en tupler implementering altså den der kan finde ud af at
45:26
fortolke det her bytekode på en bestemt måde.
45:30
Og. Dem findes der faktisk nogle
45:32
stykker af derude, så man kan det der så ikke så mange der ved
45:36
du kan finde en eller anden at gribe et andet sted Der er ja så
45:42
Der er nogle som er implementeret Sådan noget just
45:44
in time compiler og Sådan nogle ting alt Sådan noget.
45:47
Der er mange, der hygger sig med de laver alternative versioner
45:50
alt Sådan. Noget så det her.
45:52
Det er jo selvfølgelig rigtig nemt at gøre.
45:54
Det er en stor opgave, men så den her.
45:58
Pep den går så ud på, at når man bygger altså når man compiler c
46:03
python en turplan så kan man så skal man kunne gøre det med et
46:07
et flag i Sådan kommandoen hvor der står.
46:11
Without girl eller Sådan et eller andet.
46:14
Jeg står der her den. Den simple feature, der der
46:19
kommer med det her, så ingen gl. Ingen global interpreter lock og
46:24
det betyder så, at så er der en helt.
46:25
Hvad kan man sige særskilt udgave af den der c python end
46:29
en thriller, som bliver compilet og nu kører du så når du når du
46:35
skriver python i den terminal og peger derned, så peger ned mod
46:39
en binary som kører en en python, en type der uden uden
46:44
den, så det vil sige at. Det er et helt en helt separat
46:49
intriger, der ikke kører med det, men den gamle fortsætter
46:52
stadigvæk, og Jeg tror grunden til at de gør det.
46:55
Det er fordi det uundgåeligt vil være Sådan at noget gammelt
47:00
python kode som kørte med en med grill simpelthen ikke virker
47:06
uden grill eller eller hvis det virker, så virker det måske.
47:11
Et øjeblik. Og lige om det, så virker det
47:13
ikke. Og lige om det så virker det
47:14
igen, og Det er fordi at at. At at den kode er ikke
47:18
nødvendigvis thread safe, som man siger altså når man kører
47:21
ting. Også asynkron jamen så har man
47:26
alle de her race conditions, og man kan overskrive og skrive
47:29
oven i hinanden, og man kan komme til at gøre alt muligt
47:31
mærkeligt, som introducerer boks i ets program.
47:34
Det er derfor der findes en global en turbo der løg.
47:37
Det er en log, der fortæller, at Der er kun en tråd, der kan
47:40
eksekvere af gangen i en python. Et python program så jeg ved
47:46
ikke om Der er nogen der har prøvet at importere det der fake
47:49
threading library i python der hedder tradings eller hvad det
47:52
nu er og Det er. Forudset hvad freaking uanset.
47:57
Hvad Det er du skriver af kode hvor du tror du du kører noget
48:00
smart, der går hurtigere med det, så gør du ikke fordi at.
48:05
Med mindre du vælger at at køre parallelle intervaller, så
48:09
starter du en patron op her og en python op her og så får du
48:12
dem til at kommunikere med hinanden.
48:14
De der 2 processer. Som mindre, du gør det, så får
48:18
du ikke noget ekstra parallelitet, hvor du kan.
48:21
Hvor du kan få lov at køre på mere end en tråd af gangen og
48:24
bruge mere end én til brugeren af gangen så at sige.
48:28
Og Det er der ret mange der synes i scientific
48:31
computerverdenen der Det er ret irriterende, så Det er ligesom
48:34
et af formålene med med at kunne lave 1 1 1 no deal python
48:38
variant. Det er simpelthen at få noget af
48:41
det der skidt til at køre hurtigere, så det Jeg synes det
48:44
giver super god mening og det Det har der været.
48:47
Det har været en skole rigtig længe, men det vil også bare
48:50
sige Det er en kæmpe opgave at løse fordi.
48:52
Man skal helt ind i maven af hvordan python virker og for at
48:56
løse det. Ja, Det er Sådan noget med
49:00
garbage collection og reference counting og alt Sådan nogle ting
49:02
der. Og selvom Jeg synes Det er alt
49:04
sammen er meget spændende, så jeg faktisk ikke i stand til at
49:06
forklare præcis hvor problemerne ligger, for vi kender ikke den.
49:09
Kender simpelthen kernen godt nok.
49:11
Jeg ved bare, at Det er forbundet med.
49:15
Med med med de ting, så Der er man helt nede og Sådan.
49:19
At at at rode med noget så fundamentalt som som som det
49:23
ikke jo, men en nyt reference counting system altså Det er jo
49:28
Det er ret voldsomt for Sådan et.
49:31
Det er også bare Sådan. Jeg føler også et eller andet
49:34
der. Altså Det er ikke for at sige
49:36
noget om om python cortell apper, men altså Sådan Det er
49:40
Sådan den specielle interesse og være så passioneret omkring at
49:43
udvikle programmeringssprog, ikke?
49:45
Der er mange forskellige niveauer ikke du kan godt være
49:47
kort eller bare stå for rigtig god dokumentation for eksempel
49:49
eller eller kort. Libris i python, som ikke har
49:54
noget med med. Hvad kan man sige en turplan?
49:56
Altså c python Det er jo 2 forskellige repositories også
49:58
Sådan nogle ting, så Der er masser man kan være med til at
50:02
hjælpe med. Jeg har overvejet at prøve at
50:04
byde ind på et tidspunkt. Ja, Det var sygt blev
50:08
contributeur hvad hedder det nu? Fandt du lige ud et par gange
50:11
her i min ende Jonas, men så du må lige hvis jeg gentager noget
50:15
du siger eller du allerede har sagt, men bare lige for at
50:17
opsummere grunden til at man er interesseret i at fjerne kilden
50:20
eller i hvert fald gøre den optional Det er at noget af det
50:23
som gør python langsomt og gør at de ikke kan køre asynkront og
50:27
parallelt og Sådan nogle ting flere processer på en gang det
50:30
her den freaking girl der og Det er derfor man godt kunne tænke
50:34
sig at sige hvad nu hvis vi ligesom bare sagde at den var.
50:37
Optional, og så kan vi fremover ligesom bygge.
50:43
Applikationer som kan. Gør python hurtigere simpelthen.
50:47
Og ja, bare hvis vi ligesom bypasser den her guide.
50:50
Det er det altså. Og ja, det betyder jo bare så at
50:54
nu. Når man kører en tråd, hvis man
50:58
gør det uden den her global en trilog når du så kører 2 tråde,
51:01
så kan de tråde få lov at køre parallelt.
51:05
Det betyder også at man som den, der sidder og programmerer, skal
51:08
være opmærksom på om man. Er i gang med at skrive til et
51:14
sted i hukommelsen som som som de her 2 tråde.
51:19
Noget hukommelse, de de begge refererer til.
51:22
For eksempel fordi så kan man komme til at skrive oven i
51:26
hinanden, ved mindre man så på det specifikke tidspunkt, siger
51:31
hov Jeg har et objekt her i hukommelsen.
51:34
Nu implementerer jeg en log, altså jeg siger, jeg må skrive
51:40
på den her nu og ingen andre, og så når noget andet forsøger at
51:45
skrive endnu hukommelsen der, så er der en log på.
51:48
Det der Det har det. Det kommer der noget åbenhed på,
51:51
men dybest set så skal man selv den der global interpreter log.
51:55
Det var så en global log som gjorde at du aldrig kunne ende i
51:58
den situation, hvor det skete. Men nu skal du så sørge for selv
52:02
at lave dine logs de steder hvor.
52:04
Det er relevant kan man jo sige ikke og og logge sig ind en måde
52:08
at holde styr på det der på, så der vil være noget som er
52:11
implementeret thread save altså hvor man ikke behøver at lave en
52:14
log, men hvor selve entreprenøren hjælper dig.
52:17
Det gør den så på nogle andre smarte måder og Det er igen
52:20
tilbage til noget af det der reference counting show og og og
52:24
så den der måde hvor du selv ligesom kan styre det på det
52:27
minder lidt om om andre programmeringssprog, hvor som er
52:30
mere hands off angår det Der er, så skal man ned i noget mere low
52:33
level at have styr på på memory management og Sådan nogle ting.
52:37
Så nu skal man så med mange manager en lille bitte smule
52:41
mere II papirerne, men man plejer at skulle altså hvis man
52:45
kører den her novelle variant ikke så men.
52:50
Ja, men Der er snak om det. Jeg kan ikke helt finde ud af
52:53
hvad status er på det, men Jeg har fundet ud af det der var på
52:56
hacker news her for ikke så længe siden at meta var villig
52:59
til at donere 3 års engineering timer ja til ligesom at gøre det
53:05
her til virkeligheden. Og hvad hvad var det?
53:08
Pep 7 0 3 at et forslag til hvad var det du sagde payton 13,1
53:14
eller andet? 3,13 ja altså det Det er det der
53:19
står i den pep der ikke så det det det tror jeg betyder at
53:23
planen er at det så skal komme ud af det her.
53:27
Vedtaget eller hvad skal jeg sige?
53:28
Ja men men men man kan sige, Jeg tror ikke at Det er Sådan er at
53:32
man så. Per default ved mindre man, men
53:36
man finder på en implementering. Altså hvor at man ligesom kan
53:43
kan gøre det Sådan rulle det ud relativt.
53:47
Safe uden at breake alt muligt kode derude, så tror jeg ikke
53:51
man gør det til default den. For måske senere altså.
53:55
Jeg ved det ikke fordi at man vil jo nok gerne rigtig gerne
53:57
gøre det til default den på et tidspunkt.
54:00
Jo hvis det hvis det hvis Det er en god løsning selvfølgelig.
54:03
Og Jeg kan sige Det er den der pep 7 0 3 hvis man har lyst til
54:07
at læse den og sætte sig ind i hvad det egentlig er der står,
54:10
så skal man knuse sig igennem 11.732 ord.
54:15
Så held og lykke. Det er Det er en ordentlig
54:19
moppedreng, og den er virkelig velbeskrevet.
54:22
Virker det til? Så Det er ikke.
54:24
Det er åbenbart ikke bare lige at lave Sådan en pep der især
54:27
ikke så kontroversiel en pep som den.
54:29
Der tror jeg, Det er derfor, den er så lang.
54:32
Er der jo nogen, der ligesom har skullet sørge for, at de havde
54:35
det banket op da de skrev så. Yes men, lad os hoppe videre til
54:40
den sidste nyhed, som som faktisk handler også en lille
54:44
bitte smule eller rimelig meget om coat lama.
54:49
Som vi jo lige har snakket om, så nu går vi lidt tilbage.
54:52
Det kunne måske have taget før, men nu tager vi det nu og og Det
54:55
er en nyhed hvor at 1, 1 1 hvad skal man sige en?
55:00
En, hvad skal man sige? En en kode søgemaskine som
55:03
hedder find dot com PHIND dot com har lykkedes med at fintune
55:09
en coat lama 34 b model, altså en coat lama med 34 milliarder
55:14
meter. Til at have bedre performance
55:20
end gta 4 på det kode evaluerings datasæt, der hedder
55:23
human eval. Og den har simpelthen fået, og
55:27
den er faktisk open sourcet på på hocking face, og den får 7
55:32
73,81 eller andet performance på det der human evald hvor at give
55:36
til 4 får 67%. Så Det er alligevel Sådan en en.
55:42
En Det er en ret. Stor forskel del mere Det er en
55:45
del mere ikke og Det er Sådan og hvad hedder det?
55:48
Det er jo Sådan lidt altså. Hvis Der er noget, hvis Der er
55:53
noget der fungerer på hacker news og i udvikler kredse og
55:56
alle de der ting, så er det når Der er nogen der lykkedes med at
56:01
få noget som helst open source LM til at virke bedre end noget
56:05
af det opening Jeg har bag deres aktier.
56:07
Det er guf, for Det er lige før Jeg vil sige ja det gør der og
56:14
du ved hvis Der er nogen der har fået en eller anden sindssyg
56:17
model til at køre på en i en browser, så er det også Sådan.
56:20
Toppen af hacker news lige med det samme altså folk er pjattet
56:24
med det her, så Det er lige før jeg kunne få.
56:26
Jeg er lige før jeg skulle. Jeg ville være Sådan bange for
56:30
eller Sådan opmærksom på i hvert fald at Der er en form for
56:33
confirmation bias eller et eller andet.
56:35
Jeg ved ikke om det der gjorde bruge men Sådan Sådan nogle her
56:38
nyheder de var i hvert fald helt til tops, når de kommer, fordi
56:42
folk vil bare have det til at det skal være bedre.
56:44
Det skal være open source skal være bedre end orgie, og det
56:47
skal være tilgængeligt du ved på open source og det skal kunne
56:51
køre på. Dine brødrester altså.
56:55
Det er. Det er virkelig noget, som kan
56:57
få open source community op at ringe.
57:01
Ja så og man kan sige trænings detaljerne i det.
57:04
Det er, at den er blevet fintunet på et proprietært
57:06
datasæt. Med 80.000 Sådan højkvalitets
57:10
programmeringsopgaver, som find har.
57:15
Og så har jeg ja så har man ligesom brugt Sådan forskellige.
57:19
Når der hedder deep speed Sådan et accelerering framework og
57:23
noget noget flash attention og Sådan til at træne det og man
57:26
har trænet det på 32 180 gigabyte cpu eller gpu og så.
57:32
Altså og i 3 timer eller Sådan et eller andet, så Det er
57:35
faktisk ret godt gået. Ikke mere end 3 timer.
57:37
Nej nej altså det ja. Det er fjernsyn, men altså det.
57:44
Det er sgu vildt nok. Men Det er jo igen det her med.
57:48
Dag om ikke altså? Jo, men Det er også noget med
57:51
det der de speed som jo er noget Microsoft.
57:53
Øh så det. Det siger jeg kun fordi at når
57:56
man prøver at finde ud af hvordan man bruger det.
57:59
Så er det, så er det bor. Microsoft kan finde ud af at
58:03
skrive rigtig meget tekst og ikke nogen gode eksempler
58:05
overhovedet, så man skal ligesom finde ud af hvad er p piller ud?
58:08
Nå men men Jeg tror Det er ret bad ass nedenunder når det
58:12
kommer til stykket, altså det. Det kan træne ret hurtigt og Det
58:14
er noget med memory foam printet i dette speed når du træner er
58:19
markant lavere. Det er derfor de kan bruge færre
58:21
g power og så går ting også hurtigere nærmest af sig selv
58:24
når man bruger mindre. Mindre hukommelse fordi du skal
58:28
lave mindre model parallels bla. Bla.
58:31
Bla eller Sådan noget, så derfor tror jeg Det er lykkedes dem med
58:35
at træne det så hurtigt. Men hey fight dot com de er en
58:40
coach eller en searching til kode ikke og de laver de finske
58:44
model som er bedre end kapitel 4 på kødet benchmark datasæt på
58:50
proprietær datasæt og open source.
58:54
Det synes Jeg er rimelig. Det er Sådan det skulle.
58:57
Det er et bold move synes jeg. Det synes jeg i hvert fald.
59:01
Hvad skal man sige? I min verden ville i hvert fald
59:04
være i deres gode ret til at holde Sådan en model proprietær.
59:10
Ja ja. Så.
59:12
Nej, Jeg synes de skal. Selvfølgelig, men altså du ved,
59:16
hvis Det er jo en ret stor konkurrence fordel tænker jeg
59:19
ikke hvis de har en en intern model som er bedre end de 4.
59:22
Og ja, det synes jeg det synes Jeg er sjovt nok de de åbne søer
59:25
det klap på skulderen, men det synes jeg også Det er en trend
59:28
man også ser det her med, at Der er fandme så meget PRI at open
59:31
source language models i øjeblikket, så du ved Det er
59:34
lige før at de kan få det her hjem igen på bare altså PR og
59:38
markedsføring altså. Så Det er sgu vildt nok må jeg
59:43
sige Det er det. Yes hvad hedder det?
59:49
Ja men Jeg tror. Jeg synes også bare lige måske
59:54
lige afsluttende på den her, som vi også har snakket om før det
59:57
her. Det er virkelig en anden form
59:58
for trend for at specialiserede modeller betyder også mindre
1:00:02
modeller, og det betyder hurtigere modeller.
1:00:04
Det betyder nemmere at være med at gøre mere tilgængelig, mere
1:00:07
open source og så videre, så mere specialiserede modeller.
1:00:11
Virker helt klart som en trend, der fortsætter.
1:00:14
Især open source. Så.
1:00:17
Så Det er mega nice cool, så vi kommer igennem alle Nyhederne.
1:00:21
Det er vi. Ja og den her uges episode af
1:00:25
Vores podcast. Det må man sige.
1:00:28
Yes. Nu vil vi jo ikke reklamere for
1:00:31
meget med, hvad Vi skal i næste uge, fordi Vi har en plan, men
1:00:36
og det involverer en gæst, og Vi er lidt påpasselige med at love
1:00:40
gæster nu her forud for tiden fordi at.
1:00:43
Ikke om flyet står stille? Det er jo nemlig det der kan ske
1:00:46
ting og sager så, men Der er en ting, der i hvert fald helt
1:00:49
sikkert vi ses i næste uge, og Det er helt sikkert indtil da.
1:00:54
Kan i selvfølgelig lige huske at følge os inde på Spotify og
1:00:58
eller podcast i kan gå ind på Vores LinkedIn og følge os
1:01:01
derinde også. Og der har vi en hvad bruges
1:01:03
podcast? Company page og man kan følge
1:01:06
Jonas høgh derinde, og Jonas ko var Jonas House Andersen fulde
1:01:12
navn, hvis man vil følge dig inde på LinkedIn og man kan
1:01:14
følge mig Kasper Junker derind også så.
1:01:17
Ellers må i bare have det rigtig godt til vi ses igen.
1:01:19
Hey, hey. Sådan.