Latest / Verbos: AI og Softwareudvikling / #42 - OLMo: De Fleste Open Source LLM’er er Ikke Open Source

Transcript

#42 - OLMo: De Fleste Open Source LLM’er er Ikke Open Source · Verbos: AI og Softwareudvikling

0:00
Hej allesammen og velkommen til at være boets podcast afsnit
0:02
nummer 42 i den her det her episode den her episode er hvad
0:07
bruges podcast skal vi tale om open source og hvad Der er open
0:11
source og hvad der ikke er open source især indenfor hele den
0:14
her nye bølge af open source large language models, som man
0:18
har set rigtig meget her i det sidste års tid.
0:21
Men inden vi går i gang med det, så skal vi lige have en lille 10
0:24
minutters gøre sep runde og snakke lidt om, hvad der sker i
0:27
det danske ER software whatever. Community.
0:32
Space ja Det er det der skal ske i dag, og jeg håber i er lige så
0:37
sejt som Vi er. Hej Jonas.
0:40
Hejsa, hvordan går det? Det går godt.
0:42
Det går rigtig godt. Hvad med dig?
0:45
Og stille og roligt. Ja men har du har du nogle Sådan
0:49
finger Sådan bare Sådan helt word on the streets agtig har du
0:52
nogen Sådan Sådan en fornemmelse af hvad der sker IIIAI spacede
0:58
AI udvikler sig for spacex whatever.
1:01
Uh Det er jo Det er jo model much tider.
1:06
Alle alle alle smider vægte rundt til hinanden, og kan du
1:10
ikke lige prøve med min vægt? Og Jeg har også nogle vægte
1:12
herovre og prøv lige at lægge dem sammen og og Det er jo Det
1:15
er jo meget sjovt at se så. Det er virkelig blevet populært
1:18
Sådan. Og og Norden Norden holder
1:20
sammen, og vi kaster norske vægte efter danske vægte og
1:24
svenske vægte efter norske vægte.
1:26
Og så sker der magi. Det, det synes jeg bare er Det
1:31
er for crazy. Det må jeg sige altså.
1:35
Morges, der de er virkelig. Sådan kravler de der
1:38
leaderboards for altså lars language models.
1:43
Altså man kan jo godt få en lille bitte smule Sådan.
1:46
Hvis tillid til hvad Det er der egentlig foregår, når man bare
1:50
gør det der ikke. Og og både mistillid til selve
1:54
teknikken og så model model model mulching, men også Sådan i
1:59
de her leaderboards ikke og de her match, som man måler dem op
2:02
mod ikke. Hvad er det egentlig man måler?
2:04
Fordi Der er også nogle der snakker om at Sådan når de så
2:06
prøver de her marcherede modeller den her rolle beagle og
2:10
monin og whatever hvad der ellers er derude når de prøver
2:13
de ulama for eksempel, så så er det ikke Sådan.
2:17
Og så føles det altså. Det er jo fordi Der er jo den
2:19
der også den der vibe evaluering som man også tit laver med de
2:22
her elever, ikke hvor man skal ligesom prøve dem og fornemme
2:25
dem hvordan de ligesom er her chatte med og Der er også mange
2:28
der Sådan ligesom rapporterer at de ligesom de her model Mercedes
2:31
modeller der de er de er de ikke lige så gode, men Jeg har
2:35
faktisk ikke prøvet en selv, så jeg skal ikke kunne udtale mig
2:37
om det faktisk, men men jeg ved i hvert fald bare at folk er
2:41
helt pjattet med det, og jeg tænker også, Det er fordi at det
2:44
kræver nul PU, så Det er super. CPU pur friendly metode.
2:50
Jeg tror, det kræver. Det kræver højst 5 sekunders nu.
2:55
Pompeii eksekvering. Ja fuldstændig.
3:00
Nå, men Vi har lavet en lille liste her, bare lige for at
3:02
snakke lidt Sådan gossip hvad man skal sige der sker i sker i
3:06
hvad skal man sige Danmark i forhold til AR og software og
3:10
data science og så videre? Og Der er jo en forening Vi har
3:14
jo man kan sige mig og Jonas vi sidder jo i foreningen for eller
3:17
i bestyrelsen for en forening der hedder dansk data science
3:19
community, men derudover er der også en anden forening og den
3:24
forening den hedder datahistorisk forening eller.
3:28
Ja forkortet dansk og hvor hvor er det vi kender dem fra Jonas.
3:35
Dem mødte vi til til til hvad hedder det driving IT ende i
3:41
ida? Jo hvor de tror de har.
3:43
De har Sådan traditioner. De har Sådan en stand derinde
3:46
hvor man kan gå hen og og finde nogle gamle gamle maskiner og og
3:50
skrive noget. Ja, hvad ved jeg?
3:55
Noget gammel kode. Jeg tror altså Vi er helt
4:00
tilbage til til til før Vores tid, ikke hvor ting hvor Det var
4:04
på bånd ikke og man puttede bånd ind og Sådan de har alt muligt
4:07
sjov og ballade og så meget fascinerende.
4:10
Ja, så Det er simpelthen forening, der Der er en samling
4:14
af nørder. Jeg tror de lige er passeret 900
4:15
medlemmer faktisk, og de er en simpelthen en samling af folk
4:19
Der er super interesseret i datahistorisk ting, altså for
4:23
eksempel gamle computere og historie i forhold til alle
4:27
mulige forskellige ting, programmeringssprog og måder at
4:29
arbejde med data II, den danske historie, især og de de har
4:35
faktisk også en museum, hvor de viser alle de her gamle vintage
4:39
computere, som de har de har er i besiddelse af.
4:43
Og det ligger faktisk. Jeg bor jo i 3 kroner og det
4:46
ligger faktisk lige i nabobyen ikke særlig langt fra mig II
4:49
hedehusene nemlig ja og Jeg har faktisk ikke medlem endnu.
4:53
Jeg ved du er medlem Jonas. Jeg er medlem.
4:55
Ja ja ja men jeg jeg skal også til at blive medlem fordi her på
5:00
søndag tror jeg Det er der holder de faktisk der holder i
5:03
fødselsdag. Både for dem selv ser det ud
5:06
til, men også for mackintosh, som bliver 40 år efter sin efter
5:11
sigende. Måske at jeg ved, Jeg har svært
5:15
ved at læse invitationen til det, men Der er noget med
5:17
macintosh. Ovre på programmet så hvis man
5:20
har lyst, så kan man lige nå at blive medlem og komme med til
5:23
fødselsdagen. De har så lige lagt det ovenpå
5:25
fastelavns. Det er jo fastelavn på søndag,
5:29
så jeg tænker Det er. Ikke små børn.
5:34
Men ja ja, men det fede er så at her på søndag så kommer en for
5:39
mig i hvert fald Sådan rimelig legendarisk skikkelse i dansk
5:42
software og data historie nemlig.
5:45
Grundlæggeren af jobindex, Kaare Danielsen, og holder et oplæg
5:50
omkring starten på DRI Danmark og en han han lavede på et
5:56
tidspunkt i back in the days. Der udviklede han en skak
5:59
computer som han, som han faktisk vist nok solgt eller et
6:02
eller andet. Og det kommer han simpelthen og
6:04
tale om her til til datahistorisk forenings event
6:09
her. Så Det er i hvert fald lige
6:11
noget, hvis man hvis man ikke er medlem og synes det kunne være
6:13
spændende, så synes jeg helt klart man skal prøve at.
6:16
Lige medlem og hvis man synes det kunne være interessant at
6:19
joine her på på søndag synes jeg man skulle man skulle gøre det.
6:23
Yes. Så er der jo også kommet, så er
6:27
der også kommet en en. Der er jo en lille en dan endnu
6:31
en dansk LM nyhed. Faktisk fordi et dansk it.
6:35
Har fået et facelift eller i hvert fald Sådan en opdatering.
6:39
Man kan vel? 2.
6:41
Dansk kan vi 2 version 2,0 og Det er jo selvfølgelig den gode
6:46
mads Henriksen som står bag ved det her, og han har lige ja til
6:49
at han har ændret sit LinkedIn handle til hvor nu står der ikke
6:55
bare building dansk PT, men der står også grand LM wizard og.
7:03
Og Det er jo det synes Jeg er meget legit egentlig, at det
7:06
synes jeg egentlig godt han kan. Han kan kalde sig, fordi Jeg
7:08
synes, han er i hvert fald en af de mest kyndige inden for det
7:11
område, som jeg kender, så så Det er rimelig cool, men man kan
7:14
sige, at der har jeg. Ligesom han rapporterer af det
7:16
nye. Det er, at hvad skal man sige?
7:18
Dansk ETK er op til 500% hurtigere, man kan skræddersy
7:21
systemet beskeder og den er blevet mere præcis og man kan
7:26
også få lov til at prøve tegnchat altså dansk elite
7:29
tegnchat inde på. Hvad skal man sige dansk
7:34
kvalitet.dk? Og han har faktisk delt også
7:36
noget noget statistik over selve dansk GP sitet.
7:39
Han skriver at Der er over 53.000 samtaler oprettet.
7:42
Han har cirka 300.000 p kald og så har han 2 til 300 daglige
7:48
samtaler. Så det sgu meget cool.
7:54
Ja, jeg går ud for at han jo samler pænt data ind der også.
7:58
Ja. Jeg håber han en samler nogle
8:01
instruktioner ind i hvert fald det.
8:04
Det ville jo være virkelig noget man kan bruge.
8:07
Yes og kan du ikke lige prøve at Der er fordi Der er også noget
8:11
med Der er nu? Der er vi jo snakket om dansk
8:13
PT. Men Der er også noget med at Der
8:14
er kommet en ny spiller på banen.
8:16
Kan du ikke fortælle lidt om norsk t Jonas?
8:20
Jo, Jeg tror egentlig ikke rigtig.
8:22
Jeg ved så meget andet end at der skulle være kommet.
8:25
En ny norsk model ud. Er det en 7 b ved strål variant
8:32
skal tjekke her, og den skulle jo så efter det.
8:37
Det sjove ved det, at den skulle så eftersigende rangere ret godt
8:40
på det danske benchmark. Altså så en af de bedste danske
8:49
modeller som er norsk og Det er jo.
8:52
Ikke første gang, Det var første gang.
8:55
Det er jo ikke første gang, men jeg ved ikke, om det siger meget
8:59
om dansk. Hvad kan man sige, hvor Vi er i
9:03
dansk open source? Hvad hedder Sådan noget LM stat?
9:10
Virus men altså. Det kan jo også være at de har
9:14
noget dansk tekst, de har trænet med end det gør jeg næsten.
9:19
Så ja, jeg ved ikke, om der kan være noget i måden.
9:22
Det bliver evalueret på, også når sprogene ligner hinanden så
9:25
meget. Det er faktisk lidt i tvivl om
9:26
Det er jo det her, som vi læner, så baner vi siger, at noget
9:31
performer bedre end noget andet. Ja, og det skal siges.
9:35
Det er ikke 100% sandheden, at når det performer godt på det,
9:37
så så er den bedre. Men Det er i hvert fald en eller
9:39
anden form for indikation, og der har altså historisk set har
9:44
der været det her NLU benchmark, som er natural language
9:47
understanding, som i høj grad har været transformer en cooder,
9:52
som man har testet op mod Sådan nogle natural language
9:54
processing, sentiment analysis, så videre og så videre.
9:57
De der klassiske NP opgaver. Men nu har dansk havdrup altså
10:01
også udviklet et LG benchmark. Liter board som er og LG.
10:06
Det står for natural language generation, så Det er altså et
10:10
leaderboard hvor man kan benchmarke generative modeller.
10:14
Og Det er så det vi ligesom refererer til her og Det er.
10:19
Altså da jeg var meget inde i altså da jeg kiggede meget på
10:21
det der NLU. Hvad skal man sige?
10:24
Leaderboard, Der er nul i Norge også helt fra.
10:27
Ja, for Jeg tror Det var det norske bibliotek eller hvad
10:30
hedder det? Kongelige bibliotek, i hvert
10:33
fald nationalbibliotek, og den blev bare ved med at.
10:37
Bitte. De danske modeller så og nu har
10:40
de altså også taget føringen på på det generative space.
10:44
Hvad hedder det? Det er simpelthen en norsk
10:46
model. Altså Det er selvfølgelig op til
10:47
3,5 turbo, Der er den bedste på på dansk, men lige efter den der
10:51
kommer norske be mistral 7 b som den altså hedder så.
10:57
Det er de kommer efter også de nordmænd der.
11:02
Ja vi må håbe, vi vi vender ind på Vores eget benchmark lille
11:07
bord i dag. Ved.
11:13
Nå ja, og så skal vi gå videre fordi Det var Sådan lidt gossip.
11:19
Har vi andet på på den front før vi går Sådan rigtig ned i
11:24
opensource snakken. Altså så er der.
11:27
Jeg tror Det var keepass den er udgivet.
11:30
Det er nok et par dage siden Jeg tror Det er en 3 dage siden
11:32
eller. Og det det?
11:35
Det er jo bare i hvert fald Alexandra instituttet, men Jeg
11:38
kan sige, den er faktisk for for 2023, hvad hedder det?
11:41
November 7, 23 men Det er i hvert fald Alexandra
11:43
instituttet, som skriver om det her trust eller lm project.
11:49
Men Det er. Det kan se.
11:51
Det er ikke særligt dugfrisk, så så lad os bare gå videre til
11:54
noget, Der er dugfrisk. Godt.
11:59
Jamen open source. Du har dykket lidt ned II den
12:06
her definition af open source Kasper og hvad er det egentlig
12:10
lige? Du har fundet ud af der, fordi
12:14
vi går jo tit og siger at Vores modeller er open source.
12:16
Men men Der er faktisk nogen der ligesom gør sig i at definere
12:19
det her kan du ikke lige sige noget om det?
12:21
Jo, Det kan jeg. Men altså Det er jo Det er jo
12:23
sjovt fordi. Især Facebook eller meta som de
12:27
jo så hedder. De har jo i.
12:30
Noget tid profileret sig på at være meget Sådan en gå ind for
12:34
open source og ligesom. Ligesom hvad kan man sige deres
12:40
legeme modeller? Siger de her open source og så
12:42
videre og så videre og så videre.
12:43
Men og Det har de fået lidt kritik for, fordi.
12:46
At. Open source ILM land bliver lidt
12:52
brugt lidt forkert i forhold til, hvordan det bliver brugt i
12:55
Sådan en traditionel software sammenhæng, og der har jeg
12:58
fundet ud af, at der findes faktisk Sådan en en.
13:00
Hvad skal man sige en eller anden form for Sådan
13:02
organisation, som ligesom er en eller anden form for højeste
13:06
autoritet inden for open source software?
13:09
Og Det er en, hvad skal man sige en organisation, der hedder open
13:11
source en niche f og de har simpelthen en en definition for
13:16
open source software. Det er Sådan 10 punkter man kan
13:20
gå ind på deres deres hjemmeside.
13:22
Den hedder bare open source dot org og hvis man så går ind på
13:26
skråstreg OSD står for open source definition, så kan man se
13:30
Sådan 10 punkter der ligesom skal være opfyldt for at noget
13:34
er open source. Det er en eller anden form for
13:36
nærmest en form for Sådan de 10 open source bud.
13:40
Det det skal jo være 10 ikke altså det det Det kan jo ikke
13:43
være intet mere intet mindre. Og hvad, hvad, hvor, hvor, hvor
13:49
går vi så forkert med? Altså gåseøjne, open source
13:54
eller lemmer. Men man kan sige at at jamen vi
13:59
kan jo lide jeg linker lige til til alle de her ting II
14:01
shownotes så man kan gå ind og læse det hvis Det er man er
14:04
interesseret, men man kan sige den 1 det første open source bud
14:08
Det er free redistribution. Og der kan man sige.
14:13
Der kan man sige det det det tænker den vel rimeligt godt af
14:16
Sådan en model som som lama, fordi den bliver jo ligesom frit
14:19
distribueret, og Det er jo Sådan Det er jo rimelig godt kan man
14:24
sige. Men så derudover så nummer 2,
14:26
hvor det allerede går lidt galt. Det er at det skal, ligesom
14:30
altså det det der ligesom bliver udgivet skal indeholde
14:34
kildekoden, altså sourcekoden til det der ligesom bliver
14:38
frigivet, ikke? Og Det er jo der især der hvor
14:42
at. Sådan en model som lama 2 eller
14:45
lama et også har problemer fordi.
14:49
De ikke giver det her nødvendigvis den sourcekoden
14:52
til, hvordan den er blevet trænet og og man kan også på en
14:55
anden måde argumentere for at data.
14:57
Det er data Der er blevet trænet på at en del af source koden i
15:00
hvert fald en del af det. Der har været med til ligesom at
15:03
frembringe modellen, og Det har de altså heller ikke frigivet.
15:08
Så der allerede der kommer den lidt i konflikt med den her.
15:11
Sådan officielle definition af hvad open source er.
15:17
Ja, Det er ret imponerende. Et eller andet sted, der skal
15:20
ikke særlig meget til, så så ender man i ikke open source
15:23
definition. Ja.
15:27
Og Det er jo også sjovt, fordi Der er den siger jo også her, at
15:31
så nummer 3 den er drive works the licens must allow
15:35
modifications and drive works and must allow them 2 be
15:39
distributed under the same terms of the license of the original
15:43
software. Så vidt jeg ved.
15:49
Så så er der en lille quiz altså.
15:52
Der var jo noget med med. Hvad hedder det lama et om at
15:56
den skulle man ikke være blive brugt Sådan til kommerciel brug?
16:00
Men med olema 2 der har de så tilladt at man gerne må bruge
16:05
den til kommercielt brug, men Der er der så den her.
16:08
Det her, men hvis man er en, Jeg tror Det er en virksomhed med
16:11
over 700 millioner brugere eller Sådan et eller andet.
16:13
Jeg tror Det er lige Sådan at at Snapchat ikke kan bruge den
16:16
eller Sådan et eller andet så så så så må man ikke bruge den, så
16:21
Der er også noget clash her kan man sige.
16:23
Helt klart. Men Det er jo ikke, hvad kan man
16:27
sige? Det er jo ikke unormalt for for
16:30
for meget åben source software derude at ligesom at have.
16:33
Internet en en kerne af noget som måske er open source og så
16:37
ligesom have nogle nogle licenser oven på det, hvor man
16:41
har dele af. Hvad kan man sige løsningen som
16:44
så ikke er fuldt open source og noget af det her Sådan rigtig
16:48
strukturering, for eksempel at gensælge så sent som i dag
16:53
faktisk har kigget på på licenser på redis og det der
16:56
hedder red stars Der er nogen der kender det.
16:59
Og Der er ligesom der har man nogle nogle nogle open source.
17:03
Man kan sige klausuler eller limitations, der simpelthen gør,
17:07
at Sådan nogle som Amazon for eksempel ikke kan tage løsningen
17:10
og sætte op i. Uvis og så er det nu bare en en
17:15
rigtig stærk, som de ligesom tjener penge på, så man er
17:18
nødsaget til, hvis man skal have den her manager løsning at
17:21
ligesom at gå direkte til reddit cloud, som så deployer det på
17:25
Amazon for en ikke. Men Det er også meget sjovt
17:28
ikke? Altså Det er jo en måde at at
17:29
kan man sige at at ikke få for meget konkurrence ind.
17:35
For dem, der så gerne vil give lave en cloud løsning på noget,
17:38
ikke? Ja nej, Det var bare lige Sådan
17:41
et eksempel. Ja.
17:45
Jeg hørte også hvad hedder det? Jeg hørte jeg så en video med
17:48
hvad er det han hedder firesheep som hvor jeg blev gjort
17:51
opmærksom på det her open source initiate initiatief og der sagde
17:55
han også at elastic search. Har indtil det.
18:01
Det er nok noget tid siden, men de har i hvert fald på et
18:03
tidspunkt været open source, og så er de ligesom blevet lavet
18:05
closed source, fordi de ligesom har skal man sige vil lave sig
18:10
om til en eller anden form for saas produkt, som skulle have en
18:13
form for enterprise hosting løsning.
18:17
Og der der har de nemlig clasher lidt med det her med, at netop
18:20
det her med at. Fordi hvad skal man sige?
18:24
AVS har haft en evt elastic search produkt, hvor de ligesom
18:28
har taget det her open source framework og så har de ligesom
18:30
bare lavet Sådan en nem deployment er det på 1 1 1 nem
18:34
deployment er det IAW og der var Det var Sådan meget sjov ting
18:39
fordi der har der var. AVS der der elasticsearch,
18:44
ligesom går proprietært og ligesom får en ny licens, der
18:46
gør at de her cloud providers ikke bare må tage det her
18:49
software og så bare udbyde det som Sådan en cloud service ting
18:54
så laver, så laver hvad skal man sige AVS de laver simpelthen
18:57
bare en fork elastic search og udvikler videre på deres egen i
19:03
elasticsearch løsning kan man sige ikke, så lige præcis så
19:07
det, så Det er meget skægt det her.
19:09
Er meget sjovt det der, at der så bliver forsket, og at man har
19:12
Sådan en. Man kan næsten se at licensen.
19:14
Skifter på et eller andet tidspunkt, og så er det ligesom
19:16
versionsnumre ene derfra og og frem.
19:19
De har så fået et nyt licens, og jeg og og dem bagud for de
19:24
versionsnumre de har. De kan jo så den licens kan man
19:27
ikke lave om selvfølgelig, men Det er stadigvæk ret sjovt at
19:30
forestille sig det der med at en kunstner kommer ind og maler et
19:33
billede ikke også. Og så mona lisa er næsten færdig
19:36
og så mangler der bare lige et penselstrøg, så skifter vi lige
19:39
licensen til sidst, så nu nu koster det at kigge på mona lisa
19:43
fordi. Du kigger på den version med det
19:46
sidste penselstrøg på ikke også så og og man tænker Sådan lidt
19:50
hvordan fanden fungerer det der legede mæssigt?
19:53
Ikke fordi at i materiel forstand så ligger ligger der en
19:56
masse contributions, altså personer der har skrevet kode og
20:01
investeret tid i det der, og de bliver jo så.
20:04
Hvad kan man sige? Deres arbejde er jo har jo været
20:08
open source, så det måtte dem der tager versionen videre og
20:11
lukker kilden senere. De tager så det arbejde med, men
20:16
i open source delen der står der, at de egentlig jo ikke med
20:19
lukke den kilde ikke altså de må ikke.
20:22
De må ikke ligesom lukke adgangen for al den kode.
20:27
Så i princippet, så er det jo kun al den kode som er
20:29
opdateringerne. Altså vi tager Sådan en pdif på
20:33
det på det der var før efter ikke også.
20:35
Og så er det kun de linjer, men de linjer kan jo ikke eksistere
20:39
for sig selv. De er jo ikke fungerende
20:41
software, så Jeg tror ikke Vi har set det sidste, hvad angår
20:45
den slags for hvad kan man sige? Sådan legal mæssig måde, at
20:50
noget var open source, og pludselig er det ikke open
20:52
source mere de næste versioner. Jeg tror faktisk hvis jeg skal
20:55
være helt ærlig det der nogen der har nogle holdninger til at
20:58
Det er at det ikke er lovligt faktisk og Jeg tror det bliver.
21:02
Jeg tror simpelthen der kommer noget mere pushback på det der,
21:04
fordi man ser det rigtig meget for tiden at at det sker så nå
21:10
men Det var Det var et lille site trick til til væk fra fra
21:13
ML slash. Og Det er ligesom om altså man
21:17
kan sige open source har jo eksisteret i lang tid, og jeg
21:19
forestiller mig det her open source niche Det er for alle de
21:21
her licenser, der skal måske eksistere som MT licens apache
21:25
licens version 2 og. Du licenser og Sådan nogle
21:30
forskellige licenser, der giver lov til forskellige ting.
21:33
De er jo rigtig godt beskrevet i for at give rigtig god mening i
21:36
forhold til en traditionel software.
21:38
Men men. Det er jo lidt anderledes med
21:42
machine learning og med hvad skal man sige AR modeller?
21:45
Og især de her nye lars landbrugsmodels fordi at koden
21:50
ikke er, hvad skal man sige? Det er jo faktisk i
21:52
virkeligheden. Det er jo faktisk ikke særlig
21:55
meget af det, der ligesom bliver distribueret, og ligesom bliver
21:59
kaldt open source, eller i hvert fald der hvor den ligger det.
22:02
Det man kan sige det der ligesom bliver af kødet på de her de her
22:05
de her open source releases i forhold til lars language
22:08
models. Det er jo selvfølgelig
22:09
modellerne og model vægtene. Men for at Det kan være helt
22:13
100% open source, så har man jo i virkeligheden også brug for
22:17
den man selvfølgelig brug for model artefaktet altså de her
22:20
tal og parametre, der ligesom udgør modellen, som ofte fylder
22:24
adskillige gigabyte. Men man har også brug for den
22:27
kode, der ligesom har været brugt til at træne modellen og
22:30
til at hele altså ligesom har været med til at skabe hele
22:33
modellen. Og så må man også brug for.
22:36
Den data, der ligesom har været med til at skabe modellen, og de
22:39
er hyper parametre og den måde man har evalueret på og den
22:43
evaluerings data man har brugt og så videre.
22:44
Ikke? Det er lidt mere kompliceret,
22:47
når man hvis man gerne vil lave Sådan reproducere bare open
22:53
source altså fuldt open source releases i forhold til
22:57
sparemodeller. Og Det er jo i virkeligheden på
22:59
en eller anden måde Det er lidt blackbox agtigt at de bare
23:01
udgiver de her modeller ikke, og så er det bare Sådan Det er
23:03
trænet på Sådan revl og krat men.
23:06
Vi siger ikke, hvad Det er. Nej så så kritikken altså.
23:12
De får for ikke at være open source synes Jeg er helt reel,
23:15
men men de altså nu snart og meta ikke som som er blevet
23:19
kritiseret fra lama men men alligevel så så er der en form
23:23
for åbenhed og gennemsigtighed stadigvæk Der er altså Der er
23:29
ret høj, altså set i betragtning af.
23:33
Hvad kan man sige, når man sammenligner sig med med andre
23:37
aktører? Ikke ingen store aktører nævnt
23:41
der slutter på r og starter med open.
23:45
Nå hvad hedder det r? Men men jeg Jeg synes du du
23:51
rammer jo noget der jo hvor du siger at det der med kilden jo
23:55
er anderledes. Ikke fordi kan køre igennem en
23:58
compiler og så har man et noget fungerende software og compilere
24:02
er i øvrigt også åbent og hele den der stak den er åben, så du
24:04
kan også gøre det på linux også åben og så er det åbent
24:07
tilgængeligt næ fordi. Noget af kilden til, så Sådan er
24:13
en model som jo er data. Altså produktet er data dybest
24:17
set. Jamen Det er jo så mere data.
24:21
Kilde til data af mere data og og noget kode ind imellem.
24:28
I flere forskellige steps og og og så så Jeg har jo.
24:33
Jeg har jo den holdning til til til til de der ting der at at
24:36
dybest set så er produktet og kilden data og koden er Sådan
24:41
set bare en implementerings detalje så.
24:45
Så så det skulle jo hedde open data på Vores område ikke og
24:51
ikke open source, selvom at man selvfølgelig godt kan sige at at
24:54
source kilden er data ikke så. Så hvis vi bare kunne brede det
24:57
ud, så Det var ligesom open source jeg også indeholdt data,
25:01
men står der noget om det? De 10 open source bud Kasper.
25:04
Jamen det må du nok spørge os jeg Jeg er ikke lige.
25:06
Jeg kan ikke lige gengive mig alle sammen jeg.
25:08
Heller ikke svare på. Men, men man kan gå ind og læse
25:12
den vinker til dem og jeg linker også til Sådan et overblik over
25:15
hvad skal man sige licenser? Alle mulige forskellige
25:18
licenser, Der er uoverskueligt mange open source licenser
25:22
derude så, men dem kan man ellers.
25:23
Bare Sådan en rar løsning, hvor man kan chatte med licenserne
25:27
stille spørgsmål til. Super sexede super sexede
25:32
reichhardt folk. OK ja ja, men Det er jo også
25:36
sjovt fordi der var. Det er jo også det her med at
25:39
der ikke er adgang til til data og til alle de her ting, som
25:45
ligesom mangler med ofte mangler med de her open source eller m
25:49
releases. Det gør jeg også, at man kan
25:53
sige det her. Det er jo stadig et ret aktivt,
25:56
må man sige forskningsområde ikke?
25:58
Det er jo ikke fordi Der er nogen, der har løst det her
26:00
problem eller ved alt om lars language models.
26:02
Der er rigtig mange ting ved eller lav mig, som som stadig er
26:05
et kæmpestort mysterie, og som vi ligesom sammen prøver at
26:09
finde ud af. Ikke så Der er også en eller
26:11
anden form for ulempe i at for den åbne videnskab omkring
26:15
livslange models, at de her ting ikke bliver releaset III sammen
26:21
med modellerne, fordi det så er det ligesom.
26:22
Klart at lave videnskab på det, ikke jeg?
26:27
Men, men Der er også noget med det der med, at hvis nu man
26:30
skulle release og gøre det gennemsigtigt, altså hvis hvis
26:34
Vi skal være helt Sådan pernitten med med at at man
26:37
ligesom skal kende den videnskab.
26:39
Det er et videnskabeligt opdraget ophav så at sige til
26:43
det her data her, så skal man ligesom også kende metoden for
26:45
indsamlingen af det her data og og Det er jo så også noget
26:50
script eller et eller andet. Typisk nogle nogle scraping ikke
26:53
og og der der begynder det så at blive Sådan lidt.
26:56
Det kan man måske godt forstå, at rigtig mange ikke har lyst
26:59
til at ligesom at afsløre, hvor de har det her data fra, fordi
27:03
at den form for gennemsigtighed det.
27:05
Det vil jo så uendeligt uundgåeligt hedder det at
27:08
afsløre. At at Det er you scratch my back
27:12
og scratch your back det hele og Det er Sådan lidt.
27:15
Det vilde Vesten cowboy og dem som som savner de der ordnede
27:20
forhold for for hvad skal Sådan noget data koste til træning?
27:23
De har jo en pointe når de siger jamen altså Det er jo Det er jo
27:26
foregået Sådan lidt lidt under radaren for nu ikke.
27:31
Men nu kan vi jo heller ikke. Nu kan vi jo ikke gemme os under
27:34
radaren længere, så så så måske Vi skal.
27:38
Vi skal også skal på en eller anden måde være med til i det
27:40
der open source. Det er ligesom.
27:42
Og ved at blive skarpere på på den der det der legal og pause
27:47
som som nogen måtte have. Jo fordi Det er jo klart at
27:50
ellers så kan man jo heller ikke lægge lægge metoder og altså
27:53
Sådan kilder helt ind til hvor Det er hentet og Sådan noget ud.
27:57
Fordi så så udstiller man bare sig selv og sine lidt lidt.
28:03
Hvad hedder Sådan noget på min blog?
28:07
I sin ulovlige handlinger, og. Altså Det er jo igen.
28:11
Det er det der med, at Det er svært at sige fordi.
28:13
Der er jo ikke nogen, der har prøvet de her juridiske sager
28:16
endnu. Det er alt sammen oppe i luften,
28:18
men de fleste som har fulgt med II de store på de store klinger.
28:22
Jeg har nok set at New York Times jo har lagt den her kæmpe
28:24
sag an mod mod open air. Og.
28:30
Altså Det er jo slet ikke afsluttet, og Det er ikke engang
28:32
startet endnu det her vel, så Der er mange uafklarede
28:35
spørgsmål. Ja det må man sige, men så er
28:39
der jo sket noget noget lidt interessant her i den den sidste
28:42
seneste uges tid inden for det her med open source, lars
28:47
language models fordi at Der er et Der er Sådan en forsknings
28:52
eller en research, hvad skal man sige organisation der hedder
28:55
Allan? Erling Institute of AFAI så vidt
28:59
jeg forstår ledte deres, hvad skal man sige research II
29:03
forhold til RLAGF altså det her reinforcement learning from
29:07
human feedback. Der er også ting der han er så
29:10
ligesom skiftet over til Allan AI alan Institute of ARI.
29:16
Og. De har altså her i den sidste
29:19
seneste uges tid udgivet 1 1 1 1 modelserie tror jeg Det er at og
29:25
det står for open language model og det de Sådan ligesom har.
29:31
Hvad skal man sige releaset? Det er altså hvad de selv.
29:35
Mener er hele pakken altså true open source language models.
29:42
De har udgivet det fulde træningsdata sæt, som har brugt
29:45
til at blive træne modellerne i træningssættet, og man kan sige
29:49
det, Det er bare lige for, at man skal måske lige gøre
29:52
opmærksom på, at det her, Det er en præ trænet last language
29:55
model, så Det er ikke 1, 1, 1 1 eller anden form for
29:58
instruktion, showet eller RAF tunnel.
30:05
Random eller med en masse nuller.
30:07
Fucking random og så bare afsted ikke og der har de altså altså
30:12
hvad skal man sige? Udgivet de fulde datasæt som det
30:16
nu er blevet. De her modeller blev trænet på
30:18
som det hedder, og Jeg tror datasættet hedder dolma.
30:23
Dog med er rigtig rigtig fedt navn og der skulle være 3.
30:28
Trillioner eller? Det er jo så.
30:31
Ja hvad fanden er det nu? Jeg retter 3 billiarder tokens i
30:35
ikke af milliarder 1000 milliarder 3000 milliarder
30:40
tretusinde milliarder 3000 milliarder ton siger ikke nej.
30:46
Var det så stort? Det er jo Det er jo lige en en
30:48
trillen større end lama 2. Det synes Jeg er alligevel ret
30:53
imponerende. Er det hele det hele er open
30:55
source, der må der være noget dansk tekst til det der.
30:59
Dømmes datasæt the trillian tokens from af diverse mix of
31:03
web content academy academy publications.
31:06
Coat books and indsigt club etc. Materials is open.
31:11
I release under AR 2 Det er så alle Institut impact licens
31:17
altså min altså medium risk og tics city.
31:21
Og gad vide gad vide hvad det så betyder fordi at nu står der
31:26
Sådan lidt for noget web web et eller andet og mon ikke der har
31:29
sneget sig noget noget noget web indhold ind der som som nogle
31:34
ville siger nej vil lige have snuppet noget for for Vores
31:38
offentlige hjemmeside den har kørt.
31:41
Men. Måske en New York Times artikel
31:44
eller 2. Ja, måske en New York Times
31:46
artikel eller 2. Og så kan man bare åbne source
31:50
det igen. Det er Det er jo bare ham og
31:55
interessant det her. Ikke fordi skal man bare skal
31:57
man bare tage det der og data og lede efter så meget dansk tekst
32:00
som man kan finde i det og begynde at translate det hele.
32:03
Og så har vi bare så har vi fuld open source data til Vores
32:08
danske model. Jeg ved det.
32:10
Ikke Det er lidt hvad man har gjort i det der MMC 4 datasæt
32:15
Det er comanche ikke der har man jo delt op II dansk eller i
32:19
Sådan et sprog ikke og så kan man filtrere på på dansk nå
32:22
anyways, de har i hvert fald udgivet at det data som den er
32:25
trænet på. Det er specifikt det her dolma
32:27
datasæt. Så har de udgivet de fulde model
32:32
vægte. Det giver selvfølgelig god
32:33
mening. Det plejer de jo alle sammen at
32:35
gøre. Kan man sige, så har de udgivet
32:37
træning, træning skøde, træningslog trænings metrix i
32:42
form af Sådan et watson bea's trænings.
32:44
Hvad skal man sige dashboard ting som man ligesom kan se,
32:48
hvordan træningen har forløbet og hvordan de ligesom Sådan
32:50
løbende har benchmarket op mod de her Sådan.
32:54
Hvad skal man sige klassiske benchmark datasæt og så også
32:57
inference coat og så har de. 500 check points per model og Jeg
33:03
tror også at det her Det er en 3 modeller 3 modeller i sin 7 b
33:06
og. Trænet.
33:11
Ja de 5 minutter check på hans per model fra fra hver 1000
33:16
step, så Det er 500.000 steps kunne det tyde på ikke?
33:22
De, der prægede, hvor mange tal der?
33:25
Nej, det ved jeg heller ikke. Men det altså bare.
33:29
Jamen det det latterligt det latterligt, så de har sikkert
33:31
haft en batch size på. Jamen det.
33:34
Det er helt sikkert en helt skør basis, men ikke det der.
33:37
Nogle tusinder. Ved ikke om det.
33:39
Jamen, Det er sgu lige før Jeg tror Det er oppe i millioner
33:41
eller Sådan et eller andet. Men jeg nej, Det kan godt være
33:43
jeg jeg bruger ikke så tit med at præge brechin store
33:46
livslange. Hvad snakker du om?
33:48
Jeg troede Det var hverdagskost du lige satte Sådan en.
33:51
Det tager 2 måneder og træne ting over.
33:55
Ja det, men det. Det har de helt sikkert åbenhed
33:59
åbent. Hvad skal man sige?
34:01
Et eller andet sted, så Det kan man helt sikkert læse i deres
34:04
papers eller deres technical reports.
34:06
Kan vi prøve noget derudover? Jamen, Det kan man sikkert et
34:09
eller andet sted, men den er ikke instruction showet eller AF
34:12
tunet så man kan den. Den er nok ikke særlig fedt at
34:15
prøve, kan jeg forestille mig Det er mere Sådan?
34:17
Du ved Sådan base 7 b model som er Sådan en god ikke så er der
34:21
evaluering skøde Der er fine tuning kode og de har nogle
34:26
adaptive modeller også de laver en open instruct model snart
34:30
hvor de får instruktion tuner den kunne jeg forestille mig.
34:34
Alle kode alle vægte, alle checkpoints alting så godt altså
34:39
det og det synes jeg. Det er på en måde Sådan et
34:41
statement fra Allan AI Institute.
34:45
Eller Allan Institut for at i om at hey guys lad os lige prøve at
34:50
lave noget legit open source research inden for last language
34:53
models, hvor vi releaser hele lortet og så.
34:59
Så kan vi ligesom bedre bedrive videnskab på det, og ligesom
35:03
tracke have den her form for data lineage ned igennem igennem
35:07
det hele, ikke så super spændende udspil ikke Sådan
35:11
super wow ny model der bare er helt vild og Sådan noget, men
35:14
Sådan lidt mere Sådan lidt som som statement og er det ret fedt
35:19
og jeg tænker da jeg skal da ind og kigge på det der det der kode
35:22
som de har brugt til at træne den og så videre.
35:23
Det kunne være sjovt at prøve og.
35:25
Og kigge dem lidt i sømmene og se hvordan det ser ud.
35:30
Ja fordi altså. Det er jo faktisk ikke så tit
35:33
man sidder og kigger ind i Sådan et et træningsløb.
35:36
Den formentlig ikke særlig mange linjer kode når det kom til
35:38
stykket. Men Der er nok, hvis hvis nu de
35:41
har Sådan noget, altså Det er alt muligt data jonglering,
35:45
filtrering og. En recce eller 2.
35:50
Der fjerner ting man ikke vil have og alt Sådan noget hejs der
35:52
ikke. Men ja.
35:57
Jeg kunne godt lige tænke mig at se hvad for en båd size de har
35:59
brugt. Okay prøv at se de har en de har
36:05
lidt en oversigt over datakilder her og hvordan det ligesom er
36:08
kommet altså komme på kompositionen der dolma datasæt
36:12
og Det er langt det meste data. Det er for common crawl som er
36:16
det her. Hvad skal man sige?
36:18
Det er basically bare internettet crawlet ikke og så
36:21
er det ligesom ned i en eller anden form for datasæt struktur
36:23
og så er det ligesom bare rå tekst III jeg lad mig sige det
36:29
Sådan her kvaliteter af alle. Arter kan man sige Det er godt
36:34
nok. Jeg har siddet rigtig meget i
36:35
det datasæt, og Det er eddermame.
36:37
Der er fandme meget lort data i det det det datasæt der og så er
36:43
der Sådan noget reddit the stærk c 4 the Stack det skulle være
36:47
kode så er der reddit. Så er der noget nogle papers og
36:53
project gutenberg, wikipedia, wikibooks og så videre.
36:57
Ja. Så en masse tungs for alle
37:00
mulige forskellige datasæt. Spændende.
37:05
Ja. Lad mig lige se hvad den der
37:08
batch size var. Nå men mens du tænker lidt over
37:12
hvad bach tizen er på på den der olmo, så synes jeg at vi lige Vi
37:17
skal lige køre et skridt tilbage, fordi nu er vi i det
37:19
der de der datasæt og du sagde noget med common crawl og Sådan
37:23
nogle ting. Vi har jo lidt apropos det der
37:26
legal. Og så har vi jo også lidt 1 1 1
37:29
1 dansk ting i øjeblikket med at.
37:31
At at Vi har de her danish kirkeord som som er kommet lidt
37:38
i nogle nogle ligeglad issues ikke altså nu og og.
37:42
Og Det er især Alexander instituttet og og den her danish
37:46
foundation model projekt, som som jo har været med til at
37:52
tilvejebringe adgangen til til de data.
37:57
Og det bliver nødt til at tage noget af det ned, fordi at man
37:59
er i en dispute. En eller anden leg art ved ikke
38:03
så meget om det andet end at at Det er.
38:09
Ja Det er en ting. Hvad, hvad?
38:12
Hvad tænker du og hvad tænker du om det?
38:15
Altså det jeg tænker om Det er at danish foundation models
38:19
modsat open jeg og modsat diverse andre cowboy research
38:24
labs eller hvad man skal sige research de har ret høje
38:29
standarder i forhold til hvordan det her med at følge de
38:32
forskellige, altså ikke træne på andre data og vide hvad hvor
38:36
tingene kommer fra og så videre og så videre ikke?
38:39
Og det skaber bare uundgåeligt noget friktion og og det Det har
38:44
det så gjort i det her tilfælde. Jeg tror ikke de er helt
38:47
nødvendige de har. Jeg tror ikke helt nødvendigt
38:50
helt, at Sådan specifikt, at de har udtrykt hvad, hvad Det er
38:52
problemet er, men Der er i hvert fald en eller anden form for.
38:56
Ja rettighedstab data Der er i det der danish word ikke?
39:01
Eller Der er et eller andet data, der som som ligesom er er
39:05
indsamlet. Uden tilladelse og og og og man
39:10
kan sige. Når man samler så meget data
39:12
ind, og man har måske også henter fra mange forskellige
39:15
kilder, så kan det jo også sagtens, selvom man har høje
39:20
standard, så kan det jo virkelig virkelig nemt ske, at noget
39:23
sniger sig ind. Faktisk helt så hvis man hvis
39:27
man sad og skulle sortere for eksempel i comac ud fra en legal
39:33
kriterier, og man skulle spørge spørge kilderne, og jeg ved ikke
39:36
hvad du kan glemme det altså der.
39:39
Der er aldrig nogensinde nogen der ville sætte sig ned og lave
39:41
1, 1 1 large. Det kan language hotel åbner.
39:44
Jeg fandtes ikke i dag og det det sagde målmand faktisk været
39:48
ude at sige det her at. Jamen i kan godt glemme jeg
39:52
fuldstændig hvis Vi skal begynde at diskutere de der netop greedy
39:55
ting det Det er Det er bare Sådan glem det så han han Jeg
40:01
tror simpelthen han er han er der hvor han Sådan jamen det der
40:05
det det skal Vores Vores Vores stater regering simpelthen bare
40:10
sørge for at Der er nogle gode forhold for AI.
40:14
Så det der Det er muligt uden at uden at nogen kan komme og
40:17
brokke sig over de der ting. Det er jo sjovt demokratisk
40:20
land. Vi lever i, så lovgivningen kan
40:22
jo lige pludselig komme ind og så vinde på AI side og så wow så
40:26
pludselig er der alle mulige. Hjemler i loven for at at gøre
40:31
de der ting det her med med det data.
40:34
Der er offentligt tilgængeligt, og at det bliver lige pludselig
40:38
offentligt eje fordi at. At at ære er vigtigere end at
40:43
skulle diskutere med New York Times, men man skal virkelig
40:49
passe på, ikke? Altså Det er fordi Det kan man
40:51
hurtigt komme til at blive taberne på den side der.
40:55
Og altså jeg tænker bare samfunds.
40:58
Hvad kan man sige? Profetier her jeg ved godt, at
41:02
det det skal man passe på med, men men der kan jo der kan ske
41:05
alt muligt lige pludselig som konsekvens af de der ting der.
41:09
Jeg skal også bare huske på. Ikke nu har jeg siddet.
41:12
Jeg har siddet en del med de her Sådan fucking store datasæt, som
41:16
bare er ravl og krat og alt mulig data for internettet og
41:20
alle mulige steder fra ikke? Og man skal også bare huske på
41:24
nu det her dolma datasæt siger de Der er. 3000 milliarder
41:30
tokens ikke? Ja.
41:33
Men, men stadig du ved, Det er måske Sådan noget. 2 1 halvt
41:37
1000 milliarder ord ikke Det er bare så fucking meget data at
41:43
man kommer aldrig altså Der er jo ikke nogen der kommer til at
41:45
sætte sig ned og læse alt lige meget hvor meget tid du havde.
41:49
Altså Der er ikke nogen mennesker der kan nå at læse så
41:50
meget data eller så meget tekst i hele deres liv, hvis de bare
41:53
ikke lavede andet end at læse aldrig sov vel.
41:55
Men. Det er også du ved.
41:57
Der er også et helt lavpraktisk problem omkring at folk ved bare
42:01
fucking ikke hvad Der er. Altså Det er jo Det er ikke
42:03
muligt at have overblik over alt det materiale der optræder i de
42:07
her kæmpe mæssige datasæt. Men, men så kan vi jo, så kan vi
42:10
jo træne 1 1 1 1 r en noget deep learning neurale netværk til at
42:17
detektere de der ting. Der Det er jo det gør.
42:21
Vi så så kører vi jo så det igennem der, men hvad skal du så
42:25
bruge for noget data til at træne til detektere det?
42:28
Det er selv samme data. Det er slet ikke så du er i en
42:33
uendelig cirkel af computer snow.
42:37
Det kan ikke lade sig gøre. Du er nødt til at have en eller
42:39
anden kilde hvis jeg skal lave en en ære model nemt entity
42:43
recognition model, så skal jeg have nogle navne og adresser.
42:47
Blandt andet organisationsnavn. Men hvis jeg ikke må give det pr
42:51
mæssige hensyn, have det med ind i mit data, når jeg træner.
42:55
Jeg ved godt, Det er lidt søgt det eksempel, men men bare tage
42:58
konsekvensen hele vejen igennem og sige, du må aldrig nogensinde
43:01
bruge navne og adresser til, når du skal træne på noget uha.
43:03
Det er farligt. Så kan jeg heller ikke lave en
43:06
løsning, hvor jeg for eksempel detekterer, om nogen sender
43:08
navne og adresser forkert til USA?
43:11
Nej. Så Det er Sådan lidt.
43:15
Man skal virkelig passe på med, og hvor man skærer de der
43:19
ligeglad grænser for hvad man må, og hvad man ikke må med det.
43:21
Her og Det er også Det er også lidt ærgerligt nogle gange, for
43:24
nu har vi selv lige siddet og arbejdet på skolen i projektet
43:27
ikke, og de har jo virkelig forsøgt at lave alt til ug og
43:32
stjerne, og efter alle kunstens regler med hensyn til ikke og du
43:36
ved GDR og det skal være IEU, og det skal ikke indsamle data og
43:40
så videre, ikke og og så videre og så videre, men.
43:43
Sagen er jo bare den, at hvis man rent faktisk gerne vil lave
43:47
en chatbot som var bedre til danske skoleelever, så ville den
43:52
en af de bedste metoder til at gøre det værre at indsamle data.
43:56
Så på en eller anden måde, så er det også Sådan lidt.
43:59
Der på en eller anden måde? Og Det er jo igen Sådan noget
44:02
med rettigheder og give dem r og pis og lort ikke altså Jeg tror
44:05
bare vi bliver nødt til at få en lidt fordi især når man sidder
44:09
og laver det vi laver ikke, så ved man godt at hvis de her
44:11
systemer skal blive bedre. Var ikke nødvendigvis bedre til
44:15
at vise de rigtige reklamer og sælger en masse ting og sager,
44:18
men for rent faktisk at hjælpe dig med at få et bedre liv eller
44:22
blive mere effektiv eller gøre et eller andet godt.
44:26
Så bliver vi også nødt til at indsamle data ikke og og og og,
44:30
og hvis vi gerne vil have de her spændende ã r modeller, som kan
44:34
lande de her spændende ting, så bliver vi også bare nødt til at
44:36
have rigtig meget fucking tekst, og Der er sgu nok et par ekstra
44:40
Bladet artikler og et par New York Times artikler ind imellem
44:43
ikke. Ja så jeg ved ikke Jeg tror bare
44:47
Jeg synes at at at vi bliver nødt til at finde en eller anden
44:52
lidt mere Sådan. Lidt mere chill måde at anskue
44:56
de her ting på uden at være så fucking op og køre hele tiden og
45:00
det. Ved jeg godt lidt shell selv
45:01
lige nu ud af jeres sol der jo. Det.
45:08
Jeg synes bare Det er en kæp i hjulet på rigtig mange fede
45:10
initiativer, og Det er det fordi at de her store tech giganter
45:14
bare har kørt rovdrift på på folks personlige data.
45:17
Ikke? Og Det er det, man ligesom har
45:18
prøvet at forhindre. Men så når man når Københavns
45:22
professionshøjskole prøver at lave en en sikker chatbot, så må
45:25
man ikke. Jeg tror.
45:27
Ja. Jeg, Jeg tror det Der er vigtigt
45:30
at forholde sig til den her debat og nu nu kan i jo høre vi.
45:33
Vi diskuterer jo lystigt her i studiet, og jeg håber Der er
45:37
nogen der responderer på debatten.
45:39
Derude i æteren også fordi Der er også behov for at at vi
45:41
diskuterer det her højt og tydeligt og er transparent
45:45
omkring det nå juridiske stridigheder de.
45:49
De lander et sted, hvor det ikke er.
45:52
Altså det skal ikke lande. Sådan må ikke slutte punktum kan
45:56
ikke komme videre, men det det det skal lande et eller andet
45:59
sted, hvor må godt under de her forhold.
46:03
Det koster i øvrigt Sådan og Sådan og Sådan du skal leve op
46:06
til de her ting, så der ligesom er en vej ud af det her så så så
46:12
alle kan blive til stillet tilfreds i den der situation.
46:17
Og for eksempel tror jeg at at New York Times sagen vil åbne i
46:22
kommer til at ligesom at lægge en bund for hvordan Sådan nogle.
46:29
Juridiske søs. Mål og stridigheder, de ligesom
46:33
bliver. Håndteret eller afsluttet kan
46:37
man sige ikke, ligesom får en eller anden konklusion det.
46:41
Det håber jeg i hvert fald, fordi så kunne det være der
46:43
ligesom var en eller anden form for præcedens II det forresten
46:46
af af området. Ja, det tror jeg bare det det
46:50
kunne være det kunne være godt jeg.
46:52
Ved også godt, at Jeg er ikke advokat, og Jeg har heller ikke
46:56
et eller andet, og jeg ved godt at jeg bare er en sur engineer,
47:00
der bare synes Det er irriterende at det skal være så
47:02
bøvlet altid når man virkelig ikke har nogen onde hensigter.
47:05
Men men så det ved jeg også godt, men men nogle gange så må
47:09
man godt være lidt firkantet, ikke?
47:11
Jo det men Det er også Det er jo det.
47:14
Det er træls at Det er Det er har været store skridt.
47:19
Fremad her på det seneste, og så er der en lille smule 2 skridt
47:24
tilbage og måske et frem i en periode.
47:26
Hvad ved jeg, men Jeg tror Jeg tror nok det skal.
47:29
Det skal løse sig på sigt, men men mange skal også lige der
47:35
sidder på de her rettigheder skal også.
47:37
Hvad kan man sige lærere hele den der?
47:42
Fødekæde, som det jo dybest set er på på på markedet for for
47:46
data og air. Og og og ligesom forstå hvordan
47:50
man får mest ud af det. Så ja, Jeg tror nok det.
47:55
Det skal lykkes. Ja cool Det er sgu svært at
48:00
finde ud af hvad den batch size er finde ud af om det.
48:03
Og Det var sidde og søgte på den baches allé. 2000 eller 4
48:08
millioner? Det er altså spændt, vil jeg
48:11
sige for ammo one bed and seven by models were used the constant
48:17
global basis of approximately Formel en tokens 2000 førte et
48:23
tokens. Det vil sige.
48:27
De her instans 2000 tung cirka ikke.
48:32
Vi har kørt 2004 2048 GPU instanser.
48:38
Men det plejer at være omkring. 2048 tokens.
48:42
Det plejer at være der omkring, fordi man kan ikke have en en
48:45
lokal båd størrelse, Der er større end dens hukommelse, og
48:51
det vil sige Det er de der omkring de der 2000 for en en â
48:54
180 gigabyte ikke og så så er det jo klart.
48:58
Så er du jo ude i kloster, så du har jo ligesom den samlede
49:00
globale paralyseret batch size. Som det så er det så det passer
49:06
meget. Det lyder rigtig.
49:07
Det er da ikke så meget junge nej.
49:12
Jeg er altid fascineret af de der opsætninger på på på Sådan
49:16
de fulde præg træninger. De er helt crazy.
49:19
De har trænet på loomis. Lidt ligesom ligesom monin og
49:24
hvad hedder det? Det er 5 projektet prøveballon
49:26
supercomputer west op til 200 ton sixty five notes on the
49:30
cluster war is not consist of four times AMD eller noget PUS
49:34
watch online twenty gigabytes af memory.
49:39
Så Det er lækkert. Og så havde de så brugt ML
49:45
mosaik ML. Som så er en Media AP us ikke
49:51
100. Banditter Der er.
49:55
Nogle. Crazy.
49:56
Stout men i hvert fald almo. En slange model så vidt.
50:07
Nathan lambert fra Allan AI siger?
50:11
Det første det Sådan fuldt ud open source last language model
50:17
projekt. De nævnte også noget med der har
50:20
været det her big science med blomme og så videre, men.
50:23
Det er vist mere åben source det her end end end det andet svar.
50:27
Det synes jeg helt sikkert man skal tjekke ud.
50:30
Hvad? Hvad siger du til Sådan lige til
50:32
at slutte af på? Hvad siger du til, at hvis nu at
50:35
det der datasæt der Det var ligesom Sådan open source open
50:40
source Det kan du bare tage at bruge og Det er når du laver
50:43
afledt ting på det, såsom at oversætte det hele til dansk.
50:47
Hvis der nu var noget på en eller anden måde hvad siger du
50:51
så til Sådan et projekt, hvor vi lige tager Sådan 3000 trillioner
50:54
token så kører igennem Sådan en translater kunne det ikke være
50:58
meget hyggeligt og så havde vi et dansk.
51:02
Kæmpe datasæt til. Lad os lade være med at prøve
51:06
det store præg træning, men det vi kan jo sende Det kan jeg
51:09
sende det over til Alexandra instituttet. 3000 milliarder af
51:13
tungs bare lige igennem de bell og så bare dansk.
51:17
Ja, Det er jo det. Det er det jeg tænker hvad
51:19
koster nu har jeg og. Jeg har jo.
51:22
Hvad skal man sige de der? 200 nej lidt over 20.000
51:26
instruktioner Jeg har oversat, som i øvrigt bliver fintunet på.
51:29
Lige nu har jeg læst den på det og se slack, hvilket er total
51:34
opgjorde hvad hedder det? Men det kostede en 4 5000 eller
51:38
Sådan noget. Så gør jeg det bare op jo.
51:42
Det bliver pisse dyrt hvis Vi skal have de der 3 arter. 3
51:47
billiarder. Vi laver en aftale med dem og
51:50
siger, Vi har den her special case.
51:53
Vi hammer bare løs på jeres p og i 10 år og så er det gratis.
51:57
Skal vi ikke bare sige det? Godt har Vi har vi mere på
52:03
programmet. Det tror jeg ikke.
52:07
Måske tror Jeg kan lige lave en lille pluk måske for danish data
52:10
science community generalforsamling her den 12.
52:14
April. Så ja ja som kommer til at
52:17
foregå i København hos simcorp i deres hovedkvarter på Islands
52:21
Brygge. Og der vil man selvfølgelig.
52:24
Det kunne være rigtig fedt, hvis i derude der lytter med.
52:26
I kunne tænke jer at deltage, men Der er faktisk også mulighed
52:29
for at stille op til bestyrelsen i dansk design community, hvor
52:33
Jonas og jeg jo sidder så, så det vil vi jo stærkere opfordre
52:38
til, hvis man er passioneret omkring data science og ERI
52:41
Danmark. Og Der er jo selvfølgelig ikke
52:44
andre krav, end at man skal være medlem, og Det kan man blive
52:46
meget nemt inde på. DC dot co.
52:49
Lige præcis. Blev der gjort reklame her for
52:52
hvad bus? Yes ja man kan sige den.
52:54
Det er jo ikke fordi der slet ikke er nogen forbindelse til
52:57
danish air quality i kraft af Det er også.
53:02
Jeg synes Vi har holdt det meget clean i alle de episoder vi
53:05
havde. Vi havde talt om det.
53:06
Det er sjældent, vi nævner communities Sådan formelle.
53:12
Ja, nu må vi se hvad? Ja Vi har brug for nogle nogle
53:16
nogle styrelses kræfter derude, så Det har vi kom hid.
53:20
Også men 1000 tak for i dag alle sammen.
53:24
Tak fordi i lyttede med og tak for snakken Jonas tak vi ses det
53:29
gør vi ses næste uge.