Latest / Verbos: AI og Softwareudvikling / #41 - Dansk LLM Merging, Ollama Python Client, OpenAI Updates, Hugging Face Google Cloud Samarbejde

Transcript

#41 - Dansk LLM Merging, Ollama Python Client, OpenAI Updates, Hugging Face Google Cloud Samarbejde · Verbos: AI og Softwareudvikling

0:00
Allesammen og velkommen til hvad bruges podcast afsnit nummer 41
0:04
i dag? Der tager vi en god gammeldags
0:06
omgang. Nyheds gossip hey i nyheds
0:09
gossip show og det Vi skal snakke om i dag Det er helt
0:13
konkret nye open AIAP opdateringer, nye modeller, nye
0:16
priser og så videre. Så er fucking fase indgået i et
0:21
partnership sammen med Google, som vi også skal snakke om.
0:24
Så sker der noget på den danske model lars lange model scene,
0:28
som vi også skal snakke lidt om, hvor Det er noget, der
0:31
involverer den her nye monin model, som er trænet af danish
0:35
foundation models projektet og en.
0:38
Ny cottoncoat ny ny gammel hvad skal man sige teknik som hedder
0:44
model mulching som faktisk har resulteret i en en imponerende
0:48
god lars Lewis model? Skal vi snakke om?
0:51
Og til sidst skal vi snakke en lille bitte stue lars language
0:54
models effektivt lokalt. De har fået en python klient og
1:01
hele det space. Det er bare pisse interessant og
1:03
det skal derfor det skal vi snakke om det så.
1:06
Yes. Skal vi bare se at komme i gang.
1:09
Det skal vi i hvert fald. Yes hvad hedder det?
1:12
Opening i de skrev her i sidste uge.
1:16
Eller er det så sidste uge, vi vi optager søndag?
1:19
Er du her som en en undtagelse så i denne her uge, som jeg i
1:22
sidste uge, når vi udgiver, at de kom ud med nogle nye epi
1:27
opdateringer og. Kan du ikke lige give os et
1:31
intro til til hvad det hvad det går ud på Jonas.
1:36
Jamen det jeg bider mærke i hovedsageligt Det er Det er de
1:39
her nye betting modeller som som åbner, jeg kommer med.
1:44
Vi har de her tekster betting 3 så har de en large og en small.
1:49
Variant. Og de reducerer priser igen.
1:54
Det kan vi jo alle sammen godt lide.
1:57
På g 3,5 og GP 4 også eller ikke?
2:02
Jamen faktisk også Det er mere på på den man sige tåben ved
2:06
heller ikke hvad hedder det en billig model også?
2:10
Så der der Der er det et par tokens blevet billigere også.
2:15
Jo og så performer de også bedre og måske det mest interessante
2:20
er at det her multilink mod benchmark z der performer de
2:26
markant bedre. Hvad det så lige betyder for
2:31
dansk, Det er jo svært at sige, men men der håber vi jo
2:35
selvfølgelig, at vi kan få nogle nogle benchmarks af de betinges
2:39
ud i æteren. Vi skyder den altid ud til til
2:45
til dan og kompagni. Skal han ikke være der?
2:49
Og få scannet kort igen igen igen.
2:51
Yes kør kør. Kør dan kan du ikke døren?
2:54
Kan du ikke lige køre den en gang til med den her nye model?
2:56
Hører, hvem betaler alt det GU? Nå men Det er heldigvis
3:01
væsentligt billigere benchmark betting model kører de andre, så
3:08
det glæder os lige til at se om om det der multilingual.
3:12
Det er også slået igennem på på danske.
3:16
Rent rent. Ja og så ja, så er der også
3:20
altså PT. Modellerne altså selvfølgelig
3:22
også har også fået et facelift, som man siger og hvad?
3:26
Hvad er det lige der sker der? Altså helt konkret i mine mine.
3:32
Hvad hedder det summerset version af opiyo?
3:36
Hvad hedder det announcement her?
3:37
Så er givet til 4 turbo preview modellen fået Sådan forbedret
3:42
kode generering evner og Der er en boxes for ikke engelske Sådan
3:48
UFUTF 8. Generations hvad det så end er?
3:53
Det har jeg så ikke lige læst mere i dybden, men Der er
3:55
ligesom kommet lidt facelift til den efter sigende skulle give 4
3:58
ture på preview være bedre til at lave kode og så er hvad
4:03
hedder det det 3,5? Den er også ligesom forbedret og
4:06
har fået et price cut på 50% for at input tokens og 25% for
4:12
output tokens, så Det er simpelthen endnu en gang blevet
4:15
billigere at bruge p 3,5 turbo. Ja og Det er.
4:22
Jo det altså. De bliver jo også nødt til åbner
4:25
jeg at at holde de her opdaterede kørende Sådan rimelig
4:29
rimelig chip, fordi Der er godt nok gang i konkurrencen fra open
4:35
source verdenen må man sige og. Ja Det kan vi jo snakke om lidt
4:42
senere, men. De kører jo bare hårdt på for at
4:44
sænke priserne så vildt som muligt, for ligesom at beholde
4:47
den her førende position. De har II markedet forestiller
4:52
jeg mig ikke. Derudover så har de også fået
4:54
Sådan en moderation model ud. Som er en model til ligesom at
4:58
identificere harmfuld tekst, som jo nok også kan være Sådan
5:02
rimelig brugbar i. Til ligesom at beskytte ens
5:05
applikation område. Der er én ting at nu nu er vi jo
5:09
rigtig gode til at dække åbne egen, og de kommer med
5:12
opdateringer af deres ting, der jo også alle mulige andre
5:15
providers af en betinges Korea for eksempel derude, som som har
5:18
version 3 af deres betting, som er ifølge den så vidt jeg husker
5:23
i den benchmark, som som scannere har kørt faktisk en
5:27
rigtig god på dansk, så var det den øverste på et tidspunkt, men
5:33
noget jeg ikke forstår at åbne jeg ikke kommer med Det er.
5:36
Muligheden for at fintune de har en betting løsninger, fordi de
5:41
bliver rigtig tit brugt til noget rart, og Jeg tror egentlig
5:44
jeg ved ikke om de skriver også at de her opdateringer et eller
5:47
andet sted er blevet lidt bedre til rack.
5:51
Jeg kan ikke. Jeg kan ikke lige helt huske om
5:53
Der er kommet noget med der, men.
5:57
Men, men Jeg har snakket om det før, og det her med at irak der
6:01
Det er tit nogle nogle nogle queries dumper af tekst som er
6:04
ret korte og det og Det er de egentlig ikke super godt gearet
6:10
til. De er meget Sådan general
6:11
purpose ikke og og derfor har de også bare mange.
6:16
Dimensioner og de der embedding, og der kan man jo ligesom måske
6:21
godt regne ud, at det der ligger i det, Det er en masse andet end
6:25
det, man lige præcis skal bruge til til Sådan en rar løsning.
6:30
Ja, så det undrer mig at de ikke fordi råd er så populært så
6:33
undrer folk kan tune deres betting bedre til.
6:40
Gad vide om den er nogle servicesteder der gør det fordi
6:43
jeg tænker Det er jo en oplagt et oplagt produkt at have på
6:46
hylden fra Sådan nogle. Ja Sådan providers her ikke?
6:51
Jeg ved det, jeg ved det simpelthen.
6:52
Ikke cohere eller Android lige kunne?
6:55
Differentiere sig lidt der. Og jeg ved faktisk ikke nu.
6:59
Nu har man jo Sådan noget Laura til til til lemmer.
7:04
Gad vide om man kan køre Sådan nogle rank adapting adapter til
7:08
det? Kan du ikke?
7:12
Vide om Det er effektivt. Hvad hedder det ikke?
7:14
Det tror jeg. Det er også former jo.
7:17
Det er bare en transformer. Jamen Det er det.
7:22
Så hovedet altså man kan sige Der er 3,5 er blevet billigere
7:25
og har fået et facelift eller Sådan blevet en handset.
7:29
Performancemæssigt kan vi se 4 også.
7:33
En handset performancemæssigt, og jeg mener også der står, at
7:35
de har. Til hensigt at sænke prisen i
7:39
fremtiden, og så er der de her embedding modeller, som er som
7:43
er lidt som er den store nyhed vil jeg sige.
7:46
Ikke fordi de har kørt den her ad 2 II lang tid efterhånden
7:49
ikke så så Det er interessant at du kommer ud med en en small and
7:53
large som så performer bedre og. Ser det ud til især har fået et
7:58
løft på multilingual delen, så så spændende.
8:02
Spændende yes jamen skal vi have videre til næste punkt på
8:07
dagsordenen. Datasæt platform scaleup startup
8:13
unicorn whatever. Kald det hvad du vil virksomhed
8:16
som i øvrigt er fransk. Mega fedt at have noget EUE.
8:20
Hej starter power, men de har altså valgt at gå i partnerskab
8:26
med Google cloud. Ja så.
8:31
Ja og de er jo allerede i partnerskab med med Amazon og
8:36
tæt samarbejde med. Altså man kan gå ind og få det
8:40
pløjet modeller relativt smooth end i sit Amazon cloud miljø.
8:47
Og jeg forventer lidt, Det er noget af det samme der skulle
8:49
komme ud af det her. Det er også det, de skriver
8:51
noget om, at man kan komme hurtigt afsted med med med.
8:55
Hvad hedder det nogle modeller i, hvis man er altså hvis man
9:00
bruger Google cloud i forvejen ikke, så har man ligesom nem
9:03
adgang til det og det. Det siger bare noget om at de
9:07
der club riders de de de har sat deres Sådan.
9:11
Altså Google og det de har sat deres hest på på open source
9:15
community at det. Det er meget hurtigere til at
9:17
drive den der udvikling og derfor så deres opgave.
9:20
Det er at at simpelthen at gøre det tilgængelig.
9:22
At det synes Jeg er en en vild erkendelse og og og Jeg synes
9:26
bare Det er. Det er tegn på at altså 2024.
9:31
Det bliver bare open source community baseret racerbane.
9:36
100% og det Der er så interessant ved det Der er
9:39
interessant for APS og Google som jeg ser det det de synes Der
9:42
er interessant ved hocking fase Det er jo at alle deres kunder
9:45
er der ikke altså alle hele den her infrastruktur er i gang med
9:48
at blive bygget omkring open source generative r og r
9:51
generelt. Det foregår jo på hocking fase,
9:54
ikke så Det er der modellerne og så videre og så videre og.
9:59
Så så på en eller anden måde, så giver det rigtig god mening for
10:01
Google at være der, hvor de her e udviklere er at lave one click
10:06
deployments eller whatever et eller andet som hvor det bare er
10:10
nemt at integrere til ikke så. Så og også det der med at at
10:16
altså når vi snakker om det her. Nu skal vi også til at snakke om
10:18
det her modellering og så videre, altså det vi jo ser i
10:22
øjeblikket. Det er jo at en 2 hopi nogen kom
10:26
lige pludselig øverst på på benchmark leaderboard ud ved at
10:30
have siddet hjemme i deres kælder, og det bliver næsten
10:33
ligesom dengang Det var kakkel konkurrencer at how ham der
10:38
sidder derovre i Japan og havde 4 g og han han lægger hele tiden
10:42
øverst på leaderboardet. Hvor er det spændende.
10:45
Det skal vi også snakke lidt mere om senere på dansk ikke?
10:47
Og og. Og og og, og Det er ligesom du
10:50
ved, udviklingen nu og og altså hvis man skal, hvis man skal se
10:54
det Sådan lidt Sådan okay det handler om at opdage ting og så
11:00
Sådan du ved, Jeg har opdaget, at hvis man gør Sådan her, så
11:03
virker det godt ikke? Og jo flere Vi er til at
11:07
eksperimentere og opdage det der og finde ud af at så virker det
11:10
godt jo, hvad kan man sige? Jo mere effektivt er det.
11:14
Så selvfølgelig er massernes ekspert.
11:17
Orientering der, hvor optagelserne sker, Det er jo
11:21
Sådan. Det er jo flere jo flere hjerner
11:24
der arbejder på et problem jo flere, jo mere innovation, jo
11:27
flere potentielle løsninger vil også komme ikke.
11:29
Det synes jeg i virkeligheden også er det der sker meget på,
11:31
hvad skal man sige? Jeg har hørt det bliver omtalt
11:34
som GPGPU pur segment, altså folk Der er p pure ikke ikke har
11:39
du adgang til 100.000 GU er det segment og Det er i høj grad det
11:44
her 7 milliarder 7 b models range.
11:48
Køre nedad ikke og. Fintuning hvad skal vi lige
11:51
huske huske på at vi snakker fintuning her og for andre
11:54
teknikker og ting og sager, fordi Det er stadigvæk.
11:57
Langt over folks rækkevidde at lave de her foundation modeller.
12:03
Men de har super modeller ikke, men 7 7 b modellerne kan man
12:06
godt Sådan man kan få dem ned køre dem lokalt på sin computer,
12:08
så de kan blive distribueret ud til mange.
12:10
Så er der nogen der kan lave prompting med dem når de har
12:12
trænet? De er også Sådan nogenlunde til
12:15
at komme i nærheden af i rækkevidde, altså med hensyn til
12:18
at træne det hvis man contas sig hårdt og Sådan noget ikke, og
12:21
det gør bare at den her 7 b model type er meget mere
12:26
tilgængelig for hele communitiet.
12:28
Og derfor er der også adgang til, at flere hjerner ligesom
12:32
kan kan arbejde på det og har værdi at arbejde på det.
12:35
Ikke fordi at det bliver tilgængeligt, så Jeg tror også
12:36
Det er derfor, vi ser så meget innovation i den her den her
12:40
model størrelse. Ikke fordi det ligesom bare er
12:43
Det er det, som folk har adgang til at arbejde med og til at
12:46
innovere på. Og Det er der hvor rainbows
12:48
ligesom bliver. Det er langt henne.
12:51
Ja, helt sikkert så det det partnerskab det.
12:55
Det giver rigtig god mening cloud mæssigt.
12:57
Det er jo også Google cloud skal vi huske?
12:58
Altså Der er jo Google laver stort.
13:02
Så ja, de har jo stadig de de er mindst show der også.
13:07
Ja godt nå hvad hedder det? Der er sket.
13:12
Vi skal videre i programmet effektive dag.
13:15
Vi er kun ikke engang et kvarter inde.
13:17
I programmet har vi allerede fået malet.
13:20
Ja, der sker jo ting og sager på open source language models på
13:25
dansk. Det er space, der måske er vi
13:28
Sådan, ligesom skulle tage folk med bare lige hurtigt et recap
13:31
omkring, hvor Vi er, og hvad Der er sket, og hvad der ligesom er
13:35
i støbeskeen. Kan du lægge ud med det, Jonas?
13:40
Jamen vi nævnte det lige kort, altså den her.
13:44
Mulen i alfa altså danish foundation models der havde.
13:52
Trænet 1 1 1 foundation model. Og ligesom lagt den ud og sagt
13:58
ja, nu har vi. Nu har vi kørt det her på på det
14:03
her MDGPU kloster som. Hedder et eller andet sjovt også
14:08
nordisk, men Det er noget, der skulle stå et sted i Norden.
14:12
Og ja, Det var jo spændende at. Altså blev det jo Sådan lidt.
14:17
Ja, den er jo lidt hostende og ikke så, men Det er Det er en
14:21
alfons og fin fin men det Det var det.
14:24
Det skulle da ikke holde nogen fra at ligesom bare tage den til
14:28
sig og prøve at gøre noget med den alligevel ikke.
14:32
Så og præcis hvad der gjort her. Det må vi jo spørge den gode
14:35
roman om Det er ham, der har der har begivet sig ud i det, men
14:40
han er simpelthen benyttet sig af den her model marching
14:43
teknik. Præcis hvad for en har brugt
14:45
det. Det er også uklart, men
14:49
benchmarken taler vist lidt for sig selv.
14:52
Jeg skal huske at holde holde det kritiske briller på, fordi
14:56
når man ser noget så godt som det her, så tænker man, åh, der
14:59
må være noget datacon terminering, der vi havde den
15:01
lige sidste. Da vi havde natasja norske med
15:04
var Sådan det Der er altid noget data ligge et eller andet sted
15:07
ikke lige, men Det er jo lidt ja.
15:12
Jamen Det er jo et sammenfald af nogle ting.
15:13
Ikke fordi Det er et sammenfald af at for det første danish
15:16
foundation models projektet har kommet ud med den 1 Sådan en
15:20
alfa version af deres last language model eller Sådan en
15:23
last language model på 7.000.007 millioner milliarders parametre
15:26
lars language model, som er en så vidt jeg forstår en videre
15:31
træning administration 7 b på danish word.
15:36
Og ligesom er Sådan en første. Du ved se der det første, det
15:39
første Vi har det. Vi forventer ikke særlig meget
15:41
af den, men den den er trænet på dansk.
15:43
Så okay, værsgo ikke. Den er lige så ligesom kommet ud
15:47
af den her de udgivet mega fedt. I mellemtiden, så har dan sødrup
15:53
arbejdet videre på sit scand e valg projekt, som er det her
15:56
framework for at evaluere skandinaviske sprog modeller,
16:00
der har han. Det har traditionelt set været
16:02
for en coder modeller, kun altså de her birth type modeller, som
16:06
ligesom tager en tekst og lave det om til en vektor typisk.
16:10
Der har ligesom fået udvidet det til at gælde også for generative
16:13
modeller, så nu understøtter carnival også ligesom generative
16:17
modeller, som gik til 3 og t 4 og så videre.
16:20
Og man kan ikke mindst også lave de her fede spider charge som
16:25
alle er totalt oppe at køre i model evaluation space der.
16:32
Visualiserer det synes jeg det. Og så har vi jo en anden.
16:38
Der er jo selvfølgelig danish Crown models, hvor det danser
16:41
dropper Kenneth Enevoldsen og Lasse Hansen og Rasmus Larsen
16:44
fra hvad hedder det? Alexandra instituttet også og
16:49
Aarhus Universitet. Men så har vi også en anden, og
16:52
så har vi selvfølgelig en masse Henriksen, som kører dansk
16:54
projektet ud af egen lomme, hvilket er også helt vildt.
16:59
Og så har vi en anden spiller, som sidder ovre II Aalborg, som
17:04
hedder, som Vi har haft med her på podcasten, som hedder roman
17:06
euro, og han er jo. Han er jo en en helt fantastisk
17:11
fyr, som som ja som en god venner af podcasten her, men men
17:16
roman har også siddet og rodet en hel del med med fine tuning
17:19
af lars Rasmussen mødes ligesom bare prøvet at rode rundt med
17:22
det og. Jeg tror de har noget computer,
17:24
nogle u er til rådighed ovre på på Aalborg Universitet og så
17:27
videre. Så så han har blandt andet
17:31
trænet en kanelsnegl eller som han kalder den, som er Sådan
17:35
rimelig. Han siger selv, at Det var Sådan
17:37
rimelig han forsøgte. Prøvede bare ligesom at træne
17:39
nogle e boks på på noget dansk tekst, og han er ligesom Sådan
17:43
rodet med det der længe. Så prøver han så roman den kan
17:47
roman og hvad hedder det et med en ny Sådan lidt hypet teknik
17:52
som hedder model mulching? En en bestemt teknik.
17:55
Der findes flere forskellige teknikker, men men Det er altså
17:58
konceptet er ligesom at du tager 2 forskellige lars lynges mødes
18:01
og simpelthen bare murer dem sammen til en og Det er der
18:04
nogen der har fundet. Jeg har faktisk den er gået lidt
18:06
under min radar den her teknik, men så Jeg er ikke helt Sådan.
18:09
Jeg er ikke helt hvad. Kan man sige styr på
18:13
historikken. Jeg har læst lidt op på
18:14
metoderne til det. Der findes forskellige metoder
18:16
til, ligesom at marché de her vægte sammen.
18:19
Umiddelbart ville jeg tænke, at det her vil virke af helvedes
18:22
til, altså fordi du ved 2 modeller, hvordan skulle det
18:26
nogensinde? Altså Det er forskellige ting,
18:28
de lærer og forskellige måde de ligesom fordeler viden ud på
18:32
deres vægte, som jeg forestiller mig i hvert fald.
18:34
Men erfaringen er altså åbenbart fra fra dem der har rodet med
18:38
det, at det fungerer overraskende godt så det.
18:42
Hvad hedder det? Roman han vælger at gøre.
18:45
Det er, at han vælger at tage den her mønning.
18:47
Den her dansk trænede mooning model.
18:50
Og morges sammen med en en anden model, der hedder neurale beatle
18:54
7 b 14 7 b, som skulle være som forsine skulle være en.
19:01
En eller anden LM, som er preference trinet.
19:06
Ja Det er jo trænet tror jeg den.
19:08
Er jo trænet altså på. Trænet til 4 genererede data.
19:12
Det skal man jo. Også, og det vil sige, den har
19:15
ikke kun fået du ved på træning, instruktion, træning og chat
19:18
træning, men også har fået den her præference træning, så den
19:21
bliver trænet til at modellere folks eller måske endda give til
19:25
80 præferencer og der og der i alle de her ting falder ligesom
19:31
sammen. Og der har der bliver den gode
19:34
dannelsesopgave, ligesom bedt om at ligesom lige prøve at se om
19:37
han ikke lige kan benchmarke den her mon en neural beatle 7 b
19:41
model som frømand har matchet sammen op mod de andre danske og
19:45
de andre Sådan modeller og der viser det sig altså så bare at
19:48
den er DRA. Den den er bare virkelig god på
19:54
dansk. Altså hvis det altså den bedste
19:57
åbne model. Jeg synes Vi har det der.
20:02
Ja, Det er svært at være visuelt på podcasten her, men men de der
20:06
det der spejder graf der Det er ligesom Sådan en Vi har
20:08
forskellige kategorier i den der benchmark ikke som realisation.
20:12
Og ja, Jeg kan ikke engang huske hvad der nu er ikke og så så
20:15
tegner man ligesom hvor godt de klarer sig på de forskellige, og
20:18
så er det jo det interessante her, som som den her er lavet,
20:21
synes Det er helt rigtige visualiseringer og eksperiment.
20:23
Det er ligesom hvordan klare den rå model, så er den der beagle
20:28
på på de her danske ting og hvordan klarer den der mon en rå
20:32
sig? På de de der taster og hvordan
20:35
klarer marchés sig? Og så kan man Sådan se Sådan en
20:39
sjov ting med at at Mercedes er de 2 altså de 2 er hver især
20:44
klarer sig Sådan lidt lidt halv høsten på de der advance sparks,
20:49
men men dog Sådan okay på sommer i sagen og Jeg tror nok en af
20:52
dem gør, men muret af dem klarer sig ligesom bare bedre på alle
20:59
de her benchmarks end end nogen af grundmodel.
21:02
Nogle af udgangspunkterne ikke? Så på en eller anden måde, så
21:07
har de i fællesskab. Det er noget læring med indover
21:11
der har givet en eller anden synergieffekt.
21:13
Sådan så, at det jeg forestiller mig ligesom at det det space, de
21:17
hver især ligesom optager det på en eller anden måde udvider sig
21:20
lidt til, og så kunne noget mere ikke så så det samlet bliver
21:23
lidt større. Ja, Det er Sådan en.
21:25
Det er fordi. Var kritikken af det her.
21:28
Ja okay, den der myrdede den virker bedre end monin eller
21:31
Sådan endnu de andre. Men Det kan da være at den der
21:34
neue beagle og eller at monin var bedre til at starte med
21:38
eller Sådan. Men Det har de så påviser nu at
21:40
Det var den ikke altså der altså sket et eller andet, så får man
21:43
en boost i den her proces. Og derfor er det jo det helt
21:45
rigtige eksperiment at korte sammenligningen med.
21:48
Hvad kan man sige det? Det de de 2 altså én plus én
21:54
skal ikke bare give 2. Det skal ligesom give give 3 her
21:57
ikke altså for for debatter. Det skal ligesom være, så summen
22:02
skal være større end de enkelte dele, som man siger i fancy
22:06
sprog og og Det er det lader det altså lidt til at at det tegner
22:10
sig. Det er et billede der ikke, og
22:12
Det er dælme interessant, men jeg kunne godt tænke mig fordi
22:19
vi snakker meget om det her. Hos at det virker ikke altså.
22:24
Jo Det er lidt hokus pokus men men men skal vi ikke lige prøve
22:27
at tage et lille ægget deeply, men bare Sådan en historik på på
22:31
det her model marketing hvad det hedder jo modellering nu, men
22:35
hvad er det egentlig den der nye måde at gøre tingene på?
22:38
Og Det er fordi at de fleste kender jo nok det der har
22:43
arbejdet med de her ting, og de kender jo nok de der.
22:45
Og ensemblet modeller for eksempel ikke hvor, hvad lavede
22:48
de hver deres prediction? Og så brugte man en eller anden
22:50
form for average, altså gennemsnit af de predictions.
22:52
Og så havde man ligesom. Noget der var bedre end den ene
22:55
af de der modeller ikke for eksempel så kunne man ligesom ja
23:00
få noget ordnet det. Og så og så er der jo også det
23:03
her fænomen med, at man ligesom kan.
23:07
Man kan som containere vægt ikke.
23:09
Altså man kan bare lægge den side om side på en eller anden
23:12
måde og så få et større model med flere vægte.
23:15
Og ligesom kører det, kører det igennem ikke også og så det går
23:19
også skide godt ikke? Og så er der det her fusion som
23:22
de kalder det, som jo dybest set er.
23:24
Det lyder fuldstændig latterligt at tænke på, ikke?
23:27
Det er bare et gennemsnit eller måske gennemsnit avanceret ja
23:31
avancerede gennemsnit ikke der. Jeg har jeg blev da jeg spurgte
23:34
hvad Det var om Der er nogen der kunne pege i en anden retning,
23:36
så blev jeg sendt videre til en hockings.
23:38
Post om model marching og den beskriver 4 metoder, og den
23:42
lægger jeg lige i shownotes hertil.
23:44
Hvis man kunne tænke sig at læse om Det var Sådan lidt.
23:46
Det er Sådan. Det er ikke bare et gennemsnit,
23:48
men det. Det er et forkromet gennemsnit
23:51
vil jeg sige eller Sådan eller. Altså Der er jo mange
23:54
forskellige former for vægtede gennemsnit derude og altså
23:59
hvordan man vægter man sig gennemsnittet.
24:01
Det kan man jo så lave noget statistik for, hvordan man skal
24:03
vægte de her gennemsnittet så videre.
24:04
Men Det er ikke desto mindre et gennemsnit af en eller anden
24:09
art. Men lad os lige nævne den her
24:12
model, som Jeg tror måske også var lidt en kickstarter på det
24:16
der med home, Der er et eller andet her.
24:18
Det er den model der hedder solar.
24:22
Som kom ud som Sådan en lidt lidt sjov hej Jeg har 10,71.
24:30
Ville jeg hader parameter og folk.
24:35
De får Sådan lidt. Ja og Det er det der med når man
24:37
matcher dem så kan de få Sådan lidt funky og Sådan og at de
24:40
ikke 7 b er det ikke 13 b og. Så så kan det være og det der
24:44
skete der nemlig det Det var at de og Det var nemlig.
24:47
Det var ikke Sådan en fusion teknik, Sådan som jeg forstår
24:50
det. Det var nemlig en form for en
24:52
konkret turnering, hvor de 2. I alle alle de links vi snakker
24:56
om den, gemmer jeg lige sociale notes, så dem kan man gå ind og
24:58
tjekke, hvis Det er. At, gå ind og tjekke det men men
25:01
hvor der de ligesom 2 i den her mistral 7 b og så mener jeg at
25:06
det Det var Sådan noget med at de de tog simpelthen bare 2
25:09
instanser af det agtigt ikke altså kopiering og så tog de fra
25:12
den ene ende af lagene og sagde vi tager 8 der og fra den anden
25:16
ende af landet og tager 8 der og så var der ligesom på en eller
25:19
anden måde et overlap i midten eller Sådan et eller andet hvor
25:23
der var noget der var jamen Det er Sådan noget og så kort kan
25:26
jeg sige. Det havde de så det og jeg og
25:28
jeg mener også, at de har noget videre træning på det, fordi
25:33
selve konkretiseringen tror altså Der er en eller anden form
25:35
for videre træning. Men den der videre træning er
25:38
så. Ligesom at få for at få de her
25:41
vægte af legemet, kan man sige, hvad skal jeg bruge?
25:44
Hvad skal jeg ikke bruge? Og Jeg tror endda, at Det er,
25:48
hvad kan man sige formentlig også bare nogle nogle flere
25:53
epoxy er noget af det samme data i virkeligheden også nå endnu
25:56
efter og og det virkede så overraskende godt, ikke?
26:01
Det er sjovt og det sjove ved den her teknik.
26:03
Det sjove ved den her merging teknik.
26:04
Det er jo at det kræver ingen fintuning.
26:07
Du skal ikke finde noget som helst.
26:09
Du skal bare matche de der modeller, og Der er i øvrigt der
26:12
står også lige beskrevet i. Jeg tror Det er roman har brugt,
26:14
men i den her blogpost er der beskrevet et et python library,
26:19
eller i hvert fald repository. Python library Det er i hvert
26:24
fald et eller andet et eller andet open source software som
26:27
hedder merch kit Sådan et noget kode, noget noget libertære at
26:32
lave de her morges som man kan rode rundt med det selv.
26:36
Jeg synes bare Der er et eller andet Der er et eller andet
26:38
Sådan uventet i den her drejning ikke eller et eller andet
26:41
uventet i at at Det kan være. At Det kan være så nemt altså.
26:46
Også især fordi at dem der har prøvet det der med at for
26:49
eksempel at tage Sådan nogle betting så sige jamen jeg tager
26:51
sgu lige nogle gennemsnit. Jeg ved ikke hvad jeg skal gøre
26:53
her. Jeg har ikke lige.
26:54
Jeg har ikke den rigtige, det rigtige neurale netværk til at
26:57
modtage det her data, og Jeg har altså en repræsentation af et
27:00
eller andet, der altså består af x antal betting.
27:03
Du hvad? Jeg smider den sgu lige et
27:05
gennemsnit og så kan de komme ind i det her lag Jeg har lavet
27:07
eller også så patter. Lige enden af det der den der
27:12
vektor der så passer det også og så smider det ind i den der.
27:16
Men og Det har helt sikkert mange steder designs der har
27:19
siddet og gjort dig udstillet for at bygge sin arkitektur, og
27:21
det virker sjældent særligt godt for at sige det rigtigt, så er
27:24
det næsten altid noget lort. Det er nemlig det Der er med
27:27
Sådan nogle neurale netværk, at man tager det.
27:29
Måske jeg ved det ikke. Jeg ved ikke, og Det er også
27:31
det, Der er så cool 2 ved at det her virker fordi typisk min
27:35
neurale netværk, så er de meget følsomme overfor du ved det de
27:39
er trænede på, Det er det de skal se.
27:41
Og hvis de ser noget Der er lidt out of distribution, så er.
27:44
Deres opførsel bare overhovedet ikke garanteret.
27:47
Altså du ved, så kan man overhovedet ikke regne med, hvad
27:49
man ligesom får ud af dem ikke? Og Der er også et eller andet,
27:52
Der er et eller andet cool intuitive til Counter intuitivt
27:57
ved at. At fordi jeg forestiller mig
28:00
hvis tonio 2 language models lærer noget man træner 2 neurale
28:04
netværk eller slange mødes. Så tror jeg de lærer, så har min
28:09
intuition siger mig, at de lærer tingene på forskellige måder.
28:12
De kommer sammen frem til et lignende resultat.
28:14
Men det Der er indeni er så komplekst den viden Der er inde
28:18
i er så komplekst fordelt ud over vægtene, at det Sådan er
28:22
helt uoverskueligt, ikke? Og der var et eller andet med,
28:27
men Der er et eller andet ved det her synes jeg, der vidner om
28:31
eller Sådan er et signal til at. Det som de her lemmer lære.
28:36
Er Sådan universel. Universelle ting som er går på
28:42
tværs af af sproget modeller. På en eller anden måde.
28:47
Måske så det. Der Jeg tror, Det er et fænomen,
28:52
der mangler rigtig meget teori, så Det er altid godt at
28:55
spekulere lidt, hvis man vil have en teori man kan prøve af,
28:58
men noget som som slog mig her den anden dag, som mads
29:02
Henriksen skrev inde på på dansk data science community kanalen.
29:08
Der skal man selvfølgelig gå ind og følge med i nogle af de ting,
29:10
for Det er altid hyggeligt og der snakkede vi lidt om det der,
29:15
eller også ved du hvad Jeg tror faktisk Det var på LinkedIn.
29:17
Det var også lige meget vi snakkede lige kort om det der
29:20
modellering fænomen, og så kom han ligesom.
29:23
Op med den her idé om, at det kunne være en rigtig god ide,
29:26
hvis vi havde nogle standarder for nogle prompt templates vi vi
29:30
ligesom trænede Vores danske modeller på, så vi opensource,
29:35
fordi at en af tingene som og det virker helt reel.
29:40
At det her modellering, det virker bedst og måske kun godt,
29:44
når Det er, at man rent faktisk ligesom har den taget
29:46
udgangspunkt i den samme template og og ikke forveksle
29:51
prompt engineering template med hvad kan man sige trænings
29:56
templaten? Den er jo konstant når man laver
29:58
det her træningsdata. Det er ligesom Det er ligesom
30:00
det der definerer system og user prompt og instruktion og alt det
30:04
der hejs der Der er det der hedder olga formatet og alle
30:06
mulige andre ting og sager det skal ligesom Det er nogle tokens
30:10
man jo. Altid smider med ind, og det
30:12
skal helst være rimelig fast og ens på de modeller man gerne vil
30:17
vil marche. Og Det kan man måske regne ud,
30:20
at Det er jo selvfølgelig fordi at noget andet forskning også
30:23
viser, at de her initial tokens, altså det der ligesom ligger
30:26
rundt omkring det her. Det faktisk er enormt vigtigt
30:28
for, hvordan de agerer de der modeller, så det giver rigtig
30:30
god mening, så det giver jo anledning til at man skal lave
30:34
en eller anden form for standard derude.
30:37
Så ligesom vi havde den her meget handy måde at lave loras,
30:41
hvor man kunne dele af adaptere og med hinanden, så forestille
30:45
sig at vi simpelthen. Jeg kunne gå hjem til til der,
30:50
hvor jeg arbejder og siger, hey, skal vi ikke træne en kæmpe 7 BI
30:54
det her format som så kan vi mødes den med alle de andre
30:56
herovre og få sikkert få noget Der er super godt.
31:01
Og og lige pludselig bliver det Sådan meget nemmere at få noget
31:04
der performer rigtig godt og måske endda også man kan få lov
31:08
at bruge det til kommercielt brug, fordi Det er jo et andet
31:10
projekt Der er i det her. Så jeg Jeg er rimelig ikke set
31:14
over det her modellering fænomen vil jeg.
31:16
Sige og Det er sjovt fordi det viser at du kan tage 2 modeller
31:20
Der er dårlige eller Sådan har en eller anden performance
31:23
marchen sammen og få noget Der er bedre altså det jeg ved det
31:27
ikke. Jeg synes bare Det er Det er
31:29
sygt det her. Det er der.
31:32
Det er lidt en sjov Discovery kan man sige og.
31:38
Ja, vi må vi må i øvrigt. Vi må i øvrigt se, om vi kan få
31:42
snakket noget mere med nogle af dem, der har været med til det
31:45
her sjove, så kan det være vi får nu en genganger i studiet
31:48
fordi. Det kunne være det kunne være
31:50
meget. Har været podcast.
31:52
Det kunne være meget sjovt at få samlet dem alle sammen.
31:54
Ikke samlet Kenneth og Lasse her der, og Det er selvfølgelig også
31:57
en rimelig stor forsamling, ikke?
31:58
Men Sådan. Bare Sådan roman og Mads
32:01
Henriksen og. Altså den og.
32:06
Bare Sådan for alle de der LM. Kommer snart til at hedde LM
32:11
podcast. Ja ja ja, men Det er også
32:15
spændende. Det er jo spændende, kan man
32:16
sige det. Det synes jeg altså så så kæmpe
32:19
skud til til dan for også fordi Det er igen det her med
32:22
evakueringsfly frameworks og datasæt ikke altså så kan det
32:26
godt være de er perfekte endnu de her LM eller evaluerings ting
32:29
og det bliver bedre hele tiden, men det gør bare at man har
32:33
noget at snakke om, ikke altså du ved fordi de er så fluffy de
32:35
her modeller så Det er vigtigt man har et eller andet at sige
32:38
om den ikke et eller andet måle dem op mod.
32:41
Det er det så. Det er.
32:45
Der er det rigtig spændende. Det må man sige.
32:49
Nå skal vi gå videre til det næste, som også er en del.
32:53
Og hænger lidt sammen med det her, synes jeg.
32:56
Det er i hvert fald også spændende.
32:58
Ja hvad hedder det? Fordi Det er jo Sådan at Jonas
33:02
og Jeg er rimelig oppe at køre over det her open source.
33:08
Stykke software der hedder ole lama.
33:11
Stykke software ja. Ja Det er jo et stykke software
33:14
skrevet i go endda og det som det helt kort forklaret er det
33:18
bygger ovenpå lama. Dot CP projekt.
33:23
Og det projekt gør det nemt at tage en tage lama baseret
33:28
modeller. Quantas size the fuck out of
33:32
them? At gøre Sådan, så de kan køre
33:34
lokalt på 1 1 1 laptop især de her.
33:39
Især kører de godt på de her mac books med gennem 1 2 3 chips i.
33:44
Og det som ole ama ligesom har bidraget med her.
33:49
Det er, at de har lavet Sådan en form, for Det er den form for
33:52
hacking, face for country eller lemmer i virkeligheden.
33:55
De har i hvert fald en anden form for hop, hvor man kan
33:58
installere deres software og så II terminalen kan man ligesom
34:01
bare skrive ulama run mistral for eksempel, så hiver den så
34:05
din last language model 1, 1 1 1 mistral 7 b eller lem ned.
34:12
Hvis version af den, og så kan du ligesom.
34:14
Kører den lokalt, og du kan ikke bare køre den lokale.
34:17
Du kan ikke bare chatte med den i din din terminal.
34:20
Du kan også ligesom sætte et end point op med den og bruge den,
34:24
som du vil bruge. Operere i importants g 3,5 og t
34:29
4 points, så Det er. En rigtig spændende udvikling,
34:34
der sker her. Især også fordi det det giver
34:38
Sådan 1 1 1 godt framework for at gøre de her modeller nemme at
34:42
dele, så er den seneste model er kommet ud, så kan man hurtigt
34:45
lige skrive hvis Der er nogen der har lagt den op på alamo
34:48
hoppen der, så kan man hurtigt lige skrive ulama run for
34:51
eksempel den her nye moon neill beagle danske model her den her
34:56
morgen model. Hvis roman for eksempel lagde
34:59
den op, så kan man lige skrive lama run og så navnet på den og
35:02
så kører så henter den ned og så kan man køre den i sin terminal
35:05
og udvikle med den lave kode, altså applikationer med den.
35:08
Simpelthen så kan man bruge lang chain og man kan bruge light
35:11
eller lim og alle mulige i de her frameworks som beror på
35:16
eller som beror på et eller andet LM point.
35:18
Det kan du ligesom køre på lokalt på de her lokalt høstede
35:23
små modeller, og Det er en kæmpe som jeg ser Det er en kæmpe del
35:27
af udviklingen. I forhold til at Der er i Det er
35:31
en kæmpe del af. Det Der er naboer.
35:34
Rigtig mange hjerner. Og ulama har og l lama CP har
35:41
spillet en stor rolle i at gøre det muligt for de her mange
35:44
hjerner at få det her nemt op at køre lokalt.
35:49
Ja, Det er ligesom alarma. Forret der, så var jeg rigtig
35:54
interessant. Og det, Der er sket her der nu
35:57
er kommet en python klient til det og en java script client til
36:02
Obama. Ja.
36:05
Sådan nej, det kører styre ulama via Sådan et naif python.
36:13
Næ næ python client. Ja.
36:19
Ja, og Det er jo en stor invitation ind til.
36:25
Python community til ligesom at arbejde med det her.
36:29
Det er det, ja, og hvis vi lige også nævner at at det her du
36:35
skrev du sagde det der med man kan man kan skrive alle ameron
36:38
og så henter den det her image ned, og Det er jo netop de her
36:42
images som man også kender fra fra dogger, hvis man har
36:45
arbejdet med det. Det tror jeg efterhånden rigtig
36:47
mange har og den måde det fungerer på, er jo netop også at
36:52
man distribuerer det igennem Sådan et hop hop hop hedder det
36:56
en hook ikke en hook dogger hop og det samme med det her.
37:00
Drama og Det er også Sådan, at det faktisk er nogle tidligere
37:06
dogger udviklere, Der er med til at køre det her.
37:10
Så Det er altså nogle rimelige. Det er nogle rimelig dygtige
37:14
udviklere, der har gang i det her så og det.
37:17
Det er ret tit, at Det har jeg faktisk en kæmpe betydning.
37:20
Det der med at Det er dygtige udviklere.
37:22
For er det projekt, det lever godt over tid og det det går
37:26
både hurtigt, men med udvikle på det her projekt.
37:30
Her er mit indtryk, de har regelmæssige opdateringer og og
37:34
de skubber de her opdateringer hurtigt ud til deres klienter,
37:37
ikke lige mærke til det, hvis man har prøvet at installere den
37:39
her klient, der så siger den hov, du skal lige genstarte for
37:43
at få den seneste opdatering. Bare Det er en desktop
37:46
applikation ikke? De har bare fuld styr på at
37:50
skubbe det nyeste nye ud til folk på den her måde her.
37:53
De har fat i den lange ende ved at påstå.
37:56
Det er altså noget høringsfase ikke kan konkurrere med med den
38:00
måde de har i deres transformer library på og Sådan noget, og så
38:03
de selvom de også har en hop og Sådan nogle ting, der så på den
38:05
måde at man kan distribuere ting på via de der images der Det er
38:09
det Det er helt genialt og det her dog er jo altid været også
38:13
genialt på den måde, men at tage det ind og sige Det er Sådan vi
38:16
distribuerer modeller også. Hele lemmer Jeg vil jo vove at
38:20
påstå. Det er lidt ærgerligt, det
38:22
hedder lama nu fordi det får det til at lyde som om det kun er
38:24
lama ting og Det er kun det skal kun handle om om om lars
38:29
language models og Sådan nogle ting der i virkeligheden så kan
38:32
det her, så burde det her være Sådan like everything,
38:37
everything infrastruk. Tur.
38:39
Til lokale lokale kørende neuralt netværk baserede
38:44
modeller model run. Project ikke og og og
38:48
selvfølgelig. Det er en kæmpe mundfuld at
38:50
sidde og lave adaptere til alle de her backends der måtte køre
38:53
de her modeller godt på den ene og den anden, den tredje og
38:56
Sådan noget. Men ellers så kommer mojo og så
38:58
kan det være det bliver meget hurtigere og nemmere endnu, men
39:02
men overvejer det lige det. Det er så smart og det gør jeg
39:07
også igen at det her open source.
39:11
Community hastigheden den er altså virkelig i
39:14
overhalingsbanen. Ikke?
39:15
Altså helt vildt. Og Det er jo især her det her
39:19
ikke Det er kodet her. For mig er tilgængelighed.
39:24
Simpelthen altså Det er tilgængelighed, det det her
39:26
Obama er med til at gøre det her langt mere tilgængeligt og
39:29
fjerne friktionen fra at folk kan komme i gang med at udvikle
39:32
på de her ting. Og Det er nemlig det der sker
39:34
når du gør det. Det er, at du får flere hjerner
39:37
til at arbejde på det og det der innovationen ligesom eksploderer
39:42
ikke i virkeligheden. Jeg var en af dem, der var
39:45
tidligt ude med hensyn til at få gerne ville ligesom prøve at få
39:50
den danske bordmodel til at virke i hockings face
39:53
transformers. Biblioteket på daværende
39:57
tidspunkt, hvor den ikke op og høringsfase.
39:58
Det gjorde med alt det højmark Bertelsen senere hen.
40:01
Men og Det var simpelthen bare en fucking kamp og få det her
40:05
til at fungere, og der var formater og tendenser og pis og
40:09
lort, der ikke passede sammen. Og der var fucking fase på mange
40:14
måder også Sådan stadigvæk i sin sin.
40:17
Hvad skal man sige? Tidligere år der ikke, og det
40:21
viser bare at du ved, fordi jeg skulle bruge en halv dag eller
40:25
en hel dag eller et eller andet prøve at få det der fucking pis
40:27
til at virke. Og bare du ved skrive på forum
40:31
og bare slet ikke kunne finde ud af det.
40:37
Men Jeg tror målte han sad med de samme problemer på det
40:39
tidspunkt fordi Det var for han havde puttet det op ikke men
40:43
bare det her med at det kræver det kræver viljestyrke ville
40:47
ville det her hvis man skal sidde og fumle så meget med det,
40:49
ikke? Og det gør bare, at Der er
40:51
rigtig mange, der bliver sorteret fra og ikke kommer til
40:53
at sidde og rode med det, så det vil sige det her.
40:56
Det her med, at den så kommer op på hocking fase, og Det er
40:58
ligesom der noget infrastruktur noget nemt noget der gør.
41:01
Det er nemt at få den ned og arbejde videre med den på.
41:03
Det er noget der gør. Det er noget, der i sig selv
41:07
skaber innovation. Helt sikkert det som ulama er
41:10
ved at gøre for 7 b modeller som Jeg har hørt software
41:14
distribuering. Og og de her model distribuering
41:17
Det er det Det er en svær teknik, og Det er især det her
41:21
med at at styre det pendent siges, at nogle gange har de her
41:23
modeller nogle lidt eksotiske dipendenti hist og her, men så
41:26
skal dybt ned i et git hub reporter linker til et github
41:31
repo, og de sidst så ender du med at skrive pippen stall og så
41:35
en eller anden github url ind til min branche på, fordi jeg
41:39
skal bare have det nyeste, fordi jeg virker det ikke eller et
41:41
eller andet ikke. Så Der er det jo også.
41:45
Altså Det er Sådan en model på hocking fase er jo er jo kun så
41:48
nem at tage ned og køre som den der har distribueret den og
41:51
pakket den og og Vi har. Vi har jo for vane at hvad er
41:55
Sådan lidt? Jeg skriver bare pip frees ned i
41:59
en requirements tekst tv fil og så må det gå hvad er reel?
42:03
Det ved jeg ikke altså du ved hvad setup tools kunne Jeg er
42:08
der overhovedet nogen forskel på det galt bare pippe installerede
42:11
du ved altså Det er ikke fordi jeg skal gøre Sådan grin af
42:14
Vores. Vores Vores fag men Vi er nok
42:18
ikke de skarpeste til det der vel?
42:19
Altså Det er nok mere i softwareingeniører, Der er vant
42:22
til det der altså sidder og tænker Sådan.
42:27
Hvad laver i? Work som min.
42:29
Computer. Tak ved du hvad jeg sætter dig
42:32
lige en. Zip fil jeg håber du kan køre
42:34
den i din ende og og altså det. Det ja ikke, hvad skal man sige?
42:40
Så derfor er Sådan noget som alarma?
42:41
Jo bare. Super kærkomment og og godt set
42:48
af dem der har lavet døgn. Der ikke eller har været med til
42:52
det. Jeg ved ikke præcis hvem de var.
42:55
Ja det. Er.
42:57
Det og og Det er jo ligesom man kan sige.
42:59
Det er jo ikke en kæmpe nyhed at de laver et python selv i.
43:02
Det er måske lidt mere undskyldning for at snakke om
43:04
alabama, men men hvad hedder det dog?
43:07
At Det er en mulighed. Ja, men man kan sige, Det var
43:10
alligevel et. Skridt mod at fjerne endnu mere
43:12
friktion. Ikke fordi for der skulle jo
43:14
trods alt du skulle trods alt. Finde ud af hvordan apiet
43:19
virkede, og så skulle du måske bruge Sådan en proxy server op
43:22
med leje eller lem og skulle gøre altså Sådan.
43:26
Det er bare som jeg ser det, så er det et skridt mod at fjerne.
43:30
Mere friktion mod, at folk rent faktisk kommer i gang med at
43:33
bruge de her ting, ikke jo. Det er i virkeligheden det, det
43:37
handler meget om for de her open source spillere, hvis de gerne
43:40
vil have det på den der for de der få den der.
43:45
Community anvendelse og få det der netværkseffekter, som for
43:49
eksempel høringsfase har fået nu ved at alle bare bruger det, så
43:51
er det bare de faldt ikke, så er det bare så er hedder gamet bare
43:56
fjern så meget friktion for at udviklerne Sådan så de ligesom
43:59
kan koncentrere sig om det de gerne vil, og i det her tilfælde
44:02
Der er der en masse udviklere, som rigtig gerne vil lave
44:04
applikationer med Lars language models og udforske hele prompt
44:09
engineering. Spacede hele den det her aspekt
44:12
der og der og for dem. Ja alt der hedder model,
44:17
infrastruktur, teknik, pis og lort der ikke virker Der er det
44:20
støj ved de skal have en et LMN point de kan kalde lokal buden
44:25
at det tømmer deres pung til at operere i og så skal de kunne
44:29
innovere se hvad man kan drive det her til rent Trump
44:32
engineering rack classifier whatever mæssigt.
44:37
Ja helt. Sikkert Det er den mission, Det
44:39
er den mission. Som alarmer er ude på som jeg
44:41
ser det. Det er ligesom bare at fjerne så
44:42
meget friktion for det her segment som muligt.
44:47
Helt. Sikkert altså.
44:50
Og og det. Ja, Det er et skridt i den
44:53
rigtige retning også nu med en en python og en en java script
44:57
klient og Jeg er glad for det der med Det er en java script
44:59
klient. Ikke fordi.
45:01
Der er nemlig helt sikkert rigtig mange der bare gerne vil
45:05
du ved. Skrive det frontend der nu skal
45:10
skrives for at det her Det kan komme ud og vise tog som bror.
45:15
Der er en kæmpe del af det her, altså det.
45:17
Må man sige det? Er det?
45:18
Det er nærmest vejen altså fra de her modellers interfacer til
45:24
det front front end interface, som brugerne skal se.
45:28
Det er jo stort set det, det handler om det der prompte
45:31
engineering. I virkeligheden sker det meste
45:34
af det ikke at man ikke selvfølgelig godt kan.
45:38
Skærme end java script brugergrænseflade fra noget af
45:42
alt det der. Det kan ligge bag et api og
45:44
Sådan nogle ting, men Det er stadigvæk meget, meget tæt på
45:46
brugeren, og hvad brugeren skal se og opleve og så videre, så
45:51
det giver rigtig god mening at have en java script klient til
45:53
det også. Ja og Det er.
45:55
Også sjovt. Det er også noget, Der er sket
45:57
med det her paradigme. Vi er gået ind i med generative
45:59
ã r, hvor at for der sad vi og lavede modeller i phone, touch
46:05
og pandas og alt muligt og Sådan noget ikke Det er mere og mere
46:08
bare i den point vi kalder, hvor vi sender noget tekst, og så får
46:11
vi noget tekst tilbage, og så er vi Sådan set ligeglade med i
46:13
hvert fald et sprog der, og Det kan vi både gøre for PHP,
46:16
python, javascript og så videre, så den her tekst ind tekst ud.
46:21
Det her paradigme er meget det i højere grad uafhængigt af strå,
46:28
kan man sige. Så derfor har man jo også set at
46:31
låne chain for eksempel. Jeg ved ikke om de stadig mener
46:34
det, men det havde de i hvert fald nu.
46:36
Jeg har ikke fulgt med på langbane sporet så længe, men
46:39
mon ikke de stadig har 1, 1 1 javascript?
46:43
Javascript klient lige såvel som de har en.
46:47
Det. Tror jeg apropos lang tjener du
46:50
siger at man ikke følger med og Sådan nogle ting der Der er jo
46:54
også. Jeg er også begyndt at være det.
46:57
Det er ikke en mulighed, Vi har. Vi har arrangeret det her skal
46:59
lige siges. Det er helt spontant, men Der er
47:01
efterhånden begyndt at komme Sådan en lille erkendelse af at
47:05
at det her store problem som langt sigt gerne vil løse med de
47:09
her agent og Sådan nogle ting. Og ligesom at.
47:13
Der begynder at være Sådan lidt. Nå hvad blev det så til med de
47:17
der agents der jeg ser? Jeg ser virkelig ikke særlig
47:21
mange use cases derude, og jeg hører ikke om særligt mange der
47:25
der laver nogle fede applikationer med de her agence.
47:29
Hvad? Hvad siger du til det unge
47:30
fordi? Ja.
47:35
Det er et godt spørgsmål. Jeg tror langt hen var tidligt
47:38
ude langs tjene var nogle af de første til at lave en eller
47:41
anden form for formaliseret abstraktion over de her agenter
47:45
og ikke mindre også til at gøre det nemt at komme i gang med at
47:47
rode med de her agenter. Og Jeg tror.
47:51
Hele det her agent fascinationsværdi den her agent
47:55
vaccinations bølge. Der var især omkring det her
47:57
alto PT. Og baby jeg.
48:00
Det kan jeg huske så der der husker jeg det som om der
48:02
eksploderede det bare der tror jeg rigtig meget at den
48:06
opmærksomhed lange tjener fået har været kommet ud fra det,
48:11
fordi de var de nogle af de første til at lave det her, også
48:13
implementere det her react framework, ikke reaction i
48:17
javascript, men react agent framework og så var det ligesom
48:22
om at så blev så så så var det ligesom så det langt ligesom
48:27
blev kendt på efter det, da folk fandt ud af okay det begrænsede
48:30
hvor en vind i de her agenter kan.
48:32
Ligesom er. Endnu.
48:36
Blandt de ligesom er okay rack. Det er det nye fuck mand så skal
48:38
vi bare du ved lave total one click deployment rack eller
48:42
Sådan i hvert fald meget lidt kode til at lave.
48:45
Få noget rack op at køre ikke som jeg ser det så ligesom lang
48:50
chain optimerer meget mod i hvert fald fra mit stand.
48:55
Punkt Det er det her med at gøre det nemt at komme i gang med med
48:58
rack løsninger, men ikke nødvendigvis nemt at.
49:02
Customize det, og du ved, når man så først har lavet det, og
49:05
man gerne vil du ved gå lidt Benny grey til værks, så er det
49:09
svært Sådan at komme ned i maven og finde ud af hvad er det
49:11
egentlig der sker og hvad? Hvad er de her tjenes for noget?
49:14
Og alle de her viktors og pistoler altså jamen, Det er jo
49:19
det jeg jeg. Ser det lidt som at.
49:22
Hvis du har et problem, der kræver en løsning der desværre
49:26
er kompleks, så skal du desværre bruge lægetjek, fordi at Det er
49:32
for meget for dig at skrive alle de der abstraktioner, for så
49:35
bagefter at sætte. Lignende sammen, men hvis du
49:39
desværre skal skrive noget, Der er så komplekst til dit desværre
49:42
meget komplekse problem, der kun kan løses på en kompleks måde,
49:45
så kan det også være at Det er 1 1 1 1 rigtig definition af det
49:49
problem du prøver at løse det i virkeligheden er det rigtige, så
49:52
Jeg har Jeg har lidt den der mavefornemmelse af at at.
49:56
Lang chain er den der kæmpe hammer, der vil løse et eller
50:00
andet problem, som ikke findes derude.
50:02
Lige nu, eller som ikke har den der klare use case for hvorfor
50:06
Vi skal bruge en agent. Udover at Det er fascinerende,
50:12
at du kan lave en agent. Jamen Det er fascinerende ja som
50:18
kan som kan gøre det som et menneske kan gøre ved.
50:22
Og og tage beslutninger og og og lægge tal sammen og søge
50:27
informationer og Sådan noget der.
50:31
Jeg er helt sikker på, at Det kan Det kan være, Vi skal give
50:34
et kæmpe shout ud til til nogen, der måske har haft succes med at
50:37
implementere en agent i en eller anden sammenhæng, hvor det bare
50:40
spiller max altså Sådan en en form for for en en robot der der
50:45
der løser helt vildt meget sagsbehandling eller Sådan et
50:48
eller andet. Du ved ikke og og at at at at
50:51
man i øvrigt tør bare Sådan her. Tage foden fra bremsen og ellers
50:55
lade speederen køre selv også med Sådan en agent.
50:59
Der kunne være meget interessant, men ellers så har
51:01
jeg. Så har jeg stadig tilbage til
51:03
den der. Jeg har Jeg har viet 2 see the
51:06
agent that works ikke jeg ved ikke med dig, men Sådan føles
51:11
det. Jo det synes jeg også lidt.
51:16
Jeg mangler at se. De er stadig på demo niveau
51:20
ikke? Men Jeg synes Jeg synes ikke at
51:21
Jeg synes ikke at det Jeg har imod agenter og hvor Jeg synes
51:25
det virker som om teknologien ikke helt er der endnu.
51:27
Og måske er det ikke den rigtige måde at løse det på.
51:29
Det er det her med når man siger.
51:33
Skriv en videnskabelig artikel om et eller andet med medicin
51:37
eller molekylære biologi eller Sådan noget, og så går den i
51:40
gang. Du ved, så går den ud og søger
51:41
på Google og så gør det og søger på det her og så laver den en
51:43
plan og så gør den altså du ved hvor man bare.
51:46
Jeg har Sådan en meget åben end forventninger til den ikke hvor
51:48
Jeg tror mere på det her med at. Jeg tror godt man kan få noget
51:51
brugbart ud af at få et input i en eller anden afgrænset input,
51:58
så du skriver ikke bare lav en kop kaffe eller et eller andet,
52:00
men du ved løs det her problem inden for den her lille det her
52:05
lille space afgrænsede space og så har man nogle tools og et par
52:10
iterationer i en eller anden kæde.
52:14
Og så som på en eller anden måde er evaluerbare ikke, men det
52:18
det. Det tror jeg man Det kan man
52:20
arbejde. Med, men det tror jeg også.
52:22
Er er kernen i problemet her. Det er nu, det bliver Sådan
52:26
rigtig bonus sektion vi lige har gang i til Vores ærede nyheder
52:29
men men men altså det der med at man ligesom siger jamen okay
52:33
agent er ikke Sådan en autopilot, vel?
52:35
Altså Det er fint nok at man kører et par iterationer og
52:39
ligesom guider dem til hvad Det er fordi så har man også mere
52:43
kontrol over det og Sådan nogle ting.
52:44
Men hey. Det er jo Vores chat.
52:48
Ja Det er jo Det er jo. Seriøst Vores chat hvor vi så
52:52
lige har nogle tools med ind over hist og her fordi at hov
52:56
den har lige spottet at jeg jeg egentlig leder efter noget, så
52:59
nu googler den lige efter det og så og så kan den generere noget
53:02
med lidt rart oven i og Sådan noget der ikke.
53:05
Måske har man givet den et et til 2 tons og så kan den lige
53:09
lave lidt function call ikke? Og de der funktion calling Det
53:13
er jo super. Hvad kan man sige brugbart?
53:16
Der er slet ikke noget af det, og Det var Det var længden jo
53:18
helt klart ude og og komme med og sige det der.
53:21
Det er en ting i det her agency, Vi har turde ikke, men Det er
53:26
hele den der Sådan kæde. Ved det hele sammen i en stor
53:30
smør, og så ligesom bare let it go det.
53:35
Hvad hedder det? Og den bruger der.
53:37
Så længe der kommer ud af det, om det her.
53:39
Lige præcis det Der er drømmen. Ikke, Det er drømmen.
53:42
At lave den her kæde af nå, men så snakker den bare af sig selv
53:45
og bruger tools og så løser den på alle problemer ikke Det er
53:48
den her drøm som lange tjene lidt sælger ikke det tror jeg
53:52
ikke Det er det brugerne vil have.
53:54
Nej. Det tror vi i hvert fald gerne
53:57
også måske gerne have noget kontrol, i hvert fald ikke på en
53:59
eller anden måde 100%. Ja men jeg.
54:02
Synes Jeg synes lang tjener er blevet meget Sådan.
54:05
Jeg har svært ved at greje lidt synes jeg fordi også fordi Der
54:09
er det her. De er jo også begyndt at lave
54:11
det her langs mich. Det kunne måske være meget
54:13
spændende lige at tage Sådan et afsnit, hvor vi tager en
54:14
gennemgang af. Altså Sådan status ligesom tager
54:17
lille deep dig hvad ja hvad sker der egentlig er?
54:21
Hvornår er det man lige hiver lange tjener op af hatten?
54:23
Ikke fordi det skal jo. Jeg skal heller ikke nogen
54:27
hemmelighed. Jeg har heller ikke det jeg
54:28
bruger det helt vildt meget nu her, så så Det kan godt være Der
54:31
er nogle skjulte skjulte James dernede som bare ligesom ja det
54:36
kunne godt være vi skulle tdy og igen igen igen, Det er Sådan
54:40
noget tid siden. Det er det nå wups.
54:45
Så lige. Pludselig havde vi snakket i
54:47
næsten en time. Ja fantastisk.
54:52
Rigtig god. Ja.
54:54
Men Vi er ved, at skyggerne ved at blive lange, og.
54:59
Så ja, Det kan være at. Det kan være at Vi skal snart
55:04
til at sige farvel, tror jeg Vi skal.
55:07
Ja. Hvad hedder det?
55:12
Jeg tænker at. Jeg godt kunne tænke mig at høre
55:15
lidt mere om evaluering af lars language models.
55:19
Og måske endda evaluering af skandinaviske los language
55:23
models på et tidspunkt, så vi kender en, der kunne være
55:27
interesseret i det, vi kendte en.
55:30
Ja, Det er nok ikke sidste gang, vi.
55:31
Snakker om med dansk open source.
55:34
Sprogteknologi i hvert fald. Nej nå.
55:39
Anyways er der et eller andet du vil sige her på falderebet
55:43
Jonas, Jeg tror vi. Har Vi har lavet en en god
55:47
gennemgang af ugens nyheder. Ja super jamen til alle jer der
55:53
har lyttet med i var os podcast afsnit nummer 41 så vi vil bare
55:56
sige 1000 tak fordi i lyttede med og.
55:59
Vi håber at. Vi bare må have det rigtig godt
56:03
til. Vi ses igen i eller til vi
56:04
lyttes. Slash ses igen i næste uge.
56:07
Hey hey.