Latest / Verbos: AI og Softwareudvikling / #67 - Python 3.13, Llama 3.2, Liquid Foundation Models (LFMs) og Ugens Repo 👩‍💻🔥

Transcript

#67 - Python 3.13, Llama 3.2, Liquid Foundation Models (LFMs) og Ugens Repo 👩‍💻🔥 · Verbos: AI og Softwareudvikling

0:01
Halløj allesammen og velkommen til hvad bos podcast afsnit
0:03
nummer 67 i dag. Der skal vi snakke om AI nyheder
0:08
i gåseøjne, nogle af dem, nogle af tingene nyheder.
0:10
Nogle af dem er old news, men Vi har ikke snakket om det før II
0:14
podcasten endnu, så vi må og Der er nogle af de her ting vi
0:17
bliver simpelthen nødt til at snakke om, så så i dag der skal
0:20
vi snakke om nogle spændende ting.
0:22
Vi skal snakke om python 3,1 3,13.
0:26
Som kommer ud for nyligt, så skal vi snakke om noget, som
0:29
overhovedet ikke er. Breaking news mere.
0:31
Hvordan var det for nogle uger siden?
0:33
Lama 3,2 modellerne som er kommet ud, så skal vi også lige
0:37
hurtigt vende noget der hedder liquid foundation models, som er
0:41
noget Der er en lytter, der har skrevet ind omkring.
0:43
Vi skal bare lige hurtigt tjekke ud hvad Det er og prøve at
0:47
snakke om. Det er noget interessant, og så
0:51
kan vi have en lille bonus, en lille bonusnyhed her til sidst
0:54
som jeg lige vil vil vil ikke vil fortælle jer om endnu, men
0:56
som i skal glæde jer til og så har vi selvfølgelig ugens
0:59
revolut til til sidst, så Der er lagt i.
1:02
Bagt i ovnen til en rigtig god episode af babus podcast.
1:07
Ja så glæd jer til det og så Jonas er du fresh nice mand ja
1:11
fedt fedt jamen lad os bare se at hoppe ud i det hvad hedder
1:15
det? Der er faktisk en glemt en ting
1:17
jeg glemte at sige i introen fordi at Vi skal også lige huske
1:20
i dag, for Der er måske noget vildt i dag fordi at den gode
1:25
hvad hedder det? Ja den gode john hopfield og
1:30
jeffrey hinton har simpelthen fået.
1:32
Nobelprisen for fysik og 2024. Og ja, Det er jo.
1:39
Det er jo især i forbindelse med deres arbejde med med machine
1:43
learning, som de har fået deres deres nobelpris for.
1:47
Og man kan sige, jeg kender jo altså jeg må indrømme, jeg
1:50
kender ikke john hoppefield lige så godt som jeg kender jeffrey
1:54
hinon, men jeffrey hinanson er jo kendt for at være the god for
1:58
the og deep learning basically. Og være manden bag back
2:02
propagation så på en eller 2 måde, så så synes jeg Det er på
2:07
tide at han han får lidt lidt lidt lidt solid anerkendelse for
2:11
for for den den opfindelse eller den bidrag han ligesom har lavet
2:16
til til. Fysik så nu har jeg nu.
2:21
Nu har machine learning og fysik vundet hinanden.
2:27
Og Det er også Sådan lidt. Det er også lidt sjovt fordi da
2:29
jeg læste at han havde vundet. Ja nobelprisen i fysik var til
2:33
Sådan lidt studset over. Det var fysik, når det Sådan
2:36
data logi i guess nå. Men man sidder og regnede også
2:40
ligesom med at der vil stå et eller andet sted, at Det var
2:43
selvfølgelig for bac propagation algoritmen at han havde vundet
2:46
den her. Hvad kan man sige nobelpris for?
2:50
Men det viser sig altså at at at Det er ligesom Sådan en delt
2:54
nobelpris, hvor at john hoppe field har vundet.
2:58
For hans arbejde med det der hedder hoppefield networks som
3:04
som så vidt jeg kunne forstå altså af en eller 2 form for
3:07
forgænger for recurent eller en eller 2 form for recurent
3:10
neurale netværk, som ligesom var et et led i skulle have været et
3:15
led i udviklingen af. Det er jo.
3:19
Det er jo rettet af netværk af gæs og så hvad hedder det?
3:22
Jeffrey hinanson har vundet for at bygge videre på den her
3:25
hopfield networkid. Og har bygget noget der hedder
3:30
en bolt-man machine. Ja så.
3:35
Tillykke til tillykke til jeffrey og og john.
3:40
Synes jeg Vi skal sige. Jeffrey og johnia det johnia Det
3:43
er jo ret. Jeg bidder virkelig også mærke
3:46
det der med. Hvorfor er det ikke back back
3:48
propagation man får det før, men men men ja Det er lidt
3:51
spændende. Måske er det lidt.
3:53
Dykke lidt mere ned i hvad argumenterne for at det lige
3:55
præcis er det der. Jeg tror måske også man man er
3:58
nok nødt til at koble det op på et eller andet der har haft
4:01
noget en en indflydelse på feltet fysik frem for fremfor
4:06
noget der bare har resulteret i epicer og kværner tekst ude i
4:11
æteren i dag. Det er måske heller ikke så
4:15
fysikrelateret. Men der står ja der står Sådan
4:19
at en phizicswey og og der står ligesom at de de altså hvad
4:23
hedder det hopfield networks og The bullsman machine har haft
4:26
stor impact på fysik og. At man bruger mange meget, altså
4:32
new rolle network i fysik og til alle mulige forskellige ting, og
4:36
Det er ligesom har en stor impact der.
4:38
Det er ligesom om Det er ligesom om de Sådan har villet.
4:42
Det virker bare Sådan lidt lidt Sådan det.
4:44
Det er måske lidt for poppet. Og bare sige det som Det er og
4:49
sige hey producation og. Sige det som er at deep levering
4:53
det det Det har bare jamen altså Det er jo ja Det er jo ligesom
5:00
noget der der. Jeg tror også de skriver et
5:01
eller andet sted at det ligesom Jeg har haft en stor impact på
5:05
hele machine learning de slat deep learning feltet og og Det
5:08
er jo selvfølgelig også en vigtig ting men men Det er jo
5:12
Det er jo under fysiknobelprisen, så Jeg kan
5:15
godt se at man er nødt til ligesom at forholde sig til.
5:18
Til det, men så fik vi, så fik vi.
5:23
Hvad kan man sige? Så fik vi a og i der sad ikke AI
5:26
nogen steder, hvilket også er er meget fedt og et eller andet
5:29
sted Sådan rimelig tørt. Lige her er vi fornørdet til at
5:32
bruge hejbord. Så det hedder bovgsmands machine
5:36
Sådan yoma var. Jeg var lige Sådan lidt.
5:38
Hvad fanden er det lige egentlig en bowling person er?
5:40
Gjorde man jo lige kigger på det nå altså et neuralt netværk.
5:46
Ja, men Jeg har eller Sådan jamen Jeg har.
5:48
Jeg har hørt termerne før og Sådan noget men men nu sidder
5:51
jeg lige og kigger på de kategorier Der er for
5:53
nobelprisen og Der er fysik kemi phishiollegen medteson,
5:59
libriture, peace economic sciences.
6:03
Så Der er ligesom jeg man kan forestille sig at phishx ligesom
6:07
har været den mest nærliggende. Altså man har tænkt Sådan OK de
6:10
jeffrey hinton du ved han har sgu.
6:13
Jeg havde godt mine lavede noget vildt noget ikke, men Vi har
6:16
ligesom ikke nogen Sådan direkte datasigns.
6:20
Hvad skal man sige datalogi pris så fysikalt er ligesom den.
6:24
Pris. Altså.
6:28
Men altså 100% de har også super meget værdi i fysik, altså de
6:33
her neural netværk. Så skud til.
6:37
John hoppefel og. Jeffrey hinanden.
6:42
Yes. Yes og så er der jo sket noget i
6:45
pythonland vil du vil du indlede den.
6:49
Jeg skal jo lige være lidt excited.
6:53
Jeg var ikke ligeså excited som jeg var der det hed 3,12 eller?
6:59
Men, Der er kommet en ny pegetformation, og den har været
7:02
ude i. Hvad kan man sige Sådan prebenes
7:04
i noget tid, og nu er den så endelig kommet ud her II går som
7:09
Sådan the final så parton House Sådan flere skridt i deres
7:14
relationer og det der og det Der er kommet ud som er det mest
7:18
signikante. Det er så faktisk lidt sjovt,
7:20
fordi de fleste der installerer python på den normale måde de
7:25
vil gøre, de vil ikke opdage særlig meget.
7:29
Jo det jo, det ville det faktisk, men det kom vi lige
7:31
tilbage til det. Men de fleste ville ikke opdage
7:34
det der måske har har været det største stykke arbejde II det
7:37
her lease og Det er jo at den her global intervolog som folk
7:42
de elsker så meget. The girl.
7:46
Den er hadet og elsket af rigtig mange.
7:50
Den gør jo at python. Kun altså Det er en du kan kun
7:55
arbejde på en tråd ad gangen. Du må gerne have flere tråde i
7:58
din applikation, men du kan kun arbejde på en af gangen.
8:02
På grund af den er global, og Det har jeg gjort python.
8:06
Det har været både python succes og senere hvor at at hvad kan
8:11
man sige? Hardwaren har flyttet sig i en 2
8:12
retning, og Det er normalt at have mange processer og have
8:16
mulighed for ligesom at køre mange ting parallelt og Sådan
8:18
noget, så er det måske lidt mere en hæmsko især II datasigns
8:23
verden, hvor man måske gerne vil skalere nogle computmæssige ting
8:26
ud. Og Det er sjovt nok python
8:28
bliver brugt rigtig meget II det eller science og så har mange
8:31
sagt man Vi er nødt til at gøre noget ved python.
8:34
Det er Sådan lidt. Det er Sådan lidt slow og så er
8:38
der nogen der har været Sådan. Ja men i bruger jo allesammen
8:40
alligevel nogle nogle c libraries eller nogle rust
8:43
librar eller Sådan et eller andet.
8:44
Så hvorfor skal vi gøre det fordi python er ligesom bare et
8:47
interface sprog der interface er med med noget som performer
8:52
nedenunder. Men nu er det altså muligt at
8:56
compile ja, det skal jo så siges at man skal hive alt python.
9:02
Koden ned og compile en turbulent selv med et bestemt
9:06
flag når man compiler det. Det går sikkert rigtig fint.
9:09
Jeg tror de har fuldstændig styr på det der, så når man så hiver
9:14
det ned på din computer, så laver du det der flag og så
9:16
kører du sikkert make make et eller andet python og så så
9:21
enten og bamler det på din skærm med noget GCC og alt muligt og
9:24
så. Eller klingen eller whatever, og
9:27
så siger det bare. Nu kan du nu køre din din din
9:32
pythonet turbul der. Hvor den her en turvær log er
9:36
tilsablet, så for eksempel hvis du spænder 5 tråde op, så kan de
9:40
arbejde samtidig og så går tingene hurtigere, hvis du har
9:42
noget. Men Der er også også en masse
9:44
ulemper ved det. Og nu skal vi ikke gå ind i alle
9:48
mulige tekniske detaljer men men Det er Sådan rimelig altså det.
9:52
Det er lidt en milde milepæl for python.
9:55
Så Jeg tror tanken ved det her release er ligesom at OK.
9:59
Nu prøver vi nu prøver vi lige at give det her til til alle
10:03
muligheden for at køre python. Med med global terminal-lock, og
10:11
så ser vi, hvad der sker. Så opdager folk alle mulige
10:15
problemer, og så begynder de også på de her.
10:18
Altså hvad er forholdet imellem python intervieweren og de her
10:21
bagvedliggende? Cibnings og Sådan noget.
10:24
Det skal man huske at. At python har Sådan et et API
10:30
ikke et API, men et ABI et APBABI binory interface og det
10:36
bliver og Det er et c interface tror jeg for snart Det er eller
10:41
Det er Sådan det også bliver omtalt og og Det er ligesom
10:44
måden du for python til at snakke sammen med noget c på.
10:50
Eller noget c kode eller et eller andet andet performer kode
10:53
og det. Det er ikke et et ABI, Der er
10:58
stabilt. Når man når man går fra den her.
11:05
Version af python over til. Den du compiler når du dissabler
11:12
den her global insever eller og det betyder at alle dem der har
11:16
alle de her ting du kan gøre fra python hvor du kan kalde noget.
11:20
Som er noget underliggende c det vil ikke virke Sådan out of the
11:24
box. Ja dem der provider de pakker.
11:30
De ville skulle ligesom gøre et eller andet for at få det til at
11:32
være kompatibel med den her nye computer variant og pyther, så
11:38
der kan man godt se. Der er ligesom lidt vej fordi at
11:40
holy moses hvor er der mange. Pakker.
11:46
Lompeje store spillere derude som har en eller 2 underliggende
11:51
c, som man gerne vil køre, ikke? Så det altså.
11:55
Jeg tror at de siger Det er ikke noget der bliver standard i
11:59
python at at det ligesom er disabet.
12:03
Men men man tænker måske Sådan en horisont der hedder 5 år
12:07
kunne det være rart at det så var default at den var det
12:10
samlet? Og så var så havde communitiet
12:13
ligesom rykket alle deres pakker og hele.
12:18
Ja, hvad skal man kalde det hele økosystemet og kan følge med,
12:24
for Det er jo gigantisk økosystem der følger med python
12:27
ikke som som også skal ting, så Det er ligesom ja, Det er
12:33
ligesom den den ene store. Hvad tænker du om det?
12:37
Jamen jeg tænker at Jeg kan huske første gang jeg var på
12:40
driving IT der mødte jeg en en python kort de billeder og han
12:45
fortalte så sagde jeg Sådan, hvad er det største?
12:46
Hvad er det største problem i roder med i python?
12:48
Så sagde han i'm vis the girl. Så sagde jeg Sådan hvad fuck er
12:53
it give altså jeg ved ikke altså jeg koder i python, men Jeg er
12:56
ikke Sådan så dyb i python vel? Men så fortalte han Det var
13:00
global log en tur, og Det var den der ligesom.
13:05
Gjorde at parthing kun kunne være single freddy og ikke kunne
13:09
være multifrednis. Og så.
13:13
Yeah lige præcis så så, og Det har bare været Sådan en en kæmpe
13:17
debat i hele python. Community altså dem, der ligesom
13:21
udvikler på det ikke ja, og så synes jeg bare det.
13:24
Det interessante det her step og på en eller 2 måde synes jeg
13:26
også Det er interessant hele den her politiske proces.
13:30
Der er ærmet at træffe de her beslutninger og få de her ting
13:33
ind og Sådan noget. Og jeg ved ikke Sådan.
13:36
Jeg synes også Det er interessant.
13:37
Det der med at at de Sådan skal tænke.
13:41
Features ind over altså år altså Sådan at at at Det er Sådan et
13:45
helt økosystem der skal følge med ikke og det.
13:48
Jo det. Ved jeg ikke, Det er bare en.
13:49
Det er en ordentlig tanker, altså.
13:52
Det er en tung, tung et tungt skib at vende.
13:56
Især når man så skal ændre i noget så grundlæggende så folk
14:01
ligesom altså det her ABI er jo noget folk har har brugt tid på
14:05
at integrere op mod ikke og og Det er da rigtig rigtig mange
14:08
der gør. Og altså jeg ved ikke om man har
14:10
sikkert haft alle mulige snakke om kan man have en version et af
14:13
det her API og en version 2 af det men men Det er bare ikke så
14:16
nemt fordi at. Hele det der applocation binory
14:21
interface er jo manglende kode og hvis du skal have 2 versioner
14:26
du shipper den med både det ene og det andet.
14:28
Det er nok lidt det man gør nu i virkeligheden når man har den
14:30
her. Du kan compile det med 2
14:33
forskellige, men du skal du skal tænke over at du kan ikke
14:36
compile det så du har begge 2 og for hvorfor kan man ikke bare
14:39
det tænker man så ikke altså og Det kan man nok ikke fordi hvis
14:42
du gør det jamen så så har du 2 gange. 2 gange python.
14:47
Tør du dig i virkeligheden ikke? Altså det Det er så meget kode
14:50
de har har lavet om. Tænker jeg at at man kan mærke
14:53
det på simpelthen hvor mange hvor meget det fylder altså
14:57
selve det også det at starte en turbridn op pludselig fylder den
15:01
meget mere i hukommelsen og Sådan nogle ting ikke der Der er
15:05
helt vildt mange overvejelser, ikke?
15:08
Så jeg. Tænker bare, Det er et
15:10
fascinerende arbejde, der ligger forud for Sådan nogle ting her
15:12
ikke. Og det må være Sådan.
15:14
Det må være en vild opgave at sidde og skulle træffe de her
15:18
beslutninger og blive enige. Og jeg tænker også Sådan, Jeg
15:21
har jo hørt altså Sådan dem der har stjerner i skulderen i den
15:25
på skulderen i den verden der Det er dem der koder.
15:28
Altså du ved, du ved, Der er det bare Sådan.
15:31
Jeg tror jeg hørte Det var David heinemier, der talte om det at i
15:34
open source verdenen Der er det ikke der, er det ikke demokrati?
15:40
Det er du får lov at bestemme, hvis du lægger timerne og hvis
15:44
du skriver koden. Og hvis du helt sikkert.
15:46
Fuck og ellers skal du bare plante udenom altså eller Sådan
15:50
100. Procent.
15:50
Eller ikke Sådan er det ikke altså.
15:52
Så må du godt komme med forslag og Sådan noget.
15:53
Men altså. Autoritet er proportionelt med
15:57
antallet af koder du har cut of beauty med på mange måder ikke?
16:03
Det tror jeg helt sikkert, at Der er Sådan en Kultur omkring
16:05
det. At du altså.
16:07
Har du bidraget noget, så har du også noget indsigt II det og så
16:11
har du selvfølgelig et et større sæge og det.
16:13
Det følger jo med at man man man får større og større indsigt i.
16:18
Hvordan virker det her ikke? Der er jo nok ligesom II linux-
16:24
kørende ud udvikling. Der er jo ikke nogen enkelte
16:27
personer, der ved alt om hvordan linux-kernen fungerer.
16:31
Det findes ikke. Du kan ikke ringe til en
16:33
supporter der siger nu skal jeg lige hjælpe dig her i nede i den
16:37
her linje 3.400.000 der står der det her og.
16:45
Jeg ved præcis hvordan det virker.
16:46
Nu skal jeg lige hjælpe. Og Det er jo millionerlinjer
16:49
kode ikke, og Det er også bare Sådan altså.
16:51
Der er ingen enkelt person, der der har et fuldt overblik over
16:54
det der, så Det er altså forskellige områder.
16:58
Det består jo i virkeligheden af et ton af moduler og forskellige
17:01
elementer og Sådan nogle ting. Og jeg ved også partan en
17:04
turbulen er jo ikke lige så stor, men Det er stadigvæk ikke.
17:07
Stadigvæk en rigtig, rigtig stort projekt.
17:10
Så. Ja så imponerende og Der er også
17:15
der. Er selvfølgelig også nogle andre
17:17
features altså Der er Sådan. Der er jo flere features, men
17:20
Det er jo helt klart den her gill som er.
17:22
Stjæler showet ikke, men så skal jeg lige nævne 2 hurtigt Der er
17:24
den her chit. Det er også en performance ting
17:27
en en Justin time compiller man kender det måske lidt fra
17:30
javascript, hvis man har rodet med det dybest set, så Det er
17:33
måske. Det kan være lidt svært at
17:36
forstå præcis hvad Det er man overordnet set.
17:38
Så går det ud på at at at en turbler ligesom observerer hvad
17:42
Det er for noget kode du kører. Og så siger den hov Jeg kan se
17:45
du kører noget her som. Nu tager jeg det her byte kode
17:52
som python laver noget bytekode og kører det i en turban og så
17:55
fortolker jeg det eller skriver det om til noget noget
17:58
maskinkode og det her maskinkode.
18:01
Det siger jo bare bavn. Det gør meget hurtigere og så
18:05
bare passer man i virkeligheden en turbulen, en turban som er
18:08
den del der fortolker bykoden, og på den måde kan man få et et
18:12
boost speedup og Det er jo super smart.
18:16
Og det Det er Sådan Justin time compileren virker ikke.
18:20
Så i stedet for at kompilere noget direkte til maskinkode,
18:22
som man gør, når man compiler kode normalt.
18:26
Fordi at partneren er compilsprog men det kom bare
18:29
heller ikke til maskinkode. Det kompeget til bytekode, som
18:31
bliver en turple en turbulen som er bygget.
18:36
Som er sin egen sin egen program, ikke?
18:40
Ja Det er det samme lidt kompliceret.
18:42
Ja så det der kan man også få et speedup så Det er den 2 ting der
18:46
også bliver arbejdet på og det gør jo at.
18:48
Det skal man også have, hvis man vil have den her.
18:50
Jitcompiler. Aktiveret, så skal man compile
18:56
pirae selv. Det er meget forvirrende alt det
18:59
der udtryk der, men Det er simpelthen hvor man ligesom går
19:01
ind og computer. Selve en turbulen til at have
19:05
dit compileren med sig. Og så kan man køre den også
19:12
ligesom man kan med den her guill så kører man den med
19:14
jitkrilleren. Men man kan ikke.
19:16
Man kan ikke få lov at køre begge.
19:17
Man må ikke både køre gild og en og git compileren, så man kan
19:21
prøve den ene eller den 2. Ikke så Jeg har stadig tilovers
19:25
og prøve det af og Jeg synes alle dem der sidder derude de
19:27
skulle til at gøre det fordi Det er i det hele taget også sjovt
19:31
at prøve at compile python selv. Det har jeg til gengæld gjort et
19:34
par gange. Jeg ved ikke hvorfor, bare fordi
19:37
Det er sjovt at se at det tager så lang tid.
19:41
Ja og så en en ny rapper altså når du skriver python i din
19:46
terminal så. Så kommer der jo Sådan en en.
19:52
Ja hvad hvad er det det hedder? Det står for REPL altså det står
19:58
for et eller andet printluop i virkeligheden så det du putter
20:01
noget tekst ind, så bliver det en turbul og så bliver det
20:05
printet i det her loop. Det er det som vi alle sammen
20:07
gør, når vi skriver i terminalen og eksekverer noget python kode,
20:10
så kører den den så kører den eval på det og så så så så Det
20:14
er Sådan interaktivt. Det er der kommet en ny version
20:18
af, og det skal man glæde sig til, fordi Der er åbenbart
20:20
rigtig mange nice ting som man har siddet og irriteret sig
20:24
over. Hvis man hvis man prøvede det af
20:26
at man når man skriver for eksempel en en klasse ind i den
20:29
der så er det next line og ententation og man kan ikke gå
20:33
op, og så er man nødt til Sådan. Ja så det føles.
20:35
Det har jeg aldrig rigtig følt super fedt for dem der sidder
20:38
med det, men Det kan man nu. Nu kan man ligesom gå op og ned
20:41
i teksten. Står her, der står her multiline
20:44
edin atidéting features collarized prums.
20:47
Ja history brusing past mode. Jeg ved ikke om Det er place mo
20:50
er, men Sådan ligesom det virker det.
20:53
Jeg har lige lavet Sådan en. Summery af kommentar
20:56
kommentarerne fra hack and use og Der er det Sådan Sådan noget
20:59
her som folk er oppe og køre over det synes de er fedt.
21:01
Så det, det tror jeg også. Det er Sådan quality of life
21:04
ting til python. Ja Det er alt sammen super fedt.
21:08
Det bliver bare bedre og bedre python og hvis man elsker det
21:11
sprog som jeg jo nok lidt gør kan i høre Jeg er lidt in love
21:16
så ja så bliver man glad når man får kommer til at releases.
21:21
Du kommer til at elske. Ellers kommer det til at hade
21:23
ugens repertoir på det. Nu må vi se.
21:27
Den secret sebret rap Det er det.
21:31
Videre til næste. Nyhed.
21:34
I anførselstegn lamatre komma 2 meta er tilbage med lama
21:40
modellerne. De har udgivet 4 modeller.
21:43
De har udgivet 2 lightweight modeller en en b og en 3 b altså
21:49
som b som i milliarder og parametre så 3 mia.
21:52
Parametre. Jeg bliver ved med at hver
21:54
eneste gang jeg ser et husnummer hvor der står 7 b eller et
21:58
vejskilt der Der er ude på motorvejen her hvor jeg bor der
22:00
står der 7 b et sted. På øen i afkørslen og Sådan
22:03
noget. Jeg kan bare ikke lade være med
22:04
at tænke på alle lemmer og ring tilgang.
22:06
Jeg ser det nå men de har udgivet en et b og en 3 b
22:09
lightweight modeller og så har de udgivet en 11 b og en 90 b
22:14
multi model. Ja.
22:19
Hvad skal man sige? Et af dem, så Det er ligesom en
22:23
en endnu en en implementel forbedring af metas elemashow
22:28
her. Ja de kører jo bare på altså.
22:32
De kører stadig i Det er meget sjovt, når de er begyndt at lave
22:34
3,1 3,2 altså bare Sådan continue release og så videre.
22:40
I øvrigt forstå dem bogstaveligt med det der komma et eller
22:43
andet, fordi de vil de formentlig en destilleret
22:48
variant af den her gigantiske 400.
22:52
Et eller andet milliarder parameter model altså
22:55
destilleret forstået på den måde, at man måske nok har brugt
23:01
den store model til ligesom at informere de små modeller om
23:04
hvordan hvordan de ligesom skulle opføre sig i en eller 2
23:08
forstand. Bare at man har man har brugt
23:11
den på en eller 2 måde. Det tror jeg efterhånden alle
23:12
kalder destillering i en eller 2 forstand og Det kan være Der er
23:17
mange forskellige varianter af det der man kan decideret
23:19
generere træningsdata, men man kan også bruge dem til ligesom
23:22
at sige ja og nej til noget de putter og Sådan nogle ting ikke
23:26
okay hvad hedder det? Ja.
23:29
Og så ja og så hvad hedder det? Der er jo selvfølgelig den her.
23:33
Jeg synes Det er lidt interessant for at tænke lidt
23:35
over, hvorfor gør meta det her? Ikke fordi i kan få stor
23:37
lovprise dem og sige for det fantastiske og open source model
23:41
og så videre. Jeg havde faktisk lige 1 1 1
23:43
lille LinkedIn tråd som jeg delte her eller en post jeg
23:46
lavede hvor jeg Sådan prøvede at høre Sådan mine folk i min
23:50
netværk Sådan hvad er der overhovedet nogen der bruger de
23:52
her open source modeller og er det rent faktisk Sådan?
23:55
Har det noget nyt rent faktisk nytteværdi derude.
23:57
Ikke bare ikke bare Sådan. Du ved lokalt på computeren, men
24:00
Sådan ude i produktion. Og der var faktisk overraskende
24:03
mange der skrev Sådan at at de brugte altså de brugte de her
24:08
open source-modeller til at ja simpelthen køre on prem, altså
24:12
fordi Det er bare den eneste den eneste.
24:15
Hvad skal man sige mulighed? Mange steder i virkeligheden.
24:19
Hvis du har noget der bare freaking ikke må gå ned.
24:21
Og Det er bare vigtigt, at der ikke er nogen der bare.
24:24
Lige pludselig klipper linen til en eller 2 et eller andet API.
24:29
Så er det bare Sådan mission credit at at have det her til at
24:32
køre ikke og at på en eller. 2 måde, de må ikke må sende det ud
24:36
over nogle nogle bestemte landegrænser og Sådan nogle ting
24:39
der der Der er jo mange. Står, men bare det.
24:41
At hatten og køre den selv i virkeligheden er job done
24:46
faktisk. Overrasket over hvor mange der
24:47
egentlig var og på en eller 2 måde, når man tænker over Sådan
24:50
hvis man er. Hvis man gerne vil lave noget
24:54
software som som beror på den her funktionalitet og som hvor
24:58
Det er en vigtig feature og Sådan noget, og Det er en en
25:02
tiksoffer som er en del af en forretning som tjener mange
25:05
penge eller vigtige en eller 2 sammenhæng.
25:08
Så er det jo så bliver man sgu nødt til at Sådan nogle tage
25:10
Sådan nogle af de ting seriøst. Altså fordi det skal køre i
25:14
morgen over morgen om 5 år om 10 år måske og så videre ikke og
25:17
Det er jo. Det er jo centralt for for
25:20
forretningen, ikke? Jo, men Det er jo også blevet
25:23
altså Det er jo blevet nemmere end nogensinde før at ja, Jeg
25:27
kan ikke huske hvornår vi i podcasten for første gang nævner
25:30
det her projekt. Åh lama som jo er totalt.
25:37
Jeg tror næsten ultimativt det største surfing.
25:42
Framework lige nu, ikke? Derude jeg skal ikke vide mig
25:47
100% sikker men det altså alt hvad der hedder lama i hvert
25:51
fald og Der er i den der arkitektur og lama CP og alle de
25:54
der ting som det jo også bygger på.
25:56
Altså Det er jo simpelthen den nemmeste nemme at gøre hvis du
26:00
skal pløje det her. Find server med en GPU installer
26:04
orlema sig. Jeg vil gerne køre den her store
26:07
model. Kør den, det virker den har du
26:10
kan. Du kan connecte til den med
26:13
openy ice STK fra python. Du skal bare pege over på noget
26:17
å lama altså det altså. Man bliver ikke nemmere der
26:21
sågar embedte modeller også i den der verden der så det Det er
26:25
jo. Det er ret svært, de har gjort
26:27
det. Der er jo allarming.
26:28
Altså det skulle det skulle. Cool Det er jo det ikke altså.
26:33
Så ja. Jamen så du ved jeg.
26:35
Jeg tror bare at rigtig mange brugere.
26:40
Ser ikke nogen umiddelbare fordele i det stadie de er på at
26:44
lave de her applikationer i at du ved det pløjer en hel model
26:48
selv og kører den onprem og open source og Sådan noget.
26:51
Der er det altså også. Der er det bare nemmere at at
26:53
hive fat i opening og i via ash show måske hvis Det er super et
26:57
eller andet GDPR whatever. Kritisk ikke og Det er Det er
27:02
air front timer modeller fra oakany og antropic og så videre
27:05
ikke så så og Det er altså man får meget ud af boksen når man
27:10
bruger de her hostede løsninger. Ikke fordi fuck Der er meget
27:13
bøvl man ikke kan rode med med hosting og altså Det er jo
27:18
server leis basically og man kan find tunge i deres app og så
27:21
videre så Der er prump cast altså der Jeg tror man får ret
27:24
meget out of the box. Så ja så det den fjerner en stor
27:29
barriere for at komme i gang ikke, men Der er altså folk der
27:31
bruger de her ting de har åbne modeller, så det ville jeg bare
27:34
lige sige men men så derfor har folk selvfølgelig glade for at
27:37
meta udgiver dem, men de har jo også en eller 2 form for
27:41
forretningsinteresse i det her. Det siger de også selv.
27:44
Altså man skal ikke være naiv og tro at de bare gør det her for
27:47
deres egne blå øjnes skyld eller altså de de de hvad hedder det
27:52
altså Der er mange der Sådan ligesom tror at de.
27:54
Ligesom gøre det bare for at underminere konkurrenter som
27:57
openærer og så videre. Og ligesom, og Det er i
28:01
virkeligheden er fordi de vil eje den her åbne standard for
28:06
alle elever ikke. Og Det er jo også derfor de
28:08
Sådan de laver det. De har også udgivet det der
28:10
hedder lamast-stack, som er Sådan en developer friendly
28:14
lamast med løsninger til deployment og integrere lamaer
28:19
af forskellige ting og sager og jules til at lave agenter.
28:24
Function calling og sikkerheds features og Sådan nogle ting
28:28
ikke? Så de bygger jo et økosystem og
28:31
de det vil de gerne sidde på hårdt, ikke?
28:35
Altså de gør det nemt lavet pythals ikke så de de er jo
28:38
mestre i et på mange måder i det der, og det sker jo først typisk
28:43
det der med at man har et internt behov i en stor
28:46
virksomhed som meta hvor man skal rulle det ud til alle
28:49
mulige applikationer man jo ejer og derved.
28:53
Ja framework og så ud af det og og Det kan de jo finde ud af.
28:57
De har jo dygtige, dygtige så for ingeniører til at lave den
29:01
slags jo så jeg altså. Jeg er ikke overrasket over at
29:05
de vinder på det område der. Det må jeg ærligt indrømme,
29:08
fordi at Sådan et sted som åbninger Jeg er har slet slet
29:11
slet slet ikke kapacitet til at lave Sådan noget software.
29:15
Altså det Det er meget mere fokuseret på.
29:19
Altså det her narrospace med med modeller.
29:22
Når vi snakker pytals øh, som de dybest set er storforbrugere af
29:28
ovre hos åbne jeg. Men som Jeg er forestille og
29:31
opvokset og videreudviklet og vedligeholdt i høj grad af meta
29:36
og selvfølgelig andre store folk som som som er hoppet med på nu,
29:40
er det jo blevet en del af linux foundation og Sådan noget ikke.
29:42
Men så så Det er Det er bare. Det er selvfølgelig gør.
29:47
Selvfølgelig kommer meta ud, men men noget til den den stakkels
29:51
kan man sige. Det undrer jeg ikke helt, synes
29:54
jeg. Men altså de er jo også bagud
29:57
ikke altså Det er jo også derfor de ikke altså hvis de var helt
29:59
fremme og de allerbedste, så havde de jo heller ikke bare
30:01
givet det væk på den måde. Vel så.
30:04
Jeg ved det ikke altså jeg. Jeg tror Jeg tror rigtigt at at
30:09
mark zuckerbergs Sådan at mener at at at det skal være i open
30:15
source, men Det er klart altså hvis de havde været de første.
30:18
Firstmoverne på det der om. Ja Det er Sådan kontrakter,
30:22
faktisk drikulation, men hvis de havde, hvis Det var dem der var
30:26
åbne i ej, ville de så og have siddet på så meget viden også
30:30
som der måske er kommet ud af det og opdaget scaling-lov og
30:32
alt Sådan noget der ikke. Ville de så have bare givet det
30:36
frit, i don't know. Nej nå, men Det er i hvert fald
30:39
spændende med den her Sådan det her.
30:41
De er så åbne omkring dig og så at vi begynder at lave det her
30:44
lamast-tack som Jeg har ikke lige fået altså Sådan, men det
30:47
ser ud som om at det Sådan er. Ergonomt altså ergonomics til
30:53
til at bruge legema modellerne simpelthen for at gøre det
30:55
nemmere at få folk at lave bye inde på deres økosystem.
30:59
Ikke så ja, Det er spændende. Det er spændende, og de er jo
31:03
selvfølgelig. Modellerne er jo selvfølgelig
31:04
gode og Sådan noget så. Ja de laver power moves de kunne
31:11
meta der må man sige. Ja, må man sige.
31:15
Yes det næste Vi skal snakke om Det er noget der hedder.
31:19
Det var en en af Vores lyttere. Som hedder, som hedder 2
31:26
sekunder som hedder Jesper. Andersen, som skrev ind.
31:32
Og angående de her liquid foundation models, og man kan
31:36
sige Det er en virksomhed der hedder liquid dot AI og de har
31:41
lavet blogpost hvor de har skrevet off first Series of
31:44
genery AI models. Ja så altså og de de de siger at
31:50
Det er nogle ganske særlige modeller som er noget der hedder
31:53
liquid foundation models LF ms. Altså de har fået det der sejre
31:58
lille forkortelse deroppe og de. For state of the art performance
32:04
selvfølgelig og har mindre memory og food printere og mere
32:07
effektiv og sikkert også mere kontekst længde.
32:14
Det har også noget, hvor de viser i hvert fald hvor hvor
32:17
godt de jubler. Altså den der kontekst længde,
32:20
den der rule benchmark som som folk bruger.
32:23
Jeg er faktisk ikke helt bekendt med hvad Det er.
32:25
Det betyder ikke hvad Der er nogen derude.
32:27
Men der der der peger de også på den klarer sig helt vildt godt
32:30
på det, og Det er Sådan et eller andet med at at benchmark på
32:35
hvordan klarer den sig når du putter så og så mange togbens
32:38
ind så og så mange togbens ind og så har man forskellige
32:41
niveauer af Torben forbrug for at se sig hvordan den klarer på
32:44
de task den her. Det er sikkert Sådan noget med
32:47
at introducere støj og forvente det samme output og Sådan nogle
32:50
ting der. Nå, men de bliver Sådan ligesom
32:53
kritiseret for at Det er close source og især når de her små
32:57
modeller de har lavet nogle modeller i 1 mia. 3 mia. 40 mia.
33:03
Rangen der og der har de ligesom fået noget kritik for at altså
33:07
come on open-source altså især når de er så små modellerne
33:11
ikke. Det virker Sådan, og de kommer
33:15
Sådan heller ikke super meget ind på.
33:17
Hvad skal man sige selve denl arkitekturen?
33:20
Altså de skriver lidt om at. De har brug for.
33:23
Ikke en transformator. Og så brander de lidt med det
33:29
her liquid. Sådan noget ikke altså nu er
33:32
det. Nu er det ikke for at gøre grin.
33:36
Altså overhovedet, men men nu sidder vi og griner af det.
33:38
Ja, og det virker bare ikke som om Der er så meget kød på den
33:41
her altså Det er Sådan lidt. Hvad skal vi bruge det til
33:45
Sådan? Ja jeg jeg gik ind og prøvede
33:48
deres model i bare for lige at se hvordan det gik og.
33:51
Og bare lige chatte med den med den med den største af dem som
33:55
er Sådan en. Hvad er det?
33:57
60 nej Det er Sådan 40 mixtur xput med med 40 mia. parametre.
34:05
Og den den kunne godt skrive lidt dansk.
34:07
Det var Sådan lidt danclish ligesom alt det andet Der er
34:09
derude der ikke er så godt på dansk og Sådan nogle ting.
34:13
Og hvem der kunne løse nogle nogle nogle python opgaver og
34:15
Sådan nogle ting og den det klarede den sig faktisk rigtig
34:18
fint i. Og så.
34:22
Det var virkelig hurtigt. Den svarede altså.
34:24
Det var bare nærmest det det gav.
34:27
Det var tydeligt at det det ikke var streamed, for det gav mening
34:30
at streame det. Det så simpelthen.
34:32
Det ville nok have set mærkeligt ud i virkeligheden.
34:34
Ja, så Jeg tror bare at Det var bare Sådan en.
34:37
Fyr vendt nogle millisekunder på få svaret og Det var altså ret
34:42
meget tekst. Den kunne output på meget kort
34:44
tid, så et eller andet er der i hvert fald, der går godt for dem
34:48
på det der lancy, men Jeg har også Sådan lidt svært ved det
34:51
der med at når man læser det, så er det lidt ligesom at måske er
34:56
der en tekniker der først har skrevet det der.
34:59
Og så er der nogle andre Der er kommet hen, og Det er alle
35:01
forretningshemmelighederne. Du siger noget om det, og så er
35:04
man ligesom bare. Hvis hvis man tog blockposten og
35:08
fjernede alt forretningshemmelighederne, hvad
35:10
fik man så ud af det? Så er det nok det her, man fik
35:12
ud af det, altså hvor der faktisk ikke står noget om noget
35:15
i virkeligheden. Der står bare Det er super godt,
35:18
og Det er liquid og. Og vi hedder jo liquid.
35:21
Liquid. Og og og og Det er noget med at
35:24
det og så skriver de Sådan noget.
35:26
Vi vi kalder os liquid fordi at Det er noget med noget fysik, og
35:31
Vi er inspireret af Sådan nogle. Liquid altså modeller.
35:35
I fysik til at modellere Sådan flutes liquid labar ikke og
35:41
noget filosofical systems, signalue processing og noget
35:46
lineær algebra. Og Det er jo selvfølgelig unikt
35:48
at de kan lave linie algebra, men men men mere det der med.
35:55
Altså. Hvad, hvad vil det så?
35:57
Hvad er det så? Hvad er det?
35:59
Altså er det en orat netværk? Det går jeg næsten ud fra.
36:01
Det sætter noget mixt of express, og hvis man kalder sig
36:04
mix of Facebooks, så er man jo nødt til som minimum at have
36:06
nogle netværk i hvert fald. Men Det er så ikke så er det
36:10
ikke attention, så er det noget andet de har noget konstant
36:13
memory det vil sige så kan det ikke være attention, så må det
36:16
være et eller andet andet. Er det Sådan noget Stage space
36:19
noget? Hvor er vi henne og det snakker
36:22
de her og det synes jeg også er lidt mærkeligt fordi Det kan
36:25
ikke være så hemmeligt at Det er noget de selv har opfundet som
36:29
ikke kan findes et eller andet sted et paper der i hvert fald
36:31
er 90% af vejen til det, så er det jo Sådan noget ground
36:35
breaking noget de har lavet lige pludselig hvor de så.
36:37
Det hemmeligt det Vi har lavet. Det er super hemmeligt.
36:40
OK nu bliver jeg faktisk lige pludselig.
36:43
Nu bliver jeg lige pludselig fordi Jeg kan huske på et
36:45
tidspunkt, så var der noget der hed lig der var Sådan på et
36:47
tidspunkt noget der på hypede man kunne.
36:49
Det hedder rammen hassany som begyndte at snakke om Sådan
36:53
noget liquidn euro network, og han har blandt andet lavet en
36:56
tedtalk kan jeg se? Og nu har jeg lige researchet 2
37:00
lidt længere ned i tingene. Og han har vist også lavet et
37:06
pay-op på det. Kan det passe?
37:10
Nå OK, men men det kunne måske være meget spændende, hvis vi
37:12
lige havde researchet lidt bedre og eller.
37:15
Og og førte lort af ikke men altså lad os nu tage fra teksten
37:20
her ikke den her LFM som den den skal hedde liquid foundation
37:25
model Jeg tror også de generelt så går det ud på og Det kan man
37:28
også læse på at de vil gerne være noget andet end GP t'er
37:32
altså. Generelt eller hvad hedder det
37:35
preetraints transformmers ikke? Og og Det er jo også fint nok,
37:40
men de skriver jo så her at altså.
37:44
Så deres. Den den incritable performance,
37:50
ikke? Af af sin størrelse og det.
37:53
Det er altså godt. Fantastisk.
37:57
Så står der at den den et procession as first place a
38:03
måned 3 b parameter, transformers hybrider og er en 2
38:09
modeller. Men så outperformer den også
38:12
tidligere 7 b og 13 b modeller. Nu troede jeg jo, at jeg skulle
38:15
til at sige noget om at måske gav et hint om hvad Det var for
38:18
en arkitektur, men det gjorde det jo overhovedet ikke.
38:20
Den sætning der altså. Der var ikke bare mere
38:23
information om det. Der stod du?
38:26
Og ja, men altså jeg. Har lige fundet frem til paper
38:29
som ham her i en af founderne sattede til ramin hasani har
38:33
skrevet som hedder liquid time constant networks.
38:37
Og ja så har skrevet payvarmt det i 2020 og ja altså den
38:45
linker jeg lige til en showotes hvis man gerne vil læse videre
38:47
på den. Og Det er jo godt at høre titlen
38:50
konstant. Time at at det i hvert fald ikke
38:53
er til hensyn, som vi kender det traditionelt.
38:55
Men Der er en eller 2 form for konstant memory forbrug konstant
38:59
tid og det hænger lidt sammen. Det der konstant memory forbrug
39:02
konstant tid og det lugter lidt af noget statsbays slash noget.
39:06
Noget recordent ikke? We interviews and new class of
39:10
time continue recorent new network models.
39:14
En steet of the cloring a learning systems psystemics by
39:18
implicit non line oryes we canstruct network sel of line
39:22
your first order andamics systems mobile dyre inun your
39:27
intelling gtes ja og så tager jeg gang i noget de har gang i
39:30
noget. Men den er en 2 variant, men Der
39:33
er jo også det der. Er det ikke Sådan noget.
39:36
Ja og hvor var det nu? Jeg hørte noget med at at nogen
39:39
havde taget den gamle RNN, og så havde de bare strybet den
39:42
fuldstændigt fra fra alle mulige ting i den der RNN som man
39:46
havde, som ligesom var Sådan lidt old ting.
39:49
Altså Det har taget den gamle klassiske, og Det er ellers bare
39:51
stribet den fuldstændig ind til alle alle mulige elementer, som
39:55
man ikke havde brug for aktiveringsfunktioner med noget
39:57
tangens og en eller 2 fis, Der er Sådan bare væk med alt det
40:00
der. Som måske også har taget den der
40:03
meget ikke paralleliserbare ting væk, og så var der alligevel
40:07
noget der så kunne paradis i den, fordi at så var algoritmen
40:10
til at paralisere, og så havde de bare os skaleret den op med
40:13
skalingslov, og så var det bare Sådan.
40:15
Åh den er også mega god. Den kan jeg også.
40:19
Den kan også rigtig godt og og den er mere memory fishion fordi
40:23
Det er den jo så fordi den er en n og det ikke er attention og
40:28
hvis vi bare skælder den op også.
40:30
Men at at at vi prøver at gøre den skalerbare træningsvejs.
40:36
Og så har jeg også fået super fine resultater på det.
40:39
Og så er det ikke en transformer, og så er man altså
40:41
Sådan, så er vi måske ude i. Ude i Sådan nogle sjove ting
40:45
ikke. Hvad er det rent faktisk der
40:46
virker i de her modeller her? Jeg synes egentlig Det er lidt
40:48
interessant. Ikke fordi er Det er det
40:50
transformer er det attention og og der bliver Sådan lidt stillet
40:54
spørgsmålstegn ved. Er det virkelig 18 der gør at
40:57
det her Det er eller er det kommer vi frem til at det
41:00
simpelthen bare er Det er en scaling lov vi vi får på et
41:03
eller andet tidspunkt, så får vi Sådan, så får vi Sådan
41:06
statistergaard powerlo- teori, det får vi så for.
41:11
For for neuralen netværk, og så kan vi ligesom bare Sådan.
41:15
Så handler det egentlig bare om at have en arkitektur, der kan
41:17
skaleres computermæssigt. Bedst muligt og så er det bare
41:21
scalingloven der bestemmer det. Det synes jeg altså hvis det
41:25
hvis Det er et eller andet hvor vi ender i Sådan en teoretisk
41:29
nevana og Det er det vi opdager at det Det er bare det her og så
41:33
alle lige pludselig Sådan fokuseret på.
41:36
Gud Det er bare computer. Det er bare det ens handler om.
41:40
Så Det er Sådan lidt jeg sjov bare.
41:42
For mig for mit vedkommende, så er der bare så meget
41:44
information, og Det er svært at forstå det hele og så.
41:47
Men det gør også at Det er nemt Sådan at.
41:51
Markedsføre sig. Til funding og til til
41:55
opmærksomhed og Sådan noget ikke eller Sådan ligesom.
41:58
Så er det hemmeligt du ved. Uh så siger vi det ikke til
42:00
nogen. Du ved Jeg har en vild
42:01
teknologi, men vi siger det ikke til nogen og i virkeligheden så
42:03
tror jeg jeg tænker Sådan nogle gange på, at Jeg tror også at
42:06
opina spiller på det her med at. Nyde godt af at folk tror de har
42:10
noget vildere teknologien de måske har.
42:14
Ja altså det synes jeg måske bare er lidt ærgerligt perd onic
42:18
altså som er Sådan gør det lidt mere hypet og lidt mere Sådan.
42:23
Der ikke men. Altså man skal lære de bedste.
42:26
Ja men spændende i hvert fald. Jeg tror lige Jeg vil prøve at
42:29
læse lidt mere op på de der liquid time.
42:32
Hvad fanden hed den liquid time constant networks til næste
42:37
gang? Nu skal vi gå videre til til en
42:40
bonusrighed. Som Jeg har med inden vi går til
42:43
ugens revol og Det var en. Det er en et paper som Jeg har
42:47
set på hvor hacker news helt oppe i toppen på hacker news i
42:51
dag og det hedder defenual transformers og ja og Jeg tror
42:57
Jeg synes egentlig Det er en meget Sådan interessant ide de
42:59
roder med her. Ideen er ligesom at transformere
43:03
i deres attention. Mekanisme har en tendens til
43:06
Sådan at over allokere attentionen til noget irrelevant
43:10
kontekst. Og og Det kan optræde som Sådan
43:14
en form for attention støj. I altså Sådan jeg ved ikke.
43:19
Kan du forestille dig det altså Sådan du ved du har mig rigtig
43:22
meget tekst og så bliver der tentet lidt til lidt forskelligt
43:25
og Sådan noget hvor man i virkeligheden tager det bare
43:28
Sådan ret lidt. Du behøver at tænde det til
43:30
nogle gange ikke? Og der der har de ligesom hvad
43:35
skal man sige fået en ide om at lave noget de kalder for
43:39
differental 18 hvor de ligesom. Laver så vidt Jeg kan forstå, så
43:44
har de. En eller 2 form for Jeg tror Det
43:48
er 2 separate software eller software max 18.
43:54
Ting, som ligesom bliver trukket fra hinanden, hvor at den både
43:57
har til opgave at beholde, altså at tænde det til det de
44:01
relevante, men også at. Prøve at fjerne noget af det,
44:06
den ikke skal er tendende til. Det er Sådan ideen.
44:10
Jeg ved ikke om Det er om det. Det bliver trænet ind i modellen
44:14
det her. Det kunne man jo godt forestille
44:17
sig, men de siger i hvert fald at det det det ligesom.
44:20
Reducerer Sådan modellens distriktion for irrelevant
44:24
kontekst og gør, at det, Det er den her tention, bliver mere
44:28
spars og bliver mere fokuseret. Og hvad kan man sige har har
44:34
hvad hedder det? Altså kan forbedre Sådan noget
44:37
information retrived og minimere hallucinationer og så videre,
44:41
fordi den er Sådan mere fokuseret på det.
44:43
Det er Sådan en en øget attention.
44:46
Sådan en en forbedret attention i virkeligheden.
44:50
Skulle det være og? Ja og så synes jeg bare Det er
44:54
interessant. Hvad skal man sige?
44:56
Interessant ide det her med at der kan være støj på attention
45:01
linjen. Øhm ja altså.
45:05
Og Jeg synes altid Det er fedt med de der Sådan.
45:09
Sådan måske altså Sådan rimelig simple, måske også engang
45:12
imellem, men altså Sådan de der små skridt.
45:15
Der gør selve model arkitekturen bedre.
45:19
Det virker ja. Det virker som om at nu jeg
45:21
læser kun på abstract niveau. Lige nu kan jeg godt afsløre, og
45:24
du har læst mere om det, men men er det korrekt forstået at at II
45:30
sin essens i virkeligheden er? Skriver noget med 2 separate
45:34
software. Attention maps.
45:38
Der bliver trukket fra hinanden som.
45:39
Bliver som netop bliver. Hvad kan man sige hvor den ene
45:42
ligesom på en eller 2 måde? Moduler Sådan en kontra 18 så
45:48
man så trækker fra. Ingen ide om det giver mening.
45:53
Det er siger kontra attentation, men Det er fordi Det er jo Sådan
45:57
dif altså differential ikke det. Det ligger også i ordet, så Jeg
46:01
kan bare Sådan se det for mig at ja man prøver at komme udenom om
46:05
om det her støj ved ligesom at prøve at måske at modellere
46:08
noget af det det støj og så trække det fra ja.
46:11
Nej, er du nok? Men Det er jo 1 1 1 1 rimelig
46:17
fornuftig forskningsdagsorden tænker jeg at at sørge for at.
46:23
Ja den her los den er melde end det andet never yals
46:29
problematik. Den bliver løst og store
46:32
kontekstvinduer er pludselig stadig viable og lige så
46:35
performanc som som når du putter dem ind.
46:37
Altså mere fokuseret kontekst ind ikke, men spørgsmålet er jo
46:41
bare stadigvæk. Altså er det ikke stadigvæk hvis
46:46
du så kan hjoelise. Hele dit kontekst vindue
46:50
fornuftigt, så ikke stadigvæk. Meget computer.
46:54
At gøre det. Også selvom du har trænet en
46:58
model der så der, så kan finde ud af at bedre at.
47:02
Dykke ned II alt det du putter ind og retreape det rigtige
47:07
lille hate-stærk problematik og Sådan nogle ting ja.
47:11
Men men spændende. Men altså Det er ligesom.
47:16
Ja, men Det er Sådan en. Det er i hvert fald Sådan det
47:17
frihncal 18. Ting hvor at som åbenbart skulle
47:24
give et ja gøre det bedre, og Det er meget sjovt Sådan i
47:27
kommentarene Der er der nogen der ligesom.
47:29
Prøver at sammenligne det med Sådan nogle noise cancelling
47:32
headphones. Altså Sådan ligesom jeg ved ikke
47:36
om Det er en, men i hvert fald. Sådan Det er noise cancelling er
47:39
det ikke nu? Nu ved du jo en del om det jon
47:41
og du har jo arbejdet med Sådan noget.
47:44
Sådan noget lysshow der men er det ikke bare at sende
47:47
modsatrettede lydbølger? For ligesom at.
47:51
At, hvad kan man sige fjerne? Fjerne støjen.
47:55
Modellere modellere støjen og så så inversten og sende den sende
48:00
den den 2 vej. Så har man selvfølgelig
48:04
højttaleren inden i headsettet. Spiller lyd ind, men så har man
48:08
også en mikrofon på ja, altså forskellige musikal eller flere
48:12
forskellige steder på på headsettet.
48:14
Sådan ligesom optager den omgivende lyd og så optager den
48:19
og så ligesom inden i headsettet.
48:24
Ja. Sender du fast og så og så
48:27
spiller jeg den 2 vej ikke også og så pludselig havde du
48:30
cancelled den om altså Det er jo ret simpel i virkeligheden, og
48:34
Det kan jeg godt se. Intuitivt.
48:36
At den form for modellering jo noget man kan bruge i andre
48:39
sammenhænge, ikke? Det er også derfor, at Det var
48:42
netop lige præcis det jeg tænkte, da jeg Sådan så det der
48:45
eller læste det der abstract der det lyder lidt som Sådan en
48:49
noise cancelling headphone. Ja jeg.
48:52
Trænger til det. Jeg er bare interesseret i
48:54
Poulsen. Det kom, hvor det optræder i
48:56
læringen. Altså det ligesom bare Sådan en
48:59
jamen. Tror du ikke bare man skal man
49:00
har et lag hvor man simpelthen skal modellere det der støj der.
49:03
Og ja, Det har du selvfølgelig ret i hvor at loss funchionen
49:06
til at moulere støjd. Ligesom det kommer ind henne.
49:09
Ikke Det har jeg ingen ide om, men det det skal man nok dykke
49:12
ned i det der for at finde ud af kan man sige.
49:14
Det er vi Sådan et eller andet sted den der multihad attention
49:16
hvor det Sådan bliver. Hvor det bliver different sjatet
49:20
det her ja nå men spændende ide. Jeg synes bare ideen om og Jeg
49:24
synes Jeg tror måske også bare ideen om at.
49:27
Attention støj også bare er interessant.
49:29
Det kan jeg godt forestille mig også med når man har siddet og
49:32
prompet meget og straffet kontekstvindue og Sådan noget.
49:38
Som kan man godt ligesom Sådan intuitivt få.
49:40
Sådan synes jeg bare intuitivt det giver mening at.
49:43
Hvem hvem? Hvem har ikke?
49:45
Hvem kender ikke følelsen af at have chattet rigtig lang tid med
49:47
chatkebot? Og pludselig så.
49:49
Føler man at Det er en en med alzheimers man.
49:53
Man har siddet og snakket med. Altså det der med at den bliver
49:56
Sådan forvirret og kan ikke finde rundt i altså hvilket OK
50:00
fair nok du sender 1 mia. tokens til den, så men altså.
50:04
Jeg var bare i iteration 10 altså slap dog af.
50:09
Nå ja. Paper jeg linker til det i show
50:13
notes gør det Jonas Det er blevet tid.
50:17
Det er blevet tid til ugentlig skal vi?
50:18
Have en jingle kan du? Ikke lige gå over og straffe
50:21
straffe trommerne omme bagved. Tid til ugens repo.
50:26
Ugens repub ja og Sådan. En kong næste gang.
50:31
Ja, du må lige skaffe en kong til næste gang.
50:34
Super. Vi har jo snakket om python i
50:39
dag. Python 3,13 og.
50:43
Det Vi skal snakke om her. Det er python libery som er
50:45
kommet ud for ikke forfærdeligt længe siden, og Det er en Det er
50:50
et partnerlivery som hedder intet mindre end fast age age.
51:00
Ligesom fast. Ja ligesom første pirate, og Det
51:04
er en Det er en gut der hedder Jeremy.
51:08
Hvad er det nu han hedder til efternavn Jeremy?
51:12
Det er ham Der er tror han også har et en virksomhed der faster
51:17
ej. Kan det passe.
51:21
Anthot dot a ja tror jeg ja ja nå antor.
51:24
Dot d ja i hvert fald. Sådan en professor, som er Sådan
51:27
rimelig kendt IIAI verdenen i hvert fald og har og så
51:32
professorer iværksættere og så videre.
51:36
Han er professor. Republik yes lige præcis, så han
51:40
har udgivet et rap, hvor at han har blandet.
51:45
Ja, Jeg tror i virkeligheden Det er HTMX og ASGI kan det passe
51:49
Det er det der hedder. Aske er jo den her webserver
51:54
specifikation til python asynkrone webservers som faste
51:58
Pierre jeg også kører på som juicorn server for eksempel.
52:03
Og jeg troede faktisk til at starte med at det her fast age
52:06
your met var bygget ovenpå fast PI, men Det er det ikke, men Det
52:11
er meget inspireret af faster depri i fordi Det er bruger.
52:14
Aske i og. Ja så så så man får meget den
52:20
der man kører med jupi corn og så videre og så så er der så
52:23
bruger den så også det her HTMX til at gøre således at man kan
52:29
definere ja basically HTML. Og Det er vel så HTMX Jeg har
52:34
ikke super skarp på på på de 2 ting men hvert fald HTMLII
52:41
python kodet som. Det er simpelthen et godt
52:43
sammensurie af en masse ting, man ved fungerer og så puttet
52:47
det sammen til til noget der hedder python fast HTML.
52:52
Og skal måske bare lige snakke om altså bare ligesom lidt for
52:54
dummies. Hvad er HTML og hvorfor vil man
52:56
gerne? Gøre brug det og Det er makker
52:59
panguage til website. Cup language Det er jo den det
53:03
primære vi troede vi skulle sende det over webbet altid til
53:07
evig tid dengang der hed statisk websites, hvor man jo bare
53:11
hentede noget noget tekst fra i det her hyper bla bla.
53:18
Og for i fik det vist til sin browser, så hvis man hvis man
53:22
kan finde nogle virkelig gamle gamle websites, Der er helt
53:25
statiske som nogen stadigvæk står og og kører bare fordi Det
53:28
er en nostalgisk at gå ind på, så kan man bare se hvordan Sådan
53:30
noget råt noget ser ud. Eller når et eller andet content
53:34
delivery network som en side gør brug af pludselig er nede og man
53:38
ikke kan hente alt sit flotte CSS så får man Sådan nogle
53:42
horible bokse i meget grå kedelige toner rundt omkring i
53:47
sit på sit website. Og så tænker man Det er Sådan rå
53:50
HTML ser ud ikke? Der har man ellers, så har det
53:55
jo ændret sig det HTML 4 så er det hedder det HTLF 5 eller
53:58
Sådan noget der ikke? Så har man stylet med startet
54:02
med CS. S.
54:04
Og så er der mere CSCS. CS så det ser lidt mere lidt
54:07
mere moderne ud. Lidt mere interessant ud.
54:10
Lidt mere spændende ud, ja. Og så kan du så kan man også
54:13
bruge javascript til ligesom at manipulere det her HTML og jarbo
54:17
script. Det kan køre i browseren.
54:19
Det er rigtigt. Og styre dommen simpelthen, som
54:22
man kalder det. Og Det er vel en af årsagerne
54:25
til at det javascript er et super populært sprog.
54:29
Fordi Det er browserens sprog. Ja lige præcis, men så og og der
54:33
har jo været en drøm for mange mangen.
54:36
En pyton udvikler som ikke orker nu snakker jeg ikke om mig selv.
54:41
Ej nu skal i lyde mig selv, men som bare fucking ikke orker det
54:44
der javascript og tænker Sådan kunne man ikke få lov at lave
54:47
webapps uden at skulle lære javascript og Det er så her så
54:52
vidt jeg forstår det her min mangel på forståelse Sådan
54:55
glipper lidt tror jeg. Men det her HTMX kommer ind i
54:58
billedet. Er det korrekt forstået Jonas?
55:01
Kan du ikke hjælpe mig her, eller?
55:04
Altså man kan sige HTMX er et lille bitte bitte javascript
55:09
library. Som giver dig noget meget Sådan
55:13
grundlæggende funktionalitet. Til at kunne opdatere
55:19
forskellige HTML elementer dynamisk, så et af problemerne.
55:25
For eksempel når man bruger Sådan noget som jango.
55:27
Det er at ango sender et helt nyt HTML dokument til dig.
55:33
Den her famøse dom, hver gang du går ind og beder om noget nyt at
55:39
se på din skærm, så tager den Sådan helt forgrobet template og
55:44
kører noget noget gin 2 agtigt. Det er Sådan jango templateing
55:48
og så samler den alt det her II request og så sender den det
55:52
hele til dig på en hver evig eneste gang og det gør at dit.
55:58
Din browser den laver Sådan en lille flash hver gang.
56:01
Så og det føles lidt som Sådan en en gammel tung maskine når
56:05
man når man klikker rundt i Sådan en juno app ved mindre at
56:09
man har besluttet sig for, at i stedet for at sende et helt HTML
56:14
dokument ad gangen, så vil man kun sende et lille den lille bid
56:18
af noget, som skal ændre sig. Altså Det er Sådan en måde at se
56:22
det på. Sådan nu beder du om at se det
56:24
her på din skærm, men det betyder jo kun, at den her bid
56:26
skal ændre sig. Ja men vasker så fjernes og hvad
56:32
skal så ændre sig af den der og kan browseren finde ud af kun at
56:37
bruge tid på at. Tegne på din skærm det nye
56:42
element og ikke alt det gamle også.
56:46
Og og HTMX hjælper med at samle de her HTML stumper.
56:54
Og hvad kan man sige lave Sådan en en?
56:58
Det kan lave Sådan en og inder HTML swap hvor den tager et et
57:01
element der ligger inde i dokumentet og så siger den hov
57:04
nu skal det være det her element der eller inde i stedet for og
57:07
så replacerer den ligesom det. Og Det kan den gøre ved at hente
57:11
de her stumper et sted fra for eksempel en webserver, når nogen
57:15
klikker på knappen for eksempel. Og det gør, at du kan få meget
57:19
af den funktionalitet, som javascript hjælper dig med.
57:22
Når du ligesom dynamisk skal skal rendere de her elementer
57:25
her ved at at bruge HTMX, men den henter så alle de der
57:30
stumper nede fra en webserver, og derfor kan du lave det meste
57:35
i python fordi at i python kan du bare.
57:39
Dermed kan du ligesom lave din din HTML på den der webserver,
57:43
så kan du sende det til til til hvad hedder det browseren som
57:47
hvor det eneste den har at gøre godt med Det er det her
57:51
javascript library HTMX og så skal du ikke skrive noget ekstra
57:55
javascriptkode for at få rigtig mange ting til at virke.
57:58
Ja, og så kommer du alligevel i nogle begrænsninger på et eller
58:01
andet tidspunkt og tænker jeg bliver nødt til at have det her.
58:03
Fancy fancy noget, så nu finder jeg noget kost om javascript og
58:06
så skriver du det alligevel og så har du brudt dig med det her
58:09
flotte HT mx spring, men Det kan jeg rigtig meget.
58:13
Og Det er det. Det er det som Jeg tror det her
58:15
fast HTML Det er ligesom bare siger fedt.
58:18
Så skriver vi et framework til at skrive det her HTML man nu
58:23
skal lave meget hurtigt i python.
58:26
Og så er det jo så HTMX Det er også.
58:29
Sådan det HTML som du skriver i noget python kode til at
58:32
generere og sender det til browseren og så er det HTMX der
58:36
står for at sige nu skal du. Du sagde du kom ned af det her
58:42
router i appen. Du trykkede på den her knap der
58:45
fik dig ned af den her sti II. Hvad hedder det?
58:49
Øh ja et eller andet ford slash about og nu er det af bagtsiden
58:55
der skal render, men Det er kun den her lille stump her.
58:57
Man kan i øvrigt se eksempler på det ind på hvad Vores podcast DK
59:01
som jo er baseret på HTMX skriver du dog ikke dog ikke dog
59:07
ikke fast HTML så. Det var mine lange smør omkring
59:13
det. Yes og.
59:15
Eller som fondenudvikler. Ja og Der er jo altså.
59:18
Jeg tror Der er mange holdninger til det her frameworking fordi.
59:24
Ja altså det virker folk vil bare rigtig gerne ikke skrive
59:28
javascript. Tror jeg i virkeligheden i
59:32
python land, ikke? Python udvikler rigtig gerne
59:34
ikke skrive javascript. Og.
59:39
Jeg tror der Der er Sådan lidt. De holdninger Jeg har set til
59:42
Det er at Sådan jamen hvad var der galt med jango og HTML
59:47
templaing, som jo så har været løsningen?
59:51
Til og så med HTMX som så har givet noget ekstra
59:55
funktionalitet som har gjort nogle ting mulige.
59:59
HTMX er eksisterende. Rigtig.
1:00:01
Lang tid faktisk ja der kan man bare se, men men Sådan og der
1:00:04
mener ham her jerry howard, som er ligesom manden bag en af
1:00:08
folkene bag fair play med og. Han mener ligesom at HTML
1:00:16
templateing har været en fejl, siden det blev opfundet.
1:00:20
Og at og at han mener Der er stor fordel ved ligesom at kunne
1:00:24
have. Definer hele lortet i et
1:00:29
kodesprog. Skal jo ende som HTMLI sidste
1:00:31
ende alligevel, men men Jeg tror det han så må mene er at at Der
1:00:37
er nogle python klasser og funktioner og ting og sager som
1:00:42
er de her elementer. Altså.
1:00:46
Ja, men hvad er det? Hvad er det det muliggør det
1:00:49
her? Altså du slipper for template
1:00:51
ikke du slipper for det der. Med at genererer dine HTML
1:00:55
alligevel, så jeg ved ikke om Det er jo Sådan en dynamisk måde
1:00:58
at generere noget HTML på. Man kan jo forestille sig altså
1:01:01
man har jo de her. Tags ikke altså HTML er dybest
1:01:05
set lavet af af en masse tags som er nogle keywordsing h for
1:01:09
header og så Sådan en et lille fint næb og så skal du også
1:01:13
afslutte det. Du behøver tit faktisk ikke at
1:01:16
gøre det, men der kommer en masse rod hvis du ikke gør det.
1:01:19
Mange gange. Jamen forestil dig en og så så
1:01:23
skal du så kunne putte noget tekst ind i det, og Der er jo så
1:01:26
nogle attributter til de her forskellige tags man kan næsten
1:01:30
høre for sig nu. Den måde jeg siger det på at du
1:01:32
kunne bare lave en python klasse der var det her.
1:01:35
Her er der nogle attributter, du kan putte det her data ind.
1:01:37
Det er det, der kan være inde i det her.
1:01:38
Tag klassen hedder h. Nu er det en h tack.
1:01:43
Når jeg printer det så står det som et h tack fordi Det er Sådan
1:01:47
den den den dens donder string-metode den er
1:01:50
implementeret. Hvis man virkelig gider matchlie
1:01:54
og gå igennem HTML. Sproget og bare imp
1:01:58
reimplementerer hele skidtet inde i python.
1:02:01
Så kunne man bare gøre det. Og jeg ved ikke om Det er det
1:02:03
Der er det her hans hvad hedder det vision her.
1:02:07
At han har implementeret HTML 5 standarden II ren rå python
1:02:12
kode. Hvis det hvis Det er det han har
1:02:13
gang i så hatten af for det fordi Det er jo et kæmpe kæmpe
1:02:17
arbejde. Altså du skal jo være feature
1:02:19
komplet på Sådan noget der før du kan sige det.
1:02:22
Ja i don't know, men det lyder meget sjovt.
1:02:25
Jeg er begyndt at rode lidt med det, fordi at og jeg ved at Jeg
1:02:28
har. Jeg kan ikke finde ud af om Det
1:02:30
er Jeg kan forsvare det fordi at mit bedste argument for at gøre
1:02:33
det Det er at så skal jeg ikke bøvle med HTML og Jeppe script.
1:02:37
Og Jeg er ikke sikker på at Det er et godt argument for at gøre
1:02:39
det, men nu prøver jeg sgu at prøve at se om om Jeg kan.
1:02:45
Først. Så prøver jeg lige at se om Jeg
1:02:47
kan lave Sådan et personlige hjemmeside ting med det helt
1:02:50
simpelt. Ja.
1:02:55
Men fair nok så. Og hvad.
1:02:57
Jeg tror også det planen er også at Sådan det skal være til at
1:02:59
understøtte altså Sådan HTML eller hvad hedder det CSS og at
1:03:04
der skal bygges Sådan en komponent liberalis altså
1:03:07
community komponent liberest til det ikke Sådan så man ligesom
1:03:12
kan. Ja.
1:03:15
Det er et spændende projekt. Det ville det ville.
1:03:17
Det har jo 5200 stjerner på git hub, så en eller 2 måde det jo
1:03:21
værre værd. Ja så hvad hedder det?
1:03:23
Og der kan man jo man kan sige Det er jo Det er jo noget der
1:03:26
ligesom gør. Front end udvikling i python
1:03:30
muligt ikke? Kun pyton nærmest.
1:03:35
Ja så. Savner det.
1:03:37
Sådan er det ja uld cool cool. Jamen Det var Sådan set Det var
1:03:43
Sådan set det vi havde for i dag.
1:03:46
Det var er der noget Vi skal huske, og.
1:03:49
Få med her på på falderebet. Nej, ikke andet end.
1:03:54
Nyd dagen. Og Jeg har Jeg har hvad hedder
1:03:57
det efterårsferie næste uge? Det har vi nå ja, Det er
1:04:00
rigtigt. Det skal vi nok sige.
1:04:01
Der er efterårsferie. Husk at holde ferie og slappes.
1:04:05
Det skal jo, det gør vi i hvert fald, så der kommer vi ikke ud i
1:04:08
næste uge. Vi kommer ud i næste uge næste
1:04:10
næste uge igen, men Der er vist til gengæld også stærkt tilbage.
1:04:15
Yes jamen så må i bare have det rigtig godt allesammen derude og
1:04:19
vi lyttes i næste næste uge. Hej.