Latest / Verbos: AI og Softwareudvikling / # 89 - LLM'er Lokalt I Browseren m. Rasmus Aagaard og Jakob Hoeg Mørk

Transcript

# 89 - LLM'er Lokalt I Browseren m. Rasmus Aagaard og Jakob Hoeg Mørk · Verbos: AI og Softwareudvikling

0:00
Hej allesammen og velkommen til hvor bo's podcast afsnit nummer
0:03
89 i dag. Der skal vi snakke om large
0:06
langues model eller elever i browseren.
0:12
Jeg er første gang jeg stiftede bekendtskab med elever.
0:15
Det var i 2020 da GPT 3 kom ud, og der var meget snak omkring at
0:19
den her model. Den var altså kæmpestor og Det
0:22
var man skulle have et kæmpestort.
0:24
Hvad hedder det cluster for at køre den her model?
0:27
Og og som Det var simpelthen bare utænkeligt at få altså
0:30
overhovedet at forestille sig, at det på noget tidspunkt skulle
0:32
kunne køre i browseren men men Det er faktisk en en ting, som
0:36
der bliver arbejdet rigtig meget på, især i open source miljøet.
0:39
Det her med at få elemmer til at køre i browseren, og det åbner
0:43
op for nogle helt nye muligheder.
0:44
Og jeg kunne mig og Jonas. Vi har længe godt kunne tænke os
0:48
ligesom at prøve at snakke lidt om det her emne, prøve at finde
0:50
ud af kom lidt. Snakke med nogen der har lidt
0:53
erfaring med det og snakker om hvad for nogle use cases Der er
0:56
hvad for noget tooling Der er omkring det og hvor langt man er
0:58
med den her teknologi. Så Jonas kunne desværre ikke
1:02
være her i dag fordi han blev forhindret.
1:03
Men Jeg er så heldig at Jeg har fået fat i Rasmus Aagaard og
1:07
Jacob høeg som som som Jeg har lavet et LinkedIn posts på ja på
1:13
LinkedIn hvor jeg spurgte om det her og der var der bød ind, så
1:19
så tog jeg lige fat i jer og så nu er jeg her.
1:21
Så velkommen til tak 1000 tak 1000 tak her jeg tænkte på skal
1:26
vi ikke prøve at bare lige at tage en introduktion ved?
1:28
Jeg ved ikke kan du ikke starte Rasmus og for taget lidt om dig
1:31
selv end vi gør i gang? Helt sikkert ja man rider Rasmus
1:36
jeg arbejder i læredalen medical som day designtest og Det har
1:41
jeg gjort i lige knapt et år nu. Det lærte jeg alle laver.
1:46
Det er læringsprodukter til. Sygeplejerske og læger til
1:52
lægefagligt personale. Det er meget kendt for for
1:56
anddukken til mannequanier til at øve livredderne.
2:01
Førstehjælp. Af, København.
2:05
End. Dukken and-dukken ja lige
2:06
præcis. Og i København, der laver vi
2:11
mest digitale produkter, så basically computerspil til
2:16
sygeplejersker, så de kan øve sig på på forskellige scenarier.
2:19
Lidt ligesom at piloter øver sig i Sådan en situation, inden de
2:24
kommer ud i et Rikke fly, så kan man øve sig i et virtuelt
2:26
hospital. Og Det er en fed tagline
2:30
computerspil til computerspil til sygeplejersker.
2:33
Og Jeg kan lige bare lige fortælle bare ligesom
2:35
opfølgende. Jeg har været inde hos.
2:36
Jeg har været inde på besøg hos jer i lerdal ude på Islands
2:40
Brygge, og jeg fik lige gået forbi Sådan et rum, hvor der
2:43
ligger en af de der dukker der. Og Det er Det er ret ret syret
2:48
oplevelse lige og lidt dukker rundt omkring, men mega
2:53
spændende. Og ja, så er du i øvrigt også du
2:58
er lige kommet med i det nystiftede open source commit.
3:01
Dansk deltager. Super spændende at være med der
3:05
og kunne ja sætte en sætte en dagsorden, sætte en retning i en
3:10
eller 2 forstand. Vi må se hvad hvad det bliver
3:11
til. Det er mega fedt.
3:13
Tillykke med det. Hvad med dig, Jacob?
3:16
Vil du prøve at fortælle lidt om det?
3:18
Her godt jeg arbejder som softwareudvikler hos Sydbank
3:22
lige nu. Og har været der i 4 måneder.
3:27
Arbejder primært med dot net og så ellers bare software til til
3:31
Vores rådgiver. Og ja så har jeg en datamatiker
3:36
uddannelse. Blev færdig her i januar.
3:41
Og i løbet af sidste år. Der har jeg været så heldig og
3:44
og arbejde på noget open source projekter for for Google via
3:48
Sådan et et chrome framework fund, som de har hvor de
3:53
ligesom. Ja udvælger eller vælger nogle
3:57
nogle udviklere, der skal hjælpe dem med at med at afprøve nogle
3:59
nogle forskellige frameworks blandt andet og så ligesom.
4:05
Ja indenfor altså indenfor webplatformen og for at se hvad
4:09
Der er muligt at inspirere andre og.
4:12
Ja også til dem selv, for ligesom at finde ud af hvad.
4:14
Hvad kan vi bruge? Hvad kan hvad kan vi ikke bruge
4:16
og. Så ja ja, de er jo meget inde i
4:18
open source forestiller jeg mig Sådan på alle mulige fronter.
4:21
Ja, de har jo så latterligt mange penge at de.
4:26
De kan smide dem efter lidt lidt det de har lyst til.
4:29
Ja nu fik jeg slet ikke spurgt dig Rasmus hvordan er du?
4:32
Hvordan er du egentlig Sådan hvordan?
4:35
Hvad er dit Sådan? Altså Jeg har ikke prøvet at
4:36
rode med med med Lars langures models i browseren, så Jeg er
4:39
helt grøn. Men du Det har du Rasmus ved
4:42
jeg? Hvad?
4:45
Hvad kan du ikke fortælle lidt om?
4:46
Ja om Jeg tror min min indgangsvinkelsvinkel.
4:49
Det er lidt. Altså Jeg har lang tid haft
4:52
Sådan en m lups interesse og m alups Det er jo.
4:57
Altså i sidste ende målet med det.
4:58
Det er at få få modeller ud og for at de bliver brugt
5:02
simpelthen få dem ud af notebooksene ikke?
5:05
Og og det synes jeg bare Der er et eller andet ved det her
5:08
browser som interface eller som som motor i stedet for og så Det
5:13
kan køre på klienten. Der er et eller andet der
5:16
ræsonnerede med mig der ikke at. At man distribuerer work lodet i
5:21
stedet for at man hører på en central server.
5:24
Man gør det super nemt at komme i gang med nogle gode ap i er
5:29
interface og ikke bundler en masse python kompleksitet med at
5:36
gøre det gør det nødvendigt altså virkelig skære ind til
5:38
benet og siger du skal bruge den her dims og den her det her
5:42
stykke kode, og så kan du køre en en model.
5:46
I browseren. Det synes jeg var sindssygt
5:49
fedt. Jamen det Der er et eller andet
5:51
vildt ved det der og Sådan. Det var fuldstændig utænkeligt.
5:54
Altså da jeg også først stiftede bekendtskab med give t 23 20 i
5:58
hvert fald, og det vil sige ja. Hvad med hvad med dig Jacob?
6:01
Hvordan har du ligesom fået rodet dig ud i at rodet rundt
6:04
med med? Det startede med.
6:09
Sådan en interesse for altså så elle lad mig bare ondevis.
6:15
Har rodet en del med med ola og nogle interface til det.
6:20
Det var så derigennem at at jeg ligesom også fik øjnene op for
6:24
det her som Rasmus. Så siger altså det.
6:27
Det gør det bare meget mere tilgængeligt når det kører Sådan
6:30
i browseren, så Det er vildt fascinerende, synes jeg bare
6:33
også altså udviklingen her det seneste par år og bare.
6:38
Ja hej bravises Det er det altså det her.
6:41
Det er virkelig gået stærkt. Det virker lidt som om at man
6:44
kan køre mere om intelligens. Man får mere intelligens per.
6:50
Flop jeg ved ikke om man siger Sådan, men altså Sådan per altså
6:52
per computer unit på en eller 2 måde ikke?
6:55
Hvilket også gør det meget bedre.
6:57
Ja Det er en Det er 1 1 1 vægtklasse som som ligesom.
7:01
Slår hårdt, kan man sige ja. Megafedt hvad hedder det?
7:08
Jamen ja og Vi har jo været lidt inde på det men Sådan hvad altså
7:11
Jeg tror måske også nu har vi jo også været lidt inde på det der,
7:14
men hvorfor overhovedet have live slanguds models i browseren
7:17
ikke det virker som om at altså. Det virker som om Sådan.
7:22
Wow Det er altså bare nogle kæmpe modeller de skal nærmest
7:25
køre på Sådan et kæmpe GPU kloster.
7:26
Ikke derfor virker det Sådan helt syret, at de rent faktisk
7:29
kan køre i browseren. Men hvad findes der Sådan
7:31
egentlig? Altså har i stødt på nogle Sådan
7:33
nogle fede? Use cases nogle ligesom har
7:36
lavet noget med med med alle lever i browseren.
7:42
Jeg ved ikke hvis du vil starte Rasmus.
7:44
Eller Sådan jeg så for nylig et et eksempel med altså Sådan
7:49
noget helt eller belle nærmest med Sådan mailsortering.
7:53
Ikke altså at kunne offline lave embeddings af dine af dine
7:56
emails og så altså sortere på baggrund af det Sådan integreret
8:01
i gmail for eksempel det det formoder jeg at Det er noget der
8:05
allerede eksisterer, men altså de åbnede ligesom op for kassen
8:08
og sagde, hvad hvis Det var en en lokal?
8:11
Alle dem, der gjorde det her i stedet for.
8:13
Måske behøver vi ikke den her? Server LLM til at lave det her,
8:19
som egentlig er et Sådan et. Altså Det er let at skyde hvad
8:25
hedder det skyde spå med kanoner eller hvad det nu siger?
8:30
Ja overkendt og brug Sådan en kæmpe eller lam til forholdsvist
8:33
simple problemer, ikke? Ja, så hvis man så i stedet for
8:37
kan slippe for at have Sådan en eller 2 stor kæmpe lille m det
8:41
pløjet et eller andet sted at man ligesom bare kan shippe den
8:45
ipt til browseren. Altså om bonkle dem med sin
8:49
hjemmeside. Og så er det jo også.
8:51
Det er jo ikke kun alle lemmer, Det er jo også.
8:53
Det kan også være altså en betting modeller som også kan
8:56
være mindre, for eksempel ikke til at gøre søgbart og Sådan
9:00
noget. Og altså også modeller til at
9:02
fjerne baggrund på billeder og til post slemation og til altså
9:06
til det det hele hacking fest der ligesom åbner sig op eller
9:10
andet sted. Ja.
9:12
Og Der er jo Sådan en. Der er jo en ret fed værdi i det
9:14
for at udvikle og fordi så behøver de ikke at have de der
9:16
fuckings kystservere og stå kørende.
9:18
Ikke og. Kan de API og Sådan noget?
9:20
Ja. Der er også nogle omkostninger i
9:21
det ikke. Altså Jeg synes Det er sindssygt
9:23
fedt at Jeg kan lave en eller 2 lille dum demo og så smide det
9:26
op på gitup pages og så bare bare erstatisk hostet ikke og så
9:31
så ved jeg at OK det virker. Lige så lang tid.
9:35
Det er ligesom at jeg ikke ændrer noget der.
9:38
Og jeg ikke skal vedligeholde en server der skal køre et eller
9:40
andet i baggrunden? Der er også noget Sådan
9:44
compliants aspekt ind over. Altså det her med at du kan køre
9:47
det lokalt og det ikke kommer ud på en eller 2 server.
9:49
Det ved jeg i hvert fald. Der er meget snak om indenfor
9:51
bankverdenen eksempelvis. Ja selvfølgelig.
9:55
Der er jo virkelig en en showstopper for rigtig mange er
9:57
jo det her med at data skal ud af huset, ikke?
10:01
Og Der er det jo rigtig nok hvis man kan køre det onde, så er det
10:04
jo en kæmpe kæmpe game changer der.
10:08
Og så nu lytter jeg også så moderne med suverænitet ikke og
10:11
alt det der med at køre det på. Ja.
10:16
Hvad med dig Jacob? Hvad Sådan hvad har du Sådan set
10:18
nogle nogle fede use cases Sådan?
10:21
Jamen Jeg synes Rasmus var godt omkring med sit svar, men altså
10:24
også bare Sådan mere lavpraktisk praktisk ting som.
10:29
At virksomheder, de ligesom introducerer, at folk kan bruge
10:33
undevis AI til som triled altså. Og så bruger de så altså større
10:41
modeller til til deres betalende brugere for eksempel altså til
10:44
deres features for eksempel. Det.
10:47
Får jeg altså ikke brug for eksempel Det er.
10:49
Faktisk meget cool ting Sådan så man ligesom kan lave en en Sådan
10:51
en fremium. En løsning måske Sådan en teaser
10:55
agtig i forhold til potentialet også.
10:59
Det er faktisk meget interessant.
11:00
Det har jeg faktisk ikke tænkt på, men Sådan det der med at du
11:02
kan egentlig fordi typisk er der altid en eller 2 form for.
11:06
Man skal blive allesammen tage charch et eller andet for de her
11:08
lem løsninger, fordi de er så dyre, ikke?
11:12
Men der kan man jo så ligesom sige OK så kan det godt være.
11:14
Det virker ikke og virke optimalt, men det virker på en
11:19
eller. 2 måde for ligesom at smage for hvad det altså de her
11:23
features for. Hvad de kan med dem?
11:27
Jeg har også tænkt på Sådan noget.
11:28
Altså det man måske kunne lave Sådan noget glammy eller Sådan
11:30
altså en eller 2 ja jeg der må være massere af opgaver man
11:34
Sådan kan løse rundt omkring med Sådan nogle og og Sådan nogle
11:36
ret basic opgaver i virkeligheden ikke som ikke
11:38
behøver at være Sådan helt vildt kompliceret.
11:41
Det tror jeg Det er også der de. Tror Der er lækkert.
11:45
Du Det er så mange lavthængende lavthængende frugter med Sådan
11:48
halvtrielle opgaver ikke som så bare ikke bliver løst fordi at
11:54
altså. Problemets størrelse er ikke
11:58
proportionelt til løsningen ikke altså løsningen er alt for
12:01
kompleks i forhold til hvad. Hvad for et problem Det er det
12:03
løser. Med med det nuværende eller
12:07
Sådan server tankegangen har i hvert fald en ide om.
12:14
Hvad skulle jeg til at sige, Jacob?
12:17
Nej, Det var egentlig noget II samme dur.
12:20
Hvad der ville sige? Men Det er også rigtigt nok, men
12:24
men jeg jamen så på i når man udvikler med de her ting, så har
12:26
man altid den der omkostning i baghovedet.
12:28
Så hvis man så lige hvis den ligesom bare bliver fjernet ved
12:30
at man ligesom kan shippe det med modellen så eller med
12:34
browseren det altså. Og Det er jo egentlig sjovt,
12:37
fordi jeg kom bare til at tænke på Sådan grunden til at.
12:40
Grunden til man gerne vil have serveres Sådan generelt.
12:41
Det er jo vel i virkeligheden på grund af databaser ikke altså
12:44
det der med at man gider ikke shippe databasen med i
12:47
browseren. Ofte den er ligesom nødt til at
12:50
være en central. Kunne centralisere noget, men nu
12:55
nu decentraliserer man ligesom EI computerkomponenten eller
12:59
hvad man skal sige ved at lægge det på på browseren, ikke?
13:05
Ja for. Der er vel ikke nogen grund til
13:06
at elever skal være decentrale? Eller eller central?
13:10
Centrale nej altså Det er vel et altså.
13:15
Det er vel kun fordi at Det har kun har kunnet lade sig gøre på
13:18
på på den skala, altså når modellerne er en vis skala.
13:23
Ej Det er sgu vildt agtigt. Det er sgu lige mange.
13:26
Hvad hedder det? Hvad så hvis man altså hvad så
13:28
når man skal i gang med Sådan noget her?
13:30
Altså hvad hvad hvad gør man Sådan det tænker jeg.
13:33
Jeg tænker man skal have fat i noget type script eller et eller
13:35
andet noget der kan køre i browseren ikke men Sådan jeg ved
13:37
ikke hvad hvad har Sådan jeres hvad har i fiftet rundt med
13:40
Sådan hvis vi starter med naja Rasmus.
13:43
Ja jeg jeg slæbte meget hurtigt på det her transformers JS
13:48
bibliotek som som kommer er huggface eller Sådan.
13:52
Det startede faktisk faktisk. Som Sådan et hobbyprojekt, så
13:55
vidt jeg forstår er en gut senova er hans screen.
14:01
Med at han skulle skulle så til eller lave Sådan en klasse fejl
14:04
til youtube kommentarer og så tænkte han det kunne sgu da være
14:08
det kunne være fint hvis det kørte i min browser, men der var
14:10
ikke rigtig noget troling til det, så han blev bare sit eget.
14:13
Der var så. Ja lige præcis lige præcis for
14:16
Sådan 2 3 år siden der var spam på youtube.
14:19
Kommentar jo helt. Helt forfærdeligt, så det løste
14:23
man bare ikke. Altså det det det.
14:26
Det er jo det man kan. Når man kan se learning kan man
14:28
sige men men ja det det tool har jeg ligesom eller det ja
14:35
bibliotek har jeg ligesom dykket lidt ned i, fordi at de tænkte
14:39
okay det det ligner ligesom noget jeg kender.
14:40
Det ligner transformeres biblioteket i python som kender
14:44
og elsker. Har brugt rigtig meget.
14:49
Og han havde skrevet et eller har skrevet et hav af demoer som
14:53
man kan kan kigge ned i og og pille ad og altså tilpasse til
14:59
til hvad man nu end lige har lyst til at det skal tilpasses
15:02
til. Så Det var faktisk rimelig let
15:06
tilgængeligt. Det var lige der var lige lidt
15:08
lidt med at indstille. OK nu skal jeg begynde at lave
15:14
lidt javascript i stedet for python og.
15:17
Der var lidt omstilling der, men Jeg synes altså jo mere jeg gør
15:20
det, jo mere Sådan tilgængeligt bliver det faktisk sjovt nok.
15:26
Det skulle gerne være Sådan, tænker jeg ja.
15:29
Jamen de er jo ikke så glade nødvendigvis altid også
15:32
partnerudviklere for at skrue os ud og.
15:34
Alt det der med. Jeg ved ikke om man man skyder
15:36
sig nok selv i foden lidt ikke Det er jo Det er jo Sådan set
15:39
bare en 2 måde at at deploy eller hvad skal jeg sige gøre
15:43
sine modeller tilgængelig? Hvad med dig, Jacob?
15:48
Har du været ude i? Hvad har du været ude i at
15:50
tuling og Sådan noget? Jamen Det har også været det her
15:52
transformers, jazz bibliotek og så web alle dem som jeg også
15:57
tror du nævnte Rasmus i dit i din kommentar.
16:03
Jeg har hørt om det, men Jeg har ikke dømt ned i det, så.
16:07
Jamen Det er egentlig teorien også det samme, altså det det
16:12
anvende også webshview og hvem er simpelt og Sådan lidt
16:14
forskelligt forskellige app i er i browseren og.
16:19
Der er Sådan noget kompillering og Sådan noget der Der er lidt
16:21
forskelligt men. Det var rin så det så er det
16:25
også Sådan lidt. Ja det samme agtigt.
16:31
Og hvad sagde du du sagde web GBU og web assembly hvad hvad er
16:35
det for noget? Ja altså Det er nogle webapp i
16:39
browseren som altså web. Det gør det bare muligt for på
16:43
arkitekturen II browseren at kunne kunne snakke med ned til
16:46
dit GPU og bruge dens ja computer.
16:53
Og det Det er noget Der er Sådan er altså.
16:56
Det er rimelig nyligt at Det kan kunne lade sig gøre.
16:58
Ikke så vidt jeg forstår. Og Det er heller ikke.
17:01
Altså Det er ikke fuldt ud tilgængeligt eller browser
17:04
endnu. Tror Det er chrome og og edge og
17:08
så. Mener også Det er i fifox
17:12
canaria der hed. Ja Jeg har.
17:15
Jeg har i hvert fald ikke i min almindelige firefox, der der
17:17
brokker den sig stadig. OK så Det er simpelthen et API
17:23
ned til altså hardware på maskinen.
17:26
Som gør. Sådan OK, hvad hedder det så?
17:31
Det er Sådan Det er åbenbart ikke nemt at gøre det for
17:34
browseren. Det tror jeg ikke.
17:37
Jeg har ikke lige Sådan 100% styr på det.
17:40
Men nej, Sådan rimelig tror jeg. Har været en god grund til at at
17:43
standbox browserens så meget som overhovedet muligt.
17:50
Jeg har ligesom været Sådan. Okay du prøver vi lige at lade
17:54
være med at give det her adgang til alt muligt på computeren vi.
17:57
Ses. Det var en god idé.
17:59
Ja OK, sygt nok luk slusen lidt op til GP u'en.
18:03
Det har. Jeg har åbenbart vist sig at
18:05
være en meget god idé. Hvad så med det her weba simple
18:09
det synes jeg også Jeg har hørt før.
18:11
Altså Det er Sådan som jeg forstår det, så er det Sådan.
18:14
En måde man kan man kan køre. Forskellige.
18:19
Altså forskellige. Hvor i.
18:23
Altså i webbrowseren når det kombinerer ligesom c plus plus
18:28
kode som der kan bruge IJ arbejdsløs.
18:32
Og på den måde få få altså så du ikke skal til at reimplementere
18:37
et eller andet lieberry som som du skal bruge til når du kører
18:42
web t view. Det synes Jeg har forstået det.
18:46
OK så Det er også Jeg tror Jeg har.
18:49
Jeg har også for nyligt har jeg læst lidt om om det der hedder
18:51
pied script også. Ja hørte.
18:54
Det om det og peger dig ikke. Det er også Sådan en der.
18:59
Så man kan køre pyron i browseren?
19:02
Det virker også som om Jeg synes jeg husker kan huske at det også
19:05
var skrevet af det der webasemelly.
19:07
Som om ja OK sygt nok ja Det er et meget sjovt det der med at at
19:11
lige pludselig altså fordi når man laver type script ting så er
19:14
det jo meget browser ikke men Sådan Det er meget interessant
19:18
det der med at. Sådan altså.
19:21
Sådan dykke lidt ned i hvad der egentlig er muligt og måske i
19:24
virkeligheden også hvad der ikke er muligt, ikke?
19:27
Ses fordi jeg tænker den er Sådan rimelig.
19:30
Det er Sådan rimelig battle testet.
19:33
Hvad skal man sige computer run time platform eller hvad man kan
19:37
sige ikke. Selv om du siger.
19:39
Rasmus eller på browseren hele tiden?
19:42
Så så jeg tænker Der er Sådan rimelig rimelig rimelig meget
19:47
testet der kan man sige, så er der også en note.
19:51
Så vidt jeg forstår, så er det jo ligesom et run time til time
19:55
script the Charles script ude på browseren ikke ja OK heller ikke
20:00
en attrakt podcast det her. Mega fedt, men men hvad løber
20:05
man så ind i af udfordringer når man bruger de her det her web
20:08
jep eller webapp og transformere JS har i Sådan?
20:14
Er der Sådan et eller andet altså Sådan jeg forestiller mig
20:17
ikke at Det er 100% modent lige nu eller Sådan.
20:21
Nej altså som. Hvis jeg må gå først?
20:24
Ja. Altså som du også skrev i dit i
20:27
dit oplæg. Det her med function calling og.
20:32
Ja altså generelt usex sporiense bare altså det her med at
20:36
skulle. For brugeren altså hvis hvis Det
20:39
var Sådan reelt applikation til an users når det ikke optimalt
20:45
at de skal hente en en LLM for at for at kunne bruge produktet.
20:49
Altså hvis det nu for eksempel var en chatbot.
20:55
Og ja function Kolding. Jeg tror ikke Det er blevet det
20:58
vidst eksperimentelt II web et eller andet.
21:02
Jeg ved ikke med transformer Sådan 100%.
21:05
Jeg ved ikke om du kalder. Det nej altså jo det altså
21:08
udfordringen med at downloade modeller på ny hver gang Det er
21:13
helt sikkert altså det går ud over at at man når man sidder og
21:16
roder med det så kan man godt. Altså det bliver gemt lidt væk
21:19
fra en eller det bliver abstraheret lidt væk, så man kan
21:21
godt sidde og undre sig og tænke OK har jeg downloadet lama 3 2 3
21:27
b for 7 gang nu eller et eller andet ikke?
21:30
Altså skal jeg skal jeg til at slette min cache et eller andet
21:32
sted? Jeg aner ikke hvor Det er henne.
21:35
Det det Det kan godt Sådan sidde lidt og OK skal man shippe det
21:38
her til almindelig mennesker? De ville jo fylde deres harddisk
21:41
op på 0,5, ikke? Det Det kan man godt sidde og
21:46
være Sådan lidt OK. Det Der er måske lidt en en user
21:48
experience udfordring der. Men så generelt også bare Sådan
21:52
modenhed af af biblioteket. Det det bliver primært altså
21:55
transformat. Det bliver primært udviklet af
21:57
ham her sinova. Det er et open source bibliotek,
22:01
så alle kan gå ind og. Og conentribal selvfølgelig, men
22:05
Det er ham her der der driver værket.
22:08
Og Det har ikke fuldkommen altså feature paraty en til én med
22:12
transformeres. Den blev derhen af.
22:16
Det er langt. Det er rigtig langt derhen ad,
22:18
men man stod hvis man ligesom bruger det nok, så støder man
22:21
ind i nogle nogle lidt nogle lidt rough kanter ind i mellem.
22:26
Og man skal også lige være lidt ferm i hvordan loader man kaster
22:30
man rundt med audio context og jeg ved ikke hvad II javascript.
22:36
Det har i hvert fald været en udfordring for mig og og blive
22:38
bekendt med. Altså bare altså browser API er
22:43
til forskellige data. Typer og.
22:46
Hvordan man indhenter og indlæser data.
22:50
Ellers er der også Sådan noget browser specifikt viden man skal
22:53
til at sætte sig ind i og Sådan noget.
22:56
Jeg tænker også nu. Siger du det her med at det
22:57
Sådan ligger tæt op ad transformmers python
23:01
biblioteket? Jeg forestiller mig Sådan, at
23:03
Det er en feriens delen. Altså Sådan du ved jeg.
23:07
Poster mig ikke. Der foregår ikke meget træning i
23:08
browseren. Den kan bygge next level i
23:11
hvert. Fald jeg prøvede.
23:12
Jeg prøvede Sådan lidt at tænke over det fordi Der er vel Der er
23:14
vel et eller andet med at lave altså en eller 2 form for
23:16
federerd learning hvis man har adgang til det klientens GPU og
23:21
så ser den. Sende en hel masse grad hjælper
23:25
tilbage til et eller andet centralt sted.
23:28
Og men altså det det det føler jeg.
23:31
Det er en tilpas langt ud af tanke til at det nok ikke.
23:34
Er praktisk muligt, eller så er der nogen der har gjort det,
23:37
men. Altså jeg tænker da også altså
23:38
Sådan hvis man har Sådan noget glammerley agtigt noget for
23:41
eksempel. Så kunne man jo godt forestille
23:43
sig at man godt vil lige fine bare en lille smule, altså på
23:47
nogle enkle sætninger. Bare for lige at skubbe dem lidt
23:49
i en retning. Ikke så ligner der ikke så meget
23:52
load på, så lige kører et par kører et par runder, ikke?
23:57
Altså. Sådan tror jeg mere på noget end
23:58
kontekstlagning, hvis jeg skulle skaffe mine penge nogen steder.
24:03
Giver god mening. Hvad hedder det?
24:06
OK så det så Det er Sådan. Der er også nogle ting kan jeg
24:10
forstå som som er Sådan bøvlet altså.
24:16
Som relaterer så meget til brugeroplevelsen af det.
24:19
Jeg ved ikke, hvor store modeller har man at gøre med,
24:23
når man henter modeller ned i browseren?
24:28
Altså Jeg tror webalem de super der op til Jeg tror endda 32
24:34
mia. par meter modeller. Ja.
24:41
Det så får man det hårdt, ikke jeg jeg.
24:43
Jeg prøvede at køre. Jeg prøvede faktisk at køre.
24:45
Jeg tror. Depsek i one. 32 b lokal på min
24:51
computer. Og der tror jeg Jeg har lavet 2
24:53
prompt og den var ikke sat til strøm og Jeg tror det tog 10%
24:56
strøm eller Sådan noget. Går hurtigt galde byen.
25:03
Ja så det tænker jeg det den den den ordentlige ogshipppe til til
25:07
browseren der. 70 bæk kan jeg se der larmer 3,1 ja det.
25:13
Er ret vildt, så skal man der det.
25:14
Det er da noget af en Sådan en spændende en spinner man skal
25:17
vente på der. Er.
25:20
Det ved ikke færdigt i 6. Ja.
25:23
Også bare Sådan en furance. Altså Det er jo virkelig.
25:26
Tager lang tid og. Lukke de der.
25:28
Gevær de har tung's der jeg tog det i ret.
25:30
Det tager i hvert fald lang tid. Nu har Jeg har Sådan en jamen 3
25:34
max altså Sådan en OK bify macbook med Sådan altså som kan
25:38
køre de der elementer ret smooth men den er 32 b.
25:42
Det går altså langsomt. Det gør det, og det æder bare
25:45
strømmen fuldstændig nogetsløst altså.
25:49
Ja. Men så Det er altså Sådan at at
25:52
når man får Sådan en browser ned eller ned i browseren, så så
25:56
burde den Sådan koble op til ens maskines GPU basically.
26:02
Det er det Sådan, arkitekturen er struktureret.
26:07
Men hvad okay så hvis man skal have Sådan en hvis man skal have
26:09
Sådan 1 1 1 best mulig ute experience.
26:13
Sådan så tænker jeg, at Der er et trade off mellem hvor stor
26:17
modellen skal være. Og hvor god den skal være.
26:21
Har i Sådan er der Sådan et er der Sådan et sweet spot eller
26:23
Sådan er der nogen af jer der ligesom har Sådan?
26:25
Hvad har i Sådan fundet af sweetspil?
26:30
Jeg har altså det jeg Jeg synes Det er Sådan en ting hvor at
26:35
Google for eksempel. Altså nu prøvede jeg jama 3 n
26:38
for eksempel. Som kører på min telefon, og Jeg
26:44
synes Sådan ren vibe baseret evaluering.
26:48
Jeg synes den den fungerer fint og og svarer.
26:53
Altså overraskende godt i forhold til hvad, hvad jeg ville
26:56
regne med af en af en lokal LLM på min telefon.
27:01
Så Jeg tror at at den balancegang man ligesom skulle
27:04
lave i dag, den skal man måske ikke nødvendigvis lave så meget
27:08
i morgen. Så altså det.
27:11
Det går sindssygt stærkt med at at få tilpasset.
27:16
Performen eller Sådan få pakket rigtig meget performance ind i
27:19
nogle nogle små pakker. Og den var 3 3 mia.
27:27
Parameter. Eller.
27:30
Ja deromkring Jeg tror 2 og 4. 2 andre.
27:35
Parametre man så laver de Sådan nogle tricks.
27:39
Med og at at det kun er nogle nogle medoner der bliver
27:44
aktiveret afhængig af hvordan du spørger og Sådan noget.
27:46
Altså den kan ligesom aktivere et top netværk indeni inden i
27:50
netværket. Ja, Det er noget.
27:55
Noget vildt noget vildt. Nok OK bare så forestiller jeg
27:57
mig også de må jo lave Sådan nogle.
27:58
Jeg tror hele måden de gør det på.
28:00
Det er jo at de giver træner de der kæmpe modeller.
28:03
Altså så laver jeg de genererer de data med dem som de kan træne
28:06
de små på. Hvad forestiller jeg og så kan
28:08
de bare give den gas altså. Ja, Det er i hvert fald en klar
28:12
trend, synes jeg, og Det har det været lige siden alt det her
28:15
begyndt ikke altså. Helt sikkert, og det bliver bare
28:18
bedre og mindre hele tiden. Ikke så ja hvad med Sådan hvad
28:24
med dig og Jacob har du Sådan? Hvad har du erfaringer med med
28:27
modelsstørrelse Sådan eller Sådan hvad har du?
28:31
Altså mit det suite Jeg har Sådan.
28:34
Bundt. Det er også de der 3 mia.
28:38
parametre. Det er også dem.
28:41
Altså Google og edge de er begyndt at at lave Sådan et
28:46
unifom API hvor de ligesom shipper Sådan en.
28:50
En pac a- eller et eller andet med browseren.
28:54
OK og der Der er der for eksempel der hedder jim nina
28:57
nano, som også er der ikke kommet 2.
29:02
Milliarder parametre og så er den så 4 bitcoins, så hvordan
29:06
kører egentlig? Altså?
29:08
Jeg synes den er virkelig god. Også Microsofts p 4 mini.
29:14
Jeg mener den her den er også Sådan 3,8.
29:18
Så ja de er ved at lave Sådan et.
29:22
Sådan webstandard faktisk. OK.
29:27
Det er jo lidt spændende, kan man sige det der med, hvis man
29:29
altså hvis det begynder, hvis man ligesom bare som udvikler
29:32
kan forvente at det ligger i browseren.
29:36
OK altså fordi så kalder du den så så skal du ikke Sådan bekymre
29:40
dig om at downloade en eller 2 model eller Sådan noget så er du
29:42
bare bruge OK Det er vildt nok. Hvordan gør man med det og Sådan
29:46
noget? Altså hvad ved.
29:49
Den næste release ved chrome, der Der er der nogle af de her a
29:52
piger, der kommer med for eksempel den her promund API
29:56
altså Sådan transformere og arkitektur.
30:00
Eller et eller andet, men det bliver så kun til til chrome
30:05
extensions. Du kan bruge den.
30:07
Indtil videre, indtil de ligesom.
30:10
Kigger lidt nærmere på det, og så kommer der også de her andre
30:12
og. API er som jeg ikke har kigget
30:14
så meget ind i, men Det er Sådan noget som summer og translator
30:17
og Sådan nogle ting. Vildt nok, så det vil sige man
30:21
kommer altså til hvis man Sådan næste release.
30:24
Hvis man så bygger chrome extensions.
30:27
Så har man ja. Så kan du kalde en eller lambia
30:30
skriv await language model dot creat i Charles script.
30:36
Helt ja så Det er ikke. Sådan man kan ikke Sådan onde
30:39
fly bare rundt omkring i browseren på en på en website
30:42
kalde den alle mulige steder fra eller?
30:46
OK vildt Vi har nok OK Det er jo Det er jo vildt nok.
30:50
Det er jo Sådan så så begynder det jo ligesom at blive.
30:53
Jeg tror bare Jeg har Sådan på fornemmelsen at mange af Sådan
30:54
nogle ting her, de er også meget Sådan afhængige af Sådan at det
30:56
bliver tilgængeligt. OK spændende det det der nærmest
31:04
kun fantasien der. Hvad skal man sige?
31:07
Sætter grænser for, hvad man kan forestille sig.
31:08
Folk kommer til at bygge med det her.
31:11
Og jeg forestiller mig også at at Sådan det kunne da også være
31:14
fedt, hvis de ligesom også kunne.
31:17
Sådan sørge for at Sådan noget som function calling virker.
31:23
Jeg ved ikke hvor bøvlet. For for chammad treeren, der
31:27
altså de de de havde en dameo der der kørte ved siden af af
31:33
announceren der som viste at at den lavede computerjuice på
31:37
telefonen til at udfylde en eller 2 formular.
31:42
Ja. Det er altså ja, Det er vildt
31:45
nok. Det er ligesom om at Apple de de
31:50
er lidt bagud. Ikke ja de mangler lidt III
31:54
Nyhederne ja lige for tiden. Men de leger jo.
31:58
De må jo have et eller andet sindssygt i.
32:02
I bagkataloget altså. Det må man håbe ikke altså Jeg
32:06
har da Jeg har det ikke så længe siden Jeg har hørt at ham chiefs
32:09
EI en eller 2 chefen der han er blevet fyret eller Sådan fordi
32:15
det ligesom ikke lige gik hurtigt nok eller hvad jeg skal
32:17
sige. Ja Jeg tror virkelig Jeg tror
32:21
måske også Det er virkelig. Det er Sådan kommet lidt bag på
32:23
på Apple det her hvor stort Det er blevet ikke?
32:27
Og de er jo, de har altid været. En machine learning virksomhed,
32:31
men de har aldrig Sådan været super store på language
32:34
modelling delen altså Det kan man jo se på siri, altså de
32:38
seneste lang tid. Det er ikke fint.
32:42
Og billedproducering men på alle mulige måder brugt machine
32:46
lining, så det nu synes jeg Det er Sådan lidt går altså at kunne
32:50
bruge defusion modeller til at lave custom emojis.
32:52
Det måske Det er jo Det er sjovt nok, men Det er ikke Det er ikke
32:56
derfor jeg køber en iPhone. Mærk ikke Sådan det der suset de
33:00
historiens vingesus AI, der bare skyller ind over os og skyinet
33:05
og alt Sådan noget. Lad mig lige.
33:09
Jamen Jeg synes også Det er Sådan Jeg synes Det er et meget
33:10
godt eksempel på at. Jeg tror Der er rigtig mange der
33:13
der synes Det er svært, hvordan det lige skal passe ind i deres
33:16
produkt, for eksempel hvis man udvikler produkter med y og Jeg
33:19
synes på en eller 2 måde. Det er lidt fortrøstningsfuldt
33:21
at se, at selv store virksomheder som Apple og og
33:25
Google også altså distrug var sgu også lidt synes jeg.
33:29
Selv dem de de synes sgu Det er svært.
33:33
Ja. Virkelig?
33:35
Det er sjovt. Også bare hvor hurtigt det går.
33:37
Ikke altså. Jo helt vildt.
33:39
Det kan vi sige. Ja, men også Det er ligesom om
33:41
at at Sådan jeg ved ikke. Jeg tror Jeg har hørt den der
33:44
analogi mange gange eller Sådan. Jeg har i hvert fald hørt den 2
33:46
analogi mange gange, at da man opfandt fjernsynet, så er det
33:49
først det man begynder at udsende.
33:51
Det var folk der optog radio bare med billede på.
33:54
Ikke fordi Det var ligesom Det var en kendt og den form for
33:57
broadcasting man kendte. Jeg tror Der er rigtig mange der
34:01
der gør det samme nu. Her med med hvad hedder det?
34:05
Altså bare med Sådan en traditionel software, ikke?
34:09
For eksempel jeg jeg så Sådan et vi vi dinero, så Vi er jo et
34:12
regnskabs regnskabsprogram, der ikke og og Der er Sådan en Der
34:16
er Sådan en Der er Sådan en use case, som som mange
34:19
regnskabsprogrammer leger med i øjeblikket, og Det er at man kan
34:23
oprette fakturaer via chat. Og det det.
34:28
Det er jo egentlig meget Sådan en interessant u case det her
34:31
med at man ligesom kan sige skrive noget ind, og så er der
34:33
en en hvad hedder det en AQ der ligesom laver det om til noget
34:36
struktureret data, og så putter jeg ned i databasen basically.
34:40
Via DPI men men Det er Sådan lidt hvor passer det hen i
34:44
program altså III regnskabsprogrammet for
34:46
eksempel. Ikke fordi hvis du går ind på
34:48
faktura og du har fakturaen lige foran dig visuelt.
34:54
Så er det også bare fjollet. Der er en i Sådan en chat
34:56
nedenunder. Ikke fordi så hvorfor kan i bare
34:59
skrive det ind i den her eller altså?
35:02
Det føler jeg lidt. Det er Sådan det der med at
35:03
putte et langugenter face på noget, som allerede fungerede
35:07
agtigt. Hvor hvis hvis hvis jeg stod og
35:12
vaskede op eller kørte bil eller et eller andet hvis jeg var i en
35:15
eller 2 situation hvor det kunne minimere fiktionen for at få den
35:19
der faktura lavet. Ja af en eller 2 årsag, så tror
35:24
jeg jeg ville være mere tilbøjelig til at bruge det end.
35:27
Ja så det. Men det også virker som om Sådan
35:30
hvad jeg nu har mads Henriksen. Han har jo lige lavet discord
35:35
interface til dinero med deres eget tidsregistreringssystem og
35:37
Sådan noget ikke. Og Det kan jeg godt se Sådan en
35:40
en interessant use case fordi Der er det der hvor man Sådan
35:42
Der er man allerede lige discord og så sidder man og chatter med
35:44
sine kollegaer og Sådan noget og så er det fedt.
35:47
Måske man bare lige kan gå ind på button og skrive hej lav lige
35:49
den her faktura eller registrere de her timer ikke?
35:54
Ja. Så men, men det så Det er lidt
35:57
Der er meget Sådan brugergrænseflade føler jeg hvor
36:00
Der er den er ikke helt klikket endnu jeg.
36:02
Tror Der er virkelig meget user experience engineering er jeg
36:06
tæt på at kalde det. Altså at man skal virkelig finde
36:10
ud af hvordan man bruger de her teknologier ordentligt.
36:14
Og lige nu der rækker Vores Vores Vores collective altså
36:20
Vores kollektive kreativitet åbenbart kun til til chatbots.
36:24
Og Det er måske bare. Det er vi ja, og så finder nogen
36:29
forhåbentlig på noget på noget smart lige om lidt.
36:33
Og så må man tage det et skridt ad gangen, og Det var ind på
36:36
det. Få det Sådan tæt integreret inde
36:38
i. Processor, hvor det giver
36:40
mening. At at det Det er er noget Jeg
36:45
tror rigtig rigtig meget på, og der tror jeg netop at at Sådan
36:49
noget som som alle elever eller machine learning i browseren at
36:53
Det kan hjælpe med at sige OK Vi har allerede det her user
36:57
interface. Vi har allerede det her flow som
36:58
Vores kunder bruger. Lad os lige springe en en model
37:02
ind her til at at at udfylde det her uden at det nødvendigvis.
37:08
Altså komplekst for også at komme i gang med det altså.
37:12
Der sker ikke noget serverværk og der skal ikke altså Der er en
37:16
hel masse man. Man sagtens kan kan være foruden
37:21
at at få funktionelle ting ud af det samtidig.
37:25
Ja altså Det er jo også det jeg Det er virkelig også når jeg
37:27
tropper det her med de her. Øjeblikke, hvor ting tager fart.
37:31
Det er ikke nødvendigvis fordi teknologien ikke er opfundet,
37:34
men bare fordi at den Det er. Det kan også være Sådan
37:38
øjeblikket, hvor teknologien bare bliver dramatisk mere
37:40
tilgængelig. Helt.
37:44
Sikkert enten fordi den er blevet standardiseret på en
37:46
eller 2 måde. Sådan så at.
37:49
Der er det ting, vi ligesom klikker bedre sammen, ikke for
37:51
eksempel MTP servere og Sådan noget.
37:54
Altså den standard. Det er jo Sådan noget, der gør
37:56
at. Systemer, der ikke kender
37:59
hinanden på forhånd, kan kommunikere sammen på den der
38:00
måde ikke Sådan fordi nødvendigvis at MCP protokollen
38:04
er genial, men fordi den er standard, ikke?
38:09
Og det tænker jeg også Sådan der må der må være et eller andet
38:12
der måske et eller andet som når du siger Jakob her at næste
38:15
version af chrome, Der er der altså browser eller hvad hedder
38:18
det elemmer eller Sådan burde der være det i lokal Sådan i.
38:22
Altså når det ligesom bare er, når når udvikleren ligesom bare
38:26
får et eller andet nyt legetøj lige for mig som er lige ved
38:28
hånden. Eller ting.
38:33
Ja. Og Det er jo i virkeligheden Det
38:35
er jo Det er i virkeligheden meget det, det handler om for de
38:37
her techgiganter ikke. Det er jo ligesom bare at give
38:38
udviklerne nogle nogle fede værktøjer at arbejde med, så de
38:40
kan udfolde. Sin kreativitet Det er da også
38:44
lige før jeg tænker der der næsten må være nogle.
38:47
Nogle Sådan? Sådan nogle nogle nogle
38:49
potentielle start up ideer i det her med at.
38:54
Hvis alle lige pludselig har elementer i browseren, så kan
38:57
det godt være Det er nogle lidt sløje halvsløje eller men.
39:02
Ja Det kan være de kan et eller andet.
39:04
Ja. Ja, men jeg tænker i hvert fald
39:08
også Sådan især det her function calling.
39:10
Det er Sådan Det er Sådan en generel en en vigtigt.
39:12
Altså Det er virkelig vigtigt. Altså nærmest alt det vi laver
39:15
med elever på dinero, som er ude i produktet lige nu.
39:18
Det er 100% function calling baseret.
39:20
Det er simpelthen nærmest en forudsætning for at at at
39:24
systemet virker. Ja okay altså Sådan det det på
39:30
nuværende tidspunkt ikke. Så kommer der mere fritekst og
39:33
Sådan noget men men hvad hedder det?
39:35
Jeg tror bare at at deres Det er så vigtig en ting det sagde mig
39:39
og Jonas også på podcasten det tidspunkt at noget af det
39:41
vildeste vi synes i et eller andet 2023 eller Sådan noget.
39:44
Det var fucking calling at Det var begyndt at virke Sådan lidt.
39:48
Og det lyder mega mega Sådan turn off eller Sådan det så så
39:50
sexet er det jo heller ikke men men Det er bare så brugbart.
39:56
Så jeg håber virkelig at Der er nogen der.
39:59
Jeg tænker man må kunne lave noget reenforce learning with
40:02
verifyble reward eller et eller andet som.
40:04
Som. Kan få dem til at være.
40:07
Totalt specialiseret. Det var det Der er mine de små
40:09
madeller ikke at dem kan man tillade sig at specialisere
40:14
sindssygt meget, fordi at de har ofte eller i hvert fald lige nu
40:18
kunne man forestille sig, at de i højere grad har et mere
40:21
specialiseret formål. Sådan en general purbles
40:24
kæmpestore elle lemmer, der skal kunne alt det hele verden.
40:29
Ja for satan. Jeg var lige inde her på på
40:34
transformeres JS der js og se på nogle eksempler på på hvad man
40:39
Sådan ligesom hvad de Sådan ligesom siger man kan bruge de
40:41
her til og hvad for nogle fordi Vi er jo også lidt inde på det
40:43
før Det er jo ikke kun eller nødvendigvis.
40:46
Det er jo faktisk alle mulige typer modeller fra huggface.
40:51
Og, der skriver de blandt andet Sådan noget som som speed tow,
40:53
altså westber modeller for eksempel.
40:57
Ja det ved jeg også du har skrevet lidt om Rasmus.
41:01
Det var overraskende nemt at komme i gang med det også.
41:04
Altså at få. Implementeret tale til tekst
41:09
lokalt i browseren. Det var jeg meget positivt
41:12
overrasket over. Hvor store Sådan nogle modeller
41:14
egentlig? Altså der kunne jeg køre rizcper
41:18
large turbol i browseren. Men Det er jo så altså igen.
41:24
Det er afhængig af din egen maskine, så hvor godt det nu
41:27
nogle gange kører, så jeg kunne ikke køre det på min telefon,
41:30
men jeg kunne køre det på mine på min store macbook her ikke?
41:37
Ja så er der også både noget der Der er både noget af det der med
41:39
Sådan der egentlig egentlig rigtig meget der kan lade sig
41:42
gøre. Men det kommer også lidt an på
41:43
hardware du har, så det kommer også til at sætte nogle øgede
41:47
krav for for altså Sådan consumer hardware tænker jeg.
41:52
Se Der er mange der snakker om Sådan at man kan have noget
41:54
altså Sådan hybrid. Altså hvor den laver Sådan
41:59
fallbackmodel til serversite hvis ens enhed ikke er er god
42:03
nok til til den. Ja.
42:06
Billedin jeg model. Ja fordi det giver rigtig meget.
42:10
Så kan man ligesom sikre. At der kommer et eller?
42:15
Andet brugbart hvis den. Ikke bare dør.
42:18
Så er der også Sådan noget de nævner også noget der hedder.
42:20
Jeg tror bare Det er Sådan eksempler på usecases.
42:26
Altså Sådan noget in browser code completion website.
42:31
Hvad hedder det semantisk søgning i billeder?
42:33
Altså det her med at du hvad skal man sige?
42:35
Søger på en tekststreng og så og så søger du hotdog for eksempel
42:38
og så kan du søge nede i nogle billeder.
42:41
Jeg tror virkelig Der er et stort potentiale i at få semants
42:43
til søgning flere steder på på internettet.
42:47
Det er jo for vildt hvis du allerede.
42:48
Altså du kan lave din lille søgemaskine på lokalet i din
42:51
browser. Så er der også Sådan noget
42:55
inbrowserobject detaction altså Sådan.
42:59
Det er jo også bare. Det var også Sådan det lige
43:03
altså. Jeg kan ikke lige finde på use
43:04
casen lige nu, men Jeg er sikker på at Der er en eller 2 der kan
43:06
finde en eller 2 fed use case, så man ikke havde tænkt på
43:08
derude, ikke? Så det må være om om Sådan
43:12
remote 4 terapi fysioterapi. At i stedet for altså så laver
43:19
den postestimation og fortæller dig og det, du gjorde det godt
43:22
eller med forskellige øvelser. Og Der er lidt mere ro i maven.
43:27
Ikke altså at du ikke skal streame dit webcam til en eller
43:29
2 server for at. Ja ja.
43:31
Og ligesom få den den niveau af feedback.
43:35
Det kunne jeg ret godt lide. Vildt ja.
43:41
Så er der Sådan noget. Altså nogle multilingle
43:45
translation oversættelse hvad hedder det?
43:48
Tekst 2 speach også altså Sådan. Det er også Sådan en grineren
43:52
det kunne begynde at og så er der det nævnte det også her før.
43:55
Jeg tror Det var dig Rasmus tekstklassifikation altså bare
43:59
Sådan noget med kommentarer. Klassifikation Det er.
44:01
Også en helt gammeldags ikke altså.
44:03
Gammeldags. Kæmpe use case ikke altså.
44:07
Helt vildt. Det er tosset og hvor meget det
44:09
rent faktisk kan bruges til. Men Jeg tror virkelig Det er
44:11
altså Det er den her barriere man prøver at bryde ned.
44:15
At. Gør det tilgængeligt ja af
44:19
demokratisere brugen af de her modeller, fordi de findes altså
44:22
de de er sindssygt brugbare, men der mangler bare de rigtige
44:26
interfaces og de rigtige API er og.
44:30
Kuk ind i Det er sjovt. Jeg tror heller ikke man skal
44:32
undervurdere det her med udviklerkultur, altså Sådan hvad
44:36
forskellige typer udviklere er vant til at programmere med for
44:41
eksempel. Altså Det er jo kun muligt at
44:45
have så meget i kognitiv kapacitet i sin hjerne altså
44:49
menneske ikke altså så Det kan jo ikke.
44:51
Du kan jo ikke alle sprog og du kan alle altså alt alt vel.
44:57
For eksempel. Jeg bruger rigtig meget tid på i
44:59
øjeblikket. Alle føler jeg, jeg føler alle
45:01
de Sådan bruger rigtig meget tid på at hvad kan AI, og hvad kan
45:04
vi bygge med det og Sådan noget? Jeg sidder altså og prøver at få
45:07
Sådan noget offentication til at fungere og altså Sådan noget
45:11
loking og alt Sådan noget der som som rigtig mange bare tænker
45:14
easy ikke. Men men Sådan du ved, men Det er
45:19
nyt for mig. Altså.
45:23
Det er det ikke og jeg så jeg blev.
45:24
Jeg har faktisk nogle gange tænkt Sådan der.
45:26
Hold kæft mand kan det være rigtigt at du er fucking ikke.
45:28
Batter det her, men så så jeg et tweet for om blakea party som
45:32
også er ham her. Super æreingeniøren for Tesla
45:35
open-hana og Sådan noget. Han er også i gang med noget
45:38
startup og gået i gang med Sådan noget web development, og han
45:40
har også lavet Sådan en post, hvor han bare skriver Sådan.
45:43
Han bare synes Det var overvældende, hvor svært Det var
45:45
at lave en fucking hjemmeside altså.
45:49
Ja Det er helt vildt. Jeg har.
45:52
Jeg har virkelig prøvet med transformers James nu og og sige
45:55
eller Sådan have det som Sådan et dogme nærmest for mig selv,
45:57
at jeg ville ikke bruge. Sådan ting der der havde jeg
46:01
krævet et bælte step for eksempel.
46:03
Altså jeg ville ikke bruge et rejekt jeg ville bruge, altså
46:05
vanilje og ji javascript. Jeg vil kun bruge ting fra fra
46:10
CDN, så Det er bare lige at paste en en linje ind.
46:14
Bare for at altså give give mig selv det at at holde det så
46:18
simpelt som muligt ellers så så tror jeg virkelig hurtigt at det
46:21
kunne være sindssygt overvældende, hvis man prøvede
46:23
at lære 7 ting på en gang, ikke? Det det tror jeg, at Jeg er
46:29
blevet mere glad for, end jeg fortryder på det her tidspunkt.
46:34
Ja altså Sådan også bare Sådan noget.
46:37
Jeg ved ikke altså ja og Der er Sådan tit.
46:40
Så kan man få rigtig mange af de der ting Sådan en out ofbox hvis
46:44
man vælger et eller andet framework eller noget ikke men
46:46
så nogle gange så er det også Sådan lidt, så passer det ikke
46:48
helt til det man laver og Sådan skal man gå på kompromis med
46:50
nogle ting og så får du egentlig helst have Det var på en 2 måde
46:54
og Sådan noget altså Jeg har Jeg har rigtig mange gange prøvet at
46:56
bruge jingo for eksempel til Sådan web framework og Sådan
46:59
noget. Men Jeg kan bare lide jingo.
47:00
Jeg synes Det er noget altså jeg ved ikke.
47:03
Jeg synes Det er så gammelt. Og meget bedre.
47:05
Lidt fars DPI. Men det du kan få med Det er
47:09
bare ikke som batterias incluttede agtigt, så der bliver
47:12
du ligesom lidt mere nødt til at at at Sådan finde ud af tingene
47:15
selv. Og og det ja det det det som man
47:21
gør bare et irriterende valg. Jeg har måske nogle roadblogs
47:24
Jeg har sat op for mig selv der ikke men.
47:27
Det kan man meget hurtigt komme til.
47:28
Ja det. Fuldstændig.
47:33
OK Jeg synes det lyder spændende det her med.
47:35
Med med med det virker som om rigtigt altså.
47:38
Jeg tror faktisk Jeg har lidt undervurderet hvor stort.
47:41
Det her det rent faktisk kommer til at blive.
47:45
Lige nu. Indenfor det seneste år i hvert
47:46
fald. Det er helt sikkert.
47:49
Hvad med dig Jacob har du Sådan? Har du også hvordan oplever du
47:52
Sådan udviklingen? Jamen altså som du også siger
47:55
altså som du også bliver nævnt tidligere.
47:59
Altså det. Det går bare stærkt.
48:02
Altså Det er helt vildt. Ja ja ser også et kæmpe
48:06
potentiale i det. Helt.
48:08
Sikkert. Ja altså Det er jo bare ja så så
48:11
Der er jo også ja det Der er både noget noget økosystem og
48:15
noget hardware og nogle ting og sager der ligesom.
48:18
At bare peger i en retning kan man sige, og ligesom bare jeg
48:22
forestiller mig, at nu bliver det snart meget mere
48:24
tilgængeligt. Virker det til.
48:27
Så er det måske? På ja og det sgu lige før Jeg
48:31
vil sige Jeg tror så vil det være på Sådan en gang til 3,5
48:33
niveau eller Sådan et eller andet altså hvad GPTRGBT var
48:36
dengang eller Sådan og det ved jeg jo ikke men men men Sådan
48:40
ikke perfekt men Det er der og folk kommer til at blive
48:43
kreative med det ikke så. Ja.
48:47
Jeg håber virkelig også at Det kan altså kan sætte fokus på på
48:51
træning af af små modeller. Altså at at det ligesom får en
48:55
forhøjet værdi på den måde. At man ikke føler sig?
49:03
Lukket lukket ende af at og skal jeg lave noget skal jeg træne
49:06
noget som helst. Så skal jeg simpelthen bare have
49:09
et altså adgang til kefierne supercomputeren nærmest, men at
49:13
man man faktisk kan lave ting på et et hobby plan nærmest og få
49:17
værdi ud af det fordi at man ved OK så kan det blive brugt i
49:22
browseren. Hvis Det er er under en vis
49:25
størrelse og og viser sig at være brugbart.
49:28
Og så er det bare lige vildt og opleve altså nu har Jeg har jo
49:31
fulgt meget. Det har i sikkert også fulgt
49:33
meget tættere med omkring de her elemmer siden at det gik amok
49:37
med med chatkapitivitet der ikke.
49:39
Og Sådan. Der er bare en stålsat vilje i
49:43
verden og i communitiet og i open source verden på at det
49:47
her. Det skal bare blive billigere og
49:48
mindre og hurtigere altså Sådan der Der er folk arbejder som
49:52
sindssyge på det altså Sådan og det stopper bare ikke.
49:55
Det er ligesom agenter Sådan Det har fandeme ikke hold kæft Det
49:58
har været sløjt i mig lang tid altså hvad hvad med ligesom at
50:01
kunne forvente de her agenter ikke men folk de vil de vil bare
50:03
have det der til at ske og så stopper de bare ikke altså.
50:08
Så Der er et eller andet som Der er virkelig noget noget noget
50:11
noget futy futt i det her område kan man sige så det.
50:15
Havde jeg også ham her, Kasper. Grus havde han det.
50:20
Ja, vi snakkede om bæredygtighed og Sådan noget det.
50:23
Det kunne også være en en indgangsvinkel.
50:25
Man kunne ligesom kigge på og bruge.
50:29
De her browser eller et eller? Andet ja altså Der er jo
50:32
virkelig meget. Altså ad er jo bare godt ved det
50:34
vi finder tillykke. Gratis.
50:38
Miljøet alt muligt? Ja.
50:42
Ja, men Jeg synes at vi kommer rimelig godt omkring at tænke
50:44
Sådan her på falderebet er er der et eller andet Sådan II
50:48
kunne tænke jer Sådan at altså Sådan hvad nu hvis man sidder
50:50
derude og godt kunne tænke sig at komme i gang med med det her
50:52
Sådan hvad ville hvad ville i så gøre Sådan?
50:55
Jeg ved ikke det Vil du prøve at starte Jacob?
50:57
Ja altså gå ind på på hoggingface og kig altså man kan
51:03
man kan filtrere efter de her transformeres jazz.
51:07
Elemmer og så en. Indbakken faktisk simpelthen.
51:09
Ja du kan sætte Sådan et filter til.
51:11
Jeg kan ikke lige huske. Du skal ind under et eller
51:15
andet, og så kan du gøre det. Og så ja så tjek de her ud det.
51:26
Det er egentlig rimelig simplere at komme i gang med synes jeg.
51:32
Det kan jeg sidder lige nu og kigger på det og Det kan jeg
51:34
meget. Det kan jeg også varmt anbefale
51:36
Det er Det er ret interessant Sådan at se hvad Der er
51:38
tilgængeligt af af ting og sager.
51:40
Og Sådan nogle helt altså Sådan noget 135 mio.
51:45
Parametre elementer Sådan lige før det ikke er eleverne ikke
51:48
Sådan. Det er helt vildt.
51:52
Hvad med dig Rasmus? Hvad hvad vil du Sådan give hvis
51:55
Der er nogen der sidder og tænker hvordan kommer man i
51:57
gang? Jeg tror Jeg tror jeg ville
51:59
starte med med demoerne transformers, jyx demoerne for
52:03
ligesom at få øjnene op for at OK at det her.
52:05
Det kører faktisk som smurt og er er nemt at altså det det der
52:12
fik mig til at tænke og Det er det.
52:14
Det skal jeg da prøve. Det var Sådan at.
52:17
At Det var jeg gik bare ind på en hjemmeside, og så virkede det
52:20
altså. Det var og og det bør jo ikke
52:22
være en kæmpe kæmpe åbenbaring, men men mere det der at OK jeg
52:27
gik ind på en hjemmeside og det kører på min maskine simpelthen
52:29
det. Det synes jeg var en fed
52:30
fornemmelse så Sådan at at få den oplevelse det og og og bare
52:36
se hvad demoerne er at byde på, så kan det være at det får nogle
52:40
ideer til at. Og og kom op og så se nogle.
52:48
Nogle youtube videoer omkring? Der var Sådan en chrome
52:52
konference for 0,5 års tid siden, hvor at meget af det her
52:54
blev dækket. Hvor de også har nogle fede
52:57
demoer og og og fede outlooks på hvad hvad?
53:01
Hvad? Hvor står den her teknologi og
53:04
hvad kan det blive til? Jeg har apropos det, så har de
53:09
også lige været Google i ow kender det der ligger også nogle
53:13
youtube-videoer omkring blandt andet Det har jeg snakket om med
53:17
det her webstændig identificeret API.
53:21
Nice. Og Jeg tror også man er pyton
53:24
udvikler og er Sådan lidt uha ej Jeg vil script.
53:27
Jeg tror lige man skal. Gør sit bedste for lige at lægge
53:30
lægge det til siden, bare lige for en stund.
53:36
Hvis hvis man hvis man synes at det her altså det det lyder
53:39
altså hvis man gerne vil komme i gang med det her fordi det Det
53:42
kan være Sådan 1 1 1 unødvendig barriere faktisk man sætter op
53:45
for sig selv. Altså jeg jeg gjorde det selv i
53:48
lang tid lige så snart jeg tænkte, ved du hvad nu gør jeg
53:51
nu gør jeg det bare altså nu går jeg ind og og laver lidt om på
53:54
det her ja fuldkommen nu gør jeg lidt og ind og laver lidt om på
53:58
den her demo finder ud af hvordan Det er stykket sammen.
54:01
Så var det faktisk ikke. Havde svaret værre end værre end
54:04
så meget andet. Bare lige.
54:05
Sådan et helt lavpraktisk. Hvor kører i det henne eller
54:08
Sådan? Hvor kører man det henne?
54:11
Sådan. Gibrowseren.
54:15
Nu er jeg jo python agtig ikke, så Jeg kan godt lide den helt
54:18
simple du ved du har en main dot py og så en terminalen python og
54:23
så peger du på den der så kører det.
54:26
Hvad er Sådan? Hvad er?
54:28
Hvordan gør man i browseren Sådan?
54:33
Så så den måde Jeg har gjort det, som jeg også fortalte om
54:35
lidt før at jeg jeg prøver at gøre det så fairbognes som
54:39
muligt. At jeg i webudvikling, så så har
54:45
man sine HTML filer og i sin HTML filer der kan man smide
54:48
noget javascript ind, og der kan man hente javascript fra andre
54:52
steder som Sådan fra en CDN eller Sådan fra fra et netværk
54:56
af lidt lidt som med python pakker.
54:59
Ja, hvor at du så får adgang til en hel masse andet kode.
55:03
Og det sætter cd'en er det ligesom ligesom pipheragtigt.
55:08
Ikke helt måske. Nu nu er jeg lidt ude af.
55:11
Det ja nå men. Jeg ved ikke hvad Det er.
55:13
Måske lidt pære bananer eller? Men men derhen af i hvert fald.
55:21
Så men hvis man har Sådan en indeks nu kan vi helt afpagtigt
55:23
bare lige tage alle indeks dot HTML så er det noget HTML skal
55:27
noget CSS og så er der Sådan de her det her scripttag.
55:31
Lige præcis. Hvor du kan putte noget.
55:33
Javascript ind. Og så kan du faktisk køre det
55:36
der. Så kan du bare ja skrive løs
55:39
der. Man skal lige Jeg vil.
55:43
Jeg vil kigge på nogle af demoerne først.
55:47
Før jeg hopper ud af det dybe vand.
55:51
Der Der er vist en vanella jas demo vist nok som Jeg har brugt
55:57
til ligesom at at at se fordi alle de andre de er react og der
56:02
der bruger jeg igen den der barriere med i dets.
56:04
Det er alligevel lidt for. Det er ikke roller nok.
56:08
Hjemmefra. For langt hjem.
56:11
OK mega fedt jamen så vil jeg bare gerne lige sige til alle
56:14
der lytter med. Jeg synes i skal tage Rasmus og
56:18
jacobs råd her og så gå ud og prøv det her fordi.
56:24
Det kunne sgu godt. Der kunne godt ligge noget
56:25
fremtid i det her, synes jeg. Som vi snakkede om Det er jo Det
56:30
er privacy, Det er miljøet, Det er.
56:34
Det er lige før det økologisk også.
56:38
Alt als good ikke epody good ja så helt sikkert jamen nu har vi
56:44
også snart snakket en time, så skyrerne ved at blive lange som
56:47
vi plejer at sige. Så Jeg tror bare Jeg vil sige
56:50
1000 tak fordi i var i var med. Det var mega spændende at høre
56:54
om jeres erfaringer med det her og.
56:57
Jeg er i hvert fald blevet utrolig meget klogere, og jeg
56:59
skal helt sikkert ind og og prøve noget noget javascript for
57:03
at se om Jeg kan få det her op at køre i browser.
57:08
Fordi hun vil være med? 1000 tak fordi du har med.
57:11
Selv tak selv tak her.