Latest / Verbos: AI og Softwareudvikling / #23 - Falcon 180B er den STØRSTE LLM på Hugging Face og DeepMinds Selvoptimerende LLM Framework

Transcript

#23 - Falcon 180B er den STØRSTE LLM på Hugging Face og DeepMinds Selvoptimerende LLM Framework · Verbos: AI og Softwareudvikling

0:00
Velkommen til vrbos podcast episode nummer 23.
0:04
Mit navn er Kasper junge og Jeg er machine learning ingeniør hos
0:07
co dot r. Og jeg hedder Jonas og Chris
0:09
Andersen og arbejder som data scientist på ekstra Bladet.
0:13
Yes og til alle nye lyttere som ikke kender til podcasten, så er
0:16
bebos podcast all about a så a sofa udvikling og data science
0:21
og hvad boss podcasten udkommer hver onsdag klokken 7 om
0:24
morgenen til dem Der er stået tidligere i dag skal vi tage et
0:28
lille sweep over nyheder og noget gossip der har været i de
0:31
sene den seneste uge seneste uges tid.
0:33
Og det glæder vi os bare sygt meget til, fordi Vi skal nemlig
0:38
snakke om Vi skal snakke om nogle nye, en ny open source
0:41
model, Der er kommet den faktisk den største open open source
0:44
model Vi har haft hidtil. Vi skal snakke en lille bitte
0:49
smule om en ny lidt grineren service som er hocking face har
0:53
har udgivet som som mig og Jonas synes er lidt lidt lidt grineren
0:57
og men også interessant så skal vi snakke om.
1:01
Om large language models kan lære fra for at få Sådan enkelte
1:06
eksempler baseret på en blogpost, som der faktisk Jeg
1:11
har skrevet og til sidst skal vi lige, så skal vi diskutere
1:14
paper, som er blevet udgivet her for x heller ikke så lang tid
1:17
siden som handler om large landbrugsmodels, som ligesom kan
1:22
optimere sig selv, hvor Der er nogle forskere der ligesom har
1:24
prøvet at lave Sådan et framework til at.
1:28
Sprog modellerne optimerer sig selv med natural language,
1:32
hvilket Jeg synes er rimelig fedt og interessant, så Det er
1:35
de ting Vi skal snakke om i dag, og det glæder jeg mig rigtig
1:38
meget til. Men for første gang skal vi lige
1:41
huske at nævne, at hvis man kunne tænke sig at støtte Vores
1:43
podcast, så kan man huske, eller så kan man huske at følge også
1:47
på Apple podcast eller Spotify eller hvor man hører en podcast
1:51
så man får. Så man bliver mindet om hver
1:53
eneste gang vi udgiver en episode hver onsdag, og så kan
1:56
man selvfølgelig følge os på på LinkedIn og faktisk også på
1:58
youtube. Så så det skal måske at gøre.
2:01
Men hvad så Jonas er du faktisk? Det var godt. 180 b. 85 b jamen
2:10
skal vi ikke bare dykke direkte ned i det?
2:13
Måske kan du lige. En lille Kirsten lille
2:17
indflyvning i hvad der foregår. Ja den er stor.
2:22
Det er den største open source model.
2:28
Den hedder falcon 180 b og 180 b.
2:31
Det står for 180 billaan parameter.
2:36
Altså Det er 180 milliarder parametre mere og Det er så mere
2:39
end giver vi 3 som udkom i 2020. Det er mere end den open source
2:45
giver vi til 3 i quent. Der findes den her bloom model.
2:50
Så den er rimelig stor. Den er Sådan 5 milliarder par
2:52
meter større end. Det der findes ikke.
2:56
Jo og jamen jeg ved ikke rigtig hvad man ellers.
2:59
Skulle lige have lidt. Flere milliarder end de andre,
3:03
ikke bare. Det er jo fuldstændig crazy
3:08
fordi altså man kan jo ikke. Man kan jo ikke køre den her
3:11
model nogen steder. Altså Det er bare Sådan hvis du
3:13
prøver lige at skulle lege lidt med den og få den til at
3:16
generere noget. Altså så er du jo bare bankrupt
3:19
efter en time ikke også for mange instanser skal man bruge
3:22
for at køre den. Jeg kan jeg ikke engang huske
3:25
det. Det er Sådan et eller andet
3:26
crazy de siger inde på hocking fase er det.
3:28
Ikke det 8 8 10 100 GUI hvert fald tror jeg ikke og Sådan for
3:31
Sådan en entry level du skal køre den ikke.
3:38
Men, men den er jo open source ikke og og det vil sige
3:41
opensource måden man selvfølgelig ville bruge Sådan
3:45
noget på. Eller så siger jeg bare
3:46
selvfølgelig, men Jeg tror den måde man vil bruge på hvad
3:49
ligesom at sige okay, men Vi er en business, vi vil gerne prøve
3:52
at konkurrere med. Med åbne jeg ikke og og ligesom
3:57
fintune og lave en service til at kunne.
4:00
Kunne bruge den her model her på en eller anden måde, fordi Det
4:04
kan jo ikke nytte noget. At altså når Jeg har de der gpu
4:07
og stående der, så skal de altså bare køre 24 7 og lave penge til
4:11
mig fordi ellers så er det altså pænt ligegyldigt.
4:18
Så hvad hedder det? Og der skal jeg bare lige.
4:19
Jeg vil bare lige give dig lidt nedtur på her Jonas fordi man må
4:23
godt bruge den til commercial use, men Der er restrictions på
4:26
det og Det er Sådan ligesom der står at man skal lige tjekke
4:28
licensen for det så Det er og Det har vi så gjort, men den er
4:32
ikke Sådan åben åben som som som lamaer i hvert.
4:34
Fald desværre så Sådan lidt mærkeligt det der fordi altså
4:37
hvornår er noget rigtig open source.
4:39
Ja ja Det er sgu et godt spørgsmål.
4:41
Ikke fordi og Det er i virkeligheden også et godt
4:43
spørgsmål med alle de her open source modeller.
4:46
Ikke fordi open source er jo kode.
4:50
Kan man sige altså så det der var.
4:53
Det har været meget debat om at sige hele udvikler og Sådan open
4:56
source communitiet. Sådan kan man tillade sig at
4:58
kalde en model open source, når man ligesom bare ligger model
5:02
vægtene ud, men ikke ligger i selve koden.
5:05
Den er Der er brugt til at frembringe den ud.
5:07
Ikke så så Det er Sådan. Nå, jeg sidder lige bare for
5:11
sjov, så kigger jeg lige ned og og og og ser hvad de skriver på
5:15
hocking fase for det vil sige hardware requirements hvis man
5:18
skal lave en fuld fine tuning. Af den der falcon.
5:23
Bankerne, 180 b 18. Så skal man bruge.
5:29
Står der 8 gange. 8. Af 100 100 med 80 gigabyte hver.
5:35
Det vil sige Det er. 5120 gigabyte Det er altså.
5:41
Det er 5 komma og Det er jo Det er jo GPU hukommelse det her
5:45
ikke. Ja.
5:50
Det er rimelig meget. Det må jeg nok sige.
5:52
Det troede jeg lige jeg finder op ad lommen så altså det.
5:57
Det er jo du kan selvfølgelig godt lave de der.
6:00
Quora, så skal vi ikke gå ind på hvad Det er, men Det er jo Sådan
6:03
noget der fancy quantification, som gør at ting fylder mindre.
6:07
Og Jeg er det ærede hjerte så kan man så kan man jo slippe
6:10
afsted med kun 2 a 100 GPU ikke? Og så, og så kan man.
6:18
Og det svarer sig til, siger 160 gigabyte ikke så så Jeg tror, at
6:21
hvis nogen nu fandt på at gøre noget ved den, så ville de nok
6:24
ikke bare tage den Sådan. Fuld floating point, præcision
6:28
og og bruge den. Altså jeg tænker at man vil
6:33
kontakte den med det samme på en eller anden måde.
6:36
Og så og så prøv at. Arbejde.
6:39
Ja fordi det andet Det er Det er jo Sådan.
6:42
Altså det. Det er åndssvagt.
6:45
Det må man sige, og de siger, men altså de siger også at den
6:49
den altså Sådan rent performance vis så ligger den på niveau med
6:54
altså den topper fucking face leaderboard for præst.
6:59
Det var altså pre trainee modeller og ikke fintunet ser
7:02
det ud til og de siger at den Sådan ligesom er på på niveau
7:06
med det hævder i hvert fald at den er på niveau med pallen 2
7:12
som er Googles Googles. Model ikke jo så Det er jo Det
7:16
er jo lidt pinligt for Google må man sige.
7:21
Ja men, men i virkeligheden så Jeg synes også Det er en meget
7:24
god måde, og nu skal jeg lige holde styr på mine faner her
7:27
fane crazy. Ja, men på en måde skal man
7:31
måske også snakke lidt om Sådan det her.
7:34
Altså jeg forestille mig Det er noget tid siden de har sat den
7:36
her ovre, og det må være en af de frustrerende ting ved at
7:40
træne store sprogmoduler. Det er, at du ligesom altid.
7:43
Jeg ved ikke hvor lang tid det tager at træne.
7:44
Det tager jo nok lang tid at træne i hvert fald.
7:48
I hvert fald mere end en måned. Ikke så du har altid den her den
7:52
her. Du er altid det her setback i
7:54
forhold til forskningen og i forhold til de andre nyeste
7:56
modeller ikke så så på den måde må det være lidt frustrerende,
7:59
men det virker som om at at trenden er mere mod det her med
8:04
at træne i længere tid medmindre mindre modeller og så mere data
8:09
og så. Få dem til at performe bedre med
8:12
mindre vægt. Ikke fordi Der er sgu ikke nogen
8:15
der har. Der er sgu ikke nogen der har.
8:19
Altså det skal man selvfølgelig sige og og at der ikke er fordi
8:22
folk altså Der er jo meget attraction på det her.
8:25
Den her teknologi i øjeblikket ikke, så Der er sikkert mange
8:27
pengestærke organisationer derude, Der er det plejer.
8:31
Overraskende ting ikke det skal vi, og det skal vi i øvrigt.
8:33
Det er en fin transition til det, Vi skal snakke om lige om
8:35
lidt, men men men hvad hedder det?
8:39
Men alligevel 180 milliarder model modeller, ikke?
8:44
Eller 180 milliarder par meter modeller?
8:47
Det er altså Det er sgu en dyre nogle gange kørende.
8:52
Det kunne være meget sjovt lige at regne på.
8:54
Jeg havde faktisk ikke regnet på det her for nyligt, men.
8:57
Men Det er der i hvert fald nogle 100.000 om måneden man
8:59
skal have smidt efter. Det forestiller mig.
9:01
Jeg tror det også. Hvis man skal have det stående
9:04
køre og og og lave inferens med det ikke så, men kan man ikke
9:09
også godt tjene 100.000 kroner om måneden for at have Sådan én
9:12
kørende og altså IAP for eksempel hvor at andre kunne
9:16
kalde den og vil sælge adgangen til den og så betaler dem der
9:21
skal bruge den jo ikke? De betaler bare for hver gang de
9:24
requester den ikke og så jamen det tror jeg Det var jo Sådan
9:28
åbner jeres forretningsmodel. Startede, og jeg tænker, da de
9:32
tjener penge derinde. Altså Det kan jeg ikke.
9:34
Ja, det tror jeg faktisk de gør. Jeg tror faktisk de tjener
9:37
penge. Hvis man kigger lidt på hvad det
9:39
koster og requête de der modeller der så tænker jeg de
9:44
tjener penge. Altså de kan de kan håndtere.
9:48
Altså det lyder jo. Det lyder jo voldsomt, når når
9:51
man tænker på hvad Det er. Men Det er jo Det er jo fordi
9:53
Det er et overhead på at køre den er så stor, men når de så
9:57
endelig kører der, så kan de altså håndtere ret mange ved
10:00
quist. OK så det.
10:02
Det er fordi Det er nemlig også nysgerrig på, hvis du så siger
10:04
fucked. Vi køber 10 eller 8 eller 20
10:08
eller et eller andet er de helt store, hvis man ligesom deployer
10:11
minimums versionen af. For eksempel falcon 180 b ikke
10:16
og sætter den op på en server. Hvor mange kan den så?
10:18
Server altså hvad? Hvad kan den håndtere af
10:20
requests? Et par sekunder, eller hvad man
10:22
ligesom måler de ikke. Det, Det er jo et ingeniør ing
10:25
problem, kan man sige og og Det er jo der hvor at så tager man
10:29
Microsoft. Bedste ingeniør, og så sætter
10:31
man dem med hen i et rum og kigger på, hvordan optimerer vi
10:36
bare? The shit out at Det er den her
10:40
deployment og så og så får man så får man så får man det til at
10:44
virke på en eller anden måde. Det er slet ikke i tvivl om, at
10:49
det Det kan lade sig gøre. Det er et spørgsmål om at have
10:52
viden og evnen selvfølgelig, og. Og.
10:57
Og vilje til at få det til at køre vilje, der bliver lavet
11:00
meget kostet c plus plus kode nede bagved det der for at få
11:05
det til at køre Det er der ingen tvivl om.
11:08
Og for at bare at hente så meget man nu kan på på kørsels tiderne
11:13
og. Der bliver der bliver cuwwa oven
11:18
på en ko bliver der sendt request ned og så bliver de
11:20
patchet og man giver folk lige og nogle gange Det har du også
11:24
lagt mærke til når du request åbner jeg så lige nogle gange så
11:27
kører det hov der kom jeg hurtigt igennem hov der kom jeg
11:29
ikke så hurtigt igennem og Det er fordi du bliver ligesom suget
11:32
op på Sådan en stor kø og når der så er nok nå nu kom der nok
11:36
request ikke så enten er der en eller anden fiks tid
11:39
millisekunder og så bliver den sendt ind til til gpu når jeg
11:42
kommer tilbage igen men du bliver så sendt i en bunke af en
11:44
masse andre jo. Og så når du kommer ud igen, så
11:47
er du en del af et batch på hvad ved jeg 100 måske endda 1000
11:51
eller mere fordi batch størrelsen på dine modeller.
11:54
Det kan du gøre mange ting igennem ikke og så vil du komme
11:57
i gang, så bliver det mappet tilbage til nogle requests og så
12:00
bliver det sendt ud til alle brugerne igen så det.
12:04
Det er jo den måde man optimerer det på, ikke?
12:06
Jo, men jeg tænker bare altså Sådan hvis ikke altså jeg
12:13
forstår Der er en masse selvfølgelig en masse
12:14
organisationer der har en masse privacy ting.
12:16
De bruger meget tid på at ligesom at kæmpe med og de kan
12:19
ikke bare sende alt mulig data til åbning og så videre, så Det
12:24
er jo selvfølgelig en kæmpe motivation for at rode med at
12:27
det bliver de her ting, ikke? Men altså hvis man ikke har de
12:32
problemer der. Så er det altså en fed service
12:36
åbner Jeg har altså Jeg tror virkelig Sådan priser effektiv
12:40
wise så tror jeg de de er ret godt med og i forhold til hvis
12:44
man altså Sådan. Ja, også fordi deres modeller
12:47
ligesom de er bare virkelig gode, ikke?
12:50
Altså ja så men altså Det er jo man kan sige.
12:53
Det er jo bare tegn på at at open source verdenen haler ind
12:56
på dem ikke? Altså.
12:57
Og Sådan over tid, så bliver de jo nok ved med at pudse på og.
13:04
Ja. Det er det spændende at se, hvor
13:06
det alt sammen ender. Det må jeg sige.
13:08
Ja. Yes jamen skal vi lige så stille
13:13
og roligt bevæge os videre til til den næste næste ting på
13:16
programmet. Det er den rigtige segway synes
13:18
jeg. Fordi Det er nemlig ikke helt.
13:22
Man kan faktisk godt have Sådan en fed tv avisen.
13:25
Hvad kalder man det Sådan en overgang eller Sådan en et eller
13:28
andet transition ting? Fordi fordi nu skal vi nemlig
13:32
snakke om en en service som høringsfase for nyligt har.
13:36
Har hvad hedder det udgivet som hedder training cluster altså
13:40
service. Og det.
13:44
Det den der hotline er ligesom train your allem at skåle og en
13:48
r infrastructure og de har 1, 1, 1 1 1 herlig landingpage.
13:55
Må jeg nok sige, Det er simpelthen det.
13:57
Det er så meget høringsfase landing page det der.
14:00
Så du skal faktisk du kommer ned.
14:02
Du kommer på den her hjemmeside, træning, cluster service og så
14:06
står der ligesom en sætning, hvor Der er nogle blanks som du
14:08
ligesom skal fylde ud med den LM du gerne vil træne og der står i
14:13
want 2 train af. Så står der thy Belgien så
14:16
vælger jeg bare lige 70 billion for the sake of fit så står der
14:20
parameters så kan man vælge multi model og tekst, så vælger
14:24
jeg bare tekst så kan man sige model on a one point for
14:29
trillian tokens dataset ja lad os bare vælge 7 trillioner
14:33
tokens bare for at helleved og hun fik ham ned så kan man vælge
14:38
200 500.000 accelerators. Ja nu jeg jeg prøver bare vel
14:43
200 accelerators bare for ligesom at være hvad skal man
14:46
sige? Jeg vil være lidt være lidt
14:50
prøve at spare lidt. Ikke så det vil sige okay, så nu
14:53
har jeg ligesom sagt Jeg vil gerne det her.
14:55
Jeg vil gerne træne en model med 70 milliarder parametre på tekst
15:00
på datasæt. Der er 7 trilliarder tokens
15:02
stort på 200 accelerators nedenunder så har den Sådan en
15:07
calculator den live imens jeg ligesom ændrer det her så
15:10
beregner den så siger det til siger den at det estimeret tid
15:14
det tager de er 861 dage. På 200 accelerators altså
15:20
devices ages og det og jeg skal faktisk kun af med 7.661.000
15:29
dollars. Hvad?
15:30
Hvad valgte du? Valgte du den der?
15:33
7. Tokens.
15:38
Ja og 37 tunge. Jeg kunne også vælge 1,34
15:40
tokens, altså bliver det så kun 1,5 millioner dollar.
15:43
Sex, der Der er noget Der er lidt sjovt.
15:46
Jeg heller ikke mærke til. Fordi så ja, Det er ikke sjovt,
15:51
men Det er bare at lægge mærke til, hvis man vælger at træne
15:54
den på flere, så kan man jo få mere parallelisering og så tager
15:57
det færre dage sjovt nok, men det bliver også billigere uge.
16:04
Det er lidt sjovt fordi. Ja.
16:07
Det det det det bliver simpelthen billigere ja men så
16:12
så kun lige et par 100.000 dollars mindre.
16:16
Men man kan jo prøve at lave den mindste model man overhovedet
16:19
kan ikke hvis man vælger en 7 milliarder par meter model
16:22
træneren på tekst med et datasæt der har 301 milliarder tokens på
16:29
200 accelerators. Så skal du kun af med 32.000
16:33
eller nærmest 33.000 dollars og så tager de 4 dage.
16:37
Ja 1 1 7 7 b. Ja.
16:40
Ja. Jeg har altså også lidt
16:43
interesseret i Sådan. Hvad er det man skal?
16:45
Altså skal man bare træne sin helt egen eller lim til altså
16:48
Sådan skal man fintune den på et specifikt problem.
16:51
Eller altså træner man den fra scratch eller hvad er det
16:55
ligesom? Ja altså.
16:59
Hvad hvad er 7? Okay?
17:01
Det var så også den største vi valgte der ikke, men så skal vi
17:05
også lige kunne overhovedet finde så meget tekst lige hvor
17:09
jeg skulle få så meget tekst fra.
17:13
Men Det er. Bare Jeg synes bare training
17:16
cluster altså service. Drag and drop løsning til at til
17:23
at kunne swipe kortet og så bruge 7 millioner dollars.
17:27
Det er. Ikke noget med, at du havde
17:28
været inde i digitaliseringsstyrelsen for
17:30
nylig, og. Jeg har faktisk stået det der
17:33
skilt på, hvor der står digitaliseringsstyrelsen.
17:35
Ja, vi var inde i var inde i digitaliseringsstyrelsen i dag
17:38
sammen med en masse andre. Også nogle af dine kollegaer fra
17:40
ekstra Bladet og snakke om frigivelse af datasæt, og Der er
17:44
der også mange der snakker om det her med det her.
17:45
Det er så dyrt at træne de her sprogmoduler og så videre.
17:48
Og det må. Man sige, Jeg synes Det var Det
17:51
var billigt, altså når man hører hvad Det har kostet mig at lave
17:54
t 4 ikke. Så det.
17:57
Det var billigt. Ja Jeg synes bare stadig Det er
18:01
så det Jeg synes Der er noget komisk over at.
18:05
Det siger noget om markedet, ikke?
18:08
Fordi jeg tænker der må være det må være der må være en domæne
18:13
domæne for det her siden hockey har valgt at lave det ikke, og
18:17
det siger bare noget om hvor meget folk.
18:21
Åh hvor meget. Hvor meget, hvor stor
18:26
begejstring Der er for den her teknologi ude i de der Sådan
18:28
større virksomheder ikke. Altså Det er jo Sådan noget novo
18:31
nordisk DSVE, hvis man tænker på danske virksomheder, ikke der
18:34
skal rode med Sådan noget her, hvis Det er, hvis det
18:36
overhovedet skal give mening, ikke?
18:40
Men men men så så er det bare sjovt det der med at nu er det
18:43
altså bare virkelig nemt. Og lige swipe kortet bruge
18:48
halvanden million dollars, og så har han i sin egen LM ikke?
18:53
Mærke til at der står også Sådan der står det det du får Det er
18:56
computer plus service. Altså det.
19:00
Det er ikke bare computer. Koster Det er Sådan en service.
19:04
De skriver også at jamen vi kan også indgå et samarbejde om det
19:09
der med data for eksempel Sådan så ligesom hjælper jer med det.
19:13
Vi kan også bare sende data over til os, så er det jo
19:16
selvfølgelig fuldt fortro. Og hvad hedder Sådan noget?
19:20
Gør ikke noget med jeres helt private data Der er i så store
19:24
mængder. Der er jo selvfølgelig en masse
19:27
data, som er hentet udefra. Ja selvfølgelig store hvide
19:31
verden der ingen ligger inde med så meget data i sin virksomhed.
19:36
Altså hvem gør det det? Det findes ikke.
19:41
Der er ikke engang stat, Der er så meget tekst der.
19:45
Hvad hedder det? Det er lidt ligesom Jeg synes
19:47
Der er begyndt at danne sig et eller andet form for billede af
19:49
hvad Sådan større virksomheder bare kendte virksomheder
19:53
generelt reaktion på det her. Og Det er, at Der er en
19:57
efterspørgsel om altså folk synes chat kbh er fedt.
20:01
Der er bare nogle problemer med det og en af de problemer.
20:04
Det er blandt andet det her med privacy og data og Sådan.
20:07
Det andet problem, Det er det her med den skal kunne virke på
20:09
Vores data. Den skal kunne forstå hvem Vi
20:12
er, og den skal kunne virke på Vores data og så videre, ikke?
20:15
Og og Det er der mange virksomheder Der er.
20:19
Der ser ret stor potentiale i at få løst det problem.
20:22
Så ja som om at Det var så mærkeligt.
20:25
Fordi undskyld jeg afbrød, men er det ikke noget med at at Vi
20:28
har Sådan nogle prompte engineering løsninger til det
20:32
der med hvordan vi. Møder data og fakta ind andre
20:36
steder fra, altså ind i pumpen. Det behøver jo ikke at være
20:40
trænet. Tror Det er Sådan en en kognitiv
20:42
en. Bekymring som.
20:45
Det Der er med det. Ja fordi Jeg tror Jeg tror Der
20:49
er mange der. Jeg tror det her ordet fintuning
20:51
det vil jeg blive Sådan. Det er faktisk ved at blive
20:53
Sådan lidt lidt halv mainstream det her med at man kan ændre
20:56
modellerne lidt Sådan så de virker på en bedre måde og så
20:58
videre. Ikke og så tror jeg Der er mange
21:00
Jeg tror Der er mange der efterspørger at modellerne
21:03
bliver fintunet til deres usecase eller til deres
21:06
virksomheder eller til deres og så videre ikke problemet er bare
21:09
at hvis de godt kunne tænke sig at fintune de her modeller, så
21:13
skal de kaste computer efter det, og hvis Det er Sådan hvis
21:17
de vil have det til Sådan at. Kunne referere til data og så
21:20
videre. Det er ikke noget der skal være
21:22
memoreret inde i modellen, fordi Der er problemer med
21:25
hallucinerer og hallucination og så videre, ikke?
21:30
Nej, det vil man nok hellere vil Det er at lave det her som man
21:33
er. Mange er begyndt at kalde det
21:35
for rack retrieve. Argumentet generation ikke altså
21:41
hvor hvor at du ligesom siger, okay vi?
21:43
Vi anerkender, at sproget modellen den hallucinerer og så
21:46
videre og så videre den den den er ikke.
21:49
Det er ikke en du skal regne med.
21:51
Når du gerne vil have akkurat data, men vi kan faktisk
21:54
minimere hallucinationerne ret markant, altså Sådan nærmest
21:58
ingenting, hvis vi ligesom får sørger for at få få de rent
22:02
faktiske fakta ind i konteksten. Og så ligesom bruger LM
22:08
intelligens til at levere den ude i en eller anden et eller
22:11
andet format eller extract det på en eller anden måde ikke og
22:14
det og det virker som om at og Det er måske Det er jo en langt
22:17
mere effektiv brug af lars landbrugsmodels kan man sige
22:20
ikke i forhold til at fintune. Og eller bare lave dem fra
22:24
scratch? Du kan jo få live data ind.
22:28
Du kan jo ikke. På den måde.
22:29
Du kan jo ikke få live data ind uanset hvor meget du tænker fine
22:32
tuning og det bliver jo hvad kan man sige så skal du genoptræne
22:36
det. Det er fintunet og det Det er
22:38
sjovt det her fordi jeg hørte faktisk for nylig en case for at
22:42
nogen havde sat Sådan 1 1 1 dims i verden.
22:46
Hvor at Det var hvor Det var et kontinuerlige fintuning af lars
22:51
language model i Sådan et job der bare at stå.
22:54
Og Det var seriøst hvor jeg bare tænkte wow.
22:59
Det Det er et bad jeg setup det der.
23:01
Hvor man ikke Sådan kunne man måske overveje en anden
23:04
arkitektur. Men det det det, men Jeg synes
23:08
bare Det er et udtryk for at folk vil gerne have de vil gerne
23:11
have det her. Det skal bare virke på en
23:13
bestemt måde ikke? Jeg tror.
23:14
Virkelig at man skal ikke undervurdere, hvor meget det
23:16
hype der har fået, og det tror jeg også at hocking face
23:19
løsningen der. Ja ja, så har jeg de der hvor i
23:22
bare skal bruge. Giv mig noget computer now og
23:24
det skal bare køre så kan i komme herover og få det og hvis
23:27
i bruger transformer librariet jamen så er det jo sjovt nok
23:30
bloggen play. Jeg har Sådan en eller anden.
23:33
Jeg har Sådan en eller anden model oppe i hovedet af det
23:35
over, at Der er mange der ligesom.
23:38
Der var en der brokker sig over hallucinationer, for eksempel
23:40
ikke, men Det er også fordi de misforstår eller glemmer.
23:42
Du ved, l her er ikke databaser, de er meget store og dyre
23:46
ineffektive databaser i hvert fald så ikke som du ved, du ved,
23:50
Det har vi teknologi til postgres vektor databaser alt
23:54
Sådan nogle ting, så hvad hedder det så det som det som de skal
23:59
gøre eller lemmerne? Det er virkelig bare tage bruge
24:01
den data og så ligesom extracted den eller formidle den eller
24:04
processerer den på en eller anden måde ikke.
24:06
Det er ikke noget der skal være inde i modellen.
24:09
Og det og det og Jeg tror Der er mange der bliver givet over.
24:11
Jamen den kender jo godt python for eksempel og får step.
24:15
Jeg kan godt hjælpe mig med det og Sådan noget ikke?
24:17
Men Det er ligesom om det på en eller anden måde.
24:20
Det jeg ser det lidt som om at Det er noget der ligger i den
24:24
der store elevers long term memory på en eller anden måde
24:27
ikke og og de og så har folk idé om at hvis vi bare tuner den til
24:32
Vores, så bliver den bedre til det.
24:34
Men Jeg tror den der baggrundsviden som jo er meget
24:37
imponerende som lemmer har. Den er svær at rykke altså Sådan
24:41
Det er den. Det er den store tunge sten.
24:43
Det er det du ved det Det er præ træningen, Det er de der Det er
24:46
det man kaster milliarder af millioner af dollars efter ikke?
24:50
Det er ligesom at få bygget den der op.
24:52
Og så kan man bruge fine tuning mere til jeg ser mere fintuning
24:57
som en ændring af adf. Ja de har altså Sådan så tuner
25:03
man deres adfærd til at forstå. Okay, Det er det her, vi laver
25:06
vi vi chatter, eller vi følger instruktioner, eller vi koder
25:10
eller gør et eller andet ikke. Men ikke man tuner ikke Sådan
25:14
baggrundsviden i den grad fordi, eller det kunne man sikkert
25:18
godt, hvis man havde nok data nok alt muligt.
25:20
Men Det er så tung en sten at flytte at.
25:23
At det skal man det. Det skal man ikke regne med at
25:27
at den ligesom så så derfor må man bruge Sådan mere meget langt
25:30
mere effektive metoder som retrieval og men Det er
25:33
generation for eksempel hvor man henter data ind i kontekst og så
25:36
bare. Ja det Det er en det vil jeg
25:41
sige. Det er en stor misforståelse, at
25:43
Det er Sådan man skal se på de der modeller der, men Der er
25:45
helt sikkert nogle der kan sælge en løsning at tjene penge penge
25:48
på det alligevel vil ligesom give en virksomhed se Vi har og
25:52
i øvrigt så står den og kører hver uge.
25:55
Og jeg tænker lidt. Jeg tænker lidt ved at det her
25:57
hockings face de har set dem eller anden har eller anden
26:00
efterspørgsel en eller anden oppe 20. i markedet, så er vi.
26:04
Er det her i virkeligheden hockings fase, der giver noget
26:07
brugerne gerne eller deres kunder gerne vil have.
26:10
Men som de i virkeligheden som som de ikke rigtig, som de ikke
26:12
har brug for. Som de ikke selv ved, at de som
26:14
de ikke selv er klar over, at de har brug for det kunne jeg Sådan
26:17
mistænkte lidt for. Det kunne man godt mistænke lidt
26:20
for for fordi Jeg vil sige. Så tit er det jo Sådan nogle
26:25
research tunge institutioner, der rent faktisk begiver sig ud
26:29
i de der. En præ træninger ikke og og dem
26:35
er der jo alligevel ikke Sådan super mange af.
26:37
Altså jo jo der popper modeller op tit og bliver open sources
26:40
nogle ting men. Ja, men så mange er der jo ikke,
26:45
at man ligesom kan lave en business på det på den måde.
26:47
Så Jeg tror at det vil helt sikkert være.
26:51
Altså. OK så du har også det der live
26:55
casino commercial problem der hvis nu du tog noget data
26:58
herovre du tog noget kode. Og du Sådan som var open source
27:02
og du havde altså du havde nok til ligesom at lave Sådan jamen
27:05
så kan du så kan du få din egen LMI den størrelse med det data
27:10
du gerne vil træne dem på. Og så er der selvfølgelig som du
27:14
siger det der med, at så er der mange der tænker jamen, den skal
27:16
jo være et domain specifik den her model.
27:19
Den skal jo kende noget til mit domæne eller min virksomhed.
27:21
Min. Virksomhed, så tager man at gøre
27:24
det med sit eget data også på det tidspunkt, hvor man også
27:27
tager et muligt andet data ind. Og så har man en lille fin, en
27:31
lille fin model. Tror man måske så ikke fordi at
27:35
Det er fordi Det er jo så der hvor problemet opstår Det er.
27:39
Der vil man nok være det første omgang, man prøver at træne
27:41
Sådan en model der at. Hov, Det var ikke Sådan shot, og
27:46
så virkede det bare lige præcis. Ja så så Jeg tror også ja.
27:52
Så der Der er nok nogle ting her, hvor jeg kunne forestille
27:56
mig Der er nogen der bliver skuffet, eller også er der bare
27:58
en eller anden use case, som jeg slet ikke er klar over.
28:01
Men Det er også Det er også sjovt det der, fordi nogle gange
28:03
nu sidder jeg jo en startup. Kan man sige hvor der ikke er
28:07
uendelige penge til at til at gøre alt muligt?
28:09
Ikke så for os giver det i hvert fald ikke mening at at det pløje
28:12
en eller anden stor fed sprog model heller ikke engang de
28:15
mindste én eller Sådan. Vi kan i hvert fald bare
28:19
konstatere, at opening i har en rigtig god kvalitet, ellers
28:22
output og de er ret Sådan en pris.
28:26
Hvad skal man sige? Effektiv, ikke?
28:28
Jo så så men men altså igen Det kan godt være der sidder nogen
28:33
derude og virkelig bare. Har de fedeste cases, som
28:38
virkelig er klar over det skal man heller ikke.
28:41
Det bliver spændende at se og måske høre om Der er nogen der
28:44
rent faktisk bruger hacking fase nye.
28:47
Yes nye service men kan joine whist med sin.
28:52
Kan jeg prøvede faktisk lige, og så kunne jeg så kunne jeg lige.
28:55
Jeg kan joine med dansk datakilde unity.
28:59
Eller fucking fest? Ja så så Det er mega fedt så
29:04
hvis man lige altså hvis man lige har.
29:07
Mellem 31.007,5 million dollars, men ikke lige ved om de skal
29:12
bruges til og har lyst til at træne sin egen LM fra scratch
29:15
eller. Så er det træning kloster op i
29:17
hvert fald i pokerface. Så har man muligheden.
29:21
Ja Det er det Det er mega fedt. Yes jamen.
29:26
Næste artikel Vi skal snakke om Det er en artikel fra fast i.
29:32
Som hedder can LM so learn from the single example.
29:36
Og Jonas kan du ikke lige? Kan du ikke lige brække det ned
29:40
fra os? Hvad?
29:41
Hvad får man? Så nu er jeg på territoriet, jeg
29:44
ikke normalt giver mig så meget ud i.
29:47
Det er lidt Sådan blast pro react Vi skal snakke om nogle
29:51
love curves. Dem kan man få på sit
29:56
træningssæt og sit validerings sæt, så vidt jeg husker nå.
30:02
Der er noget sjovt i den her den her blogpost hvor at de de
30:07
klamer ligesom at have fundet et fænomen.
30:10
De svarer på spørgsmålet kan, kan de lære noget af det enkelte
30:14
eksempel, de har lavet? Og det siger de ja det Det kan
30:16
de. Og de opdagede, da de da de
30:21
fintunede nogle lemmer, at de fik nogle løse kuverter og så
30:25
lidt sjov ud. De de de kender måske eller også
30:29
på dem der ikke lige kan se det. Det er Sådan en Sådan en en
30:32
faldende kurve. En flot.
30:35
Okay hockey stick men, men Sådan en.
30:39
Lukke og det de så, så Det var ligesom Sådan.
30:43
Jamen når de de ser, ligesom at at den her løst kurve den den
30:48
går, ligesom når den så slutter på det der epoke der så bum så.
30:53
Så beregnet beregningen viser sig, at den der loss er faldet
30:57
helt vildt meget efter det første epoker, og så fortsætter
31:00
Det ligesom derfra, så det ligesom er Sådan et lille
31:03
vandfald i flere trin, kan man sige ikke.
31:06
Nå okay, så sagde jeg det så siger de Sådan.
31:09
Det er helt sikkert en boks, så de begynder at lede i koden og
31:12
Sådan nogle ting fordi de har oplevet Sådan noget med at det
31:14
hvis man kommer til at. Du ved modellen træner videre.
31:20
Der er Sådan parallelisering, der kan gå galt altså modellen
31:22
træner videre, så beregner vi den der løst her, og så ser det
31:25
ud som om, at den man i virkeligheden så ja, så var det
31:28
på nogle cases den allerede havde trænet på og Sådan noget
31:30
der så så snyder det. Og så så finder de ud af.
31:33
Nej, Det var ikke bock. Det var meget normalt, og Sådan
31:36
så det ud og de snakker med communitiet og og alle siger, at
31:39
Det er Sådan noget med den. Jamen Det er bare fordi den
31:42
overflytter den her model der. Hov fedt OK men nu er det jamen.
31:47
Det er jo det her med at modellerne de bliver så så tunet
31:53
ind på det træningsdata de træner på.
31:56
Men til gengæld så så er de rigtig dårlige til at sige noget
32:00
om om noget de slet ikke har set før.
32:02
For eksempel ikke Sådan groft sagt.
32:06
Og så opdager de. At.
32:11
Og så de kom simpelthen frem til en konklusion at at det her
32:14
fænomen de observerer den der lover det det.
32:17
Det må betyde at at ved at bare vise den et eksempel, fordi Det
32:22
er det, der indgår i den her løvskove, Det er de, de tager
32:25
simpelthen og tager det den OK 3 eboks og data helt ned til det
32:29
kun er et eksempel af hver af de der og så køre dem igennem og
32:33
ser stadigvæk den der loss kurve der ikke, og så konkluderer de
32:39
at den kan jo lære bare på et enkelt eksempel.
32:45
Og helt vildt meget. Ikke fordi at Det er jo det det
32:47
betyder, når den los que, den den den falder som et vandfald.
32:52
Og OK de observerer så også et andet fænomen, som som ved ikke
32:59
om, om Der er nogen, der har prøvet det også.
33:00
Men det der med, at hvis man har et validering af træningsdata.
33:05
Eller så træningssæt og man beregner det også kurve.
33:08
Så plejer de som at følges lidt ad ikke og det Det er så man kan
33:11
se at at læringen går godt at man ikke overfylder på et
33:15
tidspunkt. Hvis man kommer til at overfedt,
33:17
så ser man typisk et et fænomen hvor de de divergerer.
33:20
Så går de så så har du rigtig lav løs på dit træninger med den
33:24
rigtige højt på dit validation og så er det som om så er det
33:27
gået galt. Nå okay, stop træningen og
33:29
tilbage, men Det er de så ser Det er at de ser at det gør den
33:33
så en for en periode, men så fortsætter de bare.
33:37
Og og så så går konvergerer den igen.
33:40
Altså går tilbage simpelthen. Og stabilisere sig og det
33:44
fænomen, det siger de bare Sådan det det oplever man aldrig.
33:46
Det er Sådan noget. Det er der aldrig nogen der ser
33:48
det. Jeg har aldrig set på min skærm.
33:51
Så Det er de Sådan helt forbavsede over Det har de også
33:54
noget noget tungt forklaring på? Ja.
33:57
Slet ikke nok egentlig. Det er meget teknisk i
33:58
virkeligheden. Det der Jeg synes egentlig man
34:01
bør læse det, hvis man hvis man vil lidt tilbage til til
34:03
rødderne i sit machine learning arbejde, som jeg må sige, Jeg
34:08
har bevæget mig lidt længere væk fra fra de der teknikker og
34:11
hvad? Jeg kalder kalder api er ikke?
34:14
Mere ingeniør end jeg egentlig er en model udviklet af, hvad
34:18
man skal kalde det, så min meget Sådan overordnede forklaring på
34:23
Det kan være Der er nogle andre der kan give en lidt bedre.
34:26
Men Jeg synes Det var meget spændende og og Jeg synes, Det
34:30
er i hvert fald en interessant konklusion, at der faktisk ikke
34:33
skal særlig mange eksempler til. For man ligesom kan få få læring
34:39
ud af det. Når det så er sagt, så vil jeg
34:41
også sige, at jeg ved ikke hvor revolutionerende en opdagelse
34:44
Det er, fordi Jeg synes, at for eksempel åbner jeg selv
34:47
fortæller om deres fine tuning, så at de her er, hvad kan man
34:51
sige p 3,5 turboen, når jeg ikke selv prøvet det endnu.
34:55
Vi skal formentlig til at gøre det på et andet tidspunkt på
34:58
ekstra Bladet. Der der siger de jamen altså 100
35:02
100 eksempler er rigeligt til at ligesom at få få den af linet
35:07
til et eller andet, man gerne vil for eksempel.
35:10
Og Det er jo altså 100 eksempler oven i noget ikke så Det er jo
35:14
det der med at. At den er ligesom den har så
35:17
meget kapacitet og altså tune der skal ingenting til at
35:20
ligesom at dreje den ene eller den anden retning.
35:22
Det er lidt. Sejt Det er også det der med nu,
35:25
som Det er noget af det allermest usexede lige i
35:28
øjeblikket Sådan bird style modeller altså Sådan nogle af
35:33
dem Jeg har siddet rigtig meget med i ja i min tid som mell
35:38
ingeniør, hvad hedder det altså de her encoder, som man bruger
35:41
til til classify og til ligesom at sige Der er en sætning ind
35:45
spil. Den sentiment ud, det kunne være
35:47
positiv, negativ eller neutral, for eksempel det klassiske
35:50
eksempel ikke, og de er jo også ligesom de de så.
35:55
Viser man så en masse eksempler og træner på den måde der, og så
35:57
får man også nogle fine løst corps der og Der er ja ja, og
36:01
Der er jo Der er det jo også, ligesom der fandt man jo ud af
36:05
2018, at hvis man tog en codon fra den de her transformere og
36:09
ligesom bare præg trænede dem altså sætte dem til at altså
36:13
lave de her små opgaver på sprog på at scale kan man sige, så
36:18
blev de ligesom så fik de den her baggrundsviden på en eller
36:22
anden måde, som var Sådan en svær at definere, men som gjorde
36:25
at hvis man kunne træne til en opgave, så behøvede man mange
36:27
færre. End man behøvede, hvis man
36:29
startede helt fra scratch, fordi den ligesom havde noget
36:31
baggrundsviden om sprog og så videre.
36:33
Ikke så og man kan sige hvis man tager 1 1 1 endnu større model
36:38
med flere milliarder parametre, så giver det måske Sådan rimelig
36:41
god mening. Jeg har faktisk meget sjov lille
36:43
lille anekdote om loss kurs. Hvad hedder det at trænings
36:48
debugging? Det er faktisk Det er noget af
36:49
det mest eksotiske debugging, synes jeg nærmest man kan komme
36:52
ud i Det er når ens machine learning model ikke lærer noget
36:57
eller at den du ved. Der er et eller andet, hvor du
37:01
skal debugge dit optimeringsproblem.
37:02
Ikke fordi så er det Sådan noget match agtigt noget, og Jeg kan
37:05
huske på et tidspunkt der trænede jeg.
37:06
Jeg tror Det var ekstra Bladet der trænede jeg en model, og jeg
37:09
kunne ikke forstå at performance accuracy den gik bare lige så
37:13
snart jeg begynder at træne, så gik det bare på 100.
37:15
Sådan den, den måler bare datasættet første gang den laver
37:19
en gradient Der er what hvad sker der ikke?
37:21
Jeg kunne give fandme ikke finde ud af hvad fanden der var galt
37:24
og jeg prøvede det ene og det andet og det tredje og jeg
37:27
brugte lang tid på det, indtil jeg fandt ud af at jeg var
37:30
kommet til at putte mit label. Ind i inputtet.
37:37
Så hver eneste gang jeg satte noget data igennem den, så satte
37:41
jeg sendte jeg også rablet med og så lærte den jo ligesom bare
37:44
lynhurtigt at mappe eurozonen der gik fra det der label over
37:49
til til til det rigtige label ikke var nok 100.
37:53
Procent korrelation. Der er simpelthen bare 100%
37:57
produktion i det du putter ind og så det der på den anden side.
37:59
Altså hvis nu Jeg har et æble her og et.
38:01
Æble her, så er det 2. Æbler.
38:06
Ja altså, Det var selvfølgelig så dum, men Sådan er der mange
38:10
sjove. Ting på den måde der men altså
38:12
jeg. Jeg tror på den måde kan de da.
38:14
Løse curves der tit når man også de kan godt fortælle Sådan en
38:17
lille historie om, hvordan de der tænker, hvordan de
38:19
optimerer. Men men men for lige Der er lige
38:24
Sådan en sidste pointe Jeg vil komme med, og Jeg er ikke sikker
38:26
på Det er noget de egentlig har i.
38:28
Altså udover de konkluderer, at de synes Vi skal tænke lidt over
38:31
hvordan vi vi træner de her LM og fremadrettet, fordi de synes
38:34
at et eksempel, Det er alligevel, Det er alligevel
38:37
Sådan en grad, at ikke så jeg tænker, hvis jeg tænker Sådan
38:40
ind i Sådan. Okay, Jeg er jo meget der
38:42
engeneering tilbage til engineering.
38:44
Hvad kan jeg med en model, der kan lære noget på et enkelt
38:47
step? Nå men det tager jo ikke så lang
38:50
tid, hvis den bare skal bruge et enkelt step til et enkelt
38:53
eksempel, kunne man så forestille sig en prompt, hvor
38:57
jeg prompter den og laver et forward pass og modificerer mine
39:01
vægte samtidig. Sådan, så når det næste gang
39:04
kommer med et eksempel, Der er i nogenlunde den samme stil, så
39:09
har jeg allerede lært noget, så den allerede blevet bedre for
39:11
første eksempel. Så skal du bare lige.
39:15
Overbevise og åbne jeg om, at de lige skal så.
39:19
Lige have deres private vægte hos åbne er, at de kan få lov at
39:23
modificere, modificere på den måde.
39:24
Men prøv lige at tænke over det. Engineering er det da sindssygt
39:28
smart, så du kan du kan du kan prompte, du kan ligesom have
39:32
Sådan en blank sheet white du kan prompte og så kan du lige
39:36
slå. Hvad kan man sige gradienten
39:39
til, så får du fordpass med en produktion, men du får også
39:42
lige. Du får også lige tunet den til
39:45
det eksempel. Hvis det så er så, så skal man
39:48
selvfølgelig lige skal virkelig der skal noget ingeniør til.
39:51
Ikke fordi. Altså nu nu Sådan er nu vil du
39:54
gerne snakke om noget andet. Nå okay, Det kan jeg pludselig
39:56
ikke finde ud af mere. Nej, nej, Det er ikke.
39:58
Så ham. Vel.
40:01
Ja de. Har åbent.
40:02
De har jo lige for nylig stillet fintuning til rådighed for at
40:06
give til 3,5, hvilket Der er mange Der er interessant.
40:09
Det er jo hvilke og hvilket er en super interessant option at
40:13
have, hvis man har en prop der virker godt på p 4, men gerne
40:17
vil gøre den pris effektiv, så kan man fintune kapitel 3 til
40:21
det og så komma 5 til det og så kan man få en billigere og
40:24
hurtigere løsning. På den front kan man sige ikke,
40:27
så Det er helt legit, men Jeg har tænkt meget over hvordan de
40:30
mon træner. De her prompts, altså hvordan de
40:34
ligesom? Hvad skal man sige fintuner?
40:40
Til custom endpoints kan man sige, og Jeg er fordi jeg
40:43
tænker, en ting er sikkert de de ændrer ikke vægtene i
40:47
grundmodellen. Altså du ved Det er ikke Sådan
40:50
fordi Det er ikke Sådan så de har du ved så allokerer de en
40:52
hel server kun til dig hvor du har din helt egen version af din
40:56
helt egen fintunede version af gt 4 kørende altså no way og Det
41:00
er jo så kun g 3,5 så vidt jeg ved man kan få en tone ikke?
41:04
Ja, det tror jeg. På et tidspunkt, men men no way
41:09
at Det er tilfældet, så er der det her.
41:12
Så er der den her kapitel om, at man kan altså eller måde man kan
41:15
gøre det på, hvor man ligesom kan putte et ekstra lag ude på
41:18
outputtet, hvor man ligesom okay jamen så tager vi bare den store
41:21
model, og så putter vi et ekstra lag på og så fintuner vi det
41:24
ligesom at opføre sig så til den måde som du gerne vil have det.
41:28
Men der findes faktisk også en anden lidt end en anden
41:31
interessant måde, at hvad skal man sige fintune de her modeller
41:34
på? Og Det er noget der hedder
41:36
brunch tuning, og Det er ikke Manuel proces tuning, som man
41:39
måske vil tro. Men men Det er simpelthen, hvor
41:41
du i stedet for at træne selve altså træner et et netværk altså
41:45
1, 1 1 1 netværk som er på den anden side af det.
41:48
Så træner du faktisk så vælger du et eller andet antal af de
41:53
første tokens du sætter ind i netværket og træner dem.
41:57
Giver det mening, træner? Embedding sne når det altså du
42:01
ved lige nu, så er det jo Sådan, at du ved åbner jeres model.
42:04
Du ved de har de laver ord om til tokens.
42:06
Alle de tokens som er veldefineret de mapper jo til en
42:09
eller anden morales random Victor, som ligesom bare kan
42:12
acceptere det her. Den her token ikke, hvis du
42:15
ligesom allokerer de første 5 tokens.
42:18
Lad os bare sige 5 tokens og så siger du nu er blokerer vi dem
42:22
her til at fintune med og så så kører du ligesom Sådan en
42:26
fintune hvor du kører det igennem og så ændrer du.
42:30
Embedding for de første 5 OK så så.
42:34
Edding den altså den man har jo altid tror du et eller andet.
42:39
Du en direkter du træner, ligesom du insekter.
42:42
Det er med på det. Forstår jeg så man får sit eget
42:45
capillary i virkeligheden, som du så kører igennem de samme
42:49
lag, så det eneste du skal. Bede brugeren om at holde
42:53
ligesom der eneste skal være kost om for brugeren.
42:57
Ja og Det er jo Det er jo kun 5 vektorer eller andet som er vist
43:01
det man vælger. Jeg ved ikke Det kan man variere
43:03
ikke, men så kan man forestille. Sig at Det var et automatiseret
43:06
bare Sådan at du kom med med de her tokens og og Det er dem Vi
43:11
er tunede der til den taske og så videre og så videre.
43:13
Men Jeg har Sådan lidt en effektiv måde.
43:16
At køre customize for en stund modeller på ikke?
43:18
Jeg tror Jeg tror. Ikke, Det er den løsning de
43:21
bruger. Jeg tror, Det er svært at få få
43:23
generaliserbarhed ind i den løsning.
43:27
Så fordi at du vil hurtigt have behov for ligesom netop fordi du
43:32
så kun tuner på det du ligesom ser i de der få eksempler, så
43:37
skal din spredning den den Der er kravet til den.
43:40
Den skal være stor jo for at du ligesom.
43:43
Når du så kommer med et tog, der måske så ikke har været med inde
43:46
i den fine tuning der, fordi det og det Capital ikke var med dem,
43:49
så er du lidt på på herrens mark.
43:51
Ikke fordi Det er dyrt, men. Men er det ikke det samme om du
43:55
så putter et lag på den anden side?
43:59
Nej, men det tænker jeg ikke fordi at der der tuner du jo
44:02
også de altså der tuner du den en.
44:05
Det er jo en eller anden form for repræsentation med en
44:08
længere nede som som måske beholder noget.
44:13
Ja nej okay den jeg ved ikke den regning jeg lige havde gang i om
44:17
det holder, men Det er i hvert fald.
44:19
Sjovt Det er interessant at snakke om at Sådan Der er flere
44:22
og flere sager at gøre det her ikke?
44:23
Det synes jeg Det er meget sjovt.
44:25
Og jeg ved ikke. Jeg ved faktisk ikke.
44:28
Der er ikke noget dokumentation på, hvad Det er for en en
44:31
fintuning metode. De bruger vel?
44:33
Så nej de er meget. Jeg har også haft en en
44:37
diskussion her på det seneste med hensyn til den her
44:39
temperatur. Som der jo er også efterhånden
44:43
mainstream kendt at jo lavere temperaturen er jo mere Sådan
44:47
det samme output er den og jo mere højden er, jo mere kreativ
44:51
bliver den ikke og Det er jo Sådan en form, for Det er jo
44:54
distribuering eller distributionen af
44:56
sandsynligheder for næste token man roder med der ikke og der
45:01
havde jeg en. Jeg var ret overbevist om at
45:02
hvis man puttede den til nul. Ja så.
45:06
Var det ligesom bare du ved? Så var det deterministisk.
45:08
Det afsluttede du fik. Men.
45:14
Det er det, men men og det og men det svaret på det spørgsmål,
45:17
Det er at Det er det nok højst sandsynligt ikke helt, men i
45:23
99,9% af tilfældene eller Sådan noget ikke.
45:26
Og Det er fordi at at man ved i virkeligheden ikke helt hvad det
45:30
der temperatur parameter er, fordi hvis du rent faktisk
45:34
sætter temperatur parameteret til nul, så får du uendelig så
45:37
dividerer du med nul ikke? Så der skal være en eller anden
45:40
form for hvad? Hvad?
45:41
Hvad? Det er en del af, at algoritmen
45:44
en god temperaturen i for den ikke en del af det der beam
45:46
search. Jo, men Det er nemlig det der
45:49
når. Du beregner sandsynligheden for
45:51
en ny token, så så har du ligesom. 1 1 1 fordeling over
45:58
det næste token hvad den kan være og så så vil du så vælger
46:03
du så kan du vælge Sådan så så vil den vælge en token mener at
46:07
Det er sandsynlighed den har den der.
46:09
Høj sandsynlighed vil jeg selvfølgelig være mest
46:10
tilbøjelig til at blive valgt og.
46:12
OK så fremdeles, hvis du så ligesom tuner den der
46:16
temperatur, så hvis tuner den opad så laver du mindre
46:21
forskellen mellem den laveste og den højeste.
46:23
Sådan så du bringer sandsynligheden tættere på
46:25
hinanden. Sådan så den bliver mere Sådan
46:26
du ved den den den vil jeg bare. Og hvis du gør det omvendt, så
46:31
rykker du, så gør du. Så laver du?
46:34
Dem, Der er meget sandsynligt mere sandsynligt, og dem Der er
46:37
mindre sandsynligt mindre sandsynligt altså.
46:39
Og i ekstreme, så vil den jo være den vil konvergere mod at
46:43
der kun er én den højst sandsynlighed, der ligesom er
46:46
sandsynlig. Ja, Det er en helt anden nørdet
46:49
faktoren det røg. Bare helt op lige der.
46:52
Jeg synes ikke den var mere. Den har for mig er i hvert fald
46:54
ikke højere end sidste uge med med LVM.
46:57
Det var eddermame Det var. Det var godt valg det.
47:02
Var. Anton der han tog også godt
47:05
igennem det. Ja det må man sige ja og gå gå
47:08
lige. Nu tilbage og lytte til det,
47:10
hvis man ikke har hørt det. Det var Det var en fornøjelse
47:13
når hvad hedder det? Vi skal videre i programmet.
47:16
Det skal. Vi ja og.
47:17
Det bliver spændende at se, om der igen kommer noget ud af
47:21
Sådan en opdagelse der. Yes.
47:25
Nå. Jeg giver lige en indflyvning
47:28
her til den sidste ting, jeg programmet.
47:30
Det er et paper, som er blevet udgivet af Google deepmind, som
47:33
hedder large language models op til minus, og Det er egentlig
47:38
Det er jo simpelt. Nej, Det er det ikke, men Det er
47:41
Det er interessant. Jeg synes var interessant, fordi
47:44
Det er nogle forskere der har forsøgt at lave.
47:47
Altså man kan sige optimering. Nu har vi snakket lidt om løst
47:49
curves og træning af machine learning modeller og så videre,
47:52
ikke? I hjertet af Det er jo ligesom
47:54
optimering altså gradient, descent back propagation og så
47:58
videre. Optimerings algoritmer, som
48:00
ligesom kan sige, okay, nu har vi nogle tal her, som
48:03
repræsenterer en model random tal 180 milliarder af dem måske
48:07
hows og, og så har vi noget data.
48:11
Og så bruger vi den her optimerings algoritme til at.
48:15
Optimere sig til at forudse et eller andet om det her data, og
48:19
så ændrer vi tallene inde i modellen til, at den kan gøre
48:23
det. Det er ligesom optimering i
48:26
matematik land og. Og og Sådan det man ligesom Det
48:29
er noget med dem. De metoder man også prøve at
48:31
træne g til 3 og så videre og give til 4 og så videre.
48:35
Det som de her forskere har prøvet.
48:36
Det er at de har prøvet at lave noget lignende, altså enten form
48:39
for optimerings algoritme, men i natural language, altså sprog
48:44
altså i tekst. Selvfølgelig med henblik på at
48:48
de her livslange models de kan optimere sig selv.
48:52
Det er jo drømmescenariet. Det er jo det ultimative j
48:54
drømmescenarie, da de kan og timere sig selv ikke, og Det har
49:00
de faktisk haft ret gode resultater med, hvilket er lidt
49:05
skørt. Eller det ved jeg ikke.
49:07
Det vil være man ville forvente måske, men men man skal så
49:10
forestille sig at. I stedet for at jeg som prompte
49:12
engineer selv skulle sidde og tude i en prompt som til at løse
49:15
en anden opgave. Så har man så den her det her,
49:19
den her optimerings algoritme, som er Sådan en kæde af proms
49:22
Sådan loop af prompt Sådan lidt agent nøjagtigt, som så ligesom.
49:27
Og så har man vel Sådan en eller anden meta prompt, som så skal
49:30
optimere den prop. Man gerne vil det Sådan lidt
49:33
meta prompt agtigt ikke, men men men så laver man ligesom Sådan
49:36
en form for proces, som optimerer en eller anden pkt.
49:41
Til at løse den opgave, som du gerne vil løse med en prompt.
49:44
Og der finder de faktisk, at den her metode er i stand til at.
49:52
20. prompt så de virker 8% 8 til 50% til helt op til 50% bedre
49:58
end det mennesker. Gør.
50:03
Så Det er sjovt, hvordan man har.
50:04
Målt på det. Der vil jeg lige Sådan første
50:06
indskydning. How the world hvad er det for
50:10
noget datasæt og hvad er den set det?
50:12
Det lyder godt nok fluffy, Det kan jeg godt forklare dig det.
50:15
Er det? Det er jo selvfølgelig Sådan en.
50:17
Det er selvfølgelig Sådan en classifier tilgang, og Det er de
50:20
her big bens datasæt. De har store benchmark datasæt
50:24
som de benchmarker op mod hvor det Sådan hvor Det er en anden
50:26
form for diskret output, hvor at man Det kan det der rent faktisk
50:30
kan måles ikke så så det. Det er egentlig.
50:32
Kan man sige ja, så de de forsøger at at bede om en
50:37
klassifikation for det der lam og så så tuner de så.
50:41
Rumpen til. På en eller anden måde, men
50:44
hvordan? Altså fordi det der loop der de
50:46
så har ikke hvordan. Hvordan får du så at information
50:49
tilbage igennem? Er det Sådan en udlevering?
50:52
Fordi altså ligesom Det er nemlig det der.
50:56
Spørgsmål, så har du givet den? Noget information om den så fejl
50:59
og Det har du så fået fra det datasæt du skal teste på eller
51:02
hvad sker der? Jeg forstår det ikke.
51:04
Altså Det er selvfølgelig. Kompliceret end som så ikke
51:06
altså de genererer vist en mange hvad hedder?
51:09
Hvad skal man sige? Svar, de har ikke temperaturen
51:11
til nul, hvilket jeg troet. Men de tunede ligesom jeg ved
51:14
ikke om de er tunede temperaturer eller hvad, men de
51:16
har ligesom de har noget tilfældighed i proppen, og så
51:19
genererer de flere svar per prompt og så videre.
51:22
Men det de gør ser det ud til Det er, at de fordi Det er jo
51:25
nemlig også det jeg tænkte Sådan okay, hvordan har i lige
51:27
implementeret en optimerings alkoholisme i naturligt sprog?
51:31
Ikke? Men men det de gør Det er at de
51:33
ligesom tager siger okay det her, Det er din opgave og så
51:36
videre den her prompt. Fik den altså så så laver de
51:40
Sådan på en eller anden måde nærmest Sådan future eksempler,
51:43
hvor de siger den her promp fik den her kan vi sige den her fik
51:48
den her kan vi sige den her pik den her serie finde på noget Der
51:52
er bedre givet det her data, så fik den altså Sådan.
51:58
Det giver mening men men. Hvordan?
52:01
Og så kommer den står ikke jamen den måler de op.
52:05
Mod lad os sige, Det var sentimentale allersidst for
52:07
eksempel. Du ved, så sætter du din, laver
52:10
du en anden startstrøm siger Jeg vil gerne.
52:13
Løse centimeter allersidst, så laver du et andet punkt.
52:17
Den får en accuracy, så siger du til modellen OK, den her prompt
52:21
fik på det her problem med de her typer af data og måske også
52:26
nogle forkerte pladser. Vi sidder eksempler eller et
52:28
eller andet rigtigt eller andet fik det her.
52:32
Hvad skal man sige det? Den fik den her accuracy og så.
52:36
Okay ligesom se et eller andet trace over Sådan den her det
52:39
her. Det er et punkt Der er hvide og
52:40
så videre og så kan man ligesom sige OK, så er meningen ligesom
52:43
den skal kunne se mønsteret i. Hvordan det fungerer, er Sådan
52:47
lidt taberagtigt ikke? Ja en lille smule ikke.
52:50
Altså Sådan hvorfor fanden er du ikke bare din model eller Sådan,
52:53
men men. Det er så en form for prompt
52:57
tuning i virkeligheden ikke. Hvor du så ja, i princippet så
53:00
er det en træningsform fase det der, men så er meget
53:04
interesseret i det der med at så når du så har trænet den på et
53:06
eller andet træningssæt og du så har du så testet den på noget
53:10
andet eller har du bare? Jeg har optimeret den mod det
53:14
her ikke fordi og Det kan jeg så gøre en anden pumpe tune i og så
53:19
ja jeg håber at de har afholdt et testsæt Google research.
53:24
Eller Google? Det her er det nok.
53:26
Ikke de har styr. På ja, de har helt sikkert styr
53:28
på. Men Det er Sådan lidt fishy kan
53:29
du kan du godt følge mig. Det er Sådan fordi du ender vel
53:32
ud i en eller anden prompt der ligesom skal bruges på alle
53:36
tasken. Altså det skal være en
53:37
generaliseret prompt. Ikke så du tuner jo ikke ligesom
53:40
ind og finder en arm den her punkt er bedst til når jeg skal
53:43
svare lige den her case og den her den er bedst den her så du
53:46
har forskellige prompts du så bruger kan du følge så du er
53:50
nødt til at ende ud med en eller anden Sådan en generaliseret
53:53
prompt der kan tage den taske og ligesom negle.
53:56
Den bedst. Gennemsnitligt set ikke fordi
54:00
ellers så er det jo lidt ligesom at sidde og fisse.
54:03
Ja Fischer bare prompt, der giver mig det rigtige svar.
54:06
Ja. Okay, nu skal jeg være hvad?
54:11
Hvad er så kritisk her? Det lyder virkelig smid Det er
54:15
lidt Det er lidt. Det er lidt lidt lidt en sjov.
54:19
Hvad skal man sige? Jeg synes Det er en sjov ide og
54:22
Jeg synes også. Det er også Sådan en holdning
54:25
Jeg har. Det er hele det her tekst
54:26
classifier space Det er ikke nær så sexet, altså det her med at
54:32
man kan bruge landbrugsmodels til tekst klasse fra os.
54:35
Det er ikke nær så sexet som som agenter og chatbots og Sådan
54:38
nogle ting, men. Det er totalt.
54:41
Undervurderet, hvor stor en ting det her er, for Det er Sådan, du
54:43
ved, så Jeg synes også, det interesserer interessant at se
54:48
på nogen, der ligesom adresserer det.
54:50
Men Jeg er helt enig altså. Om det.
54:53
Og Der er jo. Også altså Det er jo
54:54
ressourcemæssigt og i forhold til hvor tilgængeligt.
54:57
Almindelig prompting er versus at skulle begynde at fintune en
54:59
model. Altså Det er jo jeg.
55:02
Formoder at det der flow er meget hurtigere implementerer i
55:05
kode. Faktisk.
55:08
Og så lige du ved det sikkert ikke engang nødvendigt.
55:11
Det er så mange eksempler heller, og at det så kunne finde
55:16
frem til at gå ud fra. Det er en optimering, at man
55:18
finder frem til en prompt, Der er god til at løse det problem
55:21
agtigt. Ikke at Det er så dit produkt er
55:24
det ligesom med en prompt og så ligesom sagt jamen Jeg har den
55:26
her prompt. Jeg har optimeret det gør man så
55:28
en gang, og så lægger man den ned i sit system, som man så kan
55:32
retrieve når man skal løse den taske der ikke og og.
55:35
Så har du jo fået. Hvad kan man sige et produkt ud
55:38
af det, som er generaliserbar, at du så kan anvende i
55:40
sammenhæng? Det er jo en super fed ting rent
55:42
invoice så Jeg er super happy hvis Der er nogen der kommer og
55:45
siger at Jeg har optimeret den her prompt til dig.
55:47
Du må gerne implementere den fedt mand så så så er vi glade,
55:53
men hvis nu det ikke er Sådan, altså hvis nu det ligesom kræver
55:57
noget hele tiden at man skal køre den der tjene eller du
56:00
altså kan du følge mig ligesom er Sådan så bliver det bare
56:03
Sådan noget. Agent noget ovenpå?
56:06
Det er bare altså. Bare det.
56:07
Det er i hvert fald bare en sjov tanke at tænke i at implementere
56:13
en optimerings algoritme i naturligt sprog.
56:16
Ja det det Der er et eller andet fund gjorde det.
56:18
Det er meget sjovt. Det er faktisk Det er faktisk
56:21
ret sjovt, men så kunne Det har de open source.
56:24
Den kan man sige algoritmen til at udvælge.
56:28
Det ville være ret fedt fordi Jeg har næsten lyst til at prøve
56:31
det af i selv, men jeg kiggede faktisk lige på det.
56:33
Men det ser ikke umiddelbart ikke Sådan ud.
56:37
De fortæller ikke noget om det. Altså det umiddelbart kunne du,
56:40
kunne du jo sagtens være noget der var ret simpelt i
56:43
virkeligheden. Ja Det har.
56:47
Jeg heller ikke læst hele perioden, men men Jeg har kunnet
56:51
se på de der. Ramte du rigtig ramt forkert en
56:55
eller anden form for loss funktion og så bare tage den
56:58
simple. Lige før man kunne lave det som
57:00
en regression. Ja.
57:03
Nå spændende. Ja, så Det var dagens.
57:06
Sidste hvad hedder det? Nu har vi også snart snakket en
57:09
time kan jeg se så jeg tænker det måske ved at være skyggerne
57:11
ved at blive lange her II Roskilde i hvert fald.
57:14
Jeg synes det bliver mere mørkt. I øvrigt en dag Jonas du har jo
57:20
trommesæt i baggrunden og Jeg har en base i baggrunden.
57:25
Næste band. Så jeg tænker lige.
57:29
Jeg er en virkelig dårlig bassist, så og jeg ved du er en
57:33
dygtig trommeslager. Jeg tror du er en bedre
57:37
trommeslager end Jeg er. Du er bedre til at spille
57:40
trommer end Jeg er til at spille bas.
57:42
Giver det mening? Vi får se det Det kan være, vi
57:47
giver et nummer en dag. Det kan give et nummer.
57:49
Ja yes. Men.
57:51
Hvis ikke du har mere, så tænker jeg vi vi runder af for i dag,
57:55
det synes jeg. Tak til Vores Vores.
57:57
Vores fantastiske lyttere, og i skal selvfølgelig huske at følge
58:00
podcasten på Spotify og Apple podcast, fordi det ville blive
58:04
rigtig glade for, at den kan faktisk også levere.
58:06
Man kan også efterlade Sådan et. En anmeldelse og både skriftligt
58:10
og med stjerner, og det må man også meget gerne det.
58:13
Det er, det betyder rigtig meget så, men ellers så ses vi bare i
58:18
næste uge, hvor der selvfølgelig er op og bruges podcast som Der
58:21
er hver onsdag klokken 7. Vi ses.
58:24
Hey.