Latest / Better Dev Club / Better Dev Club #32 - Wojna benchmarków, nowe modele MAI i powrót do on-premise?

Transcript

Better Dev Club #32 - Wojna benchmarków, nowe modele MAI i powrót do on-premise? · Better Dev Club

• Piotr Stapp: Cześć kajtak! Kajetan Duszyński: Cześć Piotrek! Piotr Stapp: Jak tam nowe modele? Co już przetestowałeś? Kajetan Duszyński: No przetestowałem Gemme. Chciałem przetestować Mai. Częściowo przetestowałem Mai, ale nie do końca, ale o tym zaraz. No i tego Mytosa czy Falusa... Nie, nie Falusa, przepraszam. On się jakoś inaczej nazywa. No tego od Antropika, on dzisiaj wyszedł, jeszcze... O, Fable, o... Piotr Stapp: Co to Fable, Fable, taka gra była. Gra była. Jak możesz to palić? Kajetan Duszyński: No, to tego nie testowałem. A ty? Piotr Stapp: To ja, jak gdyby udało mi się to odpalić jeden rekurs na metosie. Wybacz drogi słuchacz, ale słyszysz nasz czwartek, ale u nas jest jeszcze wtorek. Bo na ogół w środę składamy podcast, więc u nas jest jeszcze wtorek, więc jeszcze za bardzo nie ten. Ale za to poczytałem statystyki. I naprawdę, jak gdyby pozwala... Słuchaj, pozwala sobie... Kajetan Duszyński: No i co te statystyki ci powiedziały? Piotr Stapp: przeczytać, bo jak gdyby wyciągnąłem różne statystyki z różnych... statystyki, te jest benchmarki, o. Podam wam różne kolumny z różnych tych, bo wyciągnąłem świadomie, wyciągnąłem nie gemę, tylko wziąłem flasza 3,5, no bo jak gdyby niedawno wyszedł flasz 3,5 dopiero, żeśmy o tym gadali, w zasadzie wspomnieli jako, żeśmy za bardzo się... znaczy kareton właśnie Google Passe dzisiaj mi wysłał, Google Passe. No ale dobra, ponieważ oczywiście każdy model z każdym w raporcie danej firmy wygrywa po prostu w cuglach to postaram się znaleźć jakieś takie kawałki, które są w miarę. No więc dobrze. Z oficjalnego relisu 3,5 flasha czekamy cały czas na 3,5 Pro. Jedną z... w wierszy w tabelce jest Terminal Bench 2.1 Agenting Terminal Coding. Co prawda tu jest Terminus 2.0 Harness. W opublikowanym Tweet oficjalnym Cloda jest agenting coding bench 2.1 I teraz. Włażna rzecz. Wyszedł piąta wersja. Ja uważam, że to jest przełom, dlatego że zmienili numery. Teraz, jak gdyby, dodając jeszcze cały kontekst. My, Fable 5 jest tak sprytny, że jak zadasz pytanie o biologię, cyber security i nie pamiętam co jest trzecie, to cię wtedy skieruje do opusa 4,5, bo on pod spodem jest super cyber security i mógłby w ogóle nie ten, więc jak jest cyber security, biologii, chemia i... Kajetan Duszyński: No jakoś musiało się zmienić. Piotr Stapp: distillation, powiecie po polsku, destylacja? Destylacja. No nawet nie wiem. Kajetan Duszyński: No tak, tylko po prostu Polska to się odpowiednio kojarzy. Piotr Stapp: Ale po prostu jest łatwo, 1410 nie myślisz, nie? Dobra, nieważne. Dzisiaj mamy dobry dzień. więc dobra, więc on w wypadku średnio podaje, o ciekawe jak wyliczyć tą średnią, w wypadku średniej 5 % requestów trafia do opusa 4.8 żeby te safeguardy cię prostu kierują, ale dobra, wracając do numerków, bo po to jesteśmy, nie jesteśmy, to było... stwierdzenia bez danych, co tylko opiniami. Kajetan Duszyński: i lubimy najbardziej teoretycznie, ale nie będzie. Piotr Stapp: Więc wracając do tego co próbowałem przeczytać, jesteśmy na agentic coding terminal bench 2.1 przy czym w Google jest terminus 2 hns a w tym nie jest coś takiego dodane więc jak mnie spytacie czym to się już nie docztałem no to tak. Clot Mythos 5 Fable 5 ma 88 % ale z gwiazdką. I tu jest napisane co to znaczy ta gwiazdka, chyba mi się nie chce do końca czytać. A a gwiazdka jest to, że jak tam rzeczy dotyczyły biologii cyber security i innych rzeczy to nie poszedł do tego modelu co trzeba i dlatego ta gwiazdka. Więc ma 88 % MyToSp review ma kreskę Cloudy Opus 48 ma 82,7 % GPT 5.5 ma 83,4 % w kodek CLI a Gemini 3.1 Pro ma 70,7 % w Gemini CLI. Natomiast według Google'a to Gemini Pro ma 70,3 czyli 0,4 % różnicy, nie wiem co to jest pewnie ten terminus 2HNS. Cloud Opus ma 66,1 % GPT 5,5 % ma 78 % czyli jest ogóle 5 % słabsze niż w Cloudie. Teraz czytam ten sam benchmark tylko z tym właśnie HNS-em, albo bez tego HNS-u, a Gemini Flash jest na poziomie 76,2%. Nie, czyli rzeczywiście, nadal ten najnowszy model jest najbardziej dobry, ale to jest chyba jedyny, który znalazłem, który słuchajcie jest taki sam... A nie, jeszcze Humanity Last Exam, którym żeśmy kiedyś dyskutowali. Jak drogę słuchaczu nie pamiętasz, dawno, na początku dawno tam z pół roku tam, w ogóle inna epoka, żeśmy dyskutowali o Humanity Last Exam. Kajetan Duszyński: Było no. Piotr Stapp: To one są, human.t last exam, też pewna liczba, okazuje się, że wcale nie jest takie łatwe. No to tak, human.t last exam, Gemini 3,5 flash daje radę 40,2%, Cloud Opus 46,9, GPT 5.5 41,4 i to są dane z Google'a, a w Cloud'zie jest... Best Tuli, Fable 5, Mytos 5, 59 best Tuli 64,5 z tulami Mytos pojawił, nie chcę mi się czytać bo nie ten. I weźmy sobie GPT 5,5 żebyśmy mieli jakiekolwiek porównanie 41 i 4. O Jezu i teraz zgubiłem. A dobra tu było 41 i 4. O tu jest to samo. Uuu, wreszcie mamy coś co można porównować. i Gemini 3 i pół pro, też tak samo 44,4. Więc na Heementy last exam nadal, nadal... No nie no, dobra niby, Fable 5 jest powyżej 50%. Astronami 64,5, znaczy, że koniec Skynet. Dobra. Przepraszam za ten strasznie długi wstęp i żonglowanie liczbami, ale dałem jakieś liczby. Nie mam dlatego pojęcia szczerze co to znaczy. zupełnie międzynarodne. Słuchacz, prywatna uwaga. ogóle tu like, subscribe, koment w tym miejscu. Co myślisz o tym? Kajetan Duszyński: O ile tu jeszcze jesteś po tych wszystkich stomerkach. Piotr Stapp: Ale ty mówiłeś o falusie, Kajetan Duszyński: sumie Piotr Stapp: Tak, więc na pewno twój komentarz z miło chęcią, ja mówię szczerze, że to ja zaczynam mieć wrażenie, że to nie ten. Ja nadal uważam, że na tych tanich modelach można dużo zrobić. Może inaczej, moja praca jest na tyle mała, znaczy na tyle prosta, że dużo na tych prostych modelach mogę zrobić, nie potrzebuję tego najnowszego. Ale oczywiście się mylę, bo ważne jest, żeby mieć najnowszy model, bo to daje najlepsze rezultaty i cały świat tak mówi, więc pewnie tak jest. Dobra, to co się pojawiło, mamy pierwszą firmę, która powiedziała, podbiła numer. Google się nie odważył, GPT się nie odważyło, Anthropic się właśnie odważył i podbił numer. Kajetan Duszyński: No i czy to będzie właśnie cokolwiek zmieniało? Moim zdaniem nie do końca. Jakby wszyscy wiesz, Fejlblum miał być, czy Mythos miał być tym, którego boją się udostępnić. Jeszcze przecież miesiąc temu mówili, że boją się udostępnić, bo nie wiadomo co to będzie. No ale jednak udostępnili albo powoli będą udostępniać i domyślam się, że specjalnie niczego to nie zmieni. Piotr Stapp: No i nadal się boją. No nie no, zali wiesz, właśnie ogen, czyli go do cyber security i tak dalej. Czyli teraz uwaga, hackerzy właśnie próbują obejść. Ja bym tak robił. Kajetan Duszyński: No właśnie, to jest jakby dla mnie totalnie... Argumentacja z dupy, no za przeproszeniem, bo ograniczymy to do cyber security, więc damy hakerom realnie miejsce do tego, żeby zaczęli go hakować i zaczęli się na nim uczyć i realnie dali im tak naprawdę dodatkowe narzędzie do roboty. Nie kupuję tej argumentacji, nie kupuję tego wszystkiego, że oni się boją czegoś tam, bo to po prostu jest takie potężne. Niech sobie będzie potężne, to jest niesamowite. Fajnie, że to coraz lepsze i coraz ciekawsze problemy rozwiązuje i daj Boże, żeby rozwiązało wszystkie problemy, które mamy na tym świecie. Ale no właśnie, jak już mówimy o codziennej pracy dewelopera, codziennej pracy DevOpsa, czy codziennej pracy IT-Gaia, to realnie CloudSone 4.6 dawał radę. Haiku w wielu przypadkach daje radę. Gemini 3.1 Flash dawało radę. W tej chwili... właśnie Microsoft AI, czyli nowe modele MAI od Microsoftu zaczęły wychodzić. I model dokodowania jest podobno z tego co Microsoft powiedział, jest na nowo wyuczony, oni nie wzięli żadnego innego modelu, tylko uczyli go na świeżych danych, tak powiem. związku z tym domyślam się, że mieli trochę tych danych już z samego Copilota i pewnie na Copilocie to wszystko sobie, wszystko się uczyło. I to jest w tej chwili model, który jest tajszy od Haiku, a jest na poziomie Soneta 4.6. I jakby skoro... Piotr Stapp: zasadzie to można powiedzieć, że to jest pierwszy model od Microsoftu. Wówczas nie było. Kajetan Duszyński: Tak, to jest pierwszy model od Microsoftu i Microsoft zaczął tworzyć swoje własne modele. W ostatnim tygodniu wypuścił ich siedem, bo wypuścił model właśnie do kodowania, dwa modele do generowania obrazów, model do transkrypcji i jeszcze jakieś dwa, nie pamiętam dokładnie. Thinking, oczywiście. czyli taki najbardziej, nazwijmy to, generyczny do codziennej pracy, więc oni też wchodzą i też zaczynają mówić, sprawdzam, co mnie osobiście bardzo cieszy, bo im więcej takich modeli będziemy mieli komercyjnych, tym lepiej dla całego tego świadka. Ale to coś, jeszcze ja sam usłyszałem i co ostatnio prowadziłem rozmowę na jednej konferencji, musimy pamiętać o tym, że dzisiaj używamy najgorszych modeli, których będziemy w życiu używać. Te modele, które dzisiaj wychodzą, to są najgorsze modele, które będziemy używać, bo one będą najgorszymi modelami za rok. A skoro już w tej chwili, jeszcze przed premierą Fabla, przed premierą Gemini 3.5 Pro, wciąż jesteśmy, przed premierą kolejnego GPT, jesteśmy już takie rzeczy robić. To znaczy, że możemy być tylko bardziej spokojni o to, o to co się będzie w przyszłości działo, no bo widzimy problem taki, że Fable będzie, domyślam się, ultra drogi. I tam nawet na tej subskrypcji 20 razy to będziemy domyśleli. Piotr Stapp: O tu jest wiesz. Kajetan Duszyński: Koniec. Momenti. Piotr Stapp: Nie nie nie, nie no no no no. No no no. On w ogóle to uwaga. Do 22 albo 23 nie pamiętam. On jest w ogóle się liczy w subskrypcji. Czyli tam 3 tygodnie uproszmy sobie życie. Czy tam 2 tygodnie. A potem jest tylko token based. Kajetan Duszyński: A jak? Mhm. Oooo, widzisz, no kurde. A ja myślałem, że Anthropic na tokenbase przejdzie dopiero po Ipo. Dopiero jak wejdą na giełdę. A tu jednak już ich przycisnęli. No popatrz, no szokujące to jest. Ale ciekawostka. Piotr Stapp: Ale teraz zobacz w to, co jest zasadzie, moim zdaniem to, jest dzisiejszego odcinka. To jest mój moment, uważam, że to jest ten moment, jak trzeba wycinać to słuchajcie, teraz te 10 sekund. Anthropic nadal mówi największy, najbardziej wypasiony model. To jest ten model. A Google i Microsoft zaczynają mówić mały model. Dostosowany. Wcale nie taki olbrzym, nie? Bo Google cały czas puszcza 3,5 flasza. No sorry, żeśmy się śmiali 2 tygodnie temu, Że nie zdążyli w ogóle sprawa. A 3,5 flasz kosztuje tyle samo co kosztował 3,1 flasz. Jak patrzymy tam na token usage i jest naprawdę tanie, nie? Ja nadal naprawdę uważam, że w większości zadań, które ja potrzebuję, jak sobie coś robię, to on mi bardzo często wystarcza. Tak zupełnie szczerze. Więcej mi czasu zajmuje ostatnio przejście przez sklep Apple'a niż to, co muszę zakodować w mojej aplikacji, którą sobie piszę po godzinach. 3,5 mi wystarczy. Nie używałem tego jeszcze, byłem na długim mikendzie, wyjechałem, to nie zdążyłem poużywać tego modelu od Microsoftu. Pewnie w tym tygodniu sobie go już poużywam. Chociażby po to, żeby się... No to okej, dobra, to w przyszłym tygodniu, aby za dwa tygodnie... Kajetan Duszyński: Jeśli go już masz. Bo ja go jeszcze nie mam. Piotr Stapp: No dobra, dobra, no za 3 tygodnie, whatever. Jak wyjdzie to na pewno zacznę go używać, chociażby tylko po to, żeby sobie porównać. Jak przechodzimy z, nazwijmy to, licencji na token based, to wszyscy będą patrzeć na te modele, o ile już nie patrzą. A Anthropic na to on mówi, ten model, ten największy, najszerszy, najwspanialszy, kosztujący... Dużo, żeby nie było. Kajetan Duszyński: Ale wiesz dlaczego, ale wiesz dlaczego, bo to się sprowadza do mojego przejęzyczenia z samego początku. Oni są jeszcze przed wejściem na giełdę, więc oni muszą pokazać kto na rynku ma największego. Piotr Stapp: No to oczywiście tak jest, ale popatrz, w sumie wiesz co, nawet powiedziałem, że inna granica. Popatrz, OpenAI mówi, że nadal największy. Oni teraz trochę są w tyle, ale zaraz będą mieli nowy model. Na polimarkacie obstawiam, że już jest ilość dat, które mają ten największy skok. No bo teraz trzeba będzie zaraz wydać, bo oni ostatnio z tym modelami trochę gorzej. a z drugiej strony, nie wiem, nadal bardziej, obstawiam, że bardziej popularna jest strona chart GPT niż strona Cloda. Nie mówimy o deweloperach. Kajetan Duszyński: To na pewno, na pewno. Piotr Stapp: A ludzie od Infy, czyli Google, Microsoft, A.W.S. Czekamy na A.W.S. Oni mówią mniejsza. Bo oni palą prąd. Mega, w ogóle super, super. Kajetan Duszyński: Bardzo mi się zaczyna podobać tak naprawdę. Zaczynamy mieć realny wybór. Cały czas oczywiście na LinkedInie nasi najróżniejsi guru od AI i od agentów krzyczą, że ten lepszy, tamten lepszy, ten to się skończył i tamten też się skończył i w ogóle ten to już przegrał walkę, a tamten to dopiero się rozpędza. realnie ta walka dopiero, znaczy walka, stabilizacja, mam wrażenie, że zaczyna się... zaczyna się powoli nam kształtować właśnie w kontekście tego, że w końcu mamy wybór, końcu mamy wybór, niekoniecznie musimy wybierać, nie ma już tego parcia na to, wybieramy tylko i wyłącznie to, co jest największe, najmocniejsze, najwspanialsze, tylko zaczynamy myśleć, zaczynamy myśleć w tej całej pogoni nad tym, co jest realnie ważne. Jeżeli ktoś ma potrzebę i na pewno będą mieli potrzebę do tego, żeby użyć fable, to jest jak najbardziej potrzebny model, bo jeżeli mamy sprawdzić swoje aplikacje pod względem cyber security, to oczywiście tak powinniśmy używać tego największego, najmocniejszego, ale jakby zaprzęganie opusa 4.8 czy Fable, czy jakiegokolwiek innego modelu właśnie do, po prostu do programowania, no to jest po prostu głupota. To jest po prostu głupota i z tego się bardzo szybko wyleczymy w ciągu najbliższych kilku miesięcy, bo po prostu przestanie być nas stać na to, żeby sobie wesoło wrzucać każdego agenta bezpośrednio w największy, najwspanialszy model. Piotr Stapp: No tak, oczywiście że tak. Kajetan Duszyński: I wiesz, jeszcze dodatkowo będą różne ciekawe kroki w najbliższych miesiącach. Ja bardzo chętnie będę to obserwował, bo Microsoft też powiedział, jakby z jednej strony mniejsze modele mogą dawać radę, a z drugiej strony we współpracy z NVIDIA robią taką maszynę, taką maszynę do lokalnego developmentu. Już nie pamiętam, jak to się ma nazywać. jakiś tam Microsoft DevKit, Spark, tam ultra, nie wiadomo co. Ogólnie rzecz biorąc wygląda to tak jakby Xboksa walec rozjechał, bo tak jest taka góra jak od Xboksa i taki wielki talerz zrobili, prostokątny. Jeszcze nie można poznać ceny, domyślam się, że no tanio nie będzie, ale ma na pokładzie, ma być tam Nvidia Spark. W związku z tym i chyba 128 przynajmniej giga z unifikowanej pamięci, więc na tym już będzie można, już można poznać cenę? Jaka jest cena? Piotr Stapp: Już można poznać cenę. Nvidia Digi X Pack 400-700 dollars. Kajetan Duszyński: To wcale nie jest tak drogo. Ja myślałem, to będzie... ale czekaj, bo mówisz o... Piotr Stapp: No taki rozjechany... dobra no... NVIDIA Brand NVIDIA Operating System NVIDIA DGS OS Nie to nie jest chyba to. Aż kaj tam spadł, aż spadł nam pracek. Kajetan Duszyński: O, już wiem jak to się nazywa. To się nazywa Spark Surface RTX Spark Dev Books. Piotr Stapp: A właśnie, to jest, tak, bo to nie jest ten, to nie jest spad tylko to jest ten, rzeczywiście to jest ten nowszy. Kajetan Duszyński: Tak, tak i tego ceny jeszcze nie znamy, tak jak ten, ale można się na waitlisty zapisać. Jeśli ktoś by chciał być na tej samej liście co Satya Nadella, czyli CEO Microsoftu, bo on też podmówił, że się zapisał na tą waitlistę, no to można. No i to jest maszynka, która będzie mogła pociągnąć nawet te najmocniejsze prawdopodobnie modele lokalne. I to jest kolejne ciekawe rozwiązanie. Być może zamiast płacić za tokeny za jakiś czas firmy, bo nie wiem czy osoby prywatne, ale firmy będą chciały postawić sobie też taką infrastrukturę. Zobaczymy, nie wiem, ciężko powiedzieć. Kiedyś poszliśmy w chmurę i część osób wróciło na on-prima, może tutaj też wrócimy na on-prima, bo po prostu będzie taniej. Piotr Stapp: A to... Zobaczymy. Dzisiaj bym powiedział, że jeszcze to nie jest ten moment bo te modele na tyle szybko się zmieniają że boję się że sprzęt pod spodem by się jeszcze za szybko zmieniał ale z drugiej strony jeżeli rzeczywiście zacznie się dużo więcej pojawiać tych modeli takich no tak jak używasz Gemmy ostatnio próbujesz z odpadać Gemmy jest nawet jakiś tam short jak macie ochotę zobaczyć na YouTubie czy na Tik Toku. Kajetan się trochę opowiada, nawet ma super dyskusję z ludźmi, chyba na Tik Toku jest w ogóle jakaś super dyskusja z ludźmi, więc zachęcamy do polubienia albo skomentowania też po swojemu. Bo jak gdyby to, znaczy ja bym powiedział, że to jeszcze nie jest ten moment, bo jak gdyby właśnie za dużo tych nowych modelów wychodzi i trochę nie do końca wiemy jak będzie. Ale z drugiej strony, ten sprzęt powstaje to jest prawdopodobnie oznacza, że powoli zaraz się okaże, że to jest ten moment. Że ja się męleżę, to nie do końca jest tak, że to powoli jest ten moment, że rzeczywiście można zacząć spraczać rzeczy lokalnie. No Karetan sami messengerował, bo ja byłem w wakacjach, że ta gę ma, to jest ok. Jest super, jest ok. Kajetan Duszyński: oddaję rady jak najbardziej. Piotr Stapp: I to na Twoim normalnym kompie, żeby było jasne. Z tego co ja wiem nie masz najnowszego Maca, nie masz jakiejś maszyny z Windowsem, która jak gdyby pali nie wiadomo ile prądu. Masz normalnego Maca, nie wiem, którą wersję masz. O, zamknięty. Kajetan Duszyński: Z M2 Pro, więc to już jest kilkuletni Mac. PeCeta mam jeszcze starszego z jakimś RTX, ale takim, że nawet nie dało rady pokopać żadnych Bitcoinów swego czasu, ale mam 32 giga RAMu i to jakby wystarcza na to, żeby odpalić. Wiadomo, że nie jest to nie wiadomo jaka prędkość, bo tam wyciągam powiedzmy do 30 tokenów na sekundę, więc no... jakby trzeba się uzbroić w cierpliwość. 30 tokenów na sekundę, No, więc nie jest to powalające, ale też nie jest tak źle. A jakość odpowiedzi jest naprawdę zaskakująco dobra. Na takiej dosyć jeszcze niewielkiej próbce. Na pewno będę to jeszcze testował, na pewno będę to jeszcze sprawdzał i zobaczymy, zobaczymy jak to będzie się rozwijało dalej. Piotr Stapp: sekunda. Na sekundę. No to nie jest zła, to nie jest. Żyjemy w ciekawych czasach. Kajetan Duszyński: No dobra. To na pewno. To na pewno. I ty też drogi słuchaczu, daj nam znać jakie rzeczy ich koloniusy, ich pies na koniec, najbardziej Cię zaskoczyły i najbardziej Cię zachwyciły w ostatnim. Czego używasz teraz? Jak się ostatnio zmienia twój workflow? Jeśli się zmienia? No i co? Słyszymy się za tydzień. Piotr Stapp: Do zobaczenia, trzymajcie się, cześć. Kajetan Duszyński: Na razie.