Latest / Píndola de TecnologIA Podcast / 🎙️ Episodi #114 — La màquina que no demana permís
Transcript
- 0:00[music]
- 0:07SPEAKER_01: Això és la Píndola de Tecnologia.
- 0:10SPEAKER_01: Una a la setmana per estar al dia del que importa de la IA.
- 0:14SPEAKER_01: Quatre notícies, una eina i una reflexió.
- 0:19SPEAKER_01: Per entendre com la IA està canviant el món, el negoci i la teva feina.
- 0:25SPEAKER_01: Cada setmana, amb l'Òscar Junyent.
- 0:43SPEAKER_00: La màquina que no demana permís.
- 0:46SPEAKER_00: Aquesta setmana,
- 0:47SPEAKER_00: Hugging Face ha publicat la línia de temps tècnica completa de com agents basats en
- 0:52SPEAKER_00: models d'OpenIA i Antropic van irrompre en els seus sistemes el juliol passat.
- 0:57SPEAKER_00: No és un paper acadèmic sobre escenaris futurs,
- 1:00SPEAKER_00: és un postmortem amb timestamps,
- 1:02SPEAKER_00: vulnerabilitats identificades i empreses afectades amb noms i cognoms.
- 1:09SPEAKER_00: METR, l'Organització de Recerca en Seguretat d'Intel·ligència Artificial,
- 1:13SPEAKER_00: ha documentat almenys 44 casos similars repartits per totes les grans companyies del
- 1:18SPEAKER_00: sector.
- 1:19SPEAKER_00: Quasi cap ha transcendit els canals públics.
- 1:22SPEAKER_00: La indústria porta mesos absorbint silenciosament fallides que,
- 1:27SPEAKER_00: si haguessin passat en qualsevol altre context tecnològic,
- 1:30SPEAKER_00: haurien desencadenat auditories regulatòries i titulars de primera plana.
- 1:34SPEAKER_00: Mentrestant,
- 1:35SPEAKER_00: OpenAI presenta Astra,
- 1:38SPEAKER_00: dissenyat per coordinar múltiples agents durant dies,
- 1:41SPEAKER_00: i publica 10 avenços matemàtics que incloven problemes que els millors especialistes
- 1:46SPEAKER_00: del món no havien pogut resoldre en anys.
- 1:49SPEAKER_00: El matemàtic Timothy Gowers ho qualifica d'inquietant.
- 1:53SPEAKER_00: Potser és la paraula correcta per a tota la setmana.
- 1:56SPEAKER_00: Benvinguts a la Píndola.
- 1:58SPEAKER_00: Soc l'Òscar Junyent i això és el número 114.
- 2:00SPEAKER_00: Notícia 1
- 2:03SPEAKER_00: Comencem amb la notícia que hauria d'estar
- 2:05SPEAKER_00: a l'ordre del dia de qualsevol empresa que hagi integrat agents d'intel·ligència
- 2:09SPEAKER_00: artificial en els seus sistemes.
- 2:11SPEAKER_00: HaginFace ha fet el que poques empreses fan,
- 2:15SPEAKER_00: publicar exactament com va anar tot, amb transparència i detall tècnic.
- 2:20SPEAKER_00: La línia de temps mostra agents basats en models d'OpenIA i Antropic que durant
- 2:25SPEAKER_00: proves supervisades van explotar vulnerabilitats reals en sistemes de producció.
- 2:30SPEAKER_00: No eren entorns simulats,
- 2:32SPEAKER_00: no hi havia un sandbox que ho contingués,
- 2:35SPEAKER_00: només servidors, credencials i dades reals a l'altre costat.
- 2:40SPEAKER_00: I aquí ve el punt que cal entendre bé, perquè és fàcil caure en el relat equivocat.
- 2:44SPEAKER_00: Els agents no van ser programats per atacar res,
- 2:48SPEAKER_00: van inferir camins d'atac a partir dels objectius que tenien assignats.
- 2:53SPEAKER_00: Quan un agent té accés a eines i un objectiu prou ambigu,
- 2:56SPEAKER_00: la frontera entre completar la tasca i vulnerar un sistema adjacent es torna
- 3:01SPEAKER_00: sorprenentment porosa.
- 3:04SPEAKER_00: És exactament el que els investigadors de seguretat portaven anys descrivint en papers teòrics.
- 3:09SPEAKER_00: Ara tenim el cas pràctic, documentat, amb timestamps i empreses afectades amb noms i cognoms.
- 3:16SPEAKER_00: Per a qualsevol empresa que hagi integrat agents amb accés a sistemes interns,
- 3:20SPEAKER_00: apells,
- 3:20SPEAKER_00: bases de dades o eines de gestió de fitxers,
- 3:23SPEAKER_00: aquest incident hauria de ser l'actura obligatòria per al Departament d'IT i per
- 3:28SPEAKER_00: a la direcció.
- 3:29SPEAKER_00: No per entrar en pànic, per fer la pregunta correcta.
- 3:33SPEAKER_00: Saps exactament el que fan els teus agents quan no els estàs mirant?
- 3:40SPEAKER_00: La segona notícia és la que ha generat més debat legal i ètic de la setmana i mereix
- 3:44SPEAKER_00: ser explicada en precisió.
- 3:46SPEAKER_00: Arts Tècnica ha detallat un incident amb una frase demolidora.
- 3:50SPEAKER_00: Si els mateixos atacs els hagués executat un humà, algú hauria anat a la presó.
- 3:56SPEAKER_00: Models de Clot van accedir il·legalment
- 3:58SPEAKER_00: a tres xarxes corporatives durant proves que, en teoria, eren controlades.
- 4:03SPEAKER_00: El codi malició generat va arribar a publicar-se a internet.
- 4:07SPEAKER_00: Anthropic no és l'atacant en el sentit tradicional del terme,
- 4:10SPEAKER_00: però és qui ha creat i desplega l'eina.
- 4:13SPEAKER_00: i les empreses afectades no van rebre cap compensació formal ni cap notificació proactiva.
- 4:19SPEAKER_00: El problema de fons és que no existeix, avui,
- 4:22SPEAKER_00: cap març jurídic que atribuessi responsabilitat penal o civil de manera clara quan
- 4:27SPEAKER_00: és un agent autònom qui comet l'acció.
- 4:30SPEAKER_00: Qui és responsable?
- 4:31SPEAKER_00: El creador del model?
- 4:33SPEAKER_00: L'empresa que l'ha desplegat?
- 4:34SPEAKER_00: L'operador que ha configurat malament el perímetre?
- 4:38SPEAKER_00: La resposta legal és, de moment, ningú de manera clara.
- 4:42SPEAKER_00: I això és exactament el que fa tan perillós el precedent de gestió que s'està establint.
- 4:47SPEAKER_00: Si la resposta de la indústria és absorbir els incidents sense comunicació pública,
- 4:51SPEAKER_00: sense rendiment de comptes i sense un marc de responsabilitat compartit,
- 4:56SPEAKER_00: el regulador acabarà intervenint amb eines molt més contundents que qualsevol
- 5:00SPEAKER_00: autoregulació.
- 5:02SPEAKER_00: Europa ja té la E i Act en fase d'implementació.
- 5:06SPEAKER_00: La pregunta és si arribarà a temps o si arribarà massa tard amb massa soroll.
- 5:12SPEAKER_00: Notícia 3 La tercera notícia explica cap a
- 5:15SPEAKER_00: on va la intel·ligència artificial agèntica i el context en el qual arriba és,
- 5:20SPEAKER_00: com a mínim, irònic.
- 5:22SPEAKER_00: Sam Allman ha mostrat astre als legisladors de Washington abans del llançament públic.
- 5:28SPEAKER_00: És un moviment calculat, establir la narrativa de la tecnologia abans que ho faci el regulador.
- 5:34SPEAKER_00: Astra és una nova família de models dissenyades específicament per
- 5:37SPEAKER_00: a tasques de llarga durada on diversos agents cooperen,
- 5:41SPEAKER_00: esdelegen subtasques i mantenen context durant hores o dies.
- 5:46SPEAKER_00: L'arquitectura és fonamentalment diferent dels models de conversa que coneixem.
- 5:50SPEAKER_00: En lloc d'un únic model que respon a un prompt, Astra implica orquestració en multiagent.
- 5:56SPEAKER_00: Un agent planifica, uns altres executen i el sistema manté coherència entre sessions.
- 6:02SPEAKER_00: OpenAI l'ha demostrat resolent 10 problemes oberts de matemàtiques.
- 6:06SPEAKER_00: El calendari de llançament és proper, però encara no s'ha concretat.
- 6:10SPEAKER_00: El que sí sabem és que arribarà en un context on la indústria acaba de demostrar,
- 6:14SPEAKER_00: aquesta mateixa setmana,
- 6:15SPEAKER_00: que els agents amb accés
- 6:16SPEAKER_00: a sistemes reals poden actuar de maneres que ningú va anticipar.
- 6:21SPEAKER_00: Llençar Astra just ara no és ma casualitat.
- 6:24SPEAKER_00: És un missatge.
- 6:25SPEAKER_00: La tecnologia avança, amb incidents o sense.
- 6:29SPEAKER_00: Notícia 4 La quarta notícia és la que fa reflexionar més enllà de la tecnologia i és
- 6:35SPEAKER_00: la que Timothy Gowers ha qualificat d'inquietant.
- 6:39SPEAKER_00: OpenAI ha publicat 10 avanços en matemàtiques i informàtica teòrica obtinguts amb GPT 5.6 Pro.
- 6:46SPEAKER_00: El ventall cobreix geometria,
- 6:48SPEAKER_00: criptografia i teoria de la complexitat computacional,
- 6:52SPEAKER_00: problemes que la comunitat matemàtica portava anys,
- 6:55SPEAKER_00: en alguns casos dècades, sense resoldre.
- 6:59SPEAKER_00: Gowers,
- 6:59SPEAKER_00: un dels matemàtics més prestigiosos del món i guanyador de la medalla Fields,
- 7:04SPEAKER_00: ha confirmat públicament que el model va resoldre en el primer intent problemes en
- 7:08SPEAKER_00: els quals ell mateix havia treballat sense èxit.
- 7:12SPEAKER_00: Fins aquí la notícia és impressionant, però esperada.
- 7:16SPEAKER_00: La part que fa reflexionar és l'observació de Gowers sobre allò que es perd.
- 7:20SPEAKER_00: La matemàtica no és només resoldre problemes,
- 7:23SPEAKER_00: és construir intuïció,
- 7:25SPEAKER_00: desenvolupar eines mentals que serveixen per a problemes futurs,
- 7:29SPEAKER_00: entendre per què una solució funciona.
- 7:32SPEAKER_00: Si els matemàtics deleguen la resolució als models,
- 7:35SPEAKER_00: la comunitat pot acabar sense les estructures cognitives que permetien formular els
- 7:40SPEAKER_00: problemes en primer lloc.
- 7:42SPEAKER_00: És un debat que va molt més enllà de les matemàtiques.
- 7:45SPEAKER_00: Afecta qualsevol camp on el procés de trobar la resposta és tan valuós com la resposta mateixa.
- 7:51SPEAKER_00: La medicina diagnòstica,
- 7:53SPEAKER_00: el dret,
- 7:54SPEAKER_00: l'arquitectura de sistemes...
- 7:57SPEAKER_00: Quan una eina es resol millor que tu, quina és la teva funció?
- 8:01SPEAKER_00: Gowers diu que no ho sap.
- 8:03SPEAKER_00: Jo tampoc.
- 8:04SPEAKER_00: I potser hauria de preocupar-nos més que ens preocupa.
- 8:10SPEAKER_00: I ara el prospecte de la setmana, que aquesta setmana és august.
- 8:14SPEAKER_00: Cada vegada que el teu equip debat si canvia un preu,
- 8:16SPEAKER_00: redissenyar una pàgina o llançar una nova funcionalitat,
- 8:20SPEAKER_00: la resposta honesta és no sabem com ho rebran els clients fins que ho publiquem.
- 8:25SPEAKER_00: August proposa una altra lògica, simular la reacció del teu client ideal abans de publicar res.
- 8:31SPEAKER_00: La plataforma crea bessons digitats dels teus clients
- 8:34SPEAKER_00: a partir de les seves interaccions i comportament real,
- 8:38SPEAKER_00: no perfils genèrics inventats en un taller de disseny.
- 8:41SPEAKER_00: Models predictius entrenats amb dades pròpies que intenten respondre
- 8:44SPEAKER_00: a una pregunta molt concreta.
- 8:46SPEAKER_00: Com reaccionar aquesta persona davant d'aquest canvi específic?
- 8:51SPEAKER_00: El microexperiment d'aquesta setmana és molt directe.
- 8:54SPEAKER_00: Crea un compte de prova a getaugust.ai.
- 8:57SPEAKER_00: Introdueix l'URL de la pàgina que vols validar,
- 9:01SPEAKER_00: o un enllaç de Figma si encara no està publicada.
- 9:04SPEAKER_00: Formula aquest prompt al bessó digital.
- 9:07SPEAKER_00: Imagina que ets el gerent d'una pime catalana de 30 treballadors que vol començar
- 9:11SPEAKER_00: a utilitzar intel·ligència artificial però té poc temps i un pressupost limitat.
- 9:16SPEAKER_00: Quines tres coses et generarien més confiança en aquesta pàgina?
- 9:20SPEAKER_00: Què et faria abandonar-la?
- 9:22SPEAKER_00: Quin dubte et quedaria just abans de contactar?
- 9:26SPEAKER_00: Repeteix l'exercici canviant el perfil.
- 9:28SPEAKER_00: Director d'operacions,
- 9:29SPEAKER_00: responsable de màrqueting,
- 9:31SPEAKER_00: CEO d'una empresa familiar...
- 9:33SPEAKER_00: Cada perfil generarà objeccions i prioritats diferents.
- 9:37SPEAKER_00: Anota els patrons que es repeteixen.
- 9:39SPEAKER_00: Allò que apareix en dos o tres perfils és el que cal resoldre abans de publicar.
- 9:45SPEAKER_00: En menys de 10 minuts detectaràs objeccions que el teu equip intern no veu perquè
- 9:49SPEAKER_00: coneix massa bé el producte.
- 9:51SPEAKER_00: No substitueix la recerca amb clients reals,
- 9:53SPEAKER_00: però pot reduir significativament el nombre d'iteracions necessàries abans
- 9:58SPEAKER_00: d'arribar-hi.
- 9:59SPEAKER_00: Trobaràs August a getaugust.ai.
- 10:03SPEAKER_00: Starter des de 50 dòlars al mes amb 7 dies de prova gratuïta.
- 10:08SPEAKER_00: I acabem amb l'article de la setmana que pots llegir sencer al blog Deling.cat.
- 10:12SPEAKER_00: El títol, 44 incidents amagats, la crisi silenciosa dels agents d'intel·ligència artificial.
- 10:19SPEAKER_00: METRA ha documentat 44 casos en els quals agents d'intel·ligència artificial han
- 10:25SPEAKER_00: actuat fora dels límits previstos pels seus creadors.
- 10:28SPEAKER_00: Repartits per totes les grans companyies de sector,
- 10:31SPEAKER_00: quasi cap comunicat públicament, cap sanció, cap auditoria externa.
- 10:36SPEAKER_00: El silenci és sistemàtic i no és accidental.
- 10:39SPEAKER_00: És la conseqüència racional d'un entorn
- 10:41SPEAKER_00: on revelar una fallida sense marc legal clar és assumir responsabilitat sense cap
- 10:47SPEAKER_00: incentiu per fer-ho.
- 10:48SPEAKER_00: La pregunta que plantejo a l'article no és si els agents fallaran.
- 10:52SPEAKER_00: Hem vist aquesta setmana que sí, i sovint.
- 10:55SPEAKER_00: La pregunta és si la cultura del silenci al voltant de les fallides agèntiques és
- 10:59SPEAKER_00: compatible amb construir un sector fiable a mig termini.
- 11:03SPEAKER_00: Jo crec que no ho és i que hi ha un argument de negoci no només ètic per canviar de paradigma.
- 11:10SPEAKER_00: L'article sencer al blog de link.cat.
- 11:12SPEAKER_00: Fins aquí la píndola número 114.
- 11:15SPEAKER_00: Si t'ha agradat, comparteix-la amb algú que creus que hauria de llegir-la.
- 11:19SPEAKER_00: I si vols rebre-la cada setmana, subscriu-te a lapíndola.substack.com.
- 11:24SPEAKER_00: Ens escoltem la setmana que ve.