skinny.

Latest / TechOrange 科技報橘

AI 黑盒子沒那麼黑?Goodfire 研究員:神經元「亂塞概念」可能是誤讀

想了解 AI 為什麼做出某個判斷,最直接的方式,是打開模型,看看裡面的「神經元」各自在做什麼。但長期以來,研究界普遍認為這條路並不好走:神經元裡似乎塞滿了互不相干的概念,就像一團打結的毛線。AI 新創 Goodfire 研究員 Nick Cammarata 日前發表長文挑戰這個看法,他聲稱,在語言模型 Qwen3-32B 中,多數神經元其實只負責一件主要工作。 Cammarata 曾在 OpenAI 發起自動化可解釋性專案,而他在文中推翻的經典案例之一,正是自己 2019 年參與提出的研究。這篇工作假說,挑戰了學界的什麼認知? AI 研究界原本認為神經網路像「打結的毛線」,必須先拆開才能研究 在可解釋性(interpretability,研究 AI 模型內部如何運作的領域)研究中,有個讓人頭痛的現象,叫做「多義神經元」(polysemantic neuron):一個神經元看起來同時負責好幾項不相干的工作,或根本看不出在做什麼。最著名的例子,是某個影像模型裡,同時對「貓臉」和「汽車車頭」產生反應的神經元。早期研究常用的影像模型 InceptionV1,最後一層也幾乎沒有容易解讀的神經元。…

The skinny

The skinny isn't ready yet — notes appear once the transcript is processed.