AI Agent、Reasoning 放大推論成本：模型業者開始重新思考 Transformer
2017 年，Google 研究團隊發表〈Attention Is All You Need〉論文，提出後來改變 AI 產業的 Transformer 架構。9 年過去，從 ChatGPT 到 Gemini，幾乎所有主流大型語言模型（LLM）都建立在 Transformer 之上。但當 AI 開始處理更長文件、進行複雜推理，甚至以 Agent 形式持續工作，這套支撐生成式 AI 浪潮的架構，也逐漸面臨效率挑戰。 《MIT Technology Review》近期觀察，一批 AI 新創正從 Attention、模型組成到文字生成方式重新設計 LLM，試圖回答同一個問題：除了增加 GPU、量化與壓縮模型，能不能直接從模型架構降低 AI 運算成本？ 這項問題在推理模型興起後變得更加重要。Microsoft Research 今年發表的研究估算，一般前沿 AI 模型推論的能源需求中位數約為每次查詢 0.31 Wh；但如果是產生約 5,000 個 output tokens 的長推理任務，能源需求可能增加約 13 倍。當 AI Agent 又需要反覆呼叫模型、讀取工具結果與累積工作脈絡，推論負擔還會進一步增加。 Transformer 的優勢，為何也成為效率挑戰？ 問題首先出在 Transformer 最核心的 […]
The skinny
The skinny isn't ready yet — notes appear once the transcript is processed.