GPT-5.6 Sol 接 Cerebras 快 14 倍:OpenAI 開始替不同 AI 工作挑晶片
AI 開發者想讓模型即時回應,過去往往得在「速度」與「聰明程度」之間做取捨,OpenAI 近日在自家 API 推出名為「Ultrafast」的新服務層,讓旗艦模型 GPT-5.6 Sol 在不更換模型的前提下,推論速度最高較標準模式快 14 倍,每秒可生成 750 個 output token。 OpenAI 表示,要取得即時速度,通常得改用較小或針對特定用途打造的模型;Cerebras 也指出,開發者長期面臨類似問題:最強的模型通常不夠快,最快的模型又未必具有足夠能力。Ultrafast 服務想解決的,正是這項取捨,而支撐這個速度的並非 GPU,是晶圓級晶片公司 Cerebras 的專用晶片。 原本要過夜跑的研究工作,一日內就可多輪迭代 Ultrafast 目前先在 OpenAI API 上線,採限量預覽,開放給一小群客戶,官方表示會隨產能擴大逐步放寬。 在應用場景上,OpenAI 點名事故排除、金融研究與風控、即時客服與語音、電商,以及過去得跑整夜的即時實驗。早期客戶包含 Jane Street、Podium、Basis 與 Rogo。 Jane Street 的 AI 助理團隊成員 John Crepezzi 表示,Cerebras 帶來的速度提升相當可觀,讓開發者能以更專注、更有效率的方式與模型協作。OpenAI 內部開發團隊也已用 Ultrafast…
The skinny
The skinny isn't ready yet — notes appear once the transcript is processed.