Latest / M.K. 暢談古往今來｜與古人聊 AI 與未來 / 網站封鎖 AI 代理，會擋掉客人嗎？搜尋流量與內容授權的取捨
Transcript
- 0:00M.K.: 網站把 AI 擋在門外，會不會連客人一起擋掉？這裡是寰宇新聞探討，我是 M.K.。
- 0:08Dorami: 我是 Dorami。先分清只取資料的爬蟲，跟替客人做事的代理。後者可能帶來詢價，但「可能」不等於真的成交。
- 0:19M.K.: 這也是《M.K. 暢談古往今來》今天要談的取捨：門開著有成本，門關起來也可能有代價。
- 0:28Dorami: 先交代日期。The Verge 在十月十七號的報導指出，部分 AI 代理在某些網站遇到了封鎖或反機器人機制的阻礙。我們在十八號查核了原文。這是媒體採訪觀察，不代表全網突然統統關門，也沒有全網封鎖比例。對靠網站接單或賣內容的人來說，值得問的是：這些訪問到底幫了誰？
- 0:55M.K.: 我會先保留讓代理進來的可能。有些代理受人委託找商品、確認庫存或送詢價單。如果它確實代表潛在買家，而且能安全完成需求，全面封鎖就可能犧牲一個接觸客戶的入口。但這是要驗證的商業判斷，不能看見一個代理就說訂單來了。
- 1:18Dorami: 但 M.K.，造訪、引用跟成交完全是三碼子事吧！如果一個網站靠的是廣告點閱或付費訂閱，AI 代理跑進來把整篇文章讀完，轉頭在對話框裡摘要給使用者看，使用者根本不用點進網站，廣告沒曝光、訂閱沒賣出，伺服器頻寬還要網站主自己吞。這種造訪就算背後有真人，對網站主來說哪裡算客人？
- 1:47M.K.: 所以不能只問要不要擋 AI。如果靠廣告或訂閱，而摘要真的取代了原本會發生的閱讀，收入可能受影響；但也得看有沒有後續引薦，不能沒資料就算成淨損失。換成室內設計或設備租賃的詢價網站，安全、有效的需求表單可能有價值。光是同樣叫 AI 來訪，經營結果就可能不同。
- 2:14Dorami: 問題是，技術上分得那麼清楚嗎？Cloudflare 在九月十五號的官方說明裡，把 AI 訪問拆成了搜尋、模型訓練與代理操作。他們提到很多爬蟲是「混合用途」，也就是同一個機器人，既幫搜尋引擎建索引，又順便把資料抓回去訓練大模型。這就讓經營者陷入兩難：你想拒絕被訓練，卻可能連搜尋曝光一起丟掉。
- 2:44M.K.: 這就是關鍵細節。Cloudflare 九月公布的機制裡，特別區分了「Disallow AI Training」跟「Block」。如果你選前者，系統會對符合條件的混合用途爬蟲表達拒絕訓練的偏好，但保留搜尋檢索，並封鎖純訓練爬蟲；可如果你選了最強硬的「Block」，那連這些混合爬蟲也會被完全阻擋，搜尋曝光就可能直接受損。
- 3:11Dorami: 但大家別高興得太早，這並不是萬靈丹。所謂「保留搜尋、拒絕訓練」，是建立在特定平台規則與搜尋業者的承諾之上，不是全世界所有爬蟲都會乖乖聽話。就像很多人以為在 robots.txt 寫個 Disallow 就天下太平，說到底那只是一張掛在門口的「請勿進入」告示牌，根本不是防盜門鎖。
- 3:38M.K.: 對，宣告偏好跟實際阻擋是兩件事。Cloudflare 在二零二五年九月介紹 Content Signals，分別用搜尋、即時輸入模型、模型訓練這些訊號表達用途偏好。宣告本身不是防火牆。某個訊號沒有填，也只是沒有透過那個訊號表態，不能直接當作同意或拒絕。至於實際怎麼攔，還得查自己的伺服器與防禦工具。
- 4:07Dorami: 這確實不能只看單一極端。如果因為怕被訓練就直接在邊界設下最嚴格的全面 Block，很可能會誤傷原本能帶來自然流量的搜尋引擎，甚至擋掉真正代表客戶前來詢價的代理。與其全面封閉或完全敞開，不如依網站的不同路徑來做區隔控管。
- 4:30M.K.: 我也得給開放設定條件。代理來訪增加，詢價和成交沒有變，不能立刻說有商機，也不能立刻斷定長期沒有價值；先查有沒有可追蹤的引薦和客戶回報。公開報價與聯絡入口可以考慮保持可達，但要防垃圾表單。付費內容則另外評估，別把整站交給同一個開關決定。
- 4:58Dorami: 那麼網站經營者明天第一步該做什麼？請不要衝動地把所有後台開關全部推到底。第一步是盤點現況：記下你目前的設定，把原值完整備份；然後先釐清你賺的是廣告費、訂閱費，還是靠表單接單。接著做小範圍、可回復的規則測試，重點觀察搜尋進站流量、可辨識的代理來訪，以及真正的詢價與成交有沒有改變。
- 5:27M.K.: 也別把單一兩天的流量起伏當成因果關係。測試時不要把登入、私人個資或直接扣款的權限交給未經核實的代理。先記錄原值和真正的商業結果，才能比較保護內容的收益，跟可能流失的客戶。現在不必急著選全開或全擋，先弄清楚哪一種訪問值得留下。我們下回線上見。
- 5:54M.K.: 本集對話與語音由 AI 輔助製作及合成。