用 AI 當「假消費者」測廣告和包裝？六個實驗顯示，它看得到圖，卻讀不懂意思

先給結論，這個結論對正在評估「用 AI 取代焦點團體」的行銷主管很重要：模型看得到那張圖，不代表它讀得懂那張圖對消費者的意義。而這兩件事之間的落差，大到足以讓整套前測結果失去參考價值。

他們在檢驗什麼假設

論文開頭描述的現況很寫實：行銷人現在把生成式 AI 代理當成合成消費者，用來前測 logo、包裝與廣告這類視覺資產，成本只有人類受測組的一小部分。

但這個做法建立在一個假設上——模型「看到」一個視覺線索，就等於它能「感知」那個線索的消費者意義。而論文直接指出：這個假設基本上未經檢驗。

怎麼壓力測試

他們用六個經典的視覺行銷實驗來測，並且刻意變動兩個「行銷主管實際控制得到」的槓桿：

• 模型世代　GPT-4o-mini 對上 GPT-5.4-mini
• 輸入格式　純文字對上 JSON

這個設計很貼近實務——它問的不是「AI 行不行」，而是「你能調整的那兩個旋鈕，調了有沒有用」。

結果

「通過操弄檢核卻重現不了效果」這一點最值得警覺：它代表你用標準的品質檢查根本看不出問題。檢核會告訴你「受測者確實注意到我們變動的那個元素」，然後你就以為資料可信了。

引導有用嗎？有，但有天花板

研究者發現，透過情境內學習（in-context learning）提供概念上或實證上的證據，可以把平均反應導向人類的效果方向。

但引導有其極限：即使引導成功，一個設定所重現的反應離散程度，仍不到人類自然離散程度的一半——也就是它系統性地低估了消費者的異質性。

這對行銷決策的影響很具體：你會得到一個「大家反應都差不多」的假象，而真實市場的分歧才是你該準備應對的。

他們給了一套治理流程

論文把結果整合成一個 AI 治理協定：校準（Calibrate）→ 介入（Intervene）→ 部署（Deploy），用來界定合成消費者什麼時候可以負責任地篩選創意，什麼時候仍然必須用人類受測組。

對台灣企業的意義

一、合成消費者適合「篩掉明顯不行的」，不適合「決定哪個最好」。用它把十個版本刷掉七個可以，用它在剩下三個裡選一個就很危險——因為差異越細，它越測不出來。

二、低估異質性這件事，對台灣市場特別要注意。台灣消費族群的分眾很細，如果前測工具系統性地壓縮差異，你會做出「對平均值最好、但對每一群都不夠好」的設計。

三、不要用「換更新的模型」來解決。實驗同時測了兩個世代，兩者都沒能通過。這不是模型不夠新的問題。

現在可以怎麼準備

• 先做一次自家的校準測試。挑一個你已經知道人類結果的舊案子，讓 AI 跑一次，看它對不對得上。沒有這個基準，你無法判斷它在新案子上的輸出可不可信。
• 保留人類受測組在最後一關。預算的配置邏輯應該是「用 AI 省下前段的篩選成本，把省下的錢花在最後決選的人類驗證」。
• 記錄反應的離散程度，而不只是平均值。如果 AI 給你的離散程度明顯偏低，那就是這篇描述的現象。

可行的解決方案

務實的做法是把前測切成兩段：粗篩用 AI、決選用人。粗篩階段容許錯誤，因為被刷掉的通常真的不行；決選階段不容許錯誤，因為那是要投放預算的版本。

這個分段也呼應我們在微調反而增加幻覺那篇談過的原則：先分清楚「答錯了沒關係」與「答錯了會出事」，再決定哪一段交給 AI。

需要保留的懷疑

這是 arXiv 預印本，在本文寫作時尚無同儕審查紀錄。

• 只測了兩個模型、且都是 mini 等級。摘要未測試完整規模的模型，結論能否外推到更大的模型未知。
• 六個實驗是「經典」實驗，不是你的品類。視覺行銷的效果高度依賴文化與品類脈絡，台灣市場的適用性需要自行驗證。
• 摘要未說明六個實驗分別是什麼。因此無法判斷哪一類視覺效果特別測不出來。
• 「唯一的例外是方向相反」這一點，摘要未說明是哪個實驗。這其實是最值得深究的一筆，但資訊不足。

常見問題

什麼是操弄檢核？為什麼它通過了卻沒用？

操弄檢核是實驗設計中用來確認「受測者確實察覺到我們變動的那個變項」的檢查。它通過，代表 AI 確實注意到你改了包裝顏色；但它不保證 AI 對那個改變的反應方向與強度和人類一致。這正是本篇標題「看得到不等於感知得到」的意思，也是這個結果最危險的地方——標準品管會給你綠燈。

那合成消費者完全不能用嗎？

不是。論文自己提出了治理協定，明確界定可用與不可用的情境。務實的界線是：用於大量初篩、降低明顯不佳選項的成本，是合理的；用於細微差異的最終決策、或用於估計市場反應的分歧程度，目前證據不支持。

用更好的提示詞可以解決嗎？

部分可以。研究發現以情境內學習提供概念或實證證據，能把平均反應導向人類方向。但即使引導成功，重現出來的反應離散程度仍不到人類的一半，所以提示詞能改善平均值，改善不了異質性的低估。

正在評估要不要用 AI 做創意前測？

甫東科技可以協助你設計一次校準測試：用貴公司已知人類結果的舊案子當基準，實測 AI 的重現能力，再決定要不要把它放進流程、以及放在哪一段。沒有基準就導入，等於拿預算去賭。

前往甫東科技官網洽談 →