研究人員評估了對話歷史對LLM中品牌顯示的影響

研究人員在 ChatGPT、Perplexity 和 Alice AI 中進行了 45 次測試，以確認 AI Visibility 是否會受到對話脈絡影響。實驗結果顯示，在不同對話歷史後提出相同的最終問題，會導致回答中提及的品牌組合出現顯著差異。

測試期間，研究人員分析使用者與模型先前的對話內容如何影響回答中最終列出的公司。結果證實，使用獨立提示詞評估 AI Visibility，無法完整呈現模型在真實對話情境中的行為。即使最終問題完全相同，回答中提及的品牌仍可能大幅不同，這使得目前衡量 AI 對消費者選擇影響的方法之準確性受到質疑。

研究結果凸顯，必須重新檢視以搜尋資訊和提供建議為目的的模型測試方法。作者建議，與其評估孤立的查詢，不如納入上下文視窗的變化，因為互動歷史正是決定回答中各項實體優先順序的關鍵因素。對於運用 AI 工具進行行銷研究與品牌市場能見度分析的企業而言，這點至關重要。

研究結果指出，現代聊天機器人的排序演算法對語意脈絡極為敏感。對話結構愈複雜，回答的穩定性就愈低，因此有必要為提供推薦內容的系統制定新的驗證標準。