生成式AI的品管問題，亞馬遜有解！

生成式AI常會出現各種幻覺以及大量不一定有用的建議。亞馬遜的Catalog AI系統雖然可以自動生成商品頁，以及相關的商品標題、圖片、說明等，也苦於這些難解的問題。亞馬遜後來採取哪些步驟，不但確保AI生成的品質，還能大規模測試各項微調的效果，本文有精彩的說明。

雖然大家對生成式AI充滿各種熱情，但在用它時卻受到一項限制：這門技術常常編造內容、遺漏資訊，還會提供大量可能性，讓使用者很難判斷哪些才有效果。因此，絕大多數公司現在都採用人工審查，以及獨立的測試工具或服務，來解決生成式AI的缺點。然而，這兩種品質管制法不僅成本高昂，也只能處理生成式AI所有輸出結果的一小部分。

亞馬遜（Amazon）開發出一個更好的方法，來處理它那龐大的商品目錄作業。這套生成式AI系統稱為Catalog AI，能夠偵測並擋下不可靠的資料；針對新的商品頁（product page）提出構想，並測試這些構想的效果；以及根據品質檢查和實驗的回饋自動改進。它一年能提出並測試幾千萬個假設，相較之下，大多數人工系統的量能只有幾千個。

(##BLOCKQUOTE2##

亞馬遜的生成式AI系統一年能提出並測試幾千萬個假設，相較之下，大多數人工系統的量能只有幾千個。

##BLOCKQUOTE2##)

雖然很多組織還很難見到投資AI帶來的財務報酬，亞馬遜的Catalog AI專案卻已經創造出可觀的價值。本文撰寫之際，Catalog AI提出的建議，有8％對銷售收入產生正面的影響。本文作者之一史蒂芬還知道有些公司的線上實驗成功率更高（從10％到20％不等）。但這些公司都是依靠人工提出假設，而且測試假設的系統也沒有那麼自動化，這表示它們提出並測試的假設數量遠遠少於亞馬遜。而且，亞馬遜的系統具有自動改進的能力，它的良率因此能逐漸提高。雖然亞馬遜認為這套2023年推出的系統還是在製品（work in progress），但我們相信它已經足夠成熟，其他組織的經理人只要了解亞馬遜如何大規模管制AI生成內容的品質，就能從中受益。