人工智能公司 OpenAI 宣布部署了一套新的監控系統，專門用于監測其最新的人工智能推理模型 o3 和 o4-mini，防止這些模型提供可能引發生物和化學威脅的有害建議。根據 OpenAI 的安全報告，該系統旨在確保模型不會為潛在的有害攻擊提供指導。
據 OpenAI 表示，o3 和 o4-mini 相比之前的模型在能力上有顯著提升，但同時也帶來了新的風險。根據 OpenAI 內部的基準測試，o3 特別擅長回答有關制造某些類型生物威脅的問題。因此，為了降低相關風險，OpenAI 開發了這套被稱為“安全導向推理監控器”的新系統。
據IT之家了解，該監控器經過專門訓練，能夠理解 OpenAI 的內容政策，并運行在 o3 和 o4-mini 之上。它的設計目標是識別與生物和化學風險相關的提示詞，并指示模型拒絕提供這方面的建議。
為了建立一個基準，OpenAI 的紅隊成員花費了大約 1000 小時，標記了 o3 和 o4-mini 中與生物風險相關的“不安全”對話。在模擬安全監控器的“阻斷邏輯”測試中，模型拒絕回應風險提示的比例達到了 98.7%。然而，OpenAI 也承認，其測試并未考慮到用戶在被監控器阻斷后嘗試新提示詞的情況。因此，公司表示將繼續依賴部分人工監控來彌補這一不足。
盡管 o3 和 o4-mini 并未達到 OpenAI 所設定的生物風險“高風險”閾值，但與 o1 和 GPT-4 相比，早期版本的 o3 和 o4-mini 在回答有關開發生物武器的問題上更具幫助性。根據 OpenAI 最近更新的準備框架，公司正在積極跟蹤其模型可能如何幫助惡意用戶更容易地開發化學和生物威脅。
OpenAI 正在越來越多地依靠自動化系統來降低其模型帶來的風險。例如，為了防止 GPT-4o 的原生圖像生成器創建兒童性虐待材料（CSAM），OpenAI 表示其使用了與 o3 和 o4-mini 相似的推理監控器。
然而，一些研究人員對 OpenAI 的安全措施提出了質疑，認為該公司并沒有像人們期望的那樣重視安全問題。其中，OpenAI 的紅隊合作伙伴 Metr 表示，他們在測試 o3 的欺騙性行為基準時時間相對有限。此外，OpenAI 決定不為其本周早些時候發布的 GPT-4.1 模型發布安全報告。 
