阿里巴巴昨日在 Github 上開源了其創新的自主搜索 AI Agent——WebAgent，具備端到端的自主信息檢索與多步推理能力，能夠像人類一樣在網絡環境中主動感知、決策和行動。
例如，當用戶想了解某個特定領域的最新研究成果時，WebAgent 能夠主動搜索多個學術數據庫，篩選出最相關的文獻，并根據用戶的需求進行深入分析和總結。
據介紹，WebAgent 不僅能識別文獻中的關鍵信息，還能通過多步推理將不同文獻中的觀點進行整合，最終為用戶提供一份全面且精準的研究報告。
阿里巴巴 WebAgent 分為 WebDancer 和 WebWalker，前者是一種端到端智能體訓練框架，旨在增強基于網絡的 AI 智能體的多步驟信息搜索能力；后者則屬于“Web 遍歷中的 LLM 基準測試”。
Web Agents 上的性能：
WebDancer 的框架一共由 4 大塊組成，從數據構建到訓練優化，逐步打造出能夠自主完成復雜信息檢索任務的智能體。
瀏覽數據構建是整個框架的起點。在現實世界中，高質量的訓練數據是智能體能夠有效學習和泛化的關鍵。WebDancer 通過兩種創新的數據合成方法來解決傳統數據集的局限性。
為了確保生成的軌跡既有效又連貫，WebDancer 采用了短推理和長推理兩種方法。短推理利用大模型直接生成簡潔的推理路徑，而長推理則通過推理模型逐步構建復雜的推理過程。
在數據準備完成后，WebDancer 進入監督微調（SFT）階段。這一階段的目標是通過高質量的軌跡數據對智能體進行初始化訓練，使其能夠適應信息檢索任務的格式和環境要求。
在 SFT 過程中，WebDancer 將軌跡中的思考、行動和觀察內容分別標記，并計算損失函數，以優化模型的參數。為了提高模型的魯棒性，WebDancer 在計算損失時排除了外部反饋的影響，確保模型能夠專注于自主決策過程。這一階段的訓練為智能體提供了強大的初始能力，使其能夠在后續的強化學習階段更好地適應復雜的任務環境。
強化學習（RL）階段是 WebDancer 框架的關鍵環節。在這一階段，智能體通過與環境的交互，學習如何在復雜的任務中做出最優決策。WebDancer 采用了 DAPO 算法，這是一種專門針對智能體訓練設計的強化學習算法。
DAPO 算法通過動態采樣機制，有效利用未充分利用的 QA 對，提高數據效率和策略的魯棒性。在 RL 過程中，智能體通過多次嘗試和反饋，逐步優化其決策策略，最終實現高效的多步推理和信息檢索能力。 
