微軟公司今日宣布推出 Mu ，這是一款內置于 Windows 11的新型設備端小型語言模型。該模型旨在為用戶提供更加智能和自然的語言交互體驗，進一步優化系統設置中的搜索功能。
去年，微軟曾推出搭載專用神經處理單元（NPU）的 Copilot + 個人電腦，該 NPU 算力超過 40 TOPS。這些電腦配備了 Phi - Silica，一款用于在設備上為微軟第一方應用程序以及第三方開發者應用程序提供語言智能功能的本地 SLM（小型語言模型）。
如今，微軟在 Windows 11 中引入了 Mu，這是一款全新的本地小型語言模型。微軟的目標是創建一個基于人工智能的智能代理，使其能夠理解用戶的自然語言查詢，并將其無縫集成到系統設置應用中現有的搜索框內，從而為用戶提供更加流暢的使用體驗。為此，微軟利用 Mu 模型為設置應用中的新代理功能提供支持，該功能最近已在開發頻道向 Windows 預覽體驗計劃成員開放，且僅限于使用 Copilot + 個人電腦的用戶使用。
據IT之家了解，與 Phi - Silica 類似，Mu 被設計為能夠在 NPU 上高效運行，能夠在本地以每秒超過 100 個 token 的速度運行。在官方博客文章中，微軟詳細介紹了 Mu 語言模型的設計和訓練過程。以下是 Mu 語言模型的概要信息：
Mu 是一款擁有 3.3 億參數的編碼器 - 解碼器語言模型。與同尺寸的解碼器模型相比，編碼器 - 解碼器架構能夠將首 token 延遲降低約 47%，并將解碼速度提高 4.7 倍。Mu 在某些組件中采用了權重共享技術，以減少總參數數量。微軟利用 NVIDIA A100 GPU 在 Azure 機器學習平臺上對 Mu 進行了訓練。盡管 Mu 的尺寸僅為 Phi - 3.5 - mini 的十分之一，但其性能幾乎與經過類似微調的 Phi - 3.5 - mini 相當。此外，該模型更適合處理多詞查詢。對于短詞或部分詞輸入，系統設置應用仍會在搜索框中顯示詞匯和語義搜索結果。
對于有興趣體驗這一全新人工智能代理功能的用戶，可以下載 Windows 11 Build 26120.3964（KB5058496）或更高版本，以體驗 Windows 設置應用中的這一新功能。 
