編譯 | 長頸鹿
編輯 | 香草

智東西4月24日報道，4月23日，微軟在官網開源了小語言模型（SLM）——Phi-3-mini。這是微軟Phi-3系列模型推出的首個模型。

Phi-3-mini作為微軟Phi系列的第四代產品，以其38億參數和3.3T tokens的龐大訓練數據量，在語言、推理、編碼和數學基準測試中超越了眾多數百億參數規模的模型。

此外，Phi-3-mini有4k和128k tokens兩個上下文長度變體，經過預訓練和指令調整，可以更好地理解人類的語言、表達、邏輯并執行不同類型的指令。

與大語言模型相比，Phi-3-mini模型操作更為簡便。該模型的體積很小，這一特性使其可以在端側部署和運行。據稱，該模型可以作為聊天機器人離線訪問，且具有不亞于GPT-3.5的性能。

Phi-3-mini的成本大幅降低。微軟生成式AI研究副總裁塞巴斯蒂安·布貝克（Sébastien Bubeck）稱，相比于其他相似功能的模型，Phi-3-mini成本可能只有十分之一。

據微軟研究團隊稱，Phi-3-mini小體積、高性能的創新歸功于由合成數據組成的數據集。該數據集由大量已過濾的網絡數據和其他AI制作的兒童讀物中的合成數據組成。

微軟計劃在未來幾周內推出Phi-3系列的另外兩個模型，分別是Phi-3-small（7B）和Phi-3-medium（14B）。

目前有三個平臺可以獲取Phi-3-mini：

Microsoft Azure AI Studio：https://ai.azure.com/explore/models/Phi-3-mini-128k-instruct/version/2/registry/azureml

Hugging Face：https://huggingface.co/collections/microsoft/phi-3-6626e15e9585a200d2d761e3

Ollama：https://ollama.com/library/phi3

一、“小而美”的模型，Phi-3-mini優于兩倍其尺寸模型

據微軟官網稱，Phi-3模型是目前能力最強、性價比最高的小型語言模型（SLM），其在多種語言、推理、編碼和數學基準測試中均展現出超越同等規模甚至更大型模型的能力。

Phi-3-mini包含兩種上下文長度的規模，分別是4k和128k tokens，其中128k tokens的上下文窗口支持在同類模型是首次實現，且對模型質量的影響微乎其微。此外，該模型經過指令微調，能夠以自然語言方式響應和執行多種指令，確保了其即時可用性。

Phi-3模型在小尺寸上具有突破性的性能。根據微軟研發團隊的測試，Phi-3模型在基準測試中優于相同尺寸和更大尺寸的語言模型。其中，Phi-3-mini的性能優于其尺寸兩倍的模型，而Phi-3-small和Phi-3-medium的性能優于更大的模型，包括GPT-3.5 Turbo。

根據性能對照表，Phi-3-mini的兩個變體于基準測試的19個對比項中，有17項勝過Gemma-7b模型，18項勝過Mistral-7b模型，11項勝過Llama-3-8B模型。但也有11項次于GPT3.5-Turbo模型，17項次于Claude-3 Sonnet模型。

▲Phi-3系列基準測試對照表（圖源：微軟）

此外，微軟還在學術報告中稱Phi-3模型的整體性能可以與Mixtral 8x7B和GPT-3.5等模型相媲美。

Phi系列模型的起源于微軟研究部門，已經被廣泛使用，其中Phi-2下載量超過200萬次。從用于Python編碼的Phi-1開始，到增強推理和理解的Phi-1.5，再到27億參數的Phi-2，Phi系列在語言理解方面超越了其25倍參數大小的模型。

微軟計劃在未來幾周內推出Phi-3系列的另外兩個模型，分別是Phi-3-small（7B）和Phi-3-medium（14B），旨在為Azure AI和其他模型庫提供更靈活的選擇。

二、Phi-3遵循安全和高質，Phi-3-mini為多個平臺專門優化

Phi-3模型的設計遵循了微軟的“負責任AI標準”，包括問責制、透明度、公平性、可靠性與安全性、隱私與安全和包容性。Phi-3模型經歷了嚴格的安全度量和評估、紅隊測試、敏感用途審查，并遵循安全指南，以確保這些模型在開發、測試和部署過程中都符合微軟的標準和最佳實踐。

Phi-3模型在訓練過程中采用了高質量的數據，這是基于先前的Phi模型工作的延續。它們還通過了廣泛的安全后訓練，包括從人類反饋中進行的強化學習（RLHF）、在數十個傷害類別上進行的自動測試和手動紅隊測試。

此外，Phi-3-mini在Azure AI上配備了一套完整的部署、評估和微調工具鏈，并通過Ollama平臺使開發者能夠在本地筆記本電腦上運行。模型還針對ONNX Runtime進行了優化，支持Windows DirectML，并且實現了跨平臺支持，包括GPU、CPU和移動硬件。

同時，Phi-3-mini也作為英偉達推理微服務（NVIDIA NIM）提供，具備可廣泛部署的標準API接口，并對英偉達GPU進行了專門優化。

微軟公司通過提供Copilots幫助客戶用生成式AI進行業務轉型。他們認為，不同任務對質量成本曲線上不同規模模型的需求正日益增長。

小語言模型，如Phi-3，特別適用于以下情況：資源受限的環境，包括設備上和離線推理場景；延遲約束的場景，快速響應時間至關重要；以及成本受限的用例，特別是那些具有較簡單任務的用例。

由于尺寸較小，Phi-3模型可以在計算受限的推理環境中使用，特別是Phi-3-mini可以在端側使用。Phi-3模型的較小尺寸還使得微調或定制變得更加容易和更具成本效益。此外，較低的計算需求使其成本更低，延遲更好。較長的上下文窗口使其能夠處理和推理大量的文本內容，如文檔、網頁、代碼等。

微軟的一些客戶已經開始使用Phi-3構建解決方案。比如農業領域，Phi-3模型為農民提供了更便捷、更經濟的解決方案，并幫助他們在沒有穩定互聯網連接的情況下使用AI技術。

印度一家領先的商業集團ITC正在將Phi-3模型用于Krishi Mitra（一款面向農民的應用程序）內，幫助印度農民通過技術手段獲得更好的農業解決方案。據悉，該應用已經覆蓋了超過一百萬名農民。

微軟的Phi-3模型設計的初衷旨在兼容多種設備。Phi-3與Stability AI的Zephyr、谷歌的Gemini Nano和Anthropic的Claude 3 Haiku等小型模型一樣，能夠在端側運行，而無需依賴互聯網連接。

盡管云端大模型在性能上全面超越小模型，但它們也存在一些局限性，包括較高的成本、運行速度以及對互聯網連接的依賴。相比之下，Phi-3允許用戶在沒有網絡的情況下與虛擬助手進行互動，能夠在不上傳數據的前提下實現內容總結，解決了AI領域的一部分弊端。

未來這類模型有望與智能手機集成，甚至可能內置于常用家電中，為用戶的生活提供個性化建議。我們期待AI變得越來越生活化，也期待小語言模型在未來的進步