Foundry Local 是一個端對端的本地 AI 解決方案，專門用於運送完全在您裝置上執行的應用程式。 當你想在本地運行 AI、離線工作、降低延遲或保持資料私密時，使用 Foundry Local。 它提供易於使用的 SDK（C#、JavaScript、Rust 和 Python）、精選的優化模型目錄，以及自動硬體加速——全部都以輕量化的包裝呈現。
你的資料不會離開裝置，回應立即開始且零網路延遲，應用程式也能離線運作。 沒有每個代幣的成本，也不需要維護後端基礎設施。
Foundry Local 運行在使用者自己的裝置上，所以你的應用程式可以離線運作，不需要 Azure 訂閱。 如果你需要在自己的基礎架構上進行企業級的 AI 推論，並採用 Kubernetes 原生操作和 Azure Arc 管理，請參考 Foundry Local on Azure Local。
Features
輕量級執行時——執行時負責模型擷取、硬體加速、模型管理及推論（透過 ONNX 執行時）。 執行時可為你的應用程式套件增加約 20 MB，使得在需要大小的應用中直接嵌入 AI 變得切實可行。
精選型號目錄——一系列高品質模型，針對各種消費性硬體優化，適用於裝置端使用。 目錄涵蓋聊天完成 (例如，GPT OSS、Qwen、DeepSeek、Mistral 和 Phi) 以及音訊轉錄 (例如 Whisper)。 每個模型都經過大量的量化與壓縮，以達到品質與效能的最佳平衡。 模型有版本限制，因此你的應用程式可以固定到特定版本或自動接收更新。
自動硬體加速——Foundry Local 偵測您裝置上的硬體，並選擇最佳執行提供者。 它在 GPU 和 NPU 可用時加速推理，並無縫回退到 CPU——不需要硬體偵測程式碼。 執行提供者與驅動程式的更新會自動管理，以確保不同硬體配置間的最佳效能。
智慧模型管理——Foundry Local 處理您裝置上模型的完整生命週期。 模型會在首次使用時自動下載，並會在本機快取以便立即啟動，並根據你的硬體選擇性能最佳的版本。
OpenAI 相容 API——支援 OpenAI 請求與回應格式，包括 OpenAI 回應 API 格式。 如果你的應用程式已經使用 OpenAI SDK，建議指向 Foundry Local 端點，程式碼修改極少。
可選的本地伺服器——一台兼容 OpenAI 的網頁伺服器，可將模型提供給多個程序，整合如 LangChain 等工具，或透過 REST 呼叫進行實驗。 對於大多數嵌入式應用場景，直接使用 SDK——它能在過程中執行推論，無需額外伺服器的負擔。
在裝置端執行 AI 的動機
Foundry Local 非常適合需要以下需求的應用：
- 將敏感資料（音訊、文字、圖片等）保存在您的裝置中。
- 可在有限連線或離線環境中運作。
- 降低每個代幣的雲端推論成本。
- 提供低延遲的 AI 回應以實現即時互動。
選擇你的下一步
| 我想。。。 | 轉到 |
|---|---|
| 打造我的第一個應用程式 | 開始使用 Foundry Local |
| 了解執行時間 | Foundry 地方建築概覽 |
| 建立一個聊天機器人 | 打造一個多回合聊天助理 |
| 開始編碼 | 使用原生聊天完成功能 |
常見問題
Foundry Local 是網頁伺服器和 CLI 工具嗎？
否。 Foundry Local 是一款端 對端的本地 AI 解決方案 ，隨你的應用程式自帶。 它透過 SDK 處理模型獲取、硬體加速與推論，並在應用程式流程中進行。 開發工作流程中可選的網頁伺服器和 CLI 可用，但核心產品是本地的 AI 執行環境與 SDK，直接整合到你的應用程式中。
為什麼 Foundry Local 不支援所有可用型號？
Foundry Local 是為運輸生產應用設計，而非一般模型實驗。 模型目錄經過精心篩選，納入針對特定應用情境優化的模型。 這些模型會在各種消費性硬體上進行測試，且體積小巧，可以分發給最終用戶。 這種做法確保目錄中的每個模型在嵌入應用程式時都能提供可靠的效能，而非提供大量且裝置上行為難以預測的模型。
Foundry Local 可以在伺服器上執行嗎？
Foundry Local 已針對硬體受限的裝置優化，確保在任何時刻僅有單一使用者存取模型。 雖然技術上你可以在伺服器硬體上安裝並執行，但它並非設計成伺服器推理堆疊。
以伺服器為導向的執行環境，如 vLLM 或 Triton Inference Server ，是為多使用者情境設計的——它們處理並行請求佇列、持續批次處理，以及在多個同時用戶端間高效共享 GPU 的運作方式。 Foundry Local 沒有提供這些功能。 相反地，它專注於輕量級、單一使用者推論，具備自動硬體偵測、KV-cache 管理及模型生命週期處理，這些功能符合客戶端應用需求。
如果你需要同時提供模型給多個使用者，請使用專用的伺服器推理框架。 當模型在終端使用者自己的裝置上運行時，請使用 Foundry Local。
Foundry Local 會把提示或輸出傳送給 Microsoft 嗎？
Foundry Local 完全在裝置上執行推論。 當你的應用程式向 Foundry 本地端點發送提示時，提示和模型輸出會在本地處理。
Foundry Local 仍可利用該網路進行：
- 模型與元件下載——模型首次執行時，Foundry Local 會下載模型檔案，並可能下載使用者硬體的執行提供者。
- 可選診斷——如果使用者回報問題，他們可能會選擇分享日誌。
Foundry Local 的使用受適用於軟體及所用模型的產品條款與授權條款所規範。 若條款允許Microsoft收集診斷資訊，詳細資訊則以該條款及Microsoft隱私聲明描述。
需要訂閱 Azure 嗎？
否。 Foundry Local 完全使用本地硬體運行。 不需要 Azure 訂閱。
支援哪些平台？
Foundry Local 支援 Windows、macOS（Apple Silicon）及 Linux。