hwdsl2/self-hosted-ai-stack

说明与用途

**项目简介（2‑3 句）**
hwdsl2/self-hosted-ai-stack 是一个基于 Docker‑Compose 的全栈本地 AI 环境，一键部署 Ollama、LiteLLM、AnythingLLM、Whisper 系列、Kokoro、Embedding、Docling 与 MCP Gateway 等组件，默认私有、轻量化，可选 HTTPS 与 NVIDIA CUDA 加速，支持 amd64 与 arm64 多架构。

**价值**

• **标准化 AI 与工具的连接**：通过 MCP（Model Context Protocol）网关，将 AI 助手统一映射为可调用的工具和数据源，降低集成门槛。
• **本地优先、数据安全**：所有模型和服务均运行在用户自己的机器或私有网络中，天然满足隐私合规需求。
• **可插拔、可扩展**：模块化的 Docker‑Compose 配置让用户可以按需增删组件，支持从单机实验到多节点生产部署。

**典型接入方式**

1. **Docker‑Compose 部署**：克隆仓库 → docker compose up -d，即可获得完整的 API/SDK/CLI 接口。
2. **通过 MCP Gateway**：在业务代码中使用 MCP 客户端（HTTP/JSON 或 gRPC），调用已注册的工具（如 Whisper 语音转写、Embedding 检索、AnythingLLM 文本生成等）。
3. **SDK/CLI 调用**：各子服务均暴露标准化的 REST/GraphQL 接口或命令行工具，便于在 Python、Node.js、Shell 等语言中直接集成。

**生产可用性**

• **活跃度高**：截至 2026‑06‑24 最近一次提交，拥有 107 星、21 Fork，社区讨论活跃。
• **成熟度**：多组件均为成熟开源项目（Ollama、LiteLLM、Whisper 等），Docker‑Compose 方案已在多个内部项目验证。
• **可扩展性**：支持 NVIDIA CUDA 加速、HTTPS 终端、跨平台（amd64/arm64），满足从边缘设备到高性能服务器的不同场景。
• **风险点**：仍需进一步审查许可证兼容性、容器安全基线以及维护者响应速度，但总体已具备在企业内部或受控环境中进行正式试点的条件。

实际用途

hwdsl2/self-hosted-ai-stack helps connect AI assistants to real tools and data through a standard protocol.

• connect AI agents to tools
• ship Model Context Protocol servers
• standardize integrations

限制与审查说明

High for an OSS candidate: recent activity, adoption, and ecosystem signals are strong enough for a serious pilot.