1CatAI/1Cat-vLLM

说明与用途

**1CatAI/1Cat-vLLM 简介**

1CatAI/1Cat-vLLM 是一个基于 Tesla V100 (SM70) 的 vLLM 变体，支持 AWQ 4-bit 和 CUDA 12.8 构建流程。它通过验证 Qwen3.5 27B/35B 部署在多 GPU V100 上，提供了一个快速 prototyping 和内部工作流的解决方案。

**价值**

1CatAI/1Cat-vLLM 的主要价值在于帮助开发者快速添加 AI 能力，而不需要从头开始搭建模型堆栈。它可以用于 prototyping AI 特性、构建 RAG 或代理工作流、评估模型工具等场景。

**典型接入方式**

由于该项目需要手动检查和验证，因此需要在接入之前进行仔细检查。一般来说，接入方式如下：

1. 克隆项目代码
2. 检查依赖项和安全 posture
3. 运行测试和验证

**生产可用性**

1CatAI/1Cat-vLLM 的生产可用性为中等（Medium）。它适合用于 prototyping 或内部工作流，但

实际用途

1CatAI/1Cat-vLLM helps add AI capability without starting from a blank model stack.

• prototype AI features
• build RAG or agent workflows
• evaluate model tooling

限制与审查说明

Medium: useful for prototypes or internal workflows, with dependency and maintenance checks before production.