A 125M model beat a 14B LLM at de-identifying medical text 40 faster, on CPU

说明与用途

**简短介绍**

本项目是一个开源项目，使用一个 125 亿参数模型击败了一个 14 亿参数大型语言模型（LLM）在 CPU 上进行医疗文本脱敏的速度，提高了 40 倍。这个项目可以帮助您在不从头开始构建模型栈的情况下添加 AI 能力。

**价值**

本项目的价值在于可以帮助您快速构建 AI 特性，例如：

• prototype AI 特性
• 构建 Retrieval-Augmented Generation（RAG）或代理工作流
• 评估模型工具

**典型接入方式**

由于本项目的发现元数据信号稀疏，因此需要手动检查和验收。接入方式如下：

1. 手动检查项目的元数据和文档。
2. 确保正确集成和配置项目。
3. 验收项目的功能和性能。

**生产可用性**

本项目的生产可用性为中等（Medium），适合用于：

• 原型开发
• 内部工作流
• 需要对依赖项和维护进行检查和确认的情况

请注意，本项目的质量信号有限

实际用途

A 125M model beat a 14B LLM at de-identifying medical text 40 faster, on CPU helps add AI capability without starting from a blank model stack.

• prototype AI features
• build RAG or agent workflows
• evaluate model tooling

限制与审查说明

Medium: useful for prototypes or internal workflows, with dependency and maintenance checks before production.