Laya

大模型做选择题太浪费——非自回归的一次前向传播，直接输出类型化决策

项目速览

项目 内容
仓库 NandhaKishorM/laya
语言 Python（另有 TypeScript 版 laya-ts）
Stars 34,243（2026-10-25），Forks 3,074
协议 Apache-2.0
状态 2026-09-18 建库，一个月冲到 3.4 万星
能力 100+ 语言的类型化决策

它想解决什么问题

让一个自回归 LLM 回答”这条工单该转给哪个部门”，它要逐 token 生成、要几分钟、还可能跑偏——用大炮打蚊子，而且打得不准。

Laya 的做法完全相反：非自回归的”System 1”决策引擎，一次前向传播（约 33ms）直接输出类型化决策——选择题、评分、是非题。

核心机制拆解

1. 决策就是”一次前向”。 不生成文本，而是把”问题 + 候选标准”喂进模型，让它在候选集合上打分/选择。省掉的是逐 token 解码的时间与成本，保留的是语义理解能力。

2. API 形态：问什么、答什么。

1
2
3
4
5
6
7
8
9
10
11
from laya import Router

router = Router()  # 首次使用自动下载 checkpoint
state = "Hi, we were billed twice for March. Please refund the duplicate today or we will cancel our plan."
questions = {
    "department": {
        "type": "choice",
        "instructions": "Which department should handle this?",
        "criteria": {"billing": "invoices, payments, refunds"}
    }
}

一次调用返回多个字段的类型化答案——路由、分类、打标、初筛这类”快思考”任务终于有了专用工具。

3. 生态打通得很彻底。 可选依赖覆盖主流框架：laya[llamaindex]、laya[crewai]、laya[onnx]、laya[fast]（TileLang GPU 快路径）、laya[structured]（pydantic 模型）。TypeScript 版 laya-ts 同步发布到 npm。

4. 多语言。 支持 100+ 语言的类型化决策，一套 API——这对做跨国业务分类的团队价值很直接。

安装与上手

点评

亮点是把”快思考”从”慢思考”里拆出来单独优化。Agent 系统越复杂，越应该有这样一个毫秒级、厘钱级的决策层——把所有环节都交给 GPT 级模型，才是真正的浪费。

局限：能力边界是”决策”而非”推理”，开放式问答、多步规划不在它的射程内；候选标准（criteria）写得好不好直接决定准确率，这部分仍需人工设计；一个月 3.4 万星意味着社区热烈但生产案例还少，关键链路建议先做离线评测。

适合人群：Agent / RPA 开发者（路由、分类、打标、初筛）；多语言业务团队；对成本敏感的流水线设计者。