Production llm app builder

何时使用

适用：

• 构建或改进 LLM 功能、RAG 检索系统、AI 智能体。
• 设计生产级 AI 架构与模型选型、模型路由。
• 优化向量检索、Embedding、召回流水线（混合检索、重排、查询改写）。
• 落地 AI 安全护栏、可观测性、成本与限流控制。

不该用（负边界）：

• 任务是无 LLM 的纯数据科学/传统 ML。
• 只是与 AI 功能无关的快速 UI 改动。
• 没有可访问的数据源或部署目标（先补齐输入再开工）。
• 缺少必要输入、权限、安全边界或成功标准时，先停下来澄清。

步骤

1. 澄清用例、约束与成功指标（延迟、成本、召回/准确率、合规要求）。
2. 设计 AI 架构、数据流与模型选型（含多模型编排与路由）。
3. 实现时内建监控、安全护栏与成本控制（缓存、限流、配额）。
4. 用测试 + 分阶段灰度发布验证（含对抗性输入与边界用例）。

指令

• 模型与编排：GPT-4o/4o-mini、Claude 4.5 Sonnet/Haiku、Llama 3.2、Qwen 2.5 等；本地部署用 Ollama / vLLM / TGI；多模型路由按成本/能力选型，配缓存降本。优先使用结构化输出（function calling / structured outputs）与类型安全。
• RAG 流水线：多阶段召回 = 混合检索（向量相似度 + BM25 关键词）→ 重排（Cohere rerank-3 / BGE reranker / cross-encoder）→ 上下文压缩与相关性过滤以省 token。向量库可选 Pinecone / Qdrant / Weaviate / Chroma / Milvus / pgvector；Embedding 选 text-embedding-3-large/small、Cohere embed-v3、BGE-large。分块用语义/递归/滑窗/文档结构感知。进阶模式：GraphRAG、HyDE、RAG-Fusion、self-RAG；查询侧做扩展、分解与路由。
• 向量索引：按规模选 HNSW / IVF / LSH；相似度按场景选 cosine / 点积 / 欧氏；关注 Embedding 漂移检测与模型版本管理，索引做分片与缓存。
• 智能体：LangChain/LangGraph 管复杂工作流与状态；LlamaIndex 做数据密集检索；CrewAI / AutoGen 做多智能体协作；配短期/长期/情景记忆与工具（web 搜索、代码执行、API、数据库），并对智能体做自定义指标评测与监控。
• Prompt 工程：chain-of-thought、tree-of-thoughts、self-consistency、few-shot；模板做动态变量注入；Prompt 做版本化、A/B 测试与效果追踪；安全侧做越狱检测、内容过滤、偏见缓解。
• 生产系统：FastAPI 异步服务 + 负载均衡 + 流式响应；语义缓存 / 响应记忆 / Embedding 缓存；限流、配额、成本控制；错误处理用回退策略与熔断器；可观测性用 LangSmith / Phoenix / W&B 做日志、指标、追踪。

示例

• 为企业知识库构建带混合检索的生产级 RAG 系统。
• 实现带升级转人工流程的多智能体客服系统。
• 设计带缓存与负载均衡的低成本 LLM 推理流水线。
• 构建用于文档分析与问答的多模态 AI 系统。
• 实现带重排的语义检索以提升召回准确率。
• 搭建对比不同 LLM Prompt 的 A/B 测试框架。

注意事项

• 数据安全：未经批准不得将敏感数据发往外部模型。
• 护栏必备：针对 prompt 注入、PII、策略合规加防护；接入内容审核（如 OpenAI Moderation API 或自定义分类器）与 PII 检测脱敏。
• 工程优先级：生产可靠性与可扩展性优先于 PoC；从第一天就内建可观测性；用全面错误处理与优雅降级；持续做含对抗性输入的测试。
• 不可替代环境验证：本技能输出不能替代针对具体环境的验证、测试与专家评审。

互见

• 检索增强与多源核验类研究任务参见 deep-research。
• 涉及 Claude API / Anthropic SDK 的实现、提示缓存与模型迁移参见 claude-api。

---

采编自 sickn33/antigravity-awesome-skills（MIT 许可）。