下面按管线的不同环节,列出 2026 年常见的工具与平台,供对照参考。这个领域变化很快,具体工具的维护状态、命名、定价随时可能变动,落地选型时建议再核实。
按管线环节(每个环节常见的工具/平台):
| 环节 | 这一步在做什么 | 常见工具/平台 |
|---|---|---|
| 文档解析/切块 | 把 PDF、Word 等格式读成文字,并切成小段 | Unstructured、LlamaParse、LlamaIndex 的 loader 生态、Docling |
| 嵌入模型 | 把文字转成向量 | OpenAI embeddings、Cohere、BGE、Voyage、sentence-transformers |
| 向量数据库 | 存向量、做相似度检索 | Pinecone、Weaviate、Milvus、Chroma、Qdrant、pgvector |
| 重排模型 | 对粗筛结果精排、只留最切题的几条 | Cohere Rerank、BGE-reranker、Jina Reranker |
| 编排/RAG框架 | 把整套流程串起来的开发框架 | LangChain、LlamaIndex、Haystack、RAGFlow |
| Agent框架 | 支持 ReAct 循环、多智能体协作的开发框架 | LangGraph、AutoGen、CrewAI |
| 推理服务 | 让大模型真正跑起来、对外提供服务 | vLLM、TGI(Text Generation Inference)、SGLang |
| 评估 | 衡量 RAG/Agent 系统表现好坏 | RAGAS、DeepEval、TruLens、promptfoo |
| 可观测性 | 记录、追踪、排查整套系统的运行状况 | LangSmith、Langfuse、Arize Phoenix |
(其中"重排模型"对应 3.2 漏斗的精排环节,"评估"与"可观测性"对应第一章回环 D 讲的日志反哺——工具只是把这些机制落地的现成产品。)
按品牌生态(同一家公司/社区出的一整套产品线):
- LangChain 系:LangChain(基础框架)+ LangGraph(专做 Agent 编排)+ LangSmith(可观测性/调试),三者是同一生态里互相搭配的产品。
- Hugging Face 系:模型库(全球最大的开源模型集散地)+ Transformers(方便加载各种模型的程序库)+ TGI(推理服务)+ 一整套开源工具。
- 云厂商 MaaS:AWS Bedrock、Azure AI Foundry、Google Vertex AI 这类服务,把嵌入模型和生成模型都打包成托管好的云端服务,企业无需自建服务器即可调用。