下面按管线的不同环节,列出 2026 年常见的工具与平台,供对照参考。这个领域变化很快,具体工具的维护状态、命名、定价随时可能变动,落地选型时建议再核实。
按管线环节(每个环节常见的工具/平台):
| 环节 | 这一步在做什么 | 常见工具/平台 |
|---|---|---|
| 文档解析/切块 | 把 PDF、Word 等格式读成文字,并切成小段 | Unstructured、LlamaParse、LlamaIndex 的 loader 生态、Docling |
| 嵌入模型 | 把文字转成向量 | OpenAI embeddings、Cohere、BGE、Voyage、sentence-transformers |
| 向量数据库 | 存向量、做相似度检索 | Pinecone、Weaviate、Milvus、Chroma、Qdrant、pgvector |
| 重排模型 | 对粗筛结果精排、只留最切题的几条 | Cohere Rerank、BGE-reranker、Jina Reranker |
| 编排/RAG框架 | 把整套流程串起来的开发框架 | LangChain、LlamaIndex、Haystack、RAGFlow |
| Agent框架 | 支持 ReAct 循环、多智能体协作的开发框架 | LangGraph、AutoGen、CrewAI |
| 推理服务 | 让大模型真正跑起来、对外提供服务 | vLLM、TGI(Text Generation Inference)、SGLang |
| 评估 | 衡量 RAG/Agent 系统表现好坏 | RAGAS、DeepEval、TruLens、promptfoo |
| 可观测性 | 记录、追踪、排查整套系统的运行状况 | LangSmith、Langfuse、Arize Phoenix |
(其中"重排模型"对应 3.2 漏斗的精排环节,"评估"与"可观测性"对应第一章回环 D 讲的日志反哺——工具只是把这些机制落地的现成产品。)
按品牌生态(同一家公司/社区出的一整套产品线):
- LangChain 系:LangChain(基础框架)+ LangGraph(专做 Agent 编排)+ LangSmith(可观测性/调试),三者是同一生态里互相搭配的产品。
- Hugging Face 系:模型库(全球最大的开源模型集散地)+ Transformers(方便加载各种模型的程序库)+ TGI(推理服务)+ 一整套开源工具。
- 云厂商 MaaS:AWS Bedrock、Azure AI Foundry、Google Vertex AI 这类服务,把嵌入模型和生成模型都打包成托管好的云端服务,企业无需自建服务器即可调用。
附录到此结束,后面还有一页速记卡片。网页版永久免费。
想把它从浏览器里拿出来:中文 30 页 / 英文 43 页,排版好的 PDF 与 EPUB、7 张原创示意图、11 条一手来源脚注——四个文件一次下载,$9 起。付款支持境外银行卡与 PayPal。
在国内的话,可以在小红书上找到我(比白为竹间),中文版的其他获取方式我在安排。