理解现代 LLM 系统 · 从 RAG 到全景
APPENDIX

附录 · 工具库概览

下面按管线的不同环节,列出 2026 年常见的工具与平台,供对照参考。这个领域变化很快,具体工具的维护状态、命名、定价随时可能变动,落地选型时建议再核实。

按管线环节(每个环节常见的工具/平台)

环节 这一步在做什么 常见工具/平台
文档解析/切块 把 PDF、Word 等格式读成文字,并切成小段 Unstructured、LlamaParse、LlamaIndex 的 loader 生态、Docling
嵌入模型 把文字转成向量 OpenAI embeddings、Cohere、BGE、Voyage、sentence-transformers
向量数据库 存向量、做相似度检索 Pinecone、Weaviate、Milvus、Chroma、Qdrant、pgvector
重排模型 对粗筛结果精排、只留最切题的几条 Cohere Rerank、BGE-reranker、Jina Reranker
编排/RAG框架 把整套流程串起来的开发框架 LangChain、LlamaIndex、Haystack、RAGFlow
Agent框架 支持 ReAct 循环、多智能体协作的开发框架 LangGraph、AutoGen、CrewAI
推理服务 让大模型真正跑起来、对外提供服务 vLLM、TGI(Text Generation Inference)、SGLang
评估 衡量 RAG/Agent 系统表现好坏 RAGAS、DeepEval、TruLens、promptfoo
可观测性 记录、追踪、排查整套系统的运行状况 LangSmith、Langfuse、Arize Phoenix

(其中"重排模型"对应 3.2 漏斗的精排环节,"评估"与"可观测性"对应第一章回环 D 讲的日志反哺——工具只是把这些机制落地的现成产品。)

按品牌生态(同一家公司/社区出的一整套产品线)

  • LangChain 系:LangChain(基础框架)+ LangGraph(专做 Agent 编排)+ LangSmith(可观测性/调试),三者是同一生态里互相搭配的产品。
  • Hugging Face 系:模型库(全球最大的开源模型集散地)+ Transformers(方便加载各种模型的程序库)+ TGI(推理服务)+ 一整套开源工具。
  • 云厂商 MaaS:AWS Bedrock、Azure AI Foundry、Google Vertex AI 这类服务,把嵌入模型和生成模型都打包成托管好的云端服务,企业无需自建服务器即可调用。

理解现代 LLM 系统 · 从 RAG 到全景  —  通俗扩充版 · 简体中文