大多数商业LLM（大型语言模型）系统提供付费API，允许开发诸如聊天机器人、虚拟助手、协同助手等应用。

然而，使用商业系统如GPT-4、Bert或Transformer存在一些限制，影响其在定制化应用中的使用，即针对特定领域的专业应用：

• 查询成本随着发送的数据量（以token计）和查询次数增加而上升。
• 每次查询可发送的token数量有限制。
• LLM所依赖的数据并非实时更新。
• 如果拥有大量来自不同来源（数据库、文档、RSS订阅、REST API等）的特定领域数据，无法充分利用这些数据。
• 必须向LLM系统发送所有回答问题所需的数据，即使这些数据是敏感的。
• 回答可能出现幻觉，尤其是在缺乏或数据不足时。
• 无法追踪生成回答所依据的具体数据来源。

因此，出现了一种架构模型称为RAG（检索增强生成） [1] [2] ，通过在使用LLM之前引入预处理阶段，解决上述问题，特别是允许使用来自任何数据源的实时更新数据，并减少对LLM的查询次数。

其核心思想是：

• 将所有必要数据存储在向量数据库中，
• 从中提取回答问题所需的信息，
• 将这些信息作为上下文与问题一起构建成提示，发送给LLM，
• 获取并使用LLM基于该提示生成的回答。

这样，LLM只需基于包含问题和检索到的上下文信息的提示生成回答。

RAG模型的工作原理

RAG主要由两个组件组成：一个检索器（Retriever）和一个生成器（Generator），它们的功能如下：

检索器（RETRIEVER）

1. 文档加载：从所有可用数据源读取并加载数据，使用针对不同数据源（数据库、RSS订阅、PDF文件、网络服务等）的专用连接器和读取器。
2. 拆分（分块）：将文档分割成更小且易于管理的单元，尽量保证每个单元语义完整。每个分块可关联元数据，便于追溯回答的来源。
3. 嵌入（Embedding）：将每个“信息片段”转换为数字向量，这种编码便于后续处理。
4. 存储（嵌入存储）：将包含编码信息的数字向量保存到向量数据库，这是一种针对向量数据优化的数据库。

生成器（GENERATOR）

当系统被要求回答一个问题（查询）时，流程如下：

1. 检索：将查询发送到向量数据库，数据库将其转换为向量，并通过比较返回相关向量，即与该问题相关的信息片段。
2. 提示构建：准备一个提示，用户的问题作为查询，上下文由前一步检索到的“信息片段”组成。
3. 输出生成：将提示发送给LLM，LLM处理后生成回答，作为最终结果。

由于每个数据分块都关联元数据，因此可以追踪生成回答所用的具体数据来源。

在检索阶段，可能会检索到大量数据，无法全部包含在一个提示中。对此，有多种技术方案，包括对数据进行进一步筛选，或分多次（顺序或并行）向LLM发起请求。此话题适合在专门的文章中详细讨论。

可用框架

实现RAG系统时，可以使用以下框架和系统来完成上述步骤：

• RAG框架：
  • LangChain：一个开源框架，用于开发基于LLM的应用，如聊天机器人和虚拟代理，提供Python和JavaScript库中的工具和API。LangChain支持将复杂流程模块化表示，这些模块可以串联起来构建复杂应用。主要工具包括：Models、Prompt、Parser、Chains、Agents等。
  • LLamaIndex：该框架支持检索和结构化私有或领域特定数据，并高效应用于定制化应用。提供工具用于从多源获取数据、索引并存储到向量数据库、查询向量数据库、准备结构化提示并调用LLM。
• 向量数据库：
  • • Pinecone
    • Qdrant
    • Milvus
    • Weaviate
    • ElasticSearch
    • Chroma
• 大型语言模型：
  • GPT-4
  • Bert
  • Transformer

推荐课程

DeepLearning.AI提供一系列迷你课程，介绍如何使用LLM（如GPT-4）以及构建RAG应用（如LangChain、LLamaIndex等）。

课程通常由框架的创建者授课，由Andrew Ng协调，他是AI和神经网络领域的顶尖专家，也是优秀的科普者。

未来拟深入探讨的主题

我计划近期深入研究以下内容：

1. 如何在本地运行LLM：使用Ollama在本地运行LLM模型，使用LM Studio在本地运行LLM模型。
2. Ollama的图形界面：OpenWeb UI。
3. 使用Open Web UI和Ollama构建RAG系统：ChefGino项目。
4. 模型微调与RAG系统的比较。
5. 如何使用LlamaIndex构建RAG。
6. 向量数据库与ChromaDB。

敬请期待！！！

 

参考资料

• [1] Retrieval-Augmented Generation for Large Language Models: A Survey –  Yunfan Gao, Yun Xiong 等。
• [2] Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks – Patrick Lewis, Ethan Perez 等。
• [3] A Cheat Sheet and Some Recipes For Building Advanced RAG – Andrei，LlamaIndex博客。
• [4] High-Level concepts: Retrieval Augmented Generation (RAG) – LlamaIndex文档。
• [5] LangChain for LLM Application Development –  Andrew Ng 和 Harrison Chase，DeepLearning.ai。
• [6] LangChain Chat with Your Data –  Andrew Ng 和 Harrison Chase，DeepLearning.ai。
• [7] Building and Evaluating Advanced RAG with LlmaIndex – Andrew Ng, Jerry Liu 和 Anupam Datta，DeepLearning.ai。
• [8] Vector Databases: from Embeddings to Applications  – Andrew Ng 和 Sebastian Witalec，DeepLearning.ai。
• [9] Vector Databases per l’A.I. – HPA，Medium.com。
• [10] RAG: The link between pre-trained language models and real-time data，ZBrain。
• [11] What is the Difference Between LlamaIndex and LangChain，Jeff。
• [12] Short Courses，DeepLearning.AI。
• [13] LangChain – 官方网站。
• [14] LlamaIndex – 官方网站。

*** 本文由n8n和OpenAI自动翻译生成。