RAG(Retrieval Augmented Generation)是一种将检索到的信息作为上下文提供给大语言模型来产生回答的

(RetrievalAugmentedGeneration)是一种将检索到的信息作为上下文提供给大语言模型来产生回答的技术。它是2022年后最流行的大语言模型系统架构之一，有很多产品都是基于RAG构建的。LangChain和LlamaIndex是两个流行的开源RAG库。RAG由搜索和大语言模型提示组成，可以看作是搜索+大语言模型的结合。基本流程包括：将文本分块，用TransformerEncoder模型将这些块嵌入为向量，将向量放入索引，构造提示，让大语言模型基于检索到的上下文来回答用户查询。本文详细介绍和说明了RAG中的各种高级技术和算法，以及对这些技术的参考实现，旨在帮助开发者更深入地了解RAG技术。

RedisVL: 用 Redis 作为矢量数据库，以简化在 Redis 中存储、检索以及对向量执行复杂语义和混合搜索的过程，对L

:用Redis作为矢量数据库，以简化在Redis中存储、检索以及对向量执行复杂语义和混合搜索的过程，对LLM应用提供更好的支持RedisVL具有许多强大的功能，旨在简化矢量数据库操作。索引管理：RedisVL允许轻松创建、更新和删除索引。每个索引的模式可以在yaml中定义，也可以直接在python代码中定义，并在索引的整个生命周期中使用。嵌入创建：RedisVL与OpenAI、HuggingFace和GCPVertexAI集成，以简化矢量化非结构化数据的过程。图像支持即将推出。提交新矢量化器的PR。向量搜索：RedisVL提供强大的搜索功能，使您能够同步和异步查询向量。还支持利用标签、地理、数字和其他过滤器（如全文搜索）的混合查询。强大的抽象：语义缓存：LLMCache是直接内置于RedisVL中的语义缓存接口。它允许缓存GPT-3等LLM生成的输出。由于语义搜索用于检查缓存，因此可以设置阈值来确定缓存结果是否足够相关以返回。如果没有，则调用模型并缓存结果以供将来使用。这可以提高QPS并降低在生产中使用LLM模型的成本。

开源我昨天写了一天的 RAG-Search API 项目

开源我昨天写了一天的RAG-SearchAPI项目https://github.com/thinkany-ai/rag-search使用谷歌搜索引擎+zilliz向量数据库实现联网数据的召回(retrieval)和重排(reranking)，获取搜索链接的详情内容，通过向量相似度匹配过滤内容。在LLM的普遍longcontext时代到来之前，RAG检索优化有非常重要的意义。这个项目旨在提供一个高效/精准的RAGSearchAPI，帮助做AISearchEngine/ChatBot的朋友，实现更好的Search/Chat效果。目前第一个版本实现的还不够好，每一个步骤都有很大的优化空间，希望有更多的朋友参与共建。也欢迎体验我上周写的AISearchEngine（需要科学上网）https://thinkany.ai

epoChat-200k

项目名称：RepoChat-200k项目功能：AI编程项目简介：一个可以与聊天机器人进行互动对话的开源工具。通过提问或提供输入，聊天机器人将从向量数据库中检索相关文档，然后将用户的输入和检索到的文档一起发送给语言模型，以生成响应。这个项目使用了200k上下文窗口的Claude模型，而不是RAG模型，以提高对话的相关性和准确性。项目地址：

【贪心科技】大模型开发应用实战营 - 带源码课件

名称：【贪心科技】大模型开发应用实战营-带源码课件描述：本课程包括大模型开发基础，RAG基础与架构，RAG与LangChain，模型微调与私有化大模型，智能设备与“小”模型，多模态大模型开发7个阶段，内容涵盖大模型核心原理，大模型实操与API调用，提示工程技术，RAG，向量数据库，LangChain，FunctionCalling，模型微调，LoRA，Agent，智能设备上的模型优化，边缘计算与大模型，多模态大模型，Sora等前沿技术等全方位知识讲解，并结合5个实战项目，帮助同学们实现学以致用。链接：https://www.alipan.com/s/ac7EpxPTLij大小：NG标签：#学习#知识#课程#资源来自：雷锋版权：频道：@shareAliyun群组：@aliyundriveShare投稿：@aliyun_share_bot

动手学大模型应用开发：旨在帮助小白开发者通过实践构建个人知识库助手，学习大模型应用开发的基础入门

：旨在帮助小白开发者通过实践构建个人知识库助手，学习大模型应用开发的基础入门主要内容包括：大模型简介，何为大模型、大模型特点是什么、LangChain是什么，针对小白开发者的简单介绍；如何调用大模型API，本节介绍了国内外知名大模型产品API的多种调用方式，包括调用原生API、封装为LangChainLLM、封装为Fastapi等调用方式，同时将包括百度文心、讯飞星火、智谱AI等多种大模型API进行了统一形式封装；大模型开发流程及架构，大模型应用开发的基本流程、一般思想和本项目的架构分析；数据库搭建，不同类型知识库文档的加载、处理，向量数据库的搭建；Prompt设计，如何设计Prompt来让大模型完成特定任务，PromptEngineering的原则和技巧有哪些；验证迭代，大模型开发如何实现验证迭代，一般的评估方法有什么；前后端开发，如何使用Gradio、FastAPI等框架快速开发大模型Demo，展示应用能力。