使用RAG-GPT和Ollama本地部署智能客服，保障数据隐私与安全
介绍
上一个简介使用Rag-GPT和OpenAI快速构建Langchain官方网站的智能客户服务。在某些情况下，用户可能无法通过外部网络访问OpenAI等云LLM服务，或者由于安全问题（例如数据隐私），他们需要在本地部署大型模型。本文将通过RAG-GPT和Ollama介绍智能客户服务的构建。
抹布技术原理简介
在介绍抹布-GPT项目之前，我们必须首先了解抹布的基本原理。抹布在问答系统中的典型应用主要包括三个模块，即：
智能文档的在线搜索过程可以通过图片来解释，该图片显示了一个完整的问答过程：
以上是抹布技术的基本介绍。如果您想对技术细节有更深入的了解，可以参考本文：抹布技术的完整分析：创建下一代智能的问答系统。
如何快速实施抹布的智能问答系统？
从引入RAG的原理，我们可以看到仍然有一定数量的工作量来实现整个抹布架构。有必要构建一系列模块，例如索引，检索，LLM的集成，及时优化等，这很困难。
基于此，RAG-GPT提供了一套完整的开源解决方案，旨在快速使用LLM和RAG Technologies快速构建功能齐全的客户服务解决方案。该项目基于烧瓶框架，包括前端用户界面，后端服务和管理员控制台，为企业提供了完整的自动化解决方案，可以使用LLM来构建智能客户服务和其他对话方案，从而可以快速帮助开发人员建立一个智能的问答系统。代码是完全开源的。
项目地址：
抹布-GPT的基本架构
抹布-GPT的主要特征：
从这些特征中，我们可以看到，抹布的优势比基于知识基础的商业充电Q＆A系统是：
抹布-GPT迅速建立一个聪明的问答系统
抹布-GPT的基本组成分为三个部分：
- 智能问答后端服务
- 管理后端系统
- 用户使用的聊天机器人UI。
下面，我们将介绍如何启动抹布-GPT项目并使用这三个模块。将RAG-GPT集成到您的网站只有5个步骤：
1。下载源代码并通过git克隆rag-gpt的GitHub存储库：
git clone https://github.com/open-kf/rag-gpt.git && cd rag-gpt2。配置环境变量
[！笔记]
我们首先需要下载并安装Ollama。
然后下载嵌入式模型和LLM Dock模型。
默认绑定IP：Ollama启动端口为127.0.0.1：11434。您可以参考此文档以修改默认配置。
嵌入模型我们选择MXBAI插入大型
LLM基本型号我们选择Llama3
在启动RAG-GPT服务之前，需要修改相关的配置，以便正确初始化程序。
cp env_of_ollama .env.env文件中的变量
LLM_NAME="Ollama"
OLLAMA_MODEL_NAME="xxxx"
OLLAMA_BASE_URL="http://127.0.0.1:11434"
MIN_RELEVANCE_SCORE=0.3
BOT_TOPIC="OpenIM"
URL_PREFIX="http://127.0.0.1:7000/"
USE_PREPROCESS_QUERY=0
USE_RERANKING=1
USE_DEBUG=0对.env中的变量进行以下调整：
3。执行开始命令
单独执行以下命令以启动。
[！笔记]
请使用Python 3.10.x或更高版本。
首先安装python依赖项
python3 -m venv myenvsource myenv/bin/activatepip install -r requirements.txt只需开始项目：
python create_sqlite_db.py
python rag_gpt_app.py或执行
sh start.sh4。快速体验聊天效果
首先，您需要登录管理背景并输入：
：7000/open-kf-admin/
登录帐户是：管理员密码：Open_KF_AIGC@2024。
切换到管理背景中的源选项卡，从本地磁盘上传openssl-cookbook.pdf，
然后单击上传以将本地文档作为知识库上传。
将本地文档上传到服务器后，记录了初始状态。服务器将通过异步任务解析上传的文档，计算嵌入，然后将其存储在矢量数据库中。
服务器完成处理后，您可以看到上传文档的日志。
在管理页面上，在管理背景中，培训显示的上传文档的状态。
打开浏览器
：7000/Open-kf-chatbot/，您可以访问bot。
5。一键嵌入网站
RAG-GPT提供了一种将聊天机器人嵌入网站的方法，使用户可以直接在网站上使用智能问答服务。
打开管理背景菜单，然后切换到嵌入。复制两个代码以实现一键嵌入。这两个代码切片的效果如下：一个是嵌入iframe，另一个是单击页面右下角的弹出聊天窗口。
您可以创建一个新的文本文件，复制代码，然后在浏览器中打开它以查看嵌入效果。
6.管理背景的其他功能
您可以根据时间，用户查询聊天记录，并修改问答的答案，以更好地满足您自己的需求。
用户可以自定义聊天对话框的样式，以使其更符合其自己网站的样式特征。
结论
RAG-GPT项目是免费的，易于部署和集成的，开箱即用和丰富的功能，为在特定字段中应用LLM模型提供了企业级别的解决方案。 RAG-GPT支持当地的文件知识库和集成的国内LLM大型模型和其他功能，以便抹布-GPT可以满足更多多样化的需求。
关于我们
OpenIm是领先的开源即时消息（IM）平台，在GitHub上具有超过13k的星标。随着对数据和隐私安全的重视以及信息技术的快速发展，政府和企业对私人部署的IM需求的需求大大增加了。 Openim凭借其“安全可控制”的特征，在协作办公软件市场中占据了一席之地。在AIGC后时代，IM作为人类计算机相互作用的主要接口，已经变得越来越重要。 Openim希望在这个时代发挥更关键的作用。
基于这一观点，我们最近开放了抹布-GPT项目，该项目已被某些公司采用，并正在不断改进。
phper