本地部署Deepseek-RAG知識庫

發(fā)布日期： 2025-02-20 閱讀量： 作者： 巴頓軟件

隨著人工智能和大數(shù)據(jù)的快速發(fā)展，企業(yè)對知識管理的需求也日益增加。為了更好地利用內(nèi)部信息資源，實(shí)現(xiàn)智能化的知識查詢，企業(yè)開始尋求能夠高效管理和檢索數(shù)據(jù)的知識庫解決方案。在這篇文章中，我們將探討如何通過Ollama部署DeepSeek，并將其接入本地RAG平臺，來構(gòu)建一個強(qiáng)大的企業(yè)知識庫。

一、什么是RAG平臺？

RAG平臺（Retrieval-Augmented Generation）是將檢索與生成相結(jié)合的一種技術(shù)，它通過檢索相關(guān)文檔并生成有用的信息，為用戶提供更加精準(zhǔn)的答案。以下是一些廣泛使用的RAG平臺：

Haystack by deepset
官網(wǎng)：https://deepset.ai/haystack
介紹：Haystack 是一個開源的 NLP 框架，能夠處理信息檢索與文本生成任務(wù)，廣泛應(yīng)用于構(gòu)建問答系統(tǒng)和知識庫。
GPT Index
官網(wǎng)：https://gpt-index.readthedocs.io/
介紹：GPT Index 是一個通過高效的檢索增強(qiáng)生成 (RAG) 系統(tǒng)來處理文檔和問答的工具，適合企業(yè)級應(yīng)用。
LangChain
官網(wǎng)：https://www.langchain.com/
介紹：LangChain 提供了一個豐富的框架，用于構(gòu)建基于大型語言模型（LLMs）的應(yīng)用程序，支持與外部系統(tǒng)集成，如數(shù)據(jù)庫和搜索引擎。
AnythingLLM
官網(wǎng)：https://anythingllm.com/
介紹：AnythingLLM 是一個開源的深度學(xué)習(xí)框架，旨在簡化大規(guī)模語言模型的部署與應(yīng)用，特別是在與本地RAG平臺集成構(gòu)建智能知識庫和問答系統(tǒng)方面。

二、使用AnythingLLM演示DeepSeek與RAG平臺結(jié)合

在此部分，我們將展示在Mac平臺如何使用AnythingLLM實(shí)現(xiàn)DeepSeek與本地RAG平臺的接入。

步驟 1：安裝并配置Ollama

首先進(jìn)入ollama官網(wǎng)：https://ollama.com/，下載并安裝ollama

下載-1.png 下載-2.png

安裝完成后打開ollama，進(jìn)入終端輸入下面命令

ollama -v

輸出如下ollama版本即為安裝成功

ollama version is 0.5.7

步驟 2：下載deepseek-R1 14B版本

在終端中輸入安裝命令，等待deepseek安裝完成

ollama run deepseek-r1:14b

安裝完成后展示如下圖，輸入文字就能對話

安裝ds14b.png 安裝22.png

步驟 3：安裝AnythingLLM平臺

進(jìn)入官網(wǎng)下載mac版本的，這里我是m2芯片，對應(yīng)apple sillicon，完成安裝。

安裝rag1.png

步驟 4：配置AnythingLLM

打開AnythingLLM，點(diǎn)擊創(chuàng)建工作區(qū)，輸入工作區(qū)名稱

進(jìn)入工作區(qū)設(shè)置，點(diǎn)擊聊天設(shè)置，修改工作區(qū)LLM提供者為ollama，再選擇14b版本，修改聊天提示語，定義agent的工作內(nèi)容并且指定用中文回復(fù)。

完成AnythingLLM配置，可以進(jìn)行對話了

步驟 4：數(shù)據(jù)投喂

通過調(diào)用RAG平臺，DeepSeek將能夠根據(jù)內(nèi)部數(shù)據(jù)庫、文檔、鏈接等提供實(shí)時的知識查詢和生成能力。我使用寧暢官網(wǎng)的產(chǎn)品頁面作為投喂資料進(jìn)行演示。

如圖所示完成數(shù)據(jù)添加，回答問答界面，要求deepseek介紹下寧暢的產(chǎn)品，deepseek會從投喂的網(wǎng)站進(jìn)行搜索，總結(jié)出產(chǎn)品的內(nèi)容；

投喂的內(nèi)容可以是doc、pdf、csv、鏈接等數(shù)據(jù)，也可以是自己搭建的數(shù)據(jù)庫，可以自己下載體驗(yàn)。

總結(jié)：至此完成了deepseek本地化部署RAG平臺的流程。

DeepSeek的硬件要求

DeepSeek的硬件要求依賴于不同的參數(shù)配置，特別是顯卡顯存的大小。一般來說，對于不同規(guī)模的模型和查詢負(fù)載，硬件需求也會有所不同。如下圖是ollama官網(wǎng)中deepseek的大小，你對應(yīng)的顯存必須大于此模型大小，否則就會使用cpu+內(nèi)存的方式進(jìn)行推理，速度將會大幅降低甚至卡死。

上一篇: 每個 Web 開發(fā)人員至少應(yīng)該查看的 10 個網(wǎng)站

下一篇: app開發(fā)需要用到的關(guān)鍵技術(shù)

本地部署Deepseek-RAG知識庫

隨便看看