本地部署主要适用于以下场景:
DeepSeek R1 模型部署
1、所需软件:Ollama、AnythingLLMD、Chatbox(AnythingLLMD和Chatbox可以2选1);
2、软件简介Ollama: 是一个开源工具,专门用于在本地计算环境中简化大型语言模型的部署和管理过程。
它提供了一个框架,使得非专业用户也能方便地管理和运行这些复杂的模型,同时保持了较小的资源占用和良好的可扩展性。
Ollama还包含了预先训练好的大型语言模型库,用户可以直接选用这些模型应用于自己的应用程序。
在与DeepSeek搭配使用时,Ollama可以负责下载和运行DeepSeek模型,为构建本地知识库提供基础。
AnythingLLM:
是一个智能工具,主要用于与用户进行自然语言交流,帮助用户获取和处理信息。
在构建本地知识库时,AnythingLLM可以作为“传声筒”,将用户的问题转化为对DeepSeek模型的查询,并将查询结果返回给用户。
它能够与用户就某一主题或书籍进行深入交流,提供个性化的学习体验。
Chatbox:
1、安装 Ollama 访问 Ollama 的官方网站,根据你的操作系统选择合适的版本,下载 Ollama应用程序并进行安装。 下载地址:https://ollama.com/download
安装完成后打开运行-> 输入cmd,在命令行界面并输入:Ollama -v;如果屏幕上出现以下信息,那么恭喜你,Ollama 已经成功安装。
2、部署 DeepSeek R1 模型 首先,访问 Ollama 官网并点击页面顶部的「Models」菜单,接着在列表中找到并点击「deepseek-r1」:
在模型详情页面,根据您的计算机显存容量选择合适的模型版本。用上图中步骤2的下载命令(命令格式:ollama run deepseek-r1:版本信息)复制并粘贴到命令行中执行。待命令执行完毕,您就可以通过命令行与大模型进行交互了:
3、安装AnythingLLMD
访问 AnythingLLMD 的官方网站,根据你的操作系统选择合适的版本,下载 AnythingLLMD 应用程序并进行安装。
下载地址:https://anythingllm.com/desktop
安装过程中,注意要选择全局的模型,安装成功后也可以在不同的「workspace」选择不同的模型版本:
安装完成后就可以在主界面开始可以进行沟通和模型训练。
到此软件已经安装完毕。后续会陆续更新:基于DeepSeek的模型训练和api使用等。
2.清华大学教程DeepSeek从入门到精通和赋能职场分享地址。扫码关注,并发送:DeepSeek
与AnythingLLM类似,Chatbox也是一个智能交流工具,能够处理用户的自然语言输入,并提供相应的输出。
在构建本地知识库的场景中,Chatbox同样可以作为用户与DeepSeek模型之间的桥梁,帮助用户快速获取所需信息。
尽管具体细节可能因版本和配置而异,但Chatbox的核心功能在于提供便捷的自然语言交互界面。
非特殊说明,本文版权归 微知客 所有,转载请注明出处.
本文标题: DeepSeek本地部署,保姆级教程,建议收藏!(以windows系统为例,结尾附送:清华大学deepseek教程2册)