13 02 2025

本地部署主要适用于以下场景:

    1、设备性能较强拥有独立显卡,能够支撑高效运行。
    2、需要处理敏感数据,并且对数据安全性有较高要求,以防泄露。
    3、与本地工作流程紧密结合,需要频繁处理复杂的任务。
    4、频繁使用且 API 调用成本较高,本地部署有助于降低成本。
    5、希望在开源模型基础上,进行个性化定制和优化。
  1. DeepSeek R1 模型部署
    1、所需软件:Ollama、AnythingLLMD、Chatbox(AnythingLLMD和Chatbox可以2选1);
    2、软件简介
    • ‌Ollama‌:
      • 是一个开源工具,专门用于在本地计算环境中简化大型语言模型的部署和管理过程‌

      • 它提供了一个框架,使得非专业用户也能方便地管理和运行这些复杂的模型,同时保持了较小的资源占用和良好的可扩展性‌。

      • Ollama还包含了预先训练好的大型语言模型库,用户可以直接选用这些模型应用于自己的应用程序‌。

      • 在与DeepSeek搭配使用时,Ollama可以负责下载和运行DeepSeek模型,为构建本地知识库提供基础‌。

    • ‌AnythingLLM‌:

      • 是一个智能工具,主要用于与用户进行自然语言交流,帮助用户获取和处理信息‌。

      • 在构建本地知识库时,AnythingLLM可以作为“传声筒”,将用户的问题转化为对DeepSeek模型的查询,并将查询结果返回给用户‌。

      • 它能够与用户就某一主题或书籍进行深入交流,提供个性化的学习体验‌。

    • ‌Chatbox‌:

    • 与AnythingLLM类似,Chatbox也是一个智能交流工具,能够处理用户的自然语言输入,并提供相应的输出‌。

      在构建本地知识库的场景中,Chatbox同样可以作为用户与DeepSeek模型之间的桥梁,帮助用户快速获取所需信息。

      尽管具体细节可能因版本和配置而异,但Chatbox的核心功能在于提供便捷的自然语言交互界面。


    3、软件安装
    • 1、安装 Ollama
      访问 Ollama 的官方网站,根据你的操作系统选择合适的版本,下载 Ollama应用程序并进行安装。

      下载地址:https://ollama.com/download

    • undefined

       安装完成后打开运行-> 输入cmd,在命令行界面并输入:Ollama -v;如果屏幕上出现以下信息,那么恭喜你,Ollama 已经成功安装。

        undefined

        2、部署 DeepSeek R1 模型

        首先,访问 Ollama 官网并点击页面顶部的「Models」菜单,接着在列表中找到并点击「deepseek-r1」:

        undefined

        在模型详情页面,根据您的计算机显存容量选择合适的模型版本。



        undefined

        用上图中步骤2的下载命令(命令格式:ollama run deepseek-r1:版本信息)复制并粘贴到命令行中执行。待命令执行完毕,您就可以通过命令行与大模型进行交互了:

                                                                              undefined

        3、安装AnythingLLMD

        访问 AnythingLLMD 的官方网站,根据你的操作系统选择合适的版本,下载 AnythingLLMD 应用程序并进行安装。

        下载地址:https://anythingllm.com/desktop

                                                                              undefined

        安装过程中,注意要选择全局的模型,安装成功后也可以在不同的「workspace」选择不同的模型版本

        undefined

        安装完成后就可以在主界面开始可以进行沟通和模型训练。


        undefined


        到此软件已经安装完毕。后续会陆续更新:基于DeepSeek的模型训练和api使用等。


        2.清华大学教程DeepSeek从入门到精通和赋能职场分享地址。
        扫码关注,并发送:DeepSeek

                                 undefined


延伸阅读
  1. DeepSeek本地模型训练,建议收藏!(以windows系统为例,结尾附送:清华大学deepseek教程2册)
发表评论