这两天deepseek-R1在春节刷屏了，他用较低的成本复现了Open Ai O1推理模型的效果，把本来OpenAi唔得死死的秘密给公开了。更加厉害的是他还开源了，让每个人都有机会做出O1这样的产品，真是太炸裂了。

现在DeepSeek推理模型这么火，并且最近由于黑客攻击也经常崩，那我们就来建一个本地的推理大模型吧，趁春节假期赶紧学起来。

我介绍的内容不需要有任何技术知识、也不需要有开发经验，全部通过软件操作和命令行来完成（复制黏贴，搬砖大法）。

01 本地安装环境准备1.1、电脑硬件环境

先说一下电脑硬件要求，如果要顺畅的运行建议是以下的配置。

图片

不过也不用担心，我们只是使用大模型而不是做微调和训练，所以硬件只要满足最低要求就行了。实际使用下来我的Mac电脑，16G内存、集成显卡也能运行起来也挺顺畅的。

将来要微调、训练模型我们再考虑是否要升级电脑或者租用云环境。

1.2、系统安装环境

图片

  

这次安装要用到两个工具Docker和Ollama这两个容器，什么叫容器呢？就是你的应用程序和模型运行的环境。

1）Docker容器：是一个开源的容器引擎，你的应用只要安装一次就能在各种平台上运行。在这里我们用它来运行WebUI这个大模型的前端操作界面。

2）Ollama：是一个开源的AI工具平台，他可以托管很多的大模型在本地运行，支持模型的任意切换。

容器的好处，就是你不用安装一堆pip、Conda这类python包管理工具，也不用把你本地环境变量改的乱七八糟，更不用把程序和模型安装的到处都是占用资源。这些他都帮你管了，你部署即用非常的方便。

下面我们就开始玩大模型吧，对了，有个重要的事情提前说下

你需要提前准备梯子，安装过程中你的梯子必须保持网络通畅。

02 用Ollama安装模型

图片

2.1、安装Ollama

你需要去访问“https://ollama.com/”去下载Ollama的客户端，他现在支持“Linux、MacOs、Windows”，根据你电脑的操作系统选择下载即可。（我用的是Mac）

载到本地后安装ollama应用（过程比较简单，一路默认就行了），安装完成后你可以在系统托盘中找到Ollama图标，说明他已经运行了（他没有图形界面，用命令行运行）

图片

  

2.2、获取安装指令

Ollama运行后我们就要去下载deepseek-R1模型了，我们还是官网选择Modle这里有很多的大模型可供选择，deepseek-R1排在了首位，我们直接点击进入主题。

图片

进入主题后我们可以看到deepseek提供了很多的版本（数字越大，对显卡的显存要求越高），我的电脑是Mac用的集成显卡，所以我们选一个小版本的7B下载，有4090显卡的土豪同学随意。

图片

2.3、安装R1模型

模型安装后，我们复制指令用来在本地运行deepseek。

运行命令

ollama run deepseek-r1:7b

下面我们打开终端运行上面的命令，如果是第一次使用该模型，Ollama回去其网站下载后再运行。如果本地已经下载了，大模型就直接运行起来了。

图片

  

输入几句话试了下，他确实很快就回复我，看来安装的没问题。

03、安装Docker环境

命令行交互太不友好了，我们来装一个操作界面。这里我选择的是WebUI，我们把他放到Docker这个容器里来管理，不用安装python的包管理工具，也不用到处找你程序安装在哪里了，他都帮你管了。

3.1、安装Docker

先从官网 https://www.docker.com 下载，选择你合适你操作系统的版本就行了，下载后直接安装就行了（按操作执行即可，这里不赘述了）

图片

  

3.2、运行Docker环境

安装后运行Docker环境就能启动Docker，他不仅是系统托盘有个“小鲸鱼”图标，同时他也有界面，你可以看到Docker中安装了哪些应用程序。

3.3、安装WebUI

Docker装好后我们来运行WebUI界面，方法也和安装模型一样，你可以访问WebUI在GitHub上的地址来获取命令。

访问这个地址：https://github.com/open-webui/open-webui

我们直接让他在Docker上运行，选择“If Ollama is on your computer, use this command”

图片

获取后你直接在终端输入如下命令把WebUI安装到Docker并运行。

图片

  

3.4、启动WebUI

启动WebUI你先要确保ollama中的deepseek处于运行状态，你如果不小心关闭了可以使用以下命令重新启动，并且不要关闭这个窗口。

启动deepseek命令

ollama run ;deepseek-r1:7b

图片

  

点击Docker中上图的链接就能打开WebUI的界面也可以在浏览器输入“http://localhost:3000/”进入WebUI了。

04、使用DeepSeek4.1、WebUI主要功能

图片

  

WebUI的功能还是非常强大的，除了做基本问答以外，他支持模型切换，文件上传等功能，甚至还支持语音输入和人机对话。

4.2、DeepSeek问答能力

图片

  

虽然只有7B的小模型，通过推理给出的内容确实比较详细，不过生成速度较慢（应该是我电脑的原因），当然与官网的671B比详细程度要略逊一筹，不过这也正常毕竟只是7B的小模型。

4.3、推理与传统问答比较

我们和同样大小的qwen7B来比较下，拥有推理能力和传统问答模型有什么区别。DeepSeek经过推理洋洋洒洒的回答了十几条，而千问回答的则非常简单。果然有没有推理能力差别确实很大。

图片

  

4.4、文件和图片分析

下面来看下他的文件分析能力和图片识别能力。在文件分析和概括方面挺不错的通读了全文，并且对内容进行忠实的还原和总结。

图片

  图片识别能力就不行了，DeepSeek7B这个模型不具备识别图片的能力。而官网的模型则可以准确的读出图片中的主要内容，并且给出了示例以及图片总结。

图片

  

讲在最后

DeepSeek经过推理后给出的内容确实比传统问答模型要详细和完整，即使是一个7B的小模型给出的结果也非常好，当然比官网略逊。

在文件分析方面DeepSeek分析结果也比较完整和忠于原文，不过本地的7B版本不能识别图片是个遗憾。

本站仅提供存储服务，所有内容均由用户发布，如发现有害或侵权内容，请点击举报。