江西快三官方开奖
新闻动态

笔记本上装DeepSeek

发布日期:2025-03-07 15:41    点击次数:65

这两天deepseek-R1在春节刷屏了,他用较低的成本复现了Open Ai O1推理模型的效果,把本来OpenAi唔得死死的秘密给公开了。更加厉害的是他还开源了,让每个人都有机会做出O1这样的产品,真是太炸裂了。

现在DeepSeek推理模型这么火,并且最近由于黑客攻击也经常崩,那我们就来建一个本地的推理大模型吧,趁春节假期赶紧学起来。

我介绍的内容不需要有任何技术知识、也不需要有开发经验,全部通过软件操作和命令行来完成(复制黏贴,搬砖大法)。

01 本地安装环境准备1.1、电脑硬件环境

先说一下电脑硬件要求,如果要顺畅的运行建议是以下的配置。

图片

不过也不用担心,我们只是使用大模型而不是做微调和训练,所以硬件只要满足最低要求就行了。实际使用下来我的Mac电脑,16G内存、集成显卡也能运行起来也挺顺畅的。

将来要微调、训练模型我们再考虑是否要升级电脑或者租用云环境。

1.2、系统安装环境

图片

  

这次安装要用到两个工具Docker和Ollama这两个容器,什么叫容器呢?就是你的应用程序和模型运行的环境。

1)Docker容器:是一个开源的容器引擎,你的应用只要安装一次就能在各种平台上运行。在这里我们用它来运行WebUI这个大模型的前端操作界面。

2)Ollama:是一个开源的AI工具平台,他可以托管很多的大模型在本地运行,支持模型的任意切换。

容器的好处,就是你不用安装一堆pip、Conda这类python包管理工具,也不用把你本地环境变量改的乱七八糟,更不用把程序和模型安装的到处都是占用资源。这些他都帮你管了,你部署即用非常的方便。

下面我们就开始玩大模型吧,对了,有个重要的事情提前说下

你需要提前准备梯子,安装过程中你的梯子必须保持网络通畅。

02 用Ollama安装模型

图片

2.1、安装Ollama

你需要去访问“https://ollama.com/”去下载Ollama的客户端,他现在支持“Linux、MacOs、Windows”,根据你电脑的操作系统选择下载即可。(我用的是Mac)

载到本地后安装ollama应用(过程比较简单,一路默认就行了),安装完成后你可以在系统托盘中找到Ollama图标,说明他已经运行了(他没有图形界面,用命令行运行)

图片

  

2.2、获取安装指令

Ollama运行后我们就要去下载deepseek-R1模型了,我们还是官网选择Modle这里有很多的大模型可供选择,deepseek-R1排在了首位,我们直接点击进入主题。

图片

进入主题后我们可以看到deepseek提供了很多的版本(数字越大,对显卡的显存要求越高),我的电脑是Mac用的集成显卡,所以我们选一个小版本的7B下载,有4090显卡的土豪同学随意。

图片

2.3、安装R1模型

模型安装后,我们复制指令用来在本地运行deepseek。

运行命令

ollama run deepseek-r1:7b

下面我们打开终端运行上面的命令,如果是第一次使用该模型,Ollama回去其网站下载后再运行。如果本地已经下载了,大模型就直接运行起来了。

图片

  

输入几句话试了下,他确实很快就回复我,看来安装的没问题。

03、安装Docker环境

命令行交互太不友好了,我们来装一个操作界面。这里我选择的是WebUI,我们把他放到Docker这个容器里来管理,不用安装python的包管理工具,也不用到处找你程序安装在哪里了,他都帮你管了。

3.1、安装Docker

先从官网 https://www.docker.com 下载,选择你合适你操作系统的版本就行了,下载后直接安装就行了(按操作执行即可,这里不赘述了)

图片

  

3.2、运行Docker环境

安装后运行Docker环境就能启动Docker,他不仅是系统托盘有个“小鲸鱼”图标,同时他也有界面,你可以看到Docker中安装了哪些应用程序。

3.3、安装WebUI

Docker装好后我们来运行WebUI界面,方法也和安装模型一样,你可以访问WebUI在GitHub上的地址来获取命令。

访问这个地址:https://github.com/open-webui/open-webui

我们直接让他在Docker上运行,选择“If Ollama is on your computer, use this command”

图片

获取后你直接在终端输入如下命令把WebUI安装到Docker并运行。

图片

  

3.4、启动WebUI

启动WebUI你先要确保ollama中的deepseek处于运行状态,你如果不小心关闭了可以使用以下命令重新启动,并且不要关闭这个窗口。

启动deepseek命令

ollama run ;deepseek-r1:7b

图片

  

点击Docker中上图的链接就能打开WebUI的界面也可以在浏览器输入“http://localhost:3000/”进入WebUI了。

04、使用DeepSeek4.1、WebUI主要功能

图片

  

WebUI的功能还是非常强大的,除了做基本问答以外,他支持模型切换,文件上传等功能,甚至还支持语音输入和人机对话。

4.2、DeepSeek问答能力

图片

  

虽然只有7B的小模型,通过推理给出的内容确实比较详细,不过生成速度较慢(应该是我电脑的原因),当然与官网的671B比详细程度要略逊一筹,不过这也正常毕竟只是7B的小模型。

4.3、推理与传统问答比较

我们和同样大小的qwen7B来比较下,拥有推理能力和传统问答模型有什么区别。DeepSeek经过推理洋洋洒洒的回答了十几条,而千问回答的则非常简单。果然有没有推理能力差别确实很大。

图片

  

4.4、文件和图片分析

下面来看下他的文件分析能力和图片识别能力。在文件分析和概括方面挺不错的通读了全文,并且对内容进行忠实的还原和总结。

图片

  图片识别能力就不行了,DeepSeek7B这个模型不具备识别图片的能力。而官网的模型则可以准确的读出图片中的主要内容,并且给出了示例以及图片总结。

图片

  

讲在最后

DeepSeek经过推理后给出的内容确实比传统问答模型要详细和完整,即使是一个7B的小模型给出的结果也非常好,当然比官网略逊。

在文件分析方面DeepSeek分析结果也比较完整和忠于原文,不过本地的7B版本不能识别图片是个遗憾。

本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报。

Powered by 江西快三官方开奖 @2013-2022 RSS地图 HTML地图