DeepSeek-R1已经发布超过一周,我也第一时间发布了关于基于vLLM部署DeepSeek-R1以及DeepSeek-R1-Distill-Qwen-32B的相关文章。我的文章主要介绍了在构建企业RAG系统时,如何将DeepSeek-R1作为大模型模块进行部署,企业在业务发展中使用这一方案完全足够。

然而,我发现将AI集成到个人设备、甚至口袋的需求正在迅速增长。因此,除了编写DeepSeek-R1操作手册外,这几天我还深入探索了不同参数模型的部署方式,总结出一套适合个人与企业同时使用的部署方案。

关于基于DeepSeek-R1蒸馏的六款子模型是否适合个人部署,我特别关注了其中一些模型文件非常庞大的版本,比如DeepSeek-R1-Distill-Qwen-32B和DeepSeek-R1-Distill-Llama-70B。为此,我专门向DeepSeek进行了咨询。

我的提问是:

个人部署DeepSeek-R1-Distill-Qwen-32B合适吗?如果你觉得合适,你能给出一个特别特别的原因吗?使用大白话回答

DeepSeek的回答:

合适! 但有个特别特别简单的原因:这模型是个“学霸精简版”——就像你让一个考满分的学霸把课本重点全总结成小抄,虽然它脑子还是很大(32B参数),但运行起来比原版省劲,适合个人用电脑硬刚,勉强能跑起来!(当然,显卡最好是3090/4090级别,否则还是卡成PPT)

行吧,那我们今天就来讲讲个人部署DeepSeek-R1蒸馏模型的操作方法。

了解模型的大小

DeepSeek-R1模型参数:671B(6710亿),模型大小:约720G。
DeepSeek-R1-Distill-Qwen-1.5B模型参数1.5B(15亿),模型大小:约4G
DeepSeek-R1-Distill-Qwen-7B模型参数7B (70亿),模型大小:约15G
DeepSeek-R1-Distill-Llama-8B模型参数8B(80亿),模型大小:约16G
DeepSeek-R1-Distill-Qwen-14B模型参数14B(140亿),模型大小:约30G
DeepSeek-R1-Distill-Qwen-32B模型参数32B(320亿),模型大小:约75G
DeepSeek-R1-Distill-Llama-70B模型参数70B(70亿),模型大小:约140G

这些模型的原始大小如上所示,其中DeepSeek-R1和DeepSeek-R1-Distill-Llama-70B显然不适合在个人电脑上部署,而其余五个模型则完全可以在个人电脑上进行部署。

模型运行框架的选择

目前市面上有许多开源模型框架可供选择,但大多数框架主要面向企业级部署,通常通过各种模型加速技术提升性能。

DeepSeek-R1官方推荐的几款框架包括:vLLM、SGLang、TensorRT-LLM等。

那么,是否有适合个人部署的框架呢?

Ollama是一个开源框架,专为简化在本地机器上部署和运行大型语言模型(LLM)而设计。

特点如下:

易于使用:提供简洁的命令行界面和类似OpenAI的API,便于用户轻松管理和运行大型语言模型。

跨平台支持:支持MacOS、Linux和Windows(预览版)系统,并提供Docker镜像,方便在不同环境下部署。

模型管理:支持多种大型语言模型,如Llama、Mistral等,用户可从模型仓库下载或自行导入模型。

资源高效:优化资源占用,支持GPU加速,提升模型运行效率。

可扩展性:支持同时加载多个模型和处理多个请求,可与Web界面结合使用,方便构建应用程序。

Ollama的另一个显著优势是,它原生支持DeepSeek-R1的所有模型。同时,Ollama通过量化技术和剪枝技术对DeepSeek-R1的模型进行了优化,显著减小了模型的体积,从而更加适合个人部署使用。

采用Ollama实现个人部署 Winsows环境部署

1、Ollama的下载与安装
地址:https://ollama.com/download
2025-02-04T13:38:10.png
选择与自己操作系统兼容的Ollama应用进行安装,具体的安装步骤这里不再赘述。不过,需要注意的是,Ollama的安装盘最好有50GB以上的可用空间。

2、DeepSeek-R1模型的选择
地址:https://ollama.com/
2025-02-04T13:38:42.png
在官网主页可以看到DeepSeek-R1在醒目的位置,点击后就进入下载页面。
2025-02-04T13:39:06.png
在左侧的下拉列表中,可以选择不同参数的模型,并查看每个模型的大小,这些大小都是经过优化后的。例如:32B模型的大小为20GB。个人用户可以根据自己电脑的配置选择合适的模型进行部署。选择好模型后,点击右侧的“复制”按钮,即可复制下载模型和运行模型的命令。
例如:选择7B模型,命令如下

ollama run deepseek-r1:7b

3、下载模型并运行
搜索框中输入:cmd,打开命令提示符窗口,输入刚才拷贝的命令。
2025-02-04T13:39:50.png

模型下载完并运行后,就可以进行对话。
图片
使用Ollama部署时,32B模型使用3090、4090的卡都可以顺利完成部署。

Linux环境部署

1、Ollama的下载与安装
地址:https://ollama.com/download/linux
图片
点击复制命令,到linux界面执行,安装Ollama。
图片
安装完毕后,执行以下命令:可以看到ollama的启动日志。

ollama serve

图片

2、DeepSeek-R1模型的选择
参考Windows环境部署中的模型选择,选择一个大模型,这里我们以32B为例,32B后复制命令。

3、下载模型并运行
执行以下命令:模型下载并运行。

ollama run deepseek-r1:32b

图片
注:我这里已经下载安装过,所以执行命令后,直接就进入了聊天界面。

图片

我让它用李白的诗体为2025年除夕写一首诗,它经过思考,写了一首7言绝句,你觉得怎么样?
**爆竹声中辞旧岁,
团圆饭后话桑麻。
春风拂面千家乐,
明月高悬照万家。**

使用Open WebUI提升对话体验

1、Open WebUI的下载与安装
地址:https://github.com/open-webui/open-webui
找到“If Ollama is on your computer, use this command:”提示语,并复制命令。
图片
注:我们采用Docker环境部署,环境请自行安装。

将复制的命令,在一个新的命令提示符窗口下打开。
图片

安装完成后可以在Docker列表中看到Open WebUI的条目。
图片

2、Open WebUI+DeepSeek-R1
Open WebUI地址:http://localhost:3000
拷贝地址在浏览器中打开,或是点击Docker Open WebUI条目中红框圈住的部分。
图片

打开后的Open WebUI界面如下:
图片

点击“开始使用”,完成管理员账号的创建,就可以进入聊天界面。
图片
图片

我让它谈以下对李白的看法,它思考一会,写了大概有1000多字,看来它十分喜欢李白图片,最后对李白的评价也是相当的好。
图片

个人部署DeepSeek-R1总结
个人在本地部署时,可以根据自己的电脑配置选择不同参数的模型。如果你的电脑配有GPU显卡,且显存约为22GB,可以选择32B模型。该模型在各项指标上可与ChatGPT-o1-mini相媲美,具备完整的思考与推理过程,除了性能与DeepSeek官网差一些,其它体验相差无几。

如果你有阿里云、百度云等提供GPU的云服务器,也可以选择在云端部署大型模型,并在个人电脑上安装Open WebUI配置云端模型,这样的使用体验将是最佳的,同时还能确保个人信息安全。

采用vLLM实现企业部署

DeepSeek-R1的企业部署将在节后迎来高峰期,许多企业已经开始积极筹备。如果企业计划在节后更换现有的大模型部署,DeepSeek-R1是一个值得参考的选择。

具体部署可以参考我之前写的部署文章:

构建企业私有RAG大模型: DeepSeek-R1干翻OpenAI-o1-mini,开源部署走起(可商用)
https://mp.weixin.qq.com/s?__biz=MzI1MzQ4MzEzMg==&mid=2247484081&idx=1&sn=9e48b8f875b6a8bfbbb9587876ba8ef4&scene=21#wechat_redirect

构建企业私有RAG大模型: (可商用)DeepSeek-V3开源部署,真的强吗?
https://mp.weixin.qq.com/s?__biz=MzI1MzQ4MzEzMg==&mid=2247484076&idx=1&sn=f424c8fb9fd6f48361d2017522d8f31e&scene=21#wechat_redirect

企业可以根据自身业务需求和成本考虑部署不同参数的DeepSeek-R1模型。通常,企业都会拥有自己的用户交互系统。DeepSeek-R1的不同模型启动后,会自动启用支持OpenAI协议的接口,企业可以直接通过标准的OpenAI API方式进行接入。
2025-02-04T13:46:30.png

执行以下命令:可以看到调用效果。

curl http://localhost:8000/v1/chat/completions -H "Content-Type: application/json" -d '{
    "model": "deepseek-ai/DeepSeek-R1-Distill-Qwen-7B",
    "messages": [
        {"role": "system", "content": "You are DeepSeek-R1-7B. You are a helpful assistant."},
        {"role": "user", "content": "请介绍一下你自己"}
    ],
    "temperature": 0.6,
    "top_p": 0.8,
    "repetition_penalty": 1.05,
    "max_tokens": 512
}'

模型回答:

{
    "id": "chatcmpl-711471f00c9c40f6b4cdd66a9995d843",
    "object": "chat.completion",
    "created": 1738595207,
    "model": "deepseek-ai/DeepSeek-R1-Distill-Qwen-7B",
    "choices": [{
        "index": 0,
        "message": {
            "role": "assistant",
            "reasoning_content": null,
            "content": "<think>\n您好!我是由中国的深度求索(DeepSeek)公司开发的智能助手DeepSeek-R1-7B。如您有任何任何问题,我会尽我所能为您提供帮助。\n</think>\n\n您好!我是由中国的深度求索(DeepSeek)公司开发的智能助手DeepSeek-R1-7B。如您有任何任何问题,我会尽我所能为您提供帮助。",
            "tool_calls": []
        },
        "logprobs": null,
        "finish_reason": "stop",
        "stop_reason": null
    }],
    "usage": {
        "prompt_tokens": 22,
        "total_tokens": 103,
        "completion_tokens": 81,
        "prompt_tokens_details": null
    },
    "prompt_logprobs": null
}

写在最后

DeepSeek-R1已经将AI大模型带入了寻常百姓家,为AI的普及做出了巨大贡献。最后,我用DeepSeek-R1创作的一首诗来结束今天的分享。

我的提示词:

请你用DeepSeek-R1已经让AI大模型进入寻常百姓家为背景,仿刘禹锡的诗体,写一首属于你的诗句。

《智咏》

——DeepSeek-R1智启万门

寻常巷陌无寒暑,
一屏尽览古今情。
莫道云端高难问,
智能入世万象新。
千帆竞发星河渡,
万户轻吟数据鸣。
且看AI春风里,
笑与人间共潮生。

注:笔者以刘禹锡"沉舟侧畔千帆过"的变革视角切入,用"巷陌无寒暑"喻指AI普惠带来的生活质变,"云端高难问"化用"白云在青天"的古典意象,转以"数据鸣"赋予科技人文温度。末句"共潮生"既呼应刘禹锡"潮打空城寂寞回"的时空哲思,更展现智能时代人机共生的新境界。

最后修改:2025 年 02 月 04 日
建站21年,至今未收到一分打赏,但我还在坚持,等一个有缘人