author
date
category
tag
summary
先决条件OllamaOpen WebUIDocker如何使用安装Ollama运行Ollama下载模型安装 Open WebUI访问 Open WebUI 界面登录或注册选择模型进行对话如何找模型Ollama LibraryHugging FaceModelScope如何查看已有模型如何查看模型评估结果lmarenaArtificial AnalysisDeepSeek模型评估DeepSeek-R1-Zero & DeepSeek-R1DeepSeek-R1-Distill硬件要求
先决条件
需要配置这3个应用程序：Ollama、Open WebUI、Docker。
Ollama
定义：一个实现本地运行LLM的开源框架。
作用：这里用于本地运行LLM，并从模型库下载免费开源的LLM。
下载链接：https://ollama.com/
Open WebUI
定义：一个开源的网页界面，它允许用户通过可在桌面和移动设备上访问的图形界面与其 LLM 进行交互和管理。
作用：这里用于搭配Ollama，为LLM提供用户操作界面。
使用说明链接：https://docs.openwebui.com/
Docker
定义：一个软件平台，可以让你快速构建、测试和部署应用程序。
作用：这里用于运行Open WebUI。
如何使用
步骤：
- 安装 Ollama：从 Ollama 官方网站下载并安装适用于您操作系统的 Ollama。
- 运行 Ollama：打开终端或命令行，输入
ollama serve命令启动 Ollama 服务器
- 下载模型：使用
ollama run命令从模型库下载模型。例如，ollama run deepseek-r1。
- 安装 Open WebUI ：使用 Docker 是安装 Open WebUI 最简单的方式。使用 Docker Compose 构建并运行 Open WebUI 容器，这将自动下载所需的映像并启动 Web UI。
- 访问 Open WebUI 界面：安装完成后，通过浏览器访问 Open WebUI。通常，它在
http://localhost:3000/auth上运行。
- 登录或注册：首次使用的用户需要注册，提供姓名、电子邮件和密码。后续登录需要注册的电子邮件和密码。
- 选择模型进行对话：从可用选项中选择一个刚刚下载的模型。
安装Ollama
根据您的操作系统从官方网站下载并安装Ollama。
- macOS、Windows：从网站下载安装程序并运行。
- Linux：使用命令
curl -fsSL <https://ollama.com/install.sh> | sh。
运行Ollama
打开终端或命令提示符并运行
ollama serve 来启动Ollama服务器。（要在不运行桌面应用程序的情况下启动Ollama服务。）
下载模型
使用
ollama run 命令从模型库下载模型。例如，ollama run deepseek-r1。
安装 Open WebUI
访问Docker官网进行下载和安装。
在终端或命令提示符运行指令来安装Open WebUI。
运行成功后，Docker就会显示已安装好的open-webui。
访问 Open WebUI 界面
点击Docker上open-webui的Port(s)字段内容就会跳转至http://localhost:3000/。
登录或注册
首次访问，需要注册账号。
这里的注册信息只会记录在本地，不会上传到云端，同时第一个注册的会变成系统管理员。
管理员面板可管理其他使用者的权限。
选择模型进行对话
左上角选择模型，这就是你本地私有的AI助手。
如何找模型
理论上Ollama可以跑任意模型，只需要你有GGUF文件。
（GGUF：GPT-Generated Unified Format）
Ollama Library
由Ollama上传的免费开源模型：https://ollama.com/search
Hugging Face
在Hugging Face搜索模型名称，后面附带GGUF，即可搜到所有相关模型：https://huggingface.co/models
下载好模型后，旁边新建一个txt文件（用途是引导Ollama去哪找文件），文件命名为Modelfile，内容填写刚刚下载好的模型所在地址：
打开终端，输入以下命令：
ModelScope
是中国版的Hugging Face，阿里巴巴集团旗下的阿里云推出的一个开源平台：https://modelscope.cn/models
如何查看已有模型
在终端或命令提示符输入列出已有模型的命令。
或者打开Open WebUI的工作空间，则会显示已有模型列表，通常地址为：http://localhost:3000/workspace/models
如何查看模型评估结果
lmarena
Artificial Analysis
DeepSeek模型评估
DeepSeek-R1-Zero & DeepSeek-R1
这两个模型是在DeepSeek-V3-Base基础上进行训练的。
有关模型结构的更多详细信息，请参阅DeepSeek-V3存储库。
Category | Benchmark (Metric) | Claude-3.5-Sonnet-1022 | GPT-4o 0513 | DeepSeek V3 | OpenAI o1-mini | OpenAI o1-1217 | DeepSeek R1 |
ㅤ | Architecture | - | - | MoE | - | - | MoE |
ㅤ | # Activated Params | - | - | 37B | - | - | 37B |
ㅤ | # Total Params | - | - | 671B | - | - | 671B |
English | MMLU (Pass@1) | 88.3 | 87.2 | 88.5 | 85.2 | 91.8 | 90.8 |
ㅤ | MMLU-Redux (EM) | 88.9 | 88.0 | 89.1 | 86.7 | - | 92.9 |
ㅤ | MMLU-Pro (EM) | 78.0 | 72.6 | 75.9 | 80.3 | - | 84.0 |
ㅤ | DROP (3-shot F1) | 88.3 | 83.7 | 91.6 | 83.9 | 90.2 | 92.2 |
ㅤ | IF-Eval (Prompt Strict) | 86.5 | 84.3 | 86.1 | 84.8 | - | 83.3 |
ㅤ | GPQA-Diamond (Pass@1) | 65.0 | 49.9 | 59.1 | 60.0 | 75.7 | 71.5 |
ㅤ | SimpleQA (Correct) | 28.4 | 38.2 | 24.9 | 7.0 | 47.0 | 30.1 |
ㅤ | FRAMES (Acc.) | 72.5 | 80.5 | 73.3 | 76.9 | - | 82.5 |
ㅤ | AlpacaEval2.0 (LC-winrate) | 52.0 | 51.1 | 70.0 | 57.8 | - | 87.6 |
ㅤ | ArenaHard (GPT-4-1106) | 85.2 | 80.4 | 85.5 | 92.0 | - | 92.3 |
Code | LiveCodeBench (Pass@1-COT) | 33.8 | 34.2 | - | 53.8 | 63.4 | 65.9 |
ㅤ | Codeforces (Percentile) | 20.3 | 23.6 | 58.7 | 93.4 | 96.6 | 96.3 |
ㅤ | Codeforces (Rating) | 717 | 759 | 1134 | 1820 | 2061 | 2029 |
ㅤ | SWE Verified (Resolved) | 50.8 | 38.8 | 42.0 | 41.6 | 48.9 | 49.2 |
ㅤ | Aider-Polyglot (Acc.) | 45.3 | 16.0 | 49.6 | 32.9 | 61.7 | 53.3 |
Math | AIME 2024 (Pass@1) | 16.0 | 9.3 | 39.2 | 63.6 | 79.2 | 79.8 |
ㅤ | MATH-500 (Pass@1) | 78.3 | 74.6 | 90.2 | 90.0 | 96.4 | 97.3 |
ㅤ | CNMO 2024 (Pass@1) | 13.1 | 10.8 | 43.2 | 67.6 | - | 78.8 |
Chinese | CLUEWSC (EM) | 85.4 | 87.9 | 90.9 | 89.9 | - | 92.8 |
ㅤ | C-Eval (EM) | 76.7 | 76.0 | 86.5 | 68.9 | - | 91.8 |
ㅤ | C-SimpleQA (Correct) | 55.4 | 58.7 | 68.0 | 40.3 | - | 63.7 |
DeepSeek-R1-Distill
蒸馏系列共有6个型号，是根据DeepSeek-R1生成的样品基于开源模型进行微调的。
全部开源免费，可自行蒸馏或商用，32B和70B型号与OpenAI-o1-mini的能力相当。
Model | AIME 2024 pass@1 | AIME 2024 cons@64 | MATH-500 pass@1 | GPQA Diamond pass@1 | LiveCodeBench pass@1 | CodeForces rating |
GPT-4o-0513 | 9.3 | 13.4 | 74.6 | 49.9 | 32.9 | 759 |
Claude-3.5-Sonnet-1022 | 16.0 | 26.7 | 78.3 | 65.0 | 38.9 | 717 |
o1-mini | 63.6 | 80.0 | 90.0 | 60.0 | 53.8 | 1820 |
QwQ-32B-Preview | 44.0 | 60.0 | 90.6 | 54.5 | 41.9 | 1316 |
DeepSeek-R1-Distill-Qwen-1.5B | 28.9 | 52.7 | 83.9 | 33.8 | 16.9 | 954 |
DeepSeek-R1-Distill-Qwen-7B | 55.5 | 83.3 | 92.8 | 49.1 | 37.6 | 1189 |
DeepSeek-R1-Distill-Qwen-14B | 69.7 | 80.0 | 93.9 | 59.1 | 53.1 | 1481 |
DeepSeek-R1-Distill-Qwen-32B | 72.6 | 83.3 | 94.3 | 62.1 | 57.2 | 1691 |
DeepSeek-R1-Distill-Llama-8B | 50.4 | 80.0 | 89.1 | 49.0 | 39.6 | 1205 |
DeepSeek-R1-Distill-Llama-70B | 70.0 | 86.7 | 94.5 | 65.2 | 57.5 | 1633 |
硬件要求
运行 DeepSeek-R1-Distill-Qwen-7B，要求CPU 8核以上，内存16GB+，硬盘8GB+，显卡推荐8GB+显存，可用于本地开发测试等场景。