Ollama部署本地deepseek-r1:14b大模型

2025-02-15 22:31·冒险湾小网工一、Ollama简介

Ollama 是一个开源的大型语言模型（LLM）平台，旨在让用户能够轻松地在本地运行、管理和与大型语言模型进行交互。 Ollama 提供了一个简单的方式来加载和使用各种预训练的语言模型，支持文本生成、翻译、代码编写、问答等多种自然语言处理任务。Ollama 的特点在于它不仅仅提供了现成的模型和工具集，还提供了方便的界面和 API，使得从文本生成、对话系统到语义分析等任务都能快速实现。与其他 NLP 框架不同，Ollama 旨在简化用户的工作流程，使得机器学习不再是只有深度技术背景的开发者才能触及的领域。Ollama 支持多种硬件加速选项，包括纯 CPU 推理和各类底层计算架构（如 Apple Silicon），能够更好地利用不同类型的硬件资源。

图片

二、Ollama 安装

Ollama官方下载地址：https://ollama.com/download。

图片

打开浏览器，访问Ollama官方网站：https://ollama.com/download，下载适用于Windows的安装程序。下载完成后，双击安装程序并按照提示完成安装，Ollama默认安装在C盘下，后续下载的大模型文件也是默认在加载C盘下,这种方式安装会消耗C盘大量磁盘空间，为节约C盘空间利用率，可以将Ollama安装在D盘下，步骤如下：

步骤1：将Ollama的安装文件存放在E:\Software,在D盘下新建Ollama的安装目录D:\Ollama,然后在命令窗口下执行E:\Software\OllamaSetup.exe /DIR=D:\Ollama命令后弹出Ollama的安装界面，点击install即可将Ollama安装在D:\Ollama下。

图片

图片

步骤2：安装完成后，将C:\Users\Administrator.DESKTOP-HKMFMDS\.ollama下的models模型存放文件夹剪切至D:\Ollama下，（models是用于存放模型文件的文件，至此Ollama和模型都统一安装在D:\Ollama下）。

图片

图片

图片

步骤3：配置环境变量，变量名：OLLAMA_MODELS,变量值：D:\Ollama\models。

图片

步骤4：在命令窗口下执行ollama -v命令查看版本，看是否安装成功。

图片

三、加载deepseek大模型

步骤1：在Ollama官方大模型仓库地址：https://ollama.com/library中搜索deepseek-r1大模型，以deepseek-r1:14b模型为例，复制命令：ollama run deepseek-r1:14b。

图片

图片

步骤2：在命令窗口下粘贴命令ollama run deepseek-r1:14b拉取deepseek-r1:14大模型，待进度条加载完毕即可使用。

图片

四、使用大模型4.1 ollama命令

执行ollama -h查看命令帮助。

PS C:\Users\Administrator.DESKTOP-HKMFMDS> ollama -hLarge language model runnerUsage:
  ollama [flags]
  ollama [command]Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  stop        Stop a running model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any commandFlags:
  -h, --help      help for ollama
  -v, --version   Show version informationUse "ollama [command] --help" for more information about a command.PS C:\Users\Administrator.DESKTOP-HKMFMDS>PS C:\Users\Administrator.DESKTOP-HKMFMDS>

4.2 使用交互式对话窗口与模型进行对话

在窗口下执行命令： ollama run deepseek-r1:14b运行大模型，即可开启与deepseek模型的对话,下面内容是deepseek模型输出内容, 输入/bye方可结束对话。

图片

4.3 使用curl与模型进行对话

Ollama 有一个用于运行和管理模型的 REST API，请参阅API文档:https://github.com/ollama/ollama/blob/main/docs/api.md，这种对话方式体感极差，问题回答也不准确。

Generate a response

curl http://localhost:11434/api/generate -d '{
  "model": "如何学习Python",  "prompt":"Why is the sky blue?",  "stream": false}'

命令行窗口下需将将”进行\"转义：

curl http://localhost:11434/api/generate -d "{\"model\": \"deepseek-r1:14b\",\"prompt\": \"如何学习Python\",\"stream\": false}"

图片

Chat with a model

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",  "messages": [
    { "role": "user", "content": "why is the sky blue?" }
  ]
}'

命令行窗口下需将”进行\"转义：

curl http://localhost:11434/api/chat -d "{\"model\":\"deepseek-r1:14b\",\"messages\": [{\"role\": \"user\",\"content\": \"你是一名资深网络专家，请简要介绍SRv6的技术原理?\"}],\"stream\": false}"

图片

4.3 使用postman与模型进行对话

API文档:https://github.com/ollama/ollama/blob/main/docs/api.md。

图片

图片

4.4 使用Chatbox与模型进行对话

Chatbox是一款开源的AI桌面客户端应用和智能助手，支持接入 OpenAI 的 GPT、国产大模型等多类AI服务。它以简洁界面提供自然对话交互，内置提示词库、对话管理、Markdown渲染等功能，支持Windows/macOS/Linux系统。通过本地数据存储保障隐私安全，开发者还可通过插件扩展功能，是提升内容创作、编程开发效率的跨平台AI工具，Chatbox下载地址：https://chatboxai.app/zh。

图片

步骤1： 下载Chatbox安装后，运行Chatbox，界面如下：

图片

步骤2：点击“设置”，模型提供方选择“OLLAMA API”，API的域名为“http://127.0.0.1:11434”，模型为"deepseek-r1:14b"，点击"保存"。

图片

步骤3：点击"新对话"新建对话，选择刚才设置好Ollama的API接口与deepseek-r1:14大模型进行对话。

图片

图片

五、DeepSeek-R1模型简要介绍5.1 DeepSeek-R1

DeepSeek-R1 的第一代推理模型，在数学、代码和推理任务方面实现了与 OpenAI-o1 相当的性能。

ollama run deepseek-r1:671b

DeepSeek 团队已经证明，较大模型的推理模式可以提炼成更小的模型，与通过 RL 在小型模型上发现的推理模式相比，性能更好。

5.2 DeepSeek-R1蒸馏后的较小密集模型

以下是使用 DeepSeek-R1 生成的推理数据对研究界广泛使用的几个密集模型进行微调而创建的模型。评估结果表明，蒸馏的较小密集模型在基准上表现非常出色。

DeepSeek-R1-Distill-Qwen-7B

ollama run deepseek-r1:7b

DeepSeek-R1-Distill-Llama-8B

ollama run deepseek-r1:8b

DeepSeek-R1-Distill-Qwen-14B

ollama run deepseek-r1:14b

DeepSeek-R1-Distill-Qwen-32B

ollama run deepseek-r1:32b

DeepSeek-R1-Distill-Llama-70B

ollama run deepseek-r1:70b

图片

5.3 License

DeepSeek-R1系列模型的权重是基于MIT许可证授权的。该系列模型支持商业用途，并允许进行任何修改和衍生作品的创作，包括但不限于用于训练其他大型语言模型（LLMs）的蒸馏过程。请注意以下几点：

● Qwen蒸馏模型是从Qwen-2.5系列衍生而来，最初是基于Apache 2.0许可证授权的，现在使用DeepSeek-R1策划的800k样本进行了微调。

● Llama 8B蒸馏模型是从Llama3.1-8B-Base衍生而来，最初是基于Llama3.1许可证授权的。

● Llama 70B蒸馏模型是从Llama3.3-70B-Instruct衍生而来，最初是基于Llama3.3许可证授权的。

本站仅提供存储服务，所有内容均由用户发布，如发现有害或侵权内容，请点击举报。