本地一键部署通义千问：Ollama使用全攻略

摘要：想在个人电脑上运行大语言模型，却担心部署复杂、门槛太高？别担心，本文手把手教你使用Ollama 工具一键本地部署阿里通义千问（Qwen）大模型。无需编程基础，只需几个简单命令，就能在 Windows、Mac 或 Linux 上快速启动属于你自己的 AI 助手。从安装 Ollama 到下载千问模型，再到对话测试和实际应用，步骤清晰、图文并茂，轻松掌握。无论是学习、办公还是开发，都能轻松体验本地大模型的高效与安全。

详情请查阅下文。

一、前言

你是否曾想过，在自己的电脑上运行一个像 ChatGPT 一样的大语言模型？不用联网、不担心隐私泄露，还能随时调用。听起来很复杂？实则一点不难！

今天，我们一起用Ollama工具，轻松在本地部署阿里推出的“通义千问”大模型（Qwen），整个过程就像安装一个软件一样方便。

二、准备工作

1.什么是 Ollama

说明：Ollama 是一个专为本地运行大语言模型设计的开源工具。支持本地部署包括通义千问（Qwen）、Deepseek、Llama等大模型，并支持Linux、Windows跨平台部署，本文将以Linux平台为准。

2.安装 Ollama

说明：Windows用户需要访问 Ollama 官网：https://ollama.com 下载安装。而Linux系统用户只需执行# curl -fsSL https://ollama.com/install.sh | sh命令可以在线安装。也可以先下载压缩包ollama-linux-amd64.tgz 再解压安装。

(1)下载压缩包

执行指令# curl -L
https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz 下载Ollama软件包

(2)解压安装软件包

执行指令# tar -C /usr -xzf ollama-linux-amd64.tgz 将Ollama软件包解压到/usr目录下

备注：tar命令介绍，其中的-xzf参数的意义是将其解压 (x)压缩的 (z)文件(f)；另一个参数 -C /usr指定解压目标目录。

3.启动Ollama服务

执行指令# ollama serve

4.验证Ollama安装情况

5.创建Ollama服务

说明：为了让 Ollama 服务在后台持续运行并在开机时自动启动，最好将其配置为系统服务。在 /etc/systemd/system 下新建 ollama.service 文件。

内容如下：

[Unit]

Description=Ollama Service

After=network-online.target

[Service]

ExecStart=/usr/bin/ollama serve

User=ollama

Group=ollama

Restart=always

RestartSec=3

Environment="PATH=$PATH"

Environment="OLLAMA_HOST=0.0.0.0"

Environment="OLLAMA_ORIGINS=*"

[Install]

WantedBy=default.target

6.重新加载 systemd 配置并启动服务

执行指令systemctl daemon-reload重新加载 systemd 配置；

执行指令systemctl start ollama启动Ollama服务；

执行指令systemctl enable ollama设置开机自启。

7.查看Ollama服务的运行状态

执行指令# syatemctl status ollama

三、部署通义千问大模型

说明：Ollama 支持多种版本的 Qwen 模型，这里以最常用的 Qwen2-7B（70亿参数）为例。

1.下载模型

说明：在终端中输入以下命令 ollama run qwen2

备注：第一次运行时，Ollama会自动从服务器下载qwen2模型文件。

2.配置服务端对话模式

说明：下载完成后，会看到命令行提示符变成 >>>

这时你就可以开始和通义千问聊天了。

列如：

3.配置Ollama客户端

(1)客户端访问http://服务器IP:11434

(2)设置火狐浏览器安装AI组件“page assist”

(3)设置Ollama URL

(4)选择大模型

(5)开始聊天

四、其他操作技巧

1.查看已下载的模型

执行指令# ollama list

2.删除已下载的模型

执行指令# ollama rm qwen2

3.下载其他大模型（列如Deepseek）

执行指令# ollama pull deepseek-r1:14b

4.运行其他大模型

列如更换为deepseek-r1:14b大模型，可以这么做。

执行指令# ollama run deepseek-r1:14b