ollama

ollama 是快速上手并运行gpt-oss、Gemma 3、DeepSeek-R1、Qwen3等大语言模型的最简单方式。

简单说，Ollama 是大语言模型的一键启动工具。

安装 ollama

1. 官方一键安装脚本

# 非 root 用户，需安装 apt install sudu
curl -fsSL https://ollama.com/install.sh | sh

一键安装方式一定适用：

1. ollama 源码包将近2G，脚本是直接在 github 上下载，大概率会下载失败
2. 一键安装脚本无法控制安装目录，像我更喜欢自己指定目录

2. 手动安装

手动安装首先需要使用各种方式，去 https://github.com/ollama/ollama/releases 下载最新的源码包，然后上传到服务器

创建用户

groupadd -g 6001 agent
useradd -c "agent related process user" \
-g agent -u 6001 -s /bin/nologin -m agent
cp -r /root/.zshrc /home/agent/
chown agent:agent -R /home/agent/.zshrc
ln -s /server/ohmyzsh /home/agent/.oh-my-zsh

解压源码

# root 用户
mkdir -p /server/ollama
tar -xf ollama-linux-amd64.tar.zst -C /server/ollama
chown agent:agent -R /server/ollama
chmod o-wrx -R /server/ollama
chmod g-w -R /server/ollama
chmod 750 /server/ollama

cat >> /home/agent/.zshrc << 'EOF'
export PATH=/server/ollama/bin:$PATH
EOF

cat >> /root/.zshrc << 'EOF'
export PATH=/server/ollama/bin:$PATH
EOF

系统服务单元

cat > /etc/systemd/system/ollama.service << 'EOF'
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/server/ollama/bin/ollama serve
User=agent
Group=agent
Restart=always
RestartSec=3
Environment="PATH=/server/ollama/bin:/usr/local/bin:/usr/bin:/bin"

[Install]
WantedBy=default.target
EOF

# 2. 刷新 systemd
systemctl daemon-reload

# 3. 开机自启 + 启动
systemctl enable --now ollama.service

# 禁止开机启动
systemctl disable ollama.service

安装本地大模型

系统启动时 ollama 服务会自动启动，但是不会运行任何大模型。

修改DNS

# 如果 DNS 遇到错误，就使用root用户修改成下面的 DNS
cat > /etc/resolv.conf << 'EOF'
nameserver 8.8.8.8
nameserver 1.1.1.1
EOF

安装大模型

su - agent -s /bin/zsh
# 低配电脑上的测试模型，干不了精细活的
ollama pull qwen2.5:0.5b-instruct-fp16
ollama pull qwen3:0.6b-fp16
ollama pull qwen3.5:0.8b-bf16

查看ollama端口

netstat -tlnp | grep ollama

常用命令

功能	指令
本地模型列表	ollama list
切换并下载模型	ollama run <模型名>
停止模型A运行	ollama stop <模型A>
下载模型到本地	ollama pull <模型名>
删除本地模型	ollama rm <模型名>
获取运行模型的列表	ollama ps
查看模型详情	ollama show <模型名>

使用大模型

1. 终端使用大模型

# 一条指令就能使用大模型
ollama ➜ ~ ollama run qwen3.5:0.8b
>>> Send a message (/? for help)

2. OpenClaw 上使用本地大模型

详情见 👉 配置OpenClaw