fnOS安装Ollama教程（780M GPU加速版）-龍騰博客

第一步：创建目录

SSH登录后执行：

mkdir -p /vol3/1000/docker/ollama/models

或者用文件管理器在vol3存储空间下手动创建路径：1000/docker/ollama/models

第二步：进入Docker应用，创建Compose项目

打开fnOS后台 → 打开Docker应用
左侧菜单找到项目（或Compose，不同版本叫法略有差异）
点击右上角新建 / 创建
项目名称填：ollama
路径选择刚创建的目录：/vol3/1000/docker/ollama

第三步：填写Compose内容

在Compose编辑框里粘贴以下内容：

services:
  ollama:
    image: ollama/ollama:rocm
    container_name: ollama
    restart: unless-stopped
    ports:
      - "11434:11434"
    volumes:
      - /vol3/1000/docker/ollama/models:/root/.ollama
    devices:
      - /dev/kfd
      - /dev/dri
    environment:
      - HSA_OVERRIDE_GFX_VERSION=11.0.0
      - OLLAMA_NUM_GPU=999
    group_add:
      - "44"
      - "105"

  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    restart: unless-stopped
    ports:
      - "8080:8080"
    volumes:
      - /vol3/1000/docker/ollama/webui:/app/backend/data
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
    depends_on:
      - ollama

说明：

image: ollama/ollama:rocm —— 专门的ROCm版本，支持780M
HSA_OVERRIDE_GFX_VERSION=11.0.0 —— 让ROCm识别780M（gfx1103）
group_add: 44/105 —— 之前查到的video和render组ID，确保容器有权限访问GPU设备
open-webui —— 提供网页聊天界面，不装这个就只能命令行用Ollama

第四步：部署

点击部署/启动，等待镜像拉取（ROCm镜像较大，约5~8GB，根据之前配置的镜像加速源，预计10~20分钟）。

部署完成后，在容器列表里应该看到ollama和open-webui两个容器都是运行中状态。

第五步：验证GPU是否生效

SSH进入，执行：

docker exec -it ollama rocm-smi

能看到780M的信息（显存占用、温度等）说明ROCm在容器内正常工作。

第六步：拉取模型

docker exec -it ollama ollama pull qwen2.5:14b

拉取完成后测试：

docker exec -it ollama ollama run qwen2.5:14b "你好，介绍一下你自己"

观察回复速度，正常应该是流畅的逐字输出（8-12 tok/s）。

第七步：使用网页界面

浏览器访问：

http://192.168.0.188:8080

首次访问需注册一个本地账号（数据存在本机，不会上传），登录后即可在网页里和模型对话，体验类似ChatGPT界面。

验证GPU实际占用

跑模型时另开一个SSH窗口：

watch -n 1 cat /sys/class/drm/card1/device/mem_info_vram_used

提问时这个数值应该明显上升（接近模型大小），说明GPU确实在加载和计算。

部署完告诉我结果，如果rocm-smi报错或者GPU没有被使用，我们再排查。

目录CONTENT

fnOS安装Ollama教程（780M GPU加速版）