本地部署 Ollama + 开源视觉模型 Gemma3 + Open WebUI 并实现外部访问

Gemma3 是一款仅次于 DeepSeek R1 的开源模型,这款模型不仅可以理解 140+ 语言,而且中文支持也很好,更优秀的是它支持视觉输入和文本输出的多模态能力。本文将详细的介绍如何在本地 Windows 上安装部署 Ollama + Open WebUI 来实现用户和 Gemma3 对话的功能以及通过路由侠内网穿透实现外网访问。

第一步,Ollama 下载与安装

1,首先先进入 Ollama 的下载界面,这里是 windows 演示教程,所以安装 windows 版本就可以了。点此进入下载

2,下载好后,双击程序,开始安装。

3,点击【Install】开始安装。

4,安装好后,按住 Win+R 键,在运行框中输入 cmd 打开 Windows 系统自带的终端界面。

5,在终端界面中输入 ollama 按回车键,看到下图信息代表安装成功。

第二步,Ollma 安装 Gemma3 模型

1,在 Ollama 的官网点击 Models,可以看到排在前三个其中就有 Gemma3 模型。

2,点进去之后,在左侧的下拉选项中能看到不同量级的模型,根据自己的需要安装不同量级的模型即可。

3,本文以 gemma3.4b 为例,选择后如下图复制安装命令。

4,在终端中输入安装命令,如果你之前安装过 ollama ,在执行命令后出现如下图提示,就先关闭终端,先升级 ollama 到最新版本。

5,更新后,显示下面内容说明更新成功。

6,输入 gemma3.4b 的安装命令,等待安装。安装后就可以和大模型进行对话了。

第三步,Docker 部署 Open WebUI

虽然在本地 Windows 电脑上能够使用 Gemma 大模型解答问题了,但在命令行中对话可能不方便,而且也不美观,下面我们可以通过安装一个 Open WebUI 图形化界面来解决这个问题。

安装 Open WebUI 之前,我们需要配置 Ollama 的环境变量,在终端中分别执行下面两条命令以便后续远程调用大模型:

setx OLLAMA_HOST "0.0.0.0"
setx OLLAMA_ORIGINS "*"

然后点击电脑桌面右下角的 ollama 图标退出并重启服务即可。

安装 Open WebUI 使用 docker 命令安装,所以需要提前在电脑上安装 Docker Desktop 没有安装过的,点此查看 Docker Desktop 安装教程

1,安装 Docker Desktop 后访问 Open WebUI 的 github 页面 https://github.com/open-webui/open-webui,可以看到 docker 安装 Open WebUI 命令。如果你的 Ollama 和 Open WebUI 在同一台电脑上,执行这行命令在 cmd 终端中执行就可以在本地快速进行部署。

2,将在 docker 中部署 Open WebUI 的命令复制后粘贴到终端中,按回车键。等待安装,安装过程会有点久,耐心等待即可。

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

3,安装完成后,在 Docker Desktop 中可以看到已经安装好的 Open WebUI 的网址,直接点击进入网页。

4,可以看到 Open WebUI 的 web 界面了。点击【开始使用】。

5,填写名称,邮箱,密码,点击【创建管理员账号】。

6,创建好直接登录即可进入主界面,可以看到左上角部署好的 gemma3.4b 。

第四步,外网访问本地部署的 Gemma3

在内网的电脑上安装路由侠,点此下载

1,下载安装完成后,打开路由侠界面,点击【内网映射】。

2,点击【添加映射】。

3,选择【原生端口】。

4,在内网端口里填写 Open WebUI 默认端口 3000 后点击【创建】按钮,如下图。

5,创建好后,就可以看到一条映射的公网地址,鼠标右键点击【复制地址】。

6,在外网的浏览器的地址栏输入复制的外网地址就可以访问本地部署的 Open WebUI 界面了,登录进去。

7,可以看到在本地已经部署好的 gemma3.4b 了。

以上就是在本地局域网内部署 Ollama + Open WebUI 实现 Gemma3 对话以及利用路由侠内网穿透实现外网访问全部教程了,如果想要对路由侠有更多的了解,可以进官网详细了解,路由侠官网地址:www.luyouxia.com