本地部署 Anything LLM+Ollama+DeepSeek R1 大模型并实现外部访问

DeepSeek 一经发布就引起社会的广泛的关注,因为 DeepSeek 的价格低廉,性能卓越,提供了多种使用方式,满足不同用户的需求和场景。本文将详细的介绍如何在本地 Windows 上安装部署 Anything LLM + Ollama 来实现用户和 DeepSeek-r1 对话的功能以及利用路由侠内网穿透实现外网访问。

第一步,Ollama+DeepSeek R1 下载与安装

1,首先先进入 Ollama 的下载界面,这里是 Windows 演示教程,所以安装 Windows 版本就可以了。点此进入下载

2,下载好后,双击程序,开始安装。

3,点击【Install】开始安装。

4,安装好后,按住 Win+R 键,在运行框中输入 cmd 打开 Windows 系统自带的终端界面。

5,在终端界面中输入 ollama 按回车键,看到下图信息代表安装成功。

6,从 ollama 官网 查找 deepseek-r1 模型。点此进入

7,根据自己的需求选择想要下载的各种量级的模型,右侧是对应的模型下载命令。这里以 1.5b 进行演示。

8,在打开的终端界面中输入 deepseek-r1:1.5b 的安装命令后等待安装过程,需要预留 2G 以上存储空间,安装好后如下图,就可以和 deepseek-r1 在终端里面对话了。

ollama run deepseek-r1:1.5b

第二步,安装 Anything LLM

1,进入 Anything LLM 官网,下载 Windows 客户端,点此进入下载

2,下载好后,双击程序进行安装。

3,安装好后,打开软件,点击【开始】按钮进入使用界面。

4,进入后直接选择 Ollama ,选择好后会看到下方出现选择使用对应大模型的下拉框,在这里我们可以看到之前在本地部署的 deepseek-r1:1.5b 模型。确认后,点击右侧箭头进行下一步。

5,点击右侧箭头继续下一步。

6,输入邮箱以及选择如何使用 Anything LLM 后点击侧箭头继续。

7,这里需要创建一个工作区,并给它取个名字,完成后点击右侧箭头。

8,进入后就可以看到可以看到欢迎界面了。

9,点击下面新建的工作区,就可以和大模型对话了。

10,点击界面下面的扳手按钮,就可以进入下面的设置界面,可以对界面语言进行修改。

第三步,同一局域网内远程调用大模型

1,在设置界面的 LLM 首选项中,可以看到刚才选择的 LLM 提供商是 Ollama ,这里面有模型信息,最底部有 Ollama 运行的地址和端口。

2,打开 cmd 终端界面,如下图,输入下面两条命令。

setx OLLAMA_HOST "0.0.0.0"
setx OLLAMA_ORIGINS "*"

3,在 Windows 界面的右下角可以看到 Ollama 程序 ,把 Ollama 退出后重新启动。

4,完成上面的步骤后,打开 Anything LLM,在设置界面的 LLM 首选项中,把 Ollama 运行的地址替换成同一局域网内同事的IP,端口不需要换,换好后点击右上角的 Save changes 保存即可,完成后返回就可以和大模型对话了。

第三步,外网访问本地部署的 Anything LLM + Ollama + DeepSeek R1

在内网的电脑上安装路由侠,点此下载

1,下载安装完成后,打开路由侠界面,点击【内网映射】。

2,点击【添加映射】。

3,选择【原生端口】。

4,在内网端口里填写默认端口 11434 后点击【创建】按钮,如下图。

5,创建好后,就可以看到一条映射的公网地址,鼠标右键点击【复制地址】。

6,如下图,把从路由侠生成的公网地址复制粘贴到外网电脑上的 Ollama 运行的地址和端口,替换掉之前的 IP 和端口保存即可。

7,返回到对话界面就可以和 deepseek 大模型对话了。如果替换地址后无法使用,退出重新启动一下 Anything LLM 即可。

以上就是在本地局域网内部署 Anything LLM+Ollama 实现 DeepSeek-r1 对话以及利用路由侠内网穿透实现外网访问全部教程了,如果想要对路由侠有更多的了解,可以进官网详细了解,路由侠官网地址:www.luyouxia.com