本地部署 MaxKB 大模型并实现外部访问(Linux 版本)

MaxKB 是一款基于 LLM 大语言模型的知识库问答系统。它借助大语言模型的力量,实现了从数据摄入、处理到智能问答的全链条优化,极大地提升了知识获取的效率与质量。本文将详细的介绍如何在本地 Linux 上安装部署 MaxKB 大模型以及利用路由侠内网穿透实现外网访问。

第一步,安装部署 MaxKB

1,打开 Linux ,执行命令拉取 MaxKB ,没有 docker 的提前安装 docker 。

docker pull cr2.fit2cloud.com/1panel/maxkb

2,执行下面命令启动运行 MaxKB 镜像。

docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data 1panel/maxkb


3,在浏览器输入 http://本地IP:8080  或者 localhost:8080 。就可以看到 MaxKB 的登录界面了。

用户名:admin
默认密码:MaxKB@123..

第二步, MaxKB 的使用

1,如下图,在【系统设置】里面的【模型设置】去添加模型。

2,可以选择不同的 AI 模型。这里是以 Ollama 作为演示。

3,填写基本信息,如下图所示,API URL 是部署机器的 IP 加 Ollama 默认的端口 11434 。填写完成后点击【保存】即可。

4,可以看到已经添加好的模型 llama3 。

5,在【应用】界面里【创建应用】。填写一些简单的信息保存即可。

6,在【应用】的【概览】里可以看到已经创建好的应用信息,点击【演示】进入。

7,进入后就可以和 AI 模型对话了。

第三步,外网访问本地部署的 MaxKB

安装路由侠内网穿透。

1,当前未提供网页管理,需要先在任意一台 Windows 机器安装路由侠 Windows 版本,用作跨机器管理。

2,在路由侠客户端主界面,进入“设备管理”,点击右下角的“添加设备”,此时可查看到对应的安装码,此安装码用于将设备添加到对应账号下,可选中后复制。

3,直接下载后导入:

wget https://dl.luyouxia.com:8443/v2/lyx-docker-x86_64.tar
docker load -i lyx-docker-x86_64.tar

4,然后使用该镜像启动容器

docker run --name lyx -it --restart=always --net=host -e code=这里填写安装码 luyouxia/lyx

5,此时,需要等待下载和安装的过程,如果一切正常,最终可以看到一些输出,并且可以看到如下提示:

[Device] Logged in. Token: ....

这就表示安装成功了。

当前 Linux 终端这边,如果是使用的上面的命令,Docker 是运行在前台,此时可以按住 Ctrl+C ,退出路由侠,容器也将退出。现在可以使用以下命令将其放入后台持续运行:

docker start lyx

注意如果容器删除,重新 docker run, 将创建为新的设备。

需要注意的是,因为容器参数已经添加了 --restart=always,这样开机就会自动启动,不需要再手动启动路由侠了。

6,现在回到 Windows 这边设备列表,点击右上角的×返回主界面,再次进入,就可以找到这个设备,可以修改名称。

7,回到主界面,点击【内网映射】。

8,注意右上角的设备名称下拉框,这里选中刚刚添加的设备名称,此时在这个界面上添加的映射,就属于刚刚这个设备。添加或修改一般需要等待30秒,容器中的路由侠进程就会更新并加载。切换好设备后,点击【添加映射】。

9,选择【原生端口】。

10,在内网端口里填写端口 8080 后点击【创建】按钮,如下图。

11,创建好后,就可以看到一条映射的公网地址,鼠标右键点击【复制地址】。

12,在外网的浏览器的地址栏输入复制的外网地址就可以访问本地部署的 MaxKB 了。
以上就是在本地局域网内部署 MaxKB 大模型以及利用路由侠内网穿透实现外网访问全部教程了,如果想要对路由侠有更多的了解,可以进官网详细了解,路由侠官网地址:www.luyouxia.com