本地部署爬虫管理平台 Crawlab 并实现外部访问

Crawlab 是一款分布式爬虫管理平台,支持运行任何语言,具有扩展性还提供了爬虫自动化部署、在线文件编辑等功能。本文将详细的介绍如何利用 Docker 在本地部署 Crawlab 并结合路由侠实现外网访问本地部署的 Crawlab。

第一步,本地部署 Crawlab

本文 Crawlab 的安装需在 docker 环境下进行,若未安装 docker 可参考文章 安装 Docker 详细说明(Linux)

1,创建 Crawlab 文件夹。

mkdir -p /volume1/docker/crawlab/{data,master,worker01,worker02}

2,进入 Crawlab 目录。

cd /volume1/docker/crawlab

4,创建 docker-compose.yml 文件。

vim docker-compose.yml
version: '3.3'

services:
  master: 
    image: crawlabteam/crawlab:latest
    container_name: crawlab_example_master
    environment:
      CRAWLAB_NODE_MASTER: "Y"
      CRAWLAB_MONGO_HOST: "mongo"
    volumes:
      - "./master:/root/.crawlab"
    ports:    
      - "8235:8080"
    depends_on:
      - mongo

  worker01: 
    image: crawlabteam/crawlab:latest
    container_name: crawlab_example_worker01
    environment:
      CRAWLAB_NODE_MASTER: "N"
      CRAWLAB_GRPC_ADDRESS: "master"
      CRAWLAB_FS_FILER_URL: "http://master:8080/api/filer"
    volumes:
      - "./worker01:/root/.crawlab"
    depends_on:
      - master

  worker02: 
    image: crawlabteam/crawlab:latest
    container_name: crawlab_example_worker02
    environment:
      CRAWLAB_NODE_MASTER: "N"
      CRAWLAB_GRPC_ADDRESS: "master"
      CRAWLAB_FS_FILER_URL: "http://master:8080/api/filer"
    volumes:
      - "./worker02:/root/.crawlab"
    depends_on:
      - master

  mongo:
    image: mongo:4.2
    container_name: crawlab_example_mongo
    restart: always
    volumes:  
      - ./data:/data/db

5,启动容器。

docker-compose up -d

6,浏览器输入 http://localhost:8235 即可访问 Crawlab。

第二步,外网访问 Crawlab

当前未提供网页管理,在任意一台 Windows 机器安装路由侠 Windows 版,用作跨机器管理。点此下载

1,下载安装完成后,打开路由侠界面,进入【设备中心】。点击右下角的“添加设备”,此时可查看到对应的安装码,此安装码用于将设备添加到对应账号下,可选中后复制。

1

2,直接下载后导入。

wget https://dl.luyouxia.com:8443/v2/lyx-docker-x86_64.tar
docker load -i lyx-docker-x86_64.tar

3,然后使用该镜像启动容器。

docker run --name lyx -it --restart=always --net=host -e code=这里填写安装码 luyouxia/lyx

4,当前 Linux 终端这边,如果是使用的上面的命令,Docker 是运行在前台,此时可以按住 Ctrl+C ,退出路由侠,容器也将退出。现在可以使用以下命令将其放入后台持续运行。

docker start lyx

5,现在回到 Windows 这边设备列表,点击右上角的×返回主界面,再次进入,就可以找到这个设备,可以修改名称。

6,回到主界面,点击【内网映射】。

7,注意右上角的设备名称下拉框,这里选中刚刚添加的设备名称,此时在这个界面上添加的映射,就属于刚刚这个设备。添加或修改一般需要等待30秒,容器中的路由侠进程就会更新并加载。切换好设备后,点击【添加映射】。

8,选择【原生端口】。

9,在内网端口里填写端口 8235 后点击【创建】按钮,如下图。

10,创建好后,就可以看到一条映射的公网地址,鼠标右键点击【复制地址】。

11,在外网电脑上,打开浏览器,在地址栏输入从路由侠生成的外网地址,就可以看到内网部署的 Crawlab登录界面了。

以上就是用 Docker 在本地局域网内部署 Crawlab 以及利用路由侠内网穿透实现外网也能访问的全部教程了。如果想要对路由侠有更多的了解,可以进官网详细了解,路由侠官网地址:www.luyouxia.com 以及利用路由侠内网穿透实现外网也能访问的全部教程了。