搭建Selenium 集群

引言

工作中用到了Selenium作为爬虫去解析网页,发现单机跑慢的要死,所以找了点资料,将官方的Selenium 集群搭建了起来,下面是搭建的过程。

环境介绍

系统 jdk环境 selenium版本 安装的浏览器 用途 别名
Centos7 1.8 3.141.59 chrome server Hub
Centos7 1.8 3.141.59 chrome node Node1
Centos7 1.8 3.141.59 chrome node Node2
Centos7 1.8 3.141.59 chrome node Node3

安装Hub

首先从官网上下载好最新版本的selenium-server-standalone.jar

在Hub机器上执行下面的命令,运行hub管理端

screen -dmS selenium  java -jar selenium-server-standalone.jar -role hub -maxSession 100  -log /var/log/selenium.log

执行以后会出现下面这样的提示

记住下面的两个URL地址:

第一个地址是注册node的时候回使用到,第二个地址是在代码中会用到

安装Node

将上面下载的jar文件复制到各个节点机器上,然后执行下面命令,注册node节点

screen -dmS selenium java -jar selenium-server-standalone.jar -role node -hub http://10.10.88.51:4444/grid/register/ -capabilities browserName=chrome,platform=linux,maxInstances=30 -log /var/log/selenium.log

记住将-hub后面的url地址更改为你的hub地址,执行以后会出现下面的界面

然后我们返回Hub机器上看Hub机器上回出现一条这样的提示

可以看到已经成功注册了节点机器。其他节点按照同样的方式进行注册即可。
关于其中的参数可以参考下面的文章:

查看web界面

在注册完node节点以后,我们可以在web界面中看到我们注册的机器的列表以及配置
我们访问Hub机器的url地址为:

http://10.10.88.51:4444/grid/console

将其中的10.10.88.51换为你hub机器的ip地址即可访问

至此我们的Selenium 集群以及初步搭建完成,接下来就是使用了

使用Selenium集群

这边我用python代码进行测试Selenium机器是否能正常使用。
代码如下

# -*- coding:utf-8 -*-
# Author: sky
# Email:  sky@03sec.com
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--hide-scrollbars')
driver = webdriver.Remote(command_executor="http://10.10.88.51:4444/wd/hub",options=chrome_options)
driver.get("https://www.03sec.com")
driver.implicitly_wait(3)
driver.find_elements_by_tag_name("div")
print(driver.page_source)
driver.quit()

其中chrome_options请根据自己的情况进行自定义,
command_executor为上面我们记录的第二条url地址,请自行更换

其实和平时写没有什么区别,唯一的区别就是

driver = webdriver.Remote(command_executor="http://10.10.88.51:4444/wd/hub",options=chrome_options)

这条配置

设置Centos7 开机启动

  • selenium grid 设置开机启动的命令
mkdir /opt/script
touch /opt/script/autostart.sh
echo "
#!/bin/bash
#description:启动selenium Grid
screen -dmS selenium java -jar selenium-server-standalone.jar -role hub -maxSession 100 -log /var/log/selenium.log
" >> /opt/script/autostart.sh
chmod +x /opt/script/autostart.sh
echo "su - root -c '/opt/script/autostart.sh'" >> /etc/rc.d/rc.local
chmod +x /etc/rc.d/rc.local
cat /etc/rc.d/rc.local
ls -la /etc/rc.d/rc.local
cat /opt/script/autostart.sh
ls -la /opt/script/autostart.sh
echo "ok"


  • selenium node 设置开机启动的命令
mkdir /opt/script
touch /opt/script/autostart.sh
echo "
#!/bin/bash
#description:启动selenium节点
screen -dmS selenium java -jar selenium-server-standalone.jar -role node -hub http://selenium-grid 服务器IP:4444/grid/register/ -capabilities browserName=chrome,platform=linux,maxInstances=30 -maxSession 60  -log /var/log/selenium.log
" >> /opt/script/autostart.sh
chmod +x /opt/script/autostart.sh
echo "su - root -c '/opt/script/autostart.sh'" >> /etc/rc.d/rc.local
chmod +x /etc/rc.d/rc.local
cat /etc/rc.d/rc.local
ls -la /etc/rc.d/rc.local
cat /opt/script/autostart.sh
ls -la /opt/script/autostart.sh
echo "ok"

安装中遇到的问题

可能会有中文乱码的问题,在centos7下安装下中文字体库即可,

yum groupinstall fonts

总结

集群安装以后,使用和平时没什么两样,速度也差不多。如果你是单机单进程跑,没必要使用集群。如果涉及到多进程或者多线程这样的话,Selenium集群才能真正发挥作用。

hub端传入的timeout会同时设置到节点上(应该)

参考

标签: 无
返回文章列表 文章二维码
本页链接的二维码
打赏二维码
添加新评论