web自动化爬虫selenium centos 无GUI环境配置

张巨伟发布于2019-07-30 18:35 / 3005人阅读

摘要：基本环境安装安装下载注意要和版本对应由于下载的是版本的，所以选择了版本解压此文件，并将文件移动到目录下测试是否可用，请执行以下脚本，如返回内容，则说明安装成功注意需要加上，禁止在沙箱中运行补充安装支持测试脚本

基本环境：centos7,python3.x 1.安装selenium

pip3 install selenium

2.安装chrome-browser

wget https://dl.google.com/linux/d... --no-check-certificate

yum install ./google-chrome-stable_current_x86_64.rpm

3.下载chromedriver（注意要和chrome-browser版本对应）

1254109F0E439D718CC399416C7238D3.png

由于下载的chrome-browser是70版本的，所以chromedriver 选择了2.43版本

wget http://chromedriver.storage.g...

解压此文件，并将文件移动到/usr/bin目录下

unzip chromedriver_linx64.zip

mv chromedriver /usr/bin/

4.测试selenium是否可用，请执行以下python脚本，如返回html内容，则说明安装成功

from selenium import webdriver
url="http://bing.com"
option = webdriver.ChromeOptions()
option.add_argument("--no-sandbox")
option.add_argument("--headless")
driver = webdriver.Chrome(chrome_options=option)
driver.get(url)
print(driver.page_source)
注意需要加上，禁止在沙箱中运行

option.add_argument("--no-sandbox")
option.add_argument("--headless")

补充：

安装firefox支持

yum install firefox

yum install Xvfb

yum install libXfont

pip3 install pyvirtualdisplay

测试脚本

!/usr/bin/python3

from selenium import webdriver
from pyvirtualdisplay import Display
display = Display(visible=0, size=(800,600))
display.start()
driver = webdriver.Firefox()
driver.get("https://www.baidu.com")
print(driver.title)
driver.quit()
display.stop()

GPU云服务器云服务器 ecs centos web环境搭建 selenium网络爬虫 centos配置lamp环境 java自动配置环境

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/42680.html

国外程序员整理的Java资源大全

摘要：日期和时间处理日期和时间的函数库。使用中可观察序列，创建异步基于事件应用程序的函数库。为分布式系统提供延迟和容错处理。发布使用本机格式分发应用程序的工具。将程序资源和打包成和的本机文件。图像处理用来帮助创建评估或操作图形的函数库。好资源要分享原文译者唐尤华翻译自 github akullpp 构建这里搜集了用来构建应用程序的工具。 Apache Maven：Mave...

chengtao1633 2019-08-14 11:56 评论0 收藏0
Python3网络爬虫实战---2、请求库安装：GeckoDriver、PhantomJS、Aioh

摘要：上一篇文章网络爬虫实战请求库安装下一篇文章网络爬虫实战解析库的安装的安装在上一节我们了解了的配置方法，配置完成之后我们便可以用来驱动浏览器来做相应网页的抓取。上一篇文章网络爬虫实战请求库安装下一篇文章网络爬虫实战解析库的安装上一篇文章：Python3网络爬虫实战---1、请求库安装：Requests、Selenium、ChromeDriver下一篇文章：Python3网络爬虫实战--...

Cristalven 2019-07-31 10:33 评论0 收藏0
前端为什么要学习 Selenium

摘要：你是对的，因为你需要学习。如果你有这些疑问，那么请不要担心，因为在本文中，我将给出个令人信服的理由，来说明学习的必要性。用于家庭用途的操作系统足以支撑进行测试。由于的使用量持续增长，使对测试员的需求也在成比例增长。翻译：疯狂的技术宅原文：https://www.edureka.co/blog/1... 本文首发微信公众号：前端先锋欢迎关注，每天都给你推送新鲜的前端技术文章如果...

CodeSheep 2019-05-29 17:14 评论0 收藏0
在headless模式下运行selenium

摘要：而在不久前宣布支持模式而后跟随的新闻再次勾起我无尽的回忆。那么我们就来谈谈在和浏览器不原生支持模式下如何使用来实现模式进行动态数据的抓取。比较常见的例子在中进行转发。下面我们进行测试发现其可以正常的运行。原文地址: http://52sox.com/python-use-h... 在Python中进行浏览器测试时,一般我们会选择selenium这样的库来简化我们工作量。而有些时候,为...

MoAir 2019-07-25 11:45 评论0 收藏0
#yyds干货盘点# Selenium Web端自动化从入门到实践

摘要：华文宋体验证搜索结果页面的标题是否是自动化测试百度搜索。华文宋体移除了华文宋体版本的华文宋体也就是说，华文宋体不再得到官方的支持。一、自动化测试概念1、概念java：TestNgpython：unittest pytest2、自动化测试可行性测试目的明确，需求不会频繁的变更对于项目的自动化测试，要看项目的具体情况一个产品需要在多个环境下部署对于web GUI测试，需要测试用例在不同的浏览器上...

番茄西红柿 2021-11-25 09:43 评论0 收藏2637