关于 phantomJS 请求url driver.current_url 为 about:blan

Riddler 发布于2019-07-30 17:16 / 2137人阅读

摘要：之前的提问关于问题具体描述一直纠结的问题今天找到了解决方式上代码这是我的主页嘿嘿之前截图透明是因为请求了空地址结果为原因在于没有配置其中最关键的就是这一项这里顺带贴上释义将加入之后恢复正常感觉有用麻烦给我主页个星星谢谢哈哈

之前的提问关于问题具体描述一直纠结的问题今天找到了解决方式

上代码~

from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
import time
import random

USER_AGENTS = [
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
    "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
    "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
    "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
    "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
    "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
    "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
    "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20",
    "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.11; rv:57.0) Gecko/20100101 Firefox/57.0",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.95 Safari/537.36"
]
#这是我的sf主页 嘿嘿
url = "https://segmentfault.com/u/rui0908"

dcap = dict(webdriver.DesiredCapabilities.PHANTOMJS)
dcap["phantomjs.page.settings.userAgent"] = (random.choice(USER_AGENTS))
driver = webdriver.PhantomJS(executable_path=r"/usr/local/src/phantomjs/bin/phantomjs",desired_capabilities=dcap)
driver.get(url)

time.sleep(5)

driver.save_screenshot("test.png")
print(driver.current_url)

之前截图透明是因为请求了空地址 print结果为：about:blank 原因在于 service_args 没有配置其中最关键的就是"--ssl-protocol=tlsv1" 这一项这里顺带贴上ssl释义

service_args = ["--load-images=false", "--proxy-type=None","--ignore-ssl-errors=true","--ssl-protocol=tlsv1"]
driver = webdriver.PhantomJS(executable_path=r"/usr/local/src/phantomjs/bin/phantomjs", service_args=service_args, desired_capabilities=dcap)

将service_args 加入之后 current_url恢复正常 感觉有用麻烦给我主页+个星星谢谢哈哈

云服务器 GPU云服务器请求url url请求重复 html请求url php请求一个url

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/42112.html

Python_selenium_phantomjs动态抓取

摘要：当前版本是一个服务器端的的。也可以说是无界面浏览器。安装不是程序，去官网下载对应系统版本的安装即可。方法会一直等到页面被完全加载，然后才会继续程序，但是对于是无可奈何的。安装设置的查看所有可用的属性。 selenium:https://github.com/SeleniumHQ...当前版本3.0.1A browser automation framework and ecosyste...

zacklee 2019-07-31 10:51 评论0 收藏0
动态HTML介绍 & Selenium PhantomJS

摘要：一个网站使用的特征就是源代码里包含了入口比如如果你在一个网站上看到了，那么采集这个网站数据的时候要格外小心。直接点击下拉框中的选项不一定可行。未审核初审通过复审通过审核不通过专门提供了类来处理下拉框。 JavaScript JavaScript 是网络上最常用也是支持者最多的客户端脚本语言。它可以收集用户的跟踪数据,不需要重载页面直接提交表单，在页面嵌入多媒体文件，甚至运行网页游戏。...

Lsnsh 2019-07-30 15:37 评论0 收藏0
使用 headless chrome进行测试

注:文章聚合了现在 headless chrome 介绍和使用方式包含了三个部分 chrome 在 mac 上的安装和简单使用(来自官方) 利用 selenium 的 webdrive 驱动 headless chrome(自己添加) 利用Xvfb方式实现伪 headless chrome 概念 Headless模式解决了什么问题: 自动化工具例如 selenium 利用有头浏览器进行测试...

ephererid 2019-07-31 10:56 评论0 收藏0
Python2+Selenium入门04-关于WebDriver类

摘要：和是中两个非常重要的类，使用它们提供的方法可以实现与浏览器和页面元素的各种交互操作。该方法在每个只需要调用一次等待时间单位为秒设置一个页面完全加载完成的超时等待时间等待时间单位为秒设置脚本执行的超时时间，应该在抛出错误之前等待时间单位为秒 WebDriver 和 WebElement 是 Selenium 中两个非常重要的类，使用它们提供的方法可以实现与浏览器和页面元素的各种交互操作。...

vslam 2019-07-31 10:06 评论0 收藏0