Python requests“Max retries exceeded with url” err

NervosNetwork 发布于2019-07-30 17:44 / 1027人阅读

摘要：解决办法解决办法多方查阅后发现了解决问题的原因连接太多没有关闭导致的。操作方法只用进行操作。即只创建一个连接，并设置最大连接数或者重试次数。安装设定固定的睡眠时间在发送请求之间

19-4-29补充：

error1:

NewConnectionError(": Failed to establish a new connection:
[WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。",))

解决办法：

session.keep_alive=False

error2:

python hostname doesn"t match either of facebookXXXXX
解决办法：

import ssl
ssl.match_hostname = lambda cert, hostname: True
多方查阅后发现了解决问题的原因：http连接太多没有关闭导致的。

解决办法：

增加重试连接次数

requests.adapters.DEFAULT_RETRIES = 5

关闭多余的连接

requests使用了urllib3库，默认的http connection是keep-alive的，requests设置False关闭。

操作方法

s = requests.session()
s.keep_alive = False

只用session进行操作。即只创建一个连接，并设置最大连接数或者重试次数。

import requests
from requests.adapters import HTTPAdapter
from requests.packages.urllib3.util.retry import Retry

session = requests.Session()
retry = Retry(connect=3, backoff_factor=0.5)
adapter = HTTPAdapter(max_retries=retry)
session.mount("http://", adapter)
session.mount("https://", adapter)

session.get(url)

 import requests
   from requests.adapters import HTTPAdapter
   from requests.packages.urllib3.util.retry import Retry
   s = requests.Session()
   retry = Retry(connect = 5, backoff_factor = 1)
   adapter = HTTPAdapter(max_retries = retry)
   s.mount("http://", adapter)
   s.keep_alive = False
   res = s.post(self.conn.host + "/sign-in", data = json.dumps({
       "name": "XXX",
       "pwd": "XXX"
   }))
   response = res.json()

但是在starkoverflow上有人给出了这样的解释。

安装 py

pip install -U pyopenssl
5、设定固定的睡眠时间在发送请求之间
https://github.com/requests/r...
https://stackoverflow.com/que...

云服务器 GPU云服务器 python的requests安装 ERR: err err_quit

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/42383.html

Python 频繁请求问题: [Errno 104] Connection reset by pee

摘要：之前我是做了错误记录直接了，这次情况下因为需要请求所有图片，在查了相关原因，大概是因为我频繁请求，服务器关闭了部门请求连接。在实际的请求中，加了的延迟被拒绝的情况明显少了很多，被拒绝重试的次数最多为次，最后成功地取下了全部图片。记遇到的一个问题:[Errno 104] Connection reset by peer 今天工作上有个需求，数据库有个表有将近3万条url记录，每条记录...

BearyChat 2019-07-31 10:53 评论0 收藏0
快速入门Python 最新最流行的pipenv虚拟环境

摘要：的把最新型最先进的虚拟环境吵得火热。进入后，你会发现用也是能生效的。但是注意进入环境后千万不要用退出，而应该用退出。最佳解决方案是因为这种在其他地方也常见，一般都是没有在环境里安装的问题。 2018的PyCon把最新型最先进的Python虚拟环境pipenv吵得火热。看了下介绍感觉真的很好用，它在virtualenv的基础上包装了一些更便捷的功能，解决了很多很多virtualenv欠缺...

roundstones 2019-07-30 16:45 评论0 收藏0
open-falcon 开发笔记（二）：环境配置【续】

摘要：网络配置问题通常采用的是网络地址转换的连接方式。这种做法是临时的更改。手动配置请选用各地延迟排行榜。永久性做法是去配置。至此，笔者已经安装了大部分的功能，还有等辅助组件木有安装。预计这方面不大会再出现未知坑了。这篇文章会先讲一些上次没解决的坑。正所谓探索过程中没去搞懂的坑以后还会再来困扰你的。 VirtualBox 网络配置问题通常 VirtualBox 采用的是 NAT（网络地址...

SHERlocked93 2019-07-25 11:09 评论0 收藏0
python爬虫——写出最简单的网页爬虫

摘要：开发最简单的爬虫简介开发最简单的爬虫百度首页简洁大方，很适合我们爬虫。爬虫代码如下结果如下图我们可以通过在百度首页空白处右击，查看审查元素来和我们的运行结果对比。知识就像碎布，记得缝一缝，你才能华丽丽地亮相最近对python爬虫有了强烈地兴趣，在此分享自己的学习路径，欢迎大家提出建议。我们相互交流，共同进步。 1.开发工具笔者使用的工具是sublime text3，它的短小精...

zilu 2019-07-30 14:26 评论0 收藏0