时隔五年，Scrapyd 终于原生支持 basic auth

keithxiaoy 发布于2019-07-31 10:23 / 1373人阅读

摘要：试用安装更新配置文件，其余配置项详见官方文档启动由于的最新提交已经重构了页面，如果正在使用管理，则需同步更新

Issue in 2014

scrapy/scrapyd/issues/43

Pull request in 2019

scrapy/scrapyd/pull/326

试用

安装：pip install -U git+https://github.com/my8100/scrapyd.git@add_basic_auth

更新配置文件 scrapyd.conf，其余配置项详见官方文档

[scrapyd]
username = yourusername
password = yourpassword

启动：scrapyd

In [1]: import requests

In [2]: requests.get("http://127.0.0.1:6800/").status_code
Out[2]: 401

In [3]: requests.get("http://127.0.0.1:6800/", auth=("admin", "admin")).status_code
Out[3]: 401

In [4]: requests.get("http://127.0.0.1:6800/", auth=("yourusername", "yourpassword")).status_code
Out[4]: 200

由于 Scrapyd 的 GitHub 最新提交已经重构了 Jobs 页面，如果正在使用 ScrapydWeb 管理 Scrapyd，则需同步更新 ScrapydWeb：pip install -U git+https://github.com/my8100/scrapydweb.git

GitHub

my8100/scrapyd

GPU云服务器云服务器开源微服务框架原生支持 scrapyd 时隔终于找到

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/43741.html

spiderkeeper 部署&操作

摘要：前言最近发现了一个的库这个库的主要用途是在于配合这管理你的爬虫支持一键式部署定时采集任务启动暂停等一系列的操作简单来说将的进行封装最大限度减少你跟命令行交互次数不得说这个是很棒的事情的连接环境配置由于是基于以上的版本兼容性较好所以我们需要的前言最近发现了一个spdierkeeper的库,这个库的主要用途是在于.配合这scrpyd管理你的爬虫,支持一键式部署,定时采集任务,启动,暂停...

Neilyo 2019-07-30 15:39 评论0 收藏0
基于Docker的Scrapy+Scrapyd+Scrapydweb部署

摘要：如需远程访问，则需在配置文件中设置，然后重启。详见如果是同个容器，直接使用即可，这里是演示了不同容器或主机下的情况访问即可文章开始，先摘录一下文中各软件的官方定义Scrapy An open source and collaborative framework for extracting the data youneed from websites.In a fast, simpl...

defcon 2019-06-28 16:57 评论0 收藏0
基于Docker的Scrapy+Scrapyd+Scrapydweb部署

摘要：如需远程访问，则需在配置文件中设置，然后重启。详见如果是同个容器，直接使用即可，这里是演示了不同容器或主机下的情况访问即可文章开始，先摘录一下文中各软件的官方定义Scrapy An open source and collaborative framework for extracting the data youneed from websites.In a fast, simpl...

陈伟 2019-07-30 18:43 评论0 收藏0
Python3网络爬虫实战---12、部署相关库的安装：Docker、Scrapyd

摘要：阿里云安装脚本安装脚本两个脚本可以任选其一，速度都非常不错。推荐的加速器有和阿里云。阿里云不同平台的镜像加速方法配置可以参考的官方文档。以上便是的安装方式说明。上一篇文章网络爬虫实战爬虫框架的安装下一篇文章网络爬虫实战部署相关库上一篇文章：Python3网络爬虫实战---11、爬虫框架的安装：ScrapySplash、ScrapyRedis下一篇文章：Python3网络爬虫实战---...

ityouknow 2019-07-31 10:34 评论0 收藏0
如何通过 Scrapyd + ScrapydWeb 简单高效地部署和监控分布式爬虫项目

摘要：支持一键部署项目到集群。添加邮箱帐号设置邮件工作时间和基本触发器，以下示例代表每隔小时或当某一任务完成时，并且当前时间是工作日的点，点和点，将会发送通知邮件。除了基本触发器，还提供了多种触发器用于处理不同类型的，包括和等。 showImg(https://segmentfault.com/img/remote/1460000018772067?w=1680&h=869); 安装和配置 ...

zsirfs 2019-07-30 18:34 评论0 收藏0