摘要:登录开发者后台我的软件获得软件软件密钥注意这里是普通会员账号,不是开发者账号,注册地址开发者可以联系客服领取免费调试题分请先设置用户名密码一键识别函数正在一键识别例表示位字母数字,不同类型收费不同。请准确填写,否则影响识别率。
打码接口文件
# -*- coding: cp936 -*- import sys import os from ctypes import * # 下载接口放目录 http://www.yundama.com/apidoc/YDM_SDK.html # 错误代码请查询 http://www.yundama.com/apidoc/YDM_ErrorCode.html # 所有函数请查询 http://www.yundama.com/apidoc print(">>>正在初始化...") YDMApi = windll.LoadLibrary("H:/py/16/adc/adc/yamzhm/yundamaAPI-x64") # 1. http://www.yundama.com/index/reg/developer 注册开发者账号 # 2. http://www.yundama.com/developer/myapp 添加新软件 # 3. 使用添加的软件ID和密钥进行开发,享受丰厚分成 appId = 3818 # 软件ID,开发者分成必要参数。登录开发者后台【我的软件】获得! appKey = b"6ff56e09e89fffe45c14abe624af9456" # 软件密钥,开发者分成必要参数。登录开发者后台【我的软件】获得! # print("软件ID:%d 软件密钥:%s" % (appId, appKey)) # 注意这里是普通会员账号,不是开发者账号,注册地址 http://www.yundama.com/index/reg/user # 开发者可以联系客服领取免费调试题分 username = b"adc8868" password = b"adc279819" if username == b"test": exit(" >>>请先设置用户名密码") ####################### 一键识别函数 YDM_EasyDecodeByPath ####################### # print(" >>>正在一键识别...") # # # 例:1004表示4位字母数字,不同类型收费不同。请准确填写,否则影响识别率。在此查询所有类型 http://www.yundama.com/price.html # codetype = 1004 # # # 分配30个字节存放识别结果 # result = c_char_p(b" ") # # # 识别超时时间 单位:秒 # timeout = 60 # # # 验证码文件路径 # filename = b"H:/py/16/adc/adc/yamzhm/yan_zhe_nma.jpg" # # # 一键识别函数,无需调用 YDM_SetAppInfo 和 YDM_Login,适合脚本调用 # captchaId = YDMApi.YDM_EasyDecodeByPath(username, password, appId, appKey, filename, codetype, timeout, result) # # print("一键识别:验证码ID:%d,识别结果:%s" % (captchaId, result.value)) ################################################################################ ########################## 普通识别函数 YDM_DecodeByPath ######################### # print(" >>>正在登陆...") # 第一步:初始化云打码,只需调用一次即可 YDMApi.YDM_SetAppInfo(appId, appKey) # 第二步:登陆云打码账号,只需调用一次即可 uid = YDMApi.YDM_Login(username, password) if uid > 0: # print(">>>正在获取余额...") # 查询账号余额,按需要调用 balance = YDMApi.YDM_GetBalance(username, password) print("登陆成功,用户名:%s,剩余题分:%d" % (username, balance)) print(" >>>正在普通识别...") # 第三步:开始识别 # 例:1004表示4位字母数字,不同类型收费不同。请准确填写,否则影响识别率。在此查询所有类型 http://www.yundama.com/price.html codetype = 3000 # 分配30个字节存放识别结果 result = c_char_p(b" ") # 验证码文件路径 filename = b"H:/py/16/adc/adc/yamzhm/yan_zhe_nma.jpg" # 普通识别函数,需先调用 YDM_SetAppInfo 和 YDM_Login 初始化 captchaId = YDMApi.YDM_DecodeByPath(filename, codetype, result) print("普通识别:验证码ID:%d,识别结果:%s" % (captchaId, result.value)) else: print("登陆失败,错误代码:%d" % uid) ################################################################################ # print(" >>>错误代码请查询 http://www.yundama.com/apidoc/YDM_ErrorCode.html") # input(" 测试完成,按回车键结束...")
实现文件
# -*- coding: utf-8 -*- import os from urllib import request #导入request模块 import scrapy from scrapy.http import Request,FormRequest class PachSpider(scrapy.Spider): #定义爬虫类,必须继承scrapy.Spider name = "pach" #设置爬虫名称 allowed_domains = ["douban.com"] #爬取域名 # start_urls = [""] #爬取网址,只适于不需要登录的请求,因为没法设置cookie等信息 header = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0"} #设置浏览器用户代理 def start_requests(self): """第一次请求一下登录页面,设置开启cookie使其得到cookie,设置回调函数""" print("第一次请求页面获取Cookies.........!") return [Request("https://accounts.douban.com/login",meta={"cookiejar":1},callback=self.parse,headers=self.header)] def parse(self, response): # 响应Cookies Cookie1 = response.headers.getlist("Set-Cookie") #查看一下响应Cookie,也就是第一次访问注册页面时后台写入浏览器的Cookie print("后台首次写入的响应Cookies:",Cookie1) #判断是否出现验证码 yzhm = response.xpath("//img[@id="captcha_image"]/@src").extract() if len(yzhm) > 0: print("出现验证码,请输入验证码") print("验证码图片地址:",yzhm) #将验证码图片保存到本地 file_path = os.path.join(os.getcwd() + "/adc/yamzhm/yan_zhe_nma.jpg") # 拼接图片保存路径 print(file_path) request.urlretrieve(yzhm[0], file_path) # 将图片保存到本地,参数1获取到的src,参数2保存路径 #使用在线打码,自动识别验证码 from adc.yamzhm import YDMPython3 #导入打码模块 yan_zhen_ma = str(YDMPython3.result.value,encoding="utf-8") #接收打码结果 print("写入验证码",yan_zhen_ma) data = { # 设置用户登录信息,对应抓包得到字段 "source": "None", "redir": "https://www.douban.com/people/81309370/", "form_email": "729088188@qq.com", "form_password": "adc279819", "login": "登录", "captcha-solution": yan_zhen_ma } print("第二次post请求携带Cookies授权,登录中........!") """第二次用表单post请求,携带Cookie、浏览器代理、用户登录信息,进行登录给Cookie授权""" return [FormRequest.from_response(response, url="https://accounts.douban.com/login", #真实post地址 meta={"cookiejar":response.meta["cookiejar"]}, headers=self.header, formdata=data, callback=self.next, )] else: data = { # 设置用户登录信息,对应抓包得到字段 "source": "None", "redir": "https://www.douban.com/people/81309370/", "form_email": "729088188@qq.com", "form_password": "adc279819", "login": "登录", } print("第二次post请求携带Cookies授权,登录中........!") """第二次用表单post请求,携带Cookie、浏览器代理、用户登录信息,进行登录给Cookie授权""" return [FormRequest.from_response(response, url="https://accounts.douban.com/login", # 真实post地址 meta={"cookiejar": response.meta["cookiejar"]}, headers=self.header, formdata=data, callback=self.next, )] def next(self,response): # 请求Cookie Cookie2 = response.request.headers.getlist("Cookie") print("登录时携带请求的Cookies:",Cookie2) dlujieg = response.xpath("/html/head/title/text()").extract() if dlujieg: print("登录响应结果:",dlujieg) else: jieg = response.body.decode("utf-8") #登录后可以查看一下登录响应信息 print("登录响应结果:",jieg) print("第三次请求携带授权Cookie,请求需要登录才能查看的页面.........!") yield Request("https://www.douban.com/people/81309370/",meta={"cookiejar":True},headers=self.header,callback=self.next2) def next2(self,response): # 请求Cookie Cookie3 = response.request.headers.getlist("Cookie") print("查看需要登录才可以访问的页面携带Cookies:",Cookie3) leir = response.xpath("/html/head/title/text()").extract() #得到个人中心页面 print("最终内容",leir) # leir2 = response.xpath("//div[@class="set-tags"]/a/text()").extract() # 得到个人中心页面 # print(leir2)
【转载自:http://www.lqkweb.com】
文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。
转载请注明本文地址:https://www.ucloud.cn/yun/45067.html
摘要:概述在前面两篇爬虫学习之基于的网络爬虫和爬虫学习之简单的网络爬虫文章中我们通过两个实际的案例,采用不同的方式进行了内容提取。 概述 在前面两篇(爬虫学习之基于Scrapy的网络爬虫和爬虫学习之简单的网络爬虫)文章中我们通过两个实际的案例,采用不同的方式进行了内容提取。我们对网络爬虫有了一个比较初级的认识,只要发起请求获取响应的网页内容,然后对内容进行格式化存储。很多时候我们抓取到的内容...
摘要:以下这些项目,你拿来学习学习练练手。当你每个步骤都能做到很优秀的时候,你应该考虑如何组合这四个步骤,使你的爬虫达到效率最高,也就是所谓的爬虫策略问题,爬虫策略学习不是一朝一夕的事情,建议多看看一些比较优秀的爬虫的设计方案,比如说。 (一)如何学习Python 学习Python大致可以分为以下几个阶段: 1.刚上手的时候肯定是先过一遍Python最基本的知识,比如说:变量、数据结构、语法...
摘要:楚江数据是专业的互联网数据技术服务,现整理出零基础如何学爬虫技术以供学习,。本文来源知乎作者路人甲链接楚江数据提供网站数据采集和爬虫软件定制开发服务,服务范围涵盖社交网络电子商务分类信息学术研究等。 楚江数据是专业的互联网数据技术服务,现整理出零基础如何学爬虫技术以供学习,http://www.chujiangdata.com。 第一:Python爬虫学习系列教程(来源于某博主:htt...
摘要:时间永远都过得那么快,一晃从年注册,到现在已经过去了年那些被我藏在收藏夹吃灰的文章,已经太多了,是时候把他们整理一下了。那是因为收藏夹太乱,橡皮擦给设置私密了,不收拾不好看呀。 ...
阅读 797·2023-04-25 22:57
阅读 3051·2021-11-23 10:03
阅读 613·2021-11-22 15:24
阅读 3156·2021-11-02 14:47
阅读 2901·2021-09-10 11:23
阅读 3115·2021-09-06 15:00
阅读 3936·2019-08-30 15:56
阅读 3322·2019-08-30 15:52