摘要:也浏览过家具城的官网,本着在一定的预算范围之类挑选最合适的,作为一个程序猿,一颗不安分的心,决定自己爬虫下网站,列出个表格,也方便给父母辈们查看,顺带再练习下爬虫的。根据行列坐标将数据写入单元格。设置列宽,指定开始列位置,指定结束列位置。
原文链接:https://mp.weixin.qq.com/s/tQ...
家中想置办些家具,听朋友介绍说苏州蠡(li第二声)口的家具比较出名,因为工作在苏州,也去那边看过,简直...,走断双腿都逛不完,更何况还疲于逛街的。
也浏览过家具城的官网,本着在一定的预算范围之类挑选最合适的,作为一个程序猿,一颗不安分的心,决定自己爬虫下网站,列出个excel表格,也方便给父母辈们查看,顺带再练习下爬虫的。
同样后期实地再去购买时,也可以带上这份表格进行参考。
关于爬虫的文章还有另外两篇实战的:
python itchat 爬取微信好友信息
python爬虫学习:爬虫QQ说说并生成词云图,回忆满满
excel表格:
词频统计:
爬虫分析打开官网 http://www.likoujiaju.com/ ,可以看到分类,这里以「沙发」来举例。
总共8页的数据,第一页的网址里 sell/list-66.html,第二页的sell/list-66-2.html,所以sell/list-66-1.html也就是第一页数据了,这样就更方便遍历网址来获取数据了。
同时这里使用BeautifulSoup解析数据,F12查找标题、价格、图片对应的标签。
def get_data(): # 定义一个列表存储数据 furniture = [] # 用于存放家具名,后续用于生成词频 title_all = "" # 分页数据获取 for num in range(1, 9): url = "http://www.likoujiaju.com/sell/list-66-%d.html" % num response = requests.get(url) content = BeautifulSoup(response.content, "lxml") # 找到数据所在的div块 sm_offer = content.find("div", class_="sm-offer") lis = sm_offer.ul.find_all("li") # 遍历每一条数据 for li in lis: # 价格 price_span = li.find("span", class_="sm-offer-priceNum") price = price_span.get_text() # 名称 title_div = li.find("div", class_="sm-offer-title") title = title_div.a.get_text() title_all = title_all + title + " " # 图片 photo_div = li.find("div", class_="sm-offer-photo") photo = photo_div.a.img.get("src") # 详情链接 href = photo_div.a.get("href") # 数组里每一项是元祖 furniture.append((price, title, photo, href)) # 排序 furniture.sort(key=take_price, reverse=True) # 生成excel create_excel(furniture, title_all)
爬取到的价格是string类型的,且有些价格并不明确的,所以这里需要对价格进行处理并排序,用到的list的sort(key=take_price)方法,其中key=take_price指定的方法,使用指定的方法去进行比较排序。
# 传参是列表的每一个元素,这里即元祖 def take_price(enum): # 取元祖的第一个参数--价格,处理价格得到数值类型进行比较 price = enum[0] if "面议" in price: # 面议的话就设为0 return 0 start = price.index("¥") end = price.index("/") new_price = price[start + 1:end] return float(new_price)
再对列表进行排序操作,reverse=True降序排列
furniture.sort(key=take_price, reverse=True)生成表格
这里采用的xlsxwriter库,便于图片的插入,安装pip install xlsxwriter
主要用到的方法:
xlsxwriter.Workbook("")创建excel表格。
add_worksheet("")创建工作表。
write(row, col, *args) 根据行、列坐标将数据写入单元格。
set_row(row, height) 设置行高。
set_column(first_col, last_col, width) 设置列宽,first_col 指定开始列位置,last_col 指定结束列位置。
insert_image(row, col, image[, options]) 用于插入图片到指定的单元格
创建两个表,一个用于存放爬取的数据,一个用于存放词频。
# 创建excel def create_excel(furniture, title_all): # 创建excel表格 file = xlsxwriter.Workbook("furniture.xlsx") # 创建工作表1 sheet1 = file.add_worksheet("sheet1") # 定义表头 headers = ["价格", "标题", "图片", "详情链接"] # 写表头 for i, header in enumerate(headers): # 第一行为表头 sheet1.write(0, i, header) # 设置列宽 sheet1.set_column(0, 0, 24) sheet1.set_column(1, 1, 54) sheet1.set_column(2, 2, 34) sheet1.set_column(3, 3, 40) for row in range(len(furniture)): # 行 # 设置行高 sheet1.set_row(row + 1, 180) for col in range(len(headers)): # 列 # col=2是当前列为图片,通过url去读取图片展示 if col == 2: url = furniture[row][col] image_data = BytesIO(urlopen(url).read()) sheet1.insert_image(row + 1, 2, url, {"image_data": image_data}) else: sheet1.write(row + 1, col, furniture[row][col]) # 创建工作表2,用于存放词频 sheet2 = file.add_worksheet("sheet2") # 生成词频 word_count(title_all, sheet2) # 关闭表格 file.close()
目录下会生成 furniture.xlsx 表格
生成词频利用jieba分词对家具名进行分词处理,用字典保存各个名词的数量,写入到excel。
# 生成词频 def word_count(title_all, sheet): word_dict = {} # 结巴分词 word = jieba.cut(title_all) word_str = ",".join(word) # 处理掉特殊的字符 new_word = re.sub("[ 【】-]", "", word_str) # 对字符串进行分割出列表 word_list = new_word.split(",") for item in word_list: if item not in word_dict: word_dict[item] = 1 else: word_dict[item] += 1 # 对字典进行排序,按照数目排序 val = sorted(word_dict.items(), key=lambda x: x[1], reverse=True) # 写入excel for row in range(len(val)): for col in range(0, 2): sheet.write(row, col, val[row][col])
词频统计,实地去购买的时候,也可以根据相应的词汇去咨询卖家~
这篇文章用到的爬虫方面的知识还是比较基础的,excel表格的生成也是xlsxwriter库的使用,制作成表格也方便父母辈查看。当然,爬虫的数据还可以用在许多地方。
详细代码见
github地址:https://github.com/taixiang/furniture
欢迎关注我的博客:https://blog.manjiexiang.cn/
更多精彩欢迎关注微信号:春风十里不如认识你
有个「佛系码农圈」,欢迎大家加入畅聊,开心就好!
过期了,可加我微信 tx467220125 拉你入群。
文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。
转载请注明本文地址:https://www.ucloud.cn/yun/41996.html
摘要:在谈中框架和框架的区别之前,我们需要先探讨如下几个问题。通过大数据统计分析全球著名的网站对和这两个框架的调查分析。从全球著名的代码托管平台上的和数量上分别为,分别为。 在谈Python中Django框架和Flask框架的区别之前,我们需要先探讨如下几个问题。 一、为什么要使用框架? showImg(https://segmentfault.com/img/remote/14600000...
摘要:你一定不想错过这个全球较大的公开数据集。令人兴奋的是,斯坦福普林斯顿等的研究人员联手给大量的空间打了些标签,并将标记数据以数据集的形式公开出来。这是目前世界上较大的公开数据集,其中的标注意义重大。 你一定不想错过这个全球较大的公开3D数据集。本文作者为Matt Bell,是3D扫描解决方案提供商Matterport的联合创始人、首席战略官。在本文中,Bell亲述Matterport公开的这个...
摘要:本文将模拟一个欧派,让大家足不出户在家里就能更加直观立体的挑选家具。创建广告牌宽度高度深度宽度上的节数高度上的节数深度上的节数中心点家具展销欧派这里给我们给整个场景用抽象物体围起来了,以免第一人称控件开启时会造成无碰撞体系坠落出场景。 本文将模拟一个欧派,让大家足不出户在家里就能更加直观立体的挑选家具。 第一步,利用CampusBuilder搭建模拟场景。CampusBuilder的模...
摘要:当前,很多学者和研究机构都尝试基于深度学习进行服装检索技术的探究与创新。下文将回顾三篇基于深度学习来解决跨域服装检索问题的文章。总的来说,以上深度学习方法的探索与创新都将为商品检索技术趋 摘要商品检索是一门综合了物体检测、 图像分类以及特征学习的技术。 近期, 很多研究者成功地将深度学习方法应用到这个领域。 本文对这些方法进行了总结, 然后概括地提出了商品特征学习框架以及垂类数据挖掘方式, ...
摘要:操作数据库要对数据库进行操作,需要先连接它。执行后返回值为受影响的行数。执行单条语句但是重复执行参数列表里的参数返回值为受影响的行数例如,要在数据表中插入一条记录,使得,这样做没有报错,并且返回一个结果,说明有一行记录操作成功。 在上一讲中已经连接了数据库。就数据库而言,连接之后就要对其操作。但是,目前那个名字叫做qiwsirtest的数据仅仅是空架子,没有什么可操作的,要操作它,就必...
阅读 1184·2023-04-25 15:53
阅读 2068·2021-11-19 09:40
阅读 3410·2021-10-11 10:59
阅读 2037·2019-08-30 15:55
阅读 1921·2019-08-30 15:54
阅读 2235·2019-08-29 13:03
阅读 2709·2019-08-28 18:17
阅读 1461·2019-08-27 10:51