爬虫敏感图片的识别与过滤，了解一下？

linkin 发布于2019-07-31 11:17 / 1448人阅读

摘要：爬虫敏感图片的识别与过滤，了解一下需求我们需要识别出敏感作者的头像把皮卡丘换成优雅的。对比哈希不同图片对比的方法，就是对比它们的位哈希中，有多少位不一样汉明距离。

爬虫敏感图片的识别与过滤，了解一下？ 需求

我们需要识别出敏感作者的avatar头像,把”皮卡丘“换成”优雅的python“。

敏感图片样本属性:

爬虫获取的图片属性：

替换成：

原理

检查两个图片的相似度，一个简单而快速的算法：感知哈希算法(Perceptual Hash)，通过某种提取特征的方式为每个图片计算一个指纹（哈希），这样对比两个图片相似与否就变成了对比两个指纹异同的问题。

实现

Step1.缩小尺寸

将图片缩小到8*8的大小，这样做可以去除图片的细节，只保留结构和明暗等基本信息，同时摒弃不同尺寸和比例带来的图片差异。

Step2.灰度处理

把缩小后的图片转化为64级灰度图（每个像素只有64种颜色）。

Step3.计算平均值

计算所有64个像素的灰度平均值。

Step4.计算哈希

这里哈希的计算方法是：上面说的64个像素的灰度与平均值进行比较，大于或等于平均值记为1，小于记为0。

将每个像素的比较结果组合在一起成为一个64位的二进制整数，这个整数就是此图片的指纹。

Step5.对比哈希

不同图片对比的方法，就是对比它们的64位哈希中，有多少位不一样（汉明距离）。一般来说如果不同的位数不超过5，就说明两张图片很相似，如果大于10，就很可能是两张不同的图片。

代码(python3)

先来安装pillow、requests:

pip3 install pillow requests

导入包:

from functools import reduce
from PIL import Image
import requests

实现图片相似度算法:

# 计算pHash（只需要三行）:
def phash(img):
    img = img.resize((8, 8), Image.ANTIALIAS).convert("L")
    avg = reduce(lambda x, y: x + y, img.getdata()) / 64.
    return reduce(
        lambda x, y: x | (y[1] << y[0]),
        enumerate(map(lambda i: 0 if i < avg else 1, img.getdata())),
        0
    )

# 计算汉明距离:
def hamming_distance(a, b):
    return bin(a^b).count("1")

# 计算两个图片是否相似:
def is_imgs_similar(img1,img2):
    return True if hamming_distance(phash(img1),phash(img2)) <= 5 else False

结合爬虫:

# 打开本地存放一张敏感图片;
# 本次为了方便演示，从新浪图床拉下一张1024X1024的图片，保存命名为sensitive.jpg
sensitive_url="https://ws4.sinaimg.cn/large/006tNbRwgy1fwttj7bi36j30sg0sgwm0.jpg"
headers = {
        "User-Agent": "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/532.5 (KHTML, like Gecko) Chrome/4.0.249.0 Safari/532.5"}
pic = requests.get(sensitive_url, headers=headers, timeout=300)
if pic.status_code == 200:
    with open("sensitive.jpg", "wb") as f:
        f.write(pic.content)
sensitive_pic = Image.open("sensitive.jpg")

# 爬虫获取的图片
target_url="https://ws3.sinaimg.cn/large/006tNbRwgy1fwttsauo6jj30h80han0y.jpg"
pic = requests.get(target_url, headers=headers, timeout=300)
if pic.status_code == 200:
    with open("target.jpg", "wb") as f:
        f.write(pic.content)
target_pic = Image.open("target.jpg")

# 判断爬虫获取的图片和敏感图片是否相似
if is_imgs_similar(target_pic, sensitive_pic):
    print("2张图片相似,替换敏感图片为”优雅的python“:{}".format("https://ws2.sinaimg.cn/large/006tNbRwgy1fw9yjmot3uj30y60y6q40.jpg"))
else:
    print("不相似")

运行结果：

github源码

https://gist.github.com/luzih...

参考文章

相似图片检测？三行代码就够了 - 掘金

此 Python2 脚本怎么修改为 Python3 运行 - V2EX

GPU云服务器云服务器敏感词过滤 asp 敏感词过滤敏感数据识别敏感人脸识别服务

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/44923.html

Spring Boot项目实践之问答社区

摘要：异步事件处理本项目涉及到多种异步事件的处理。即是的粉丝，是的关注对象。模式定义优缺点推事件触发后广播给所有粉丝。具体来说，推模式就是事件触发后产生，触发事件的用户下所有粉丝的实现中都存入该的。项目源代码已托管在 Github，欢迎 Star、Fork。 Q & A 问答社区 QA 是一个基于 B/S 架构而设计开发的社区网站。 showImg(https://segmentfault...

binaryTree 2019-08-16 12:31 评论0 收藏0
首次公开，整理12年积累的博客收藏夹，零距离展示《收藏夹吃灰》系列博客

摘要：时间永远都过得那么快，一晃从年注册，到现在已经过去了年那些被我藏在收藏夹吃灰的文章，已经太多了，是时候把他们整理一下了。那是因为收藏夹太乱，橡皮擦给设置私密了，不收拾不好看呀。 ...

Harriet666 2021-09-10 10:51 评论0 收藏0
大话爬虫的实践技巧

摘要：图意淫爬虫与反爬虫间的对决数据的重要性如今已然是大数据时代，数据正在驱动着业务开发，驱动着运营手段，有了数据的支撑可以对用户进行用户画像，个性化定制，数据可以指明方案设计和决策优化方向，所以互联网产品的开发都是离不开对数据的收集和分析，数 showImg(https://segmentfault.com/img/remote/1460000013428119?w=539&h=337)...

沈俭 2019-07-31 11:03 评论0 收藏0
七牛云赵之健：多维度融合赋能视频 AI 的实践

摘要：月日下午，赵之健在七牛架构师实践日第二十九期进行了多维度融合赋能视频的实践为题的实战分享。本文主要分享了七牛人工智能实验室在视频方面的一些工作，分别有两个关键词一个是多维度融合，另外一个关键词是视频。 6 月 30 日下午，赵之健在七牛架构师实践日第二十九期进行了《多维度融合赋能视频 AI 的实践》为题的实战分享。  作者简介： showImg(https://segmentfault...

Taonce 2019-06-26 18:29 评论0 收藏0