Python和JS反爬之解决反爬参数 signKey
实战场景
Python 反爬中有一大类,叫做字体反爬,核心的理论就是通过字体文件或者 CSS 偏移,实现加密逻辑
本次要采集的站点是:54yr55y855S15b2x
(Base64 加密) 站点地址为:https%3A%2F%2Fmaoyan.com%2Ffilms%2F522013(URL 编码)
上述地址打开之后,用开发者工具选中某文字之后,会发现 Elements 中,无法从源码读取到数据,
如下图所示:
类似的所有场景都属于字体编码系列,简单理解就是:
服务器源码,无法直接读取文字。
也可以用请求页面预览选项卡,判断是否为字体加密,当出现如下结论时,可以判断,其中数字信息,显示为方框。
系统分析
本以为直接进入字体加密解密逻辑,本案例就可以解决,但是当打开请求头之后,发现出现了一个请求参数 signKey
,而且还加密了,那解决字体反爬前,先解决这个加密问题吧。
打开控制台,直接检索 signKey
参数,发现只有一个文件所有涉及。
打开 common.js
文件之后,进行格式化,继续检索关键字。
直接将断点打在 688 行附近,然后刷新页面,等待断点请求。
当发现关键字 _0x371d
时,就知道,这里需要一点点扣 JS 代码了,又是一个细致活。
待提取的 JS 代码如下所示:
u = function(x) { var d = x[a(_0x371d("0x14c"))] , e = x[a(_0x371d("0x14d"))] , _ = x[a(_0x371d("0x14e"))] , t = void 0 === _ ? 1 : _ , n = Math[a("0x82")](10 * Math[a(_0x371d("0x14f"))]()) , i = (new Date)[a(_0x371d("0x150"))]() , o = typeof window !== a("0x4") && window[_0x371d("0x151")] , s = o[a(_0x371d("0x152"))] , u = a(_0x371d("0x153")) + d.toUpperCase() + a("0x87") + i + a(_0x371d("0x154")) + s + _0x371d("0x155") + n + a("0x89") + e + a(_0x371d("0x156")) + t , f = a(_0x371d("0x157")); return { timeStamp: i, index: n, signKey: (0, r[a(_0x371d("0x158"))])(u + f), channelId: e, sVersion: t, webdriver: c() }
每次页面刷新的时候,都可以捕获一下相关参数与值。
例如,这里可以直接得到 d = "GET"
,写入到我们的 JS 文件即可。
第一步加密之后,得到各个参数值,其中 u
与 f
比较重要。 通过每次断点,可以依次将代码逐步还原。 下述是一些比较重要的步骤,如果路径不清楚,可以点击下面卡片,直接询问橡皮擦。
获取 f 值
获取 _0x5827 函数内容
下述内容 r 是一个数组,可以通过索引获取其中的字符串
a(_0x371d("0x158")); ("default");
随着代码的深入,发现了最核心 signKey 参数的加密位置,截图如下:
这就是一个大工程了,没有 1 个小时,无法翻译完毕。
我们先将核心的函数扣出来,然后一点点进行替换,核心未翻译代码如下所示:
function() { var d = e(7) 这里面好多代码 , v = u , M = f; s = m(s, c, u, f, i[l + 0], 7, -680876936), f = m(f, s, c, u, i[l + 1], 12, -389564586), u = m(u, f, s, c, i[l + 2], 17, 606105819), c = m(c, u, f, s, i[l + 3], 22, -1044525330), 这里面好多代码 }()
翻译的时候,关注几个重点参数即可。 ** _0x371d **
var _0x371d = function (x, d) { return (x -= 0), _0x5827[x]; };
** _0x5827 **
var _0x5827 = ["parseJSON", "parseXML", "ajaxSettings", "ajaxSetup", "statusCode", "canceled", "success", "dataType", …………;
复制到编辑器中,直接好家伙,超过 7W 字了。
加密变量 a
var a = function (x, d) { return (x -= 0), r[x]; };
加密变量 r
加密参数 d
了解上述几个值的取值方式,解决 signKey 就变得非常简单了。
除此之外,最简单的办法是直接将 common.js
文件搭建在本地,然后用 Python 去调用,直接就可以获取到对应的数据。
JS 代码在 Python 中执行,使用如下 Demo 即可实现:
import execjs # 执行 JS 文件 js = "js 脚本内容" ctx = execjs.compile(js) x = { 'method': 'GET', 'channelId': 40011, 'sVersion': 1, 'type': 'object' } # 传入参数 n = ctx.call('翻译之后的加密函数名', x)
到此这篇关于Python和JS反爬之解决反爬参数 signKey的文章就介绍到这了,更多相关反爬参数 signKey内容请搜索猪先飞以前的文章或继续浏览下面的相关文章希望大家以后多多支持猪先飞!
原文出处:https://juejin.cn/post/7088565793662861326
相关文章
- 这篇文章主要介绍了python-opencv-画外接矩形框的实例代码,代码简单易懂,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-09-04
Python astype(np.float)函数使用方法解析
这篇文章主要介绍了Python astype(np.float)函数使用方法解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下...2020-06-08- 2022虎年新年即将来临,小编为大家带来了一个利用Python编写的虎年烟花特效,堪称全网最绚烂,文中的示例代码简洁易懂,感兴趣的同学可以动手试一试...2022-02-14
- 在本篇文章里小编给大家分享的是一篇关于python中numpy.empty()函数实例讲解内容,对此有兴趣的朋友们可以学习下。...2021-02-06
python-for x in range的用法(注意要点、细节)
这篇文章主要介绍了python-for x in range的用法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-05-10- 这篇文章主要介绍了Python 图片转数组,二进制互转操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-09
- 这篇文章主要介绍了Python中的imread()函数用法说明,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-16
- 这篇文章主要介绍了python如何实现b站直播自动发送弹幕,帮助大家更好的理解和学习使用python,感兴趣的朋友可以了解下...2021-02-20
- 本篇文章主要分享了通过window.navigator来判断浏览器及其版本信息的实例代码。具有一定的参考价值,下面跟着小编一起来看下吧...2017-01-23
- 这篇文章主要介绍了js如何实现浏览器打印功能,文中示例代码非常详细,帮助大家更好的理解和学习,感兴趣的朋友可以了解下...2020-07-15
python Matplotlib基础--如何添加文本和标注
这篇文章主要介绍了python Matplotlib基础--如何添加文本和标注,帮助大家更好的利用Matplotlib绘制图表,感兴趣的朋友可以了解下...2021-01-26- 这篇文章主要介绍了解决python 使用openpyxl读写大文件的坑,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-13
- 今天小编就为大家分享一篇python 计算方位角实例(根据两点的坐标计算),具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-04-27
- 这篇文章主要为大家详细介绍了python实现双色球随机选号,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2020-05-02
- 这篇文章主要给大家介绍了关于Nest.js参数校验和自定义返回数据格式的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2021-03-28
- 在本篇文章里小编给大家整理的是一篇关于python中使用np.delete()的实例方法,对此有兴趣的朋友们可以学习参考下。...2021-02-01
- 这篇文章主要介绍了使用Python的pencolor函数实现渐变色功能,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-03-09
- 这篇文章主要介绍了python自动化办公操作PPT的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2021-02-05
Python getsizeof()和getsize()区分详解
这篇文章主要介绍了Python getsizeof()和getsize()区分详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2020-11-20- 下面小编就为大家带来一篇利用JS实现点击按钮后图片自动切换的简单方法。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧...2016-10-25