APP爬虫 抓包配置 案例分析(抖音)

　　(一) 需要通过抓包来分析数据来源, 找到api接口推荐三个抓包工具 1、Fiddle 2、Charles 3、mitmweb我这里使用的是Fiddle 说明下一配置 1 工具-选项 2 HTTPS-勾选-和点击操作并完成 3 连接 4 保存 – 退出- 重启 接下来手机配置 1首先手机连接wifi, 并且需要在一个局域网段. 2 对...

　　短视频数据抓取实战系列（三）Fiddler抓取

　　短视频数据爬取实战系列（三）Fiddler爬取

　　程序说明：抓取斗鱼直播平台的直播房间号及其观众人数，最后统计出某一时刻的总直播人数和总观众人数。过程

　　：进入平台首页，来到页面底部点击下一页，发现url地址没有发生变化，这样的线发送请求将获取不到完整数据，这时我们可以使用selenium和PhantomJS来模拟浏览器点击下一页，这样就可以获取完整响应数据了。首先检查下一页元素，如下：下一页使用selenium和Phanto...

　　的HTTP协议请求数据 首先保证手机和Fiddler主机为同一网络 Fiddler开启远程设备连接

　　，demo做出来之后一直没整理，最近时间充裕后，在这里做个笔记。提示：大体思路 通过fiddle +

　　，使用python进行数据整理安装需要的工具：python3 下载fiddle 安装及

　　看到后面绝大部分的请求都用到了install_id，odin_tt、ttreq、X-Gorgon、X-SS-STUB这些字段，今天简单

　　register主要为了获取install_id，ttreq字段 abtest主要为了获取odin_tt字段 user接口主要是验证下结果 3、

　　的包了，给大家一个解决方案 - 看雪论坛 自己实现的方法大同小异，用ida找到对应的位置修改返回值绕过SSL验证即可 关键文件：libsscronet.so，关键函数名“SSL_CTX_set_custom_verify” 修改之后覆盖/data/

　　/libsscronet.so文件 给予libsscronet.so文件对应的权限，运行以下代码即可

　　发现获取二维码 请求为 GET 返回数据类型【json格式】为 {“data”:{“

　　”,“expire_time”:1610528001,“qrcode”:“iVBORw0KGgoAAAANSUhEUgAAAgAAAAIAAQMA

　　第一步：XG算法实现 此算法的实现稍微复杂，不在此篇做讲解，有了xg算法才能进入直播间、进行互动等。 第二步：查找进入API 通过

　　即可看到。 上代码 import requests sid_guard = xxx room_id = 6836.........

　　工具的证书，基本都可以抓到https的数据包。（安卓版本控制在6.0想下兼容，高于6.0就无法抓到https的包，因为google在Android N

　　或者系统自定义添加的证书） 当你把这些需要的环境都准备好以后，发现新版某音apk用了SSLPinning， 又当你写完frida脚本，以及x

　　一直提示网络错误。但是浏览器什么的都是可以上网跟抓到包的，证明肯定不是Fiddler的错，折腾了半天，确认是安卓

　　出现的https证书不被信任的问题。 解决起来也简单，在安卓里安装Xposed跟JustTrustMe模块就可以了。 Xposed到处都有，就不多说了， 安装完Xposed再安...

　　的一些限制，不过技术较菜，被劝退了 = = 以下内容可能有些难以阅读，请仔细阅读，以解决你的问题。 一、Fiddler

　　https、安卓端 这里不做多的叙述，别人的博文写得挺好的，可参考：二、Fiddler

　　1、手机设置fiddler代理：ip 本地ip；端口：fiddler默认端口8888 2、设置好代理之后，用手机发现其它应用都没有问题，但是

　　：（包括火山小视频）都是https协议，需要安装证书。 证书下载方式：用手机自带的浏览器访问，进入fiddler页面，然后下载证书安装即可。 然后再在手机上打开

　　参考：点赞 GET /aweme/v1/commit/item/digg/? aweme_id=4381 &type=1 &channel_id=3 &os_api=22 &device_type=SM-G955F &device_platf...

　　工具的证书，基本都可以抓到https的数据包。（安卓版本控制在6.0想下兼容，高于6.0就无法抓到https的包，因为google在Android N

　　或者系统自定义添加的证书）。 当你把这些需要的环境都准备好以后，发现新版某音apk用了SSLPinning， 又当你写完frida脚

　　近期闲暇时间比较多,人一闲着就容易懈怠,所以打算给自己充充电,学习的最好方式就是定个目标,然后实现它,一直很好奇字节大厂的

　　架构以及布局,当然还有最重要的协议了,于是花了一个多月的时间好好研究了下,定的目标是,先通过逆向手段,进行apk脱壳,

　　小朋友NN:为什么我在java中只要用到xpath自带的函数就会报错，不能解析，您知道这是为什么吗

作者：admin

抖音运营 站点 QQ交谈