手把手写爬虫之第三弹--流量分析嗅探简介

爱意满满的作品展示区。

This topic created in 4094 days ago, the information mentioned may be changed or developed.

===
对于不显式暴露链接的网站，通过流量分析，得到真实地址，最后写成 py 爬虫。

利用了burpsuite工具进行分析，用到了 request 和 json 库。

本来 part3 要介绍多线程和多进程的，以及一开始写的代码的重构（利用 pycharm，刚发现的真是好用）。结果录废了。。。。

http://pan.baidu.com/s/1i3uzjQP
http://pan.baidu.com/s/1hgp9k

===
第一弹地址： http://v2ex.com/t/171302
第二弹地址： http://v2ex.com/t/171974
===
另外，最近压缩参数找的好，每一次都保持相对清晰的条件下，视频大小比之前小一半（时长基本不变）。

爬虫

分析

重构

13 replies 2015-07-14 22:35:00 +08:00

killerv

Feb 25, 2015

感谢楼主的视频，希望楼主能坚持下去～

yangff

Feb 25, 2015 via Android

上次写个爬虫结果一晚上azure的50g流量就没了。。
所以。。如果正在看这句话的你也在写爬虫
记住，不要把爬虫挂在流量限制太小的服务器上，这里的太小至少是几百g起。。。

jason52

Feb 25, 2015

@yangff 你肯定把二进制文件下载下来了吧。。azure肯定太快了~~

greyfreedom

Feb 25, 2015

学习一下，最近刚好要学习爬虫。谢楼主分享

yangff

Feb 25, 2015 via Android

@jason52 没有，我是自己写的爬虫代码。。

RIcter

Feb 25, 2015

黑阔神器 burpsuite _(:з」∠)_

xuhaoyangx

Feb 26, 2015

x264的--crf 23 --preset 9 -r 5 -b 5 --me umh --merange 24 --scenecut 50 -f 1:1 --qcomp 0.5 --psy-rd 0.3:0 --aq-strength 0.8 --no-mbtree --opts 0
压片我常用的高压参数
动态码率crf数值越大，体积越小。一般23-24足了