想用 python 采集自己朋友圈的图片,不知道有没有什么思路可以实现呢? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
kxboy
V2EX    Python

想用 python 采集自己朋友圈的图片,不知道有没有什么思路可以实现呢?

  •  
  •   kxboy 2016-10-21 19:34:53 +08:00 via iPhone 13704 次点击
    这是一个创建于 3276 天前的主题,其中的信息可能已经有所发展或是发生改变。
    我有个微信号,加了很多有上百个微商,每天朋友圈会有很多产品图片刷屏,偶尔会让人有眼前一亮的产品,但是实在没功夫天天盯着朋友圈刷微商图片,重复率极高,看多了真的会吐。想着能不能用 python 写个爬虫,把图片采集下来,然后图片去重,然后这些图片也可以算是一笔资源。对 python 的掌握程度,基本上能实现网页的爬虫功能,但是不了解朋友圈怎么爬取。
    29 条回复    2019-04-02 17:57:15 +08:00
    cheetah
        1
    cheetah  
       2016-10-21 19:38:33 +08:00   1
    模拟登录
    kxboy
        2
    kxboy  
    OP
       2016-10-21 19:41:36 +08:00 via iPhone
    @cheetah 网页微信不是需要扫码登录么?同样可以模拟登陆么?我只知道可以模拟表单登陆。
    karenn
        3
    karenn  
       2016-10-21 19:41:50 +08:00   1
    抓包,分析接口,然后模拟请求
    asd103
        4
    asd103  
       2016-10-21 20:52:34 +08:00   2
    本帖的回复都是屁话,包括本回复
    kwanhur
        5
    kwanhur  
       2016-10-21 23:29:40 +08:00
    0 、用 replica 截取 APP 对外的请求
    1 、导出 session log
    2 、根据 log 的请求类型&&URL 爬取图片
    em70
        6
    em70  
       2016-10-22 00:15:43 +08:00   1
    你的朋友圈不是一个公开数据,不能直接爬取,必须模拟登陆.

    有个其他的思路,用电脑做一个 wifi 热点,手机连上查看朋友圈,然后在电脑上抓包手机的请求日志,从中把图片地址都分析出来.
    lhx2008
        7
    lhx2008  
       2016-10-22 00:26:44 +08:00   1
    模拟登陆不现实,微信没有给接口,网页版又没有朋友圈。在网络传输时截取数据是比较好的方法,但是全自动又有点难
    scnace
        8
    scnace  
       2016-10-22 00:51:20 +08:00 via Android
    话说 我也想做个 feature 把自己朋友圈的内容导出 但是嫌太麻烦 已经搁置挺久的了
    Asimov
        9
    Asimov  
       2016-10-22 02:49:30 +08:00 via Android
    试试手机上的按键精灵
    congeec
        10
    congeec  
       2016-10-22 03:09:33 +08:00
    不知道传输的时候有没有加密。加密的话,逆向 app , hook 获取朋友圈内容的函数
    orange88
        11
    orange88  
       2016-10-22 08:14:04 +08:00 via Android
    itchat 应该行
    kindjeff
        12
    kindjeff  
       2016-10-22 08:24:08 +08:00 via iPhone
    我建议用按键精灵点安卓模拟器
    NxnXgpuPSfsIT
        13
    NxnXgpuPSfsIT  
       2016-10-22 09:00:22 +08:00 via Android
    @orange88 非常感谢你的支持!但 itchat 实际不包含朋友圈的 api ,关于朋友圈的抓取还是建议阅读其他的回复。
    1130335361
        14
    1130335361  
       2016-10-22 09:26:48 +08:00   1
    所以我一直在想微信书( https://weixinshu.com/)是如何实现的
    ctsed
        15
    ctsed  
       2016-10-22 09:53:40 +08:00 via iPhone
    告诉微商自己喜欢什么 帮你留意一下
    ytmsdy
        16
    ytmsdy  
       2016-10-22 10:10:11 +08:00
    用 fiddler 伪造证书,抓微信客户端的通信数据。手机模拟器里面不停的刷新朋友圈, fiddler 监控数据流,如果是图片就保留下来。
    est
        17
    est  
       2016-10-22 10:17:54 +08:00
    根用什么语言没关系。
    lovesky
        18
    lovesky  
       2016-10-22 11:14:59 +08:00   1
    不用抓包, 用 Xposed 就可以搞定. 已有导出朋友圈的插件, 直接使用就可以.
    xssing
        19
    xssing  
       2016-10-22 16:31:15 +08:00
    抓妹子照片,又想去除微商。怎么搞
    fchypzero
        20
    fchypzero  
       2016-10-22 16:58:21 +08:00   1
    @1130335361 参考使用说明 https://xinshu.me/reading/books/e90846f49151/articles/b4f8a772519aad
    估计用的是魔改的客户端,对接自己的服务器做的一个服务,类似 xposed 的那种。
    kxboy
        21
    kxboy  
    OP
       2016-10-22 22:28:22 +08:00
    @ctsed 多谢建议!这个办法不能批量留存,我不是想买东西,而是想整合朋友圈里的微商资源。目前和这些卖家就是点对点沟通,效率太低,人工沟通成本也太高了。
    kxboy
        22
    kxboy  
    OP
       2016-10-22 22:29:19 +08:00
    @lovesky 求插件名字
    kxboy
        23
    kxboy  
    OP
       2016-10-22 22:35:17 +08:00
    @xssing 话说我是十分建议朋友圈能出一个朋友圈分组折叠,或者关键词屏蔽的内容过滤插件功能,能做到部分内容精准屏蔽与过滤。

    我的朋友圈基本上被业务合作伙伴发的产品宣传图片刷屏,虽然对这种东西十分厌恶,但是又不能完全屏蔽,因为有些信息对工作有帮助,每天十分苦恼。
    zhangneww
        24
    zhangneww  
       2016-10-23 00:26:01 +08:00
    @kxboy Xposed 的“微信防撤回”模块可以屏蔽朋友圈关键字,另外一个可以在酷安搜索“微信朋友圈数据导出”,不过好像只支持导出文本
    mmutuyu
        25
    mmutuyu  
       2016-10-23 02:34:04 +08:00
    @fchypzero 魔改客户端是什么?
    everever
        26
    everever  
       2016-10-23 12:41:35 +08:00
    朋友圈的数据是能够代码抓取的,你去参考同步圈 app http://tongbuquan.com/download
    Senevan
        27
    Senevan  
       2016-10-23 21:41:31 +08:00
    先搞一套 py 圈的 api= =,如果有的话
    kushao1267
        28
    kushao1267  
       2016-10-24 13:01:56 +08:00
    python 有微信接口的啊,看看它的文档,然后就当网页抓取
    diylcy
        29
    diylcy  
       2019-04-02 17:57:15 +08:00
    商用朋友圈采集方案。QQ83474196
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5569 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 35ms UTC 07:48 PVG 15:48 LAX 00:48 JFK 03:48
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86