疫情区间没什么事情做,抓了一些抖音的数据 - V2EX
请不要在回答技术问题时复制粘贴 AI 生成的内容
dhlwing

疫情区间没什么事情做,抓了一些抖音的数据

  •  4
     
  •   dhlwing Feb 24, 2020 14154 views
    This topic created in 2273 days ago, the information mentioned may be changed or developed.

    有兴趣的可以访问这里:https://dds.lookeridea.com/admin/douyin/authors

    2 月 16 号到现在抓了 50 多万的作者信息,接下来准备做一些热点的视频分析,比如作者的归类,视频热度监控等。 不知道还有什么可玩性。

    另外请教下各位这种类型的数据分析如果做商用的话有什么法律风险吗?我看到一些其他网站比如飞瓜也在做类似的业务。不知道他们怎么规避相关的风险

    Supplement 1    Feb 24, 2020
    暂时不对外开放,有兴趣访问的可以单独私信我
    Supplement 2    Feb 26, 2020
    感谢各位老铁的良言相劝
    v2 上的高人很多,有人上去后不断的测试数据,之前的分页没有设置最大数值,有人一次分页使用几百条到几万页,数据库差点崩掉,感谢你们的测试。

    另外说吃牢饭的朋友们,尤其感谢你们,我主贴就是在问风险问题,感谢你们的不吝赐教,但是我还是想多说一句,在中国乃至全球,商业行为都没有什么高尚与不高尚的道德可言,你们大概忘记了你们日常使用的百度或者 google 的数据是从哪里来的。再说今日头条,他的内容一开始是怎么来的,这不用我多说了吧?放眼整个中国互联网发展史,哪些大厂,曾经的 bat,某些时候他们的手段也依然有人不齿的一面。因为这就是商业,这就是商业生存的法则
    95 replies    2020-02-26 17:53:47 +08:00
    3K1yf6UvnVz5w008
        1
    3K1yf6UvnVz5w008  
       Feb 24, 2020
    我想问问这是怎么抓的呢
    dhlwing
        2
    dhlwing  
    OP
       Feb 24, 2020
    @gebishushu 做了一些 app 的逆向
    miao666
        3
    miao666  
       Feb 24, 2020 via Android
    。。。
    herozzm
        4
    herozzm  
       Feb 24, 2020
    layer 玩的 666,用了啥数据库?
    andylsr
        5
    andylsr  
       Feb 24, 2020 via Android
    做 app 逆向已经明确触犯条款了
    taotaodaddy
        6
    taotaodaddy  
       Feb 24, 2020 via Android
    已经踩进了灰色地带?
    Vegetable
        7
    Vegetable  
       Feb 24, 2020
    有意思,网站名字也是抄来的,UI 也是复制的,还不是一家,大哥你这一下子侵犯多少家?
    dhlwing
        8
    dhlwing  
    OP
       Feb 24, 2020
    @Vegetable 有抖大师这个网站吗?不好意思真不知道啊。。。。ui 是开源的 layer 啊
    dhlwing
        9
    dhlwing  
    OP
       Feb 24, 2020
    @Vegetable 搜了下 还真的有。。。不过好像网站并不能打开?
    lscho
        10
    lscho  
       Feb 24, 2020 via iPhone
    真不怕死啊,抓信息已经违法了。
    hackshen
        11
    hackshen  
       Feb 24, 2020
    老哥 很强大
    houlin
        12
    houlin  
       Feb 24, 2020 via Android   4
    数据很好,楼上说的别怕,可以看看新榜的数据监控的盈利模式,你这个数据我看了下,可以监控哪些作者在刷数据,对广告主,品牌商还是很有价值的,他们投广告,或者换量,就怕遇到数据作假的,你这个做成收费的,一次一查询或者包月
    Vegetable
        13
    Vegetable  
       Feb 24, 2020
    @dhlwing #8 你详情页左边那部分不是和飞瓜一毛一样的文案吗,监控下次发文这种都没改一下
    dhlwing
        14
    dhlwing  
    OP
       Feb 24, 2020
    @houlin 谢谢,很有启发

    @Vegetable 顶楼也说了飞瓜,详情是参照了他的
    IMCA1024
        15
    IMCA1024  
       Feb 24, 2020
    这数据我也想学习一下 有点意思
    psirnull
        16
    psirnull  
       Feb 24, 2020   1
    面向监狱开发
    TimPeake
        17
    TimPeake  
       Feb 24, 2020
    6 啊
    kissazi2
        18
    kissazi2  
       Feb 24, 2020
    看了用户名和密码,没有注册的地方,怎么搞?
    ersic
        19
    ersic  
       Feb 24, 2020
    @dhlwing #8 有个抖大大
    dhlwing
        20
    dhlwing  
    OP
       Feb 24, 2020
    @kissazi2 上面的几位大佬说的吓得我战战兢兢,赶紧把网页暂时关了
    asche910
        21
    asche910  
       Feb 24, 2020
    逆向做得好,牢饭吃到老(狗头
    2kCS5c0b0ITXE5k2
        22
    2kCS5c0b0ITXE5k2  
       Feb 24, 2020
    @houlin 官方本身就有假数据... 而且广告主找抖音不就行了
    SjwNo1
        23
    SjwNo1  
       Feb 24, 2020
    自投罗网还行
    EarthChild
        24
    EarthChild  
       Feb 24, 2020
    我想着你这有啥 json 接口呢。找了半天啥也没!啥也不是!!!
    feiniu
        25
    feiniu  
       Feb 24, 2020
    ????需要登录?
    shenjixiang
        26
    shenjixiang  
       Feb 24, 2020
    居然没搜到我的抖音号。。。
    EarthChild
        27
    EarthChild  
       Feb 24, 2020
    @shenjixiang #26 收到了 东北人(酱)在洛杉矶的抖音号。
    dhlwing
        28
    dhlwing  
    OP
       Feb 24, 2020
    @EarthChild 哈哈哈 你想干啥呢
    dhlwing
        29
    dhlwing  
    OP
       Feb 24, 2020
    @shenjixiang 少侠抖音多少,我收录观摩一下
    shenjixiang
        30
    shenjixiang  
       Feb 24, 2020
    @dhlwing 算了,算了,人红是非多。。
    Vegetable
        31
    Vegetable  
       Feb 24, 2020
    https://starsp.toutiao.com/ 官方的给大家看看
    h123123h
        32
    h123123h  
       Feb 24, 2020 via iPhone
    你还好意思发出来。。。。v 站不少字节的吧
    littlewing
        33
    littlewing  
       Feb 24, 2020
    律师函警告
    dhlwing
        34
    dhlwing  
    OP
       Feb 24, 2020
    @Vegetable 官方也不可能面面俱到,总有差异化的地方
    wangyzj
        35
    wangyzj  
       Feb 24, 2020
    我更好奇逆向代码
    c0py7hat
        36
    c0py7hat  
       Feb 24, 2020 via iPhone
    能帮助上热门不……
    netChen
        37
    netChen  
       Feb 24, 2020
    去年已经有一波爬虫公司被请去喝茶了,楼主明确说的是爬的抖音的,抖音背后是谁啊?况且去年的公司都是把爬虫美名成客户定制、潜在客户挖掘、定向客户获取等等,商业化??楼主还是玩玩算了,别想太多。
    rety2008
        38
    rety2008  
       Feb 24, 2020
    LZ 可以给个账号看一下吗?
    pyengwoei
        39
    pyengwoei  
       Feb 24, 2020
    留个联系方式哇
    tanghongkai
        40
    tanghongkai  
       Feb 24, 2020   3
    @rety2008 你猜猜账号密码是啥,拿出你们的社工经验,我一次就进去了
    yunxue
        41
    yunxue  
       Feb 24, 2020
    怎么私信,有联系方式吗
    Elethomdog
        42
    Elethomdog  
       Feb 24, 2020
    留个联系方式,聊一聊
    dhlwing
        43
    dhlwing  
    OP
       Feb 24, 2020
    @rety2008
    @pyengwoei
    @yunxue
    @Elethomdog
    联系微信同 v 站 id
    JerryCha
        44
    JerryCha  
       Feb 24, 2020
    楼主留个联系方式吧,待会头条的 HR 看到了就会邀你去面试了。
    exploreexe
        45
    exploreexe  
       Feb 24, 2020
    想知道 LZ 是怎么逆向的 有啥参考资料吗?之前一直想抓 不知道怎么玩。
    EarthChild
        46
    EarthChild  
       Feb 24, 2020
    @dhlwing #43 我能说我已经猜出来账号密码了吗?你别改就行。我加你微信聊一下。
    dhlwing
        47
    dhlwing  
    OP
       Feb 24, 2020
    @EarthChild 还真有人进去之后改了。。。
    hantsy
        48
    hantsy  
       Feb 24, 2020
    @netChen 这几年的确很多人靠这些数据赚大钱了。
    但是太危险,现在条子对计算机也不懂,爬数据在去年被抓的,判刑太多了。
    maitiantuzi
        49
    maitiantuzi  
       Feb 24, 2020
    这就是闲的
    hantsy
        50
    hantsy  
       Feb 24, 2020
    @dhlwing 想做这些数据应用,找个比他还大的靠山吧。
    yueshang1
        51
    yueshang1  
       Feb 24, 2020
    律师函警告
    linvaux
        52
    linvaux  
       Feb 24, 2020
    楼主吃牢饭前合影留念
    bolianlai
        53
    bolianlai  
       Feb 24, 2020 via iPhone
    我对代码逆向部分有点兴趣看看
    bengol
        54
    bengol  
       Feb 24, 2020 via Android
    祝你好运
    weiziyan
        55
    weiziyan  
       Feb 24, 2020 via Android   1
    认真的吗 双 admin ??
    dym
        56
    dym  
       Feb 25, 2020
    @tanghongkai 听你这么一说,我也一次性进去了!
    tanghongkai
        57
    tanghongkai  
       Feb 25, 2020 via iPhone
    @dym @weiziyan 我今天早上手贱随便改了个密码,想不到作者又给改回去了,属实
    laoyuan
        58
    laoyuan  
       Feb 25, 2020
    这个领域的法律和司法还不成熟,基本上只要你拿来赚钱了,就可以把你送进去。
    LinStar
        59
    LinStar  
       Feb 25, 2020
    果断盲猜居然进去了....
    devtk
        60
    devtk  
       Feb 25, 2020
    对母猪,我是警察
    benzzz
        61
    benzzz  
       Feb 25, 2020
    @tanghongkai #40 切回帖子看楼主有没有发个测试账号,看到你这条就懂了
    1rror
        62
    1rror  
       Feb 25, 2020
    0.0 弱密码进去了
    Nicoco
        63
    Nicoco  
       Feb 25, 2020
    老哥走好,app 逆向有点危险,保重!
    darknoll
        64
    darknoll  
       Feb 25, 2020
    楼主能不能教教我?
    CoderGeek
        65
    CoderGeek  
       Feb 25, 2020
    自己偷摸着玩还凑合 人家主要做内容 你爬了还明目张胆的散出来玩 也是厉害 v2 上不少头条的人 LZ 注意
    RouJiANG14
        66
    RouJiANG14  
       Feb 25, 2020
    @tanghongkai 看到这条,突然明白!
    samfan
        67
    samfan  
       Feb 25, 2020
    www 主站淘小铺 也 copy 过来的~ lz 强大
    goldenalex
        68
    goldenalex  
       Feb 25, 2020
    建议下线,自己弄弄可以,别公开出来啊。。。

    这是面向监狱的编程设计。。。
    evernight
        69
    evernight  
       Feb 25, 2020
    楼主,我们大厂招人,有意的话私聊
    gabezhao
        70
    gabezhao  
       Feb 25, 2020
    恭喜楼主获得限量版金手镯一副
    netChen
        71
    netChen  
       Feb 25, 2020
    @hantsy 说的太对了,看来老哥也是经常关注圈内信息啊,如果粗略算下来,去年被请喝茶的不低于十家公司。我认识的一个哥们去年在其中的杭州一家公司做前端,出事儿的那天早上赶巧迟到了,被其他关系好的同事透漏了消息,为了保险直接买火车票回老家了,但是他也是技术部的啊,结果刚两天就被他老家的派出所的同志给“引渡”杭州了,管吃管住了一个月,最后补齐了饭费和伙食费才被放出来了,2019 互联网寒冬,不是没有道理的。现在大家都知道有些信息能值大钱,但是还都不知道怎么合理用它,边界在哪儿
    huayumo
        72
    huayumo  
       Feb 25, 2020
    小心进去
    CosimoZi
        73
    CosimoZi  
       Feb 25, 2020 via Android
    赶紧收手,逆向 app 已经违法,用户信息更加碰不得,危险至极。
    reus
        74
    reus  
       Feb 25, 2020
    缺乏法律常识。
    你还敢给联系方式?
    aibay
        75
    aibay  
       Feb 25, 2020
    想问下,比如 Youtube 相关数据网站 Socialblade 这种已经精细到每个 Youtuber 的估算收益了,他们的数据是怎么来的?国内似乎刚兴起社交网络的时候还有类似的数据网站,可是后来就没人敢做了,现在已经是敏感地带了。
    deplives
        76
    deplives  
       Feb 25, 2020
    逆向完还收集用户数据,然而竟然还有层主建议出了盈利模式,你怕是在赌人家没有法务团队
    jon
        77
    jon  
       Feb 25, 2020
    好奇逆向代码
    Msxx
        78
    Msxx  
       Feb 25, 2020
    这些东西不都只能悄悄干吗?现在咱们村进步这么快的吗?!
    EminemW
        79
    EminemW  
       Feb 25, 2020
    密码又改了?
    fifa666
        80
    fifa666  
       Feb 25, 2020
    楼主还好吗?
    yitl666
        81
    yitl666  
       Feb 25, 2020
    兄弟你的胆子挺肥啊,还敢发到论坛,真当头条的人不上 v 站啊
    ihciah
        82
    ihciah  
       Feb 25, 2020
    入职头条的第一周,就被拉去听了“数据安全刑事风险培训”,主要就是讲爬虫风险。。
    未授权+逆向+绕过反爬+商业盈利,基本稳的。
    bytelee
        83
    bytelee  
       Feb 25, 2020
    面向监狱编程
    hikarumx
        84
    hikarumx  
       Feb 25, 2020
    估计要出事。、
    polymerdg
        85
    polymerdg  
       Feb 25, 2020
    抓包?
    lI7RfFpJ007NWnY1
        86
    lI7RfFpJ007NWnY1  
       Feb 25, 2020
    没有回复,估计进去了。lz 保重(狗头
    locoz
        87
    locoz  
       Feb 25, 2020
    商用了看人家心情,但是逆向了从接口爬的基本上被搞就必死
    2828kakafa
        88
    2828kakafa  
       Feb 25, 2020 via iPhone
    爬虫写的好,牢饭吃饭饱
    shmilypeter
        89
    shmilypeter  
       Feb 26, 2020
    @ihciah 我所知的是,如果你搜集了客户生产环境上的个人信息(包括姓名,联系方式,身份证号),一告一个准都是稳稳的,目前涉及到个人数据的,都是十分的敏感
    ihciah
        90
    ihciah  
       Feb 26, 2020 via iPhone
    @shmilypeter 嗯,我是说定罪稳的
    dhlwing
        91
    dhlwing  
    OP
       Feb 26, 2020
    感谢各位老铁的良言相劝
    v2 上的高人很多,有人上去后不断的测试数据,之前的分页没有设置最大数值,有人一次分页使用几百条到几万页,数据库差点崩掉,感谢你们的测试。

    另外说吃牢饭的朋友们,尤其感谢你们,我主贴就是在问风险问题,感谢你们的不吝赐教,但是我还是想多说一句,在中国乃至全球,商业行为都没有什么高尚与不高尚的道德可言,你们大概忘记了你们日常使用的百度或者 google 的数据是从哪里来的。再说今日头条,他的内容一开始是怎么来的,这不用我多说了吧?放眼整个中国互联网发展史,哪些大厂,曾经的 bat,某些时候他们的手段也依然有人不齿的一面。因为这就是商业,这就是商业生存的法则
    liuqiangxi
        92
    liuqiangxi  
       Feb 26, 2020
    据我所知抓取用户下的视频是不用逆向的,抖音网页版就能抓取
    xiaoxiao001
        93
    xiaoxiao001  
       Feb 26, 2020
    留下联系方式可以聊下,我有资源,缺少技术
    kakeiri
        94
    kakeiri  
       Feb 26, 2020
    只要不是恶意攻击,拿来的数据不非法利用,都很正常,说人家非法的,只是你们想的太恶劣了,如果恶意攻击,楼主也不会发这些东西
    dhlwing
        95
    dhlwing  
    OP
       Feb 26, 2020
    @xiaoxiao001 联系方式上面有说到
    About     Help     Advertise     Blog     API     FAQ     Solana     2770 Online   Highest 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 234ms UTC 01:47 PVG 09:47 LAX 18:47 JFK 21:47
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86