互联网大厂里面都有爬虫团队吗,主要负责爬什么样的数据啊 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
snappyone
V2EX    程序员

互联网大厂里面都有爬虫团队吗,主要负责爬什么样的数据啊

  •  
  •   snappyone 这是一个创建于 2439 天前的主题,其中的信息可能已经有所发展或是发生改变。

    好像这样的团队都很神秘,于是想了解下

    13 条回复    2019-03-02 20:30:10 +08:00
    matsuz
        1
    matsuz  
       2019-03-01 20:52:15 +08:00
    互联网大厂一般不需要爬虫,他们自己的系统里面有数据,不需要从外面爬

    需要爬数据一般有互联网小厂、传统行业公司。

    其中传统行业大厂一般会把数据需求外包出去,传统行业小厂请不起爬虫(就算请得起也不会专门养一个爬虫)。所以真正需要爬虫的多是互联网小厂

    所以说现在爬虫其实没啥前途的。

    (当然,有一个例外是搞搜索引擎爬虫的)
    lincanbin
        2
    lincanbin  
       2019-03-01 20:58:51 +08:00 via Android
    爬虫有法务风险,现在上规模的厂都很少搞这个了
    chengxiao
        3
    chengxiao  
       2019-03-01 21:01:03 +08:00
    @lincanbin 越大的厂 越需要爬虫的
    爬虫可做的事情很多 大厂对于舆情这块儿重视程度比小厂多了去了 是肯定有部门负责这部分的
    andylsr
        4
    andylsr  
       2019-03-01 21:04:01 +08:00 via Android
    天眼查~~算互联网么
    luoleng
        5
    luoleng  
       2019-03-01 21:08:49 +08:00
    一些搞大数据的公司会需要爬虫
    hoythan
        6
    hoythan  
       2019-03-01 21:21:00 +08:00
    @matsuz 你视界太小了,爬虫团队很重要。
    monkey110
        7
    monkey110  
       2019-03-01 21:30:39 +08:00
    还行吧 我们这个厂是生产汽车的厂 有个舆论管控小组 专门爬取互联网上的关于厂区产品的负面言论 明面上是收集故障意见等 其实也就是删删贴 发表些正面的帖子
    xmtudgzy
        8
    xmtudgzy  
       2019-03-01 22:32:05 +08:00
    别说公网,在 PT 站也见到过,还是国内大厂!
    lynskylate
        9
    lynskylate  
       2019-03-01 22:57:07 +08:00 via Android
    美团做 12306 抢票的算爬虫吗,头条部分新闻是官方授权然后去抓取的算吗?不过大厂做爬虫的确实少,而且爬虫也只是一个小部分,所以说爬虫没前途大部分情况都是对的
    lavawong
        10
    lavawong  
       2019-03-02 10:21:03 +08:00 via iPhone
    大厂绝对有只是你不知道而已,据我所知国内大厂都有专门的团队搞这事
    gabon
        11
    gabon  
       2019-03-02 18:32:16 +08:00 via Android
    @matsuz 竞对的数据你不爬等着别人爬你吗
    envylee
        12
    envylee  
       2019-03-02 18:43:53 +08:00
    看完上面的回复我甚至怀疑是不是巴基斯坦或者印度新过来了一些会中文的从业者,,,
    julyclyde
        13
    julyclyde  
       2019-03-02 20:30:10 +08:00
    @matsuz 你眼界太小了
    爬竞争对手是个很重要的事
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5769 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 03:06 PVG 11:06 LAX 19:06 JFK 22:06
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86