分享自己做的一个自动检测网站变化的工具 - Web Watchman - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
ArchiTech
V2EX    分享创造

分享自己做的一个自动检测网站变化的工具 - Web Watchman

  •  
  •   ArchiTech 2017-12-21 13:14:05 +08:00 26857 次点击
    这是一个创建于 2929 天前的主题,其中的信息可能已经有所发展或是发生改变。
    开始写这个工具是因为自己会用到,比如看某些番剧有没有更新,小说有没有更新,想买的产品价格有没下降等等等等。每次针对特定的任务专门写一个脚本的话太麻烦了,所以就做了这个比较通用的工具,原理就是简单的截图然后比较有没有变化。

    做之前我先看了看网上已经存在的一些工具,感觉多少都有些限制,比如查询的频率一天只能查一次,没有保存网页变化的历史等等,要么就是 UI 我不喜欢。。。所以,最后还是自己动手了,做完后加上了个注册系统支持多用户,各位如果想用也欢迎来试试~

    webwatchman.com
    55 条回复    2020-10-31 23:15:44 +08:00
    touzi
        1
    touzi  
    PRO
       2017-12-21 13:57:51 +08:00   1
    很是需要, 先来一个美剧试试
    pywilhelm
        2
    pywilhelm  
       2017-12-21 14:05:52 +08:00
    截图之后选取区域后对区域进行监控这个是怎么实现的?只是截图吗?如果网页不定长怎么处理?
    nfroot
        3
    nfroot  
       2017-12-21 14:14:10 +08:00
    bootstrap.css 花了 17 秒才载入完成,能不能套个 CDN 啊,免费的 CF 也比这个快吧……
    SevenJ
        4
    SevenJ  
       2017-12-21 14:17:23 +08:00

    但是 http://webwatchman.com/task.html 里头图片没有 load 出来
    ArchiTech
        5
    ArchiTech  
    OP
       2017-12-21 14:22:13 +08:00
    @nfroot O__O "…我本身离服务器近,完全没注意到速度问题,我尽快换成 cdn 哦...哈哈哈
    ArchiTech
        6
    ArchiTech  
    OP
       2017-12-21 14:28:23 +08:00
    @SevenJ 奇怪。。。你的邮箱或者你监测的网站是哪个?我看看去?
    ArchiTech
        7
    ArchiTech  
    OP
       2017-12-21 14:30:20 +08:00
    @pywilhelm 对,单纯截图。如果你关心的区域距离网页顶部的高度会变化,那就跪了。。。如果你关心的区域以下的页面长度变化的话就无所谓。
    qfdk
        8
    qfdk  
    PRO
       2017-12-21 15:24:28 +08:00
    根据上面的评论,感觉可以浏览一些奇怪的网页 或者图片 斜眼笑

    ![Snipaste_2017-12-21_08-23-59.png]( https://i.loli.net/2017/12/21/5a3b6199b9545.png)
    timothyye
        9
    timothyye  
       2017-12-21 15:38:31 +08:00
    @qfdk 老司机
    ArchiTech
        10
    ArchiTech  
    OP
       2017-12-21 15:45:37 +08:00
    @qfdk 花式翻墙...
    SaulLawliet
        11
    SaulLawliet  
       2017-12-21 16:15:12 +08:00

    借地贴一个类似功能的本地脚本
    https://github.com/SaulLawliet/watchdog
    lloovve
        12
    lloovve  
       2017-12-21 16:25:07 +08:00 via iPhone
    邮件炸弹
    ArchiTech
        13
    ArchiTech  
    OP
       2017-12-21 16:36:48 +08:00
    @SaulLawliet 不错,你是 css_selectors 的思路,得到的结果最准确,就是开始设置的时候非专业人士可能不会怎么选取元素
    ArchiTech
        14
    ArchiTech  
    OP
       2017-12-21 16:37:04 +08:00
    @lloovve 啊?
    mskf
        15
    mskf  
       2017-12-21 17:21:21 +08:00   1
    不错不错,个人觉得这个可以开源一哈,因为很多页面是需要登陆才可以看到具体内容的,可以做成一个本地化的工具(例如浏览器插件)
    solobat
        16
    solobat  
       2017-12-21 18:09:43 +08:00
    不错,mark 一下
    SevenJ
        17
    SevenJ  
       2017-12-21 20:51:58 +08:00
    @ArchiTech 过了大概几分钟后图才刷出来,图片是放 S3 还是?
    qianyi0129
        18
    qianyi0129  
       2017-12-21 21:30:57 +08:00
    需要登录的网站呢?
    Zzde
        19
    Zzde  
       2017-12-21 21:40:26 +08:00
    等待时候的动画不错
    nendors
        20
    nendors  
       2017-12-21 22:09:04 +08:00   1
    支持下 顺便测试下
    maemolee
        21
    maemolee  
       2017-12-22 00:58:26 +08:00
    动态加载的网页也能跟踪吗?那就很厉害了。
    maemolee
        22
    maemolee  
       2017-12-22 00:58:54 +08:00
    啊,失败了。
    ArchiTech
        23
    ArchiTech  
    OP
       2017-12-22 02:21:56 +08:00
    @SevenJ 加州服务器上....我周末就加 cdn
    ArchiTech
        24
    ArchiTech  
    OP
       2017-12-22 02:26:12 +08:00
    @maemolee
    我试了你那个 url, 没问题呀~
    https://imgur.com/a/3gkMy
    ArchiTech
        25
    ArchiTech  
    OP
       2017-12-22 02:30:23 +08:00
    @qianyi0129 我没想清楚怎么做呢,您有想法可以讨论讨论~
    maemolee
        26
    maemolee  
       2017-12-22 04:00:33 +08:00
    @ArchiTech #24 这就很微妙了。。。
    cdlixucd
        27
    cdlixucd  
       2017-12-22 04:36:39 +08:00 via Android
    php 吗
    xuanyuanaosheng
        28
    xuanyuanaosheng  
       2017-12-22 08:14:12 +08:00 via Android
    看着不错~
    buseni
        29
    buseni  
       2017-12-22 08:18:20 +08:00 via Android
    不错
    ORZRRR
        30
    ORZRRR  
       2017-12-22 09:26:21 +08:00
    牛 b
    xxx.com 可以快照
    楼主用的哪家服务器啊?
    qianyi0129
        31
    qianyi0129  
       2017-12-22 09:26:45 +08:00
    @ArchiTech 你这功能要是不能检测登录网站的话其实 mac 系统自带你这个功能 在 dashboard 中
    nameryan
        32
    nameryan  
       2017-12-22 09:32:12 +08:00   1
    以前用过一款 chrome 插件的,不太好用。
    这个做的还不错,至少前端界面设计还是挺带感的,楼主应该也懂一些设计吧。
    先用着,后面可以加一些 chrome 插件等。
    xuanyuanaosheng
        33
    xuanyuanaosheng  
       2017-12-22 09:47:28 +08:00
    测试了,刷不出来啊
    ArchiTech
        34
    ArchiTech  
    OP
       2017-12-22 13:43:42 +08:00
    @ORZRRR aws
    ArchiTech
        35
    ArchiTech  
    OP
       2017-12-22 13:51:16 +08:00
    @qianyi0129 web clip 这个么?好像不会提醒诶。。
    ArchiTech
        36
    ArchiTech  
    OP
       2017-12-22 13:53:15 +08:00
    @nameryan 真的假的,哈哈,就是追求比较简单的 UI, 以后还是会找专业设计师帮忙改改.
    ORZRRR
        37
    ORZRRR  
       2017-12-22 14:31:52 +08:00
    楼主
    那个 微信公众号文章图片首张是可以显示的 / 我有过 绕不开微信的图片盗链
    后面的懒加载图片就 loading 了,能解决这个问题嘛?并分享下方法 [人工提前点赞]
    BadReese
        38
    BadReese  
       2017-12-22 15:13:12 +08:00
    截图有点慢..试了下微博
    ArchiTech
        39
    ArchiTech  
    OP
       2017-12-22 17:03:29 +08:00
    @ORZRRR 可以设置页面打开后等待几秒再截图,也可以保证所有 ajax call 的返回后再截图。前者好一些,后者可能永远等不到完。
    ihciah
        40
    ihciah  
       2017-12-22 17:08:41 +08:00
    emmmm 所以如果页面里包含 coinhive 会怎么样。。
    ArchiTech
        41
    ArchiTech  
    OP
       2017-12-22 17:46:22 +08:00
    @ihciah
    程序每次打开一个页面截完图就关了,不会停留在那里很久的~
    不过,哇。。还有 coinhive 这种东西,好神奇的想法,拿用户的 cpu 挖矿,长见识了。。。
    droiz
        42
    droiz  
       2017-12-22 17:57:29 +08:00
    一直在等待响应。。是不是 v2 的人打死了。。。
    magensky
        43
    magensky  
       2017-12-22 17:59:33 +08:00
    楼主啥时候开源呢?这里根本显示不出来,一直转圈,很久后显示失败
    Ginson
        44
    Ginson  
       2017-12-22 18:43:41 +08:00
    我现在在用一个类似的 Chrome 插件,叫 Distill Web Monitor。
    楼主说的 查询频率、保留历史这个插件都有实现,具体这样的
    ![1]( )
    ![2]( )
    ![3]( )

    PS:没有拆台的意思,只是觉得这个工具好像刚好能符合楼主需求
    ArchiTech
        45
    ArchiTech  
    OP
       2017-12-23 03:44:06 +08:00
    @Ginson 哈哈,欢迎讨论,这个还有 visualping 我都用过,他们做的都挺好的,我只是觉得一些细微的地方和我理想中的工具稍微有点偏差,就自己动手了~
    ArchiTech
        46
    ArchiTech  
    OP
       2017-12-23 03:48:11 +08:00
    @droiz 是被打的够呛,不过还没死呀。。。
    yearliny
        47
    yearliny  
       2017-12-24 09:57:13 +08:00 via Android
    我这里运营商劫持非常严重,你的网页打开满屏广告根本看不了,建议上 SSL。
    kitty7030
        48
    kitty7030  
       2017-12-30 12:20:22 +08:00
    "Failed - INTERNAL SERVER ERROR"
    随便一个网址都不行 下线了吗?
    leihejing
        49
    leihejing  
       2018-01-11 10:10:15 +08:00
    对不起,你找的文件服务器上找不到 !

    收到邮件 点击确认链接后显示。。。。。
    ArchiTech
        50
    ArchiTech  
    OP
       2018-01-11 13:11:21 +08:00
    @leihejing 点确认邮件应该会到改密码的页面呀,被劫持了?
    头像棒棒哒~
    ArchiTech
        51
    ArchiTech  
    OP
       2018-01-11 13:11:45 +08:00
    @kitty7030 没有啊,再来试试?
    ArchiTech
        52
    ArchiTech  
    OP
       2018-01-11 13:12:42 +08:00
    @yearliny 恩恩,尽快尽快,谢谢!
    leihejing
        53
    leihejing  
       2018-01-12 09:01:51 +08:00 via iPhone
    @ArchiTech 不是劫持,看看其他大佬有没有这现象
    ArchiTech
        54
    ArchiTech  
    OP
       2019-07-11 05:26:07 +08:00
    这个没有继续维护了,抱歉。
    因为很耗费服务器资源,开销太大,最麻烦的是这种图像比较的方法错误率太高。
    docx
        55
    docx  
       2020-10-31 23:15:44 +08:00
    网站打不开了。
    请问有开源的打算吗?想自己部署一个,很需要。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2632 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 30ms UTC 09:42 PVG 17:42 LAX 01:42 JFK 04:42
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86