一个 Pixiv 排行与免费高级会员搜索的站点 2.0 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
OysterQAQ
V2EX    分享创造

一个 Pixiv 排行与免费高级会员搜索的站点 2.0

  •  
  •   OysterQAQ
    OysterQAQ 2019-04-29 12:59:58 +08:00 10357 次点击
    这是一个创建于 2368 天前的主题,其中的信息可能已经有所发展或是发生改变。

    Link:https://pixivic.com

    Github:https://github.com/OysterQAQ/Pixiv-Illustration-Collection

    距离上次在 v 站发布上线七个月后,迎来了一次更新与重构,目前后端重构已经完成,前端的功能性更新会慢慢进行(已经不是我维护了),目前可以预览的更新有 pc 端的日排行页面(以及 gif 图片和漫画的多页查看)

    功能的增加

    • 增加周排行,月排行
    • 漫画类型的查看
    • gif 图片的显示与下载(仅提供 600*600 尺寸)
    • 查看更详细的画作信息
    • 查看画师信息
    • 热门排序搜索的时间区间选定
    • 搜索联想

    技术栈迭代

    • jdk: 11(编程风格的变化与一些流式操作带来的并行化好处)
    • web: spring web reactive
    • db: mongodb
    • httpclient: jdk11 httpclient (本地爬虫)、webclient(服务端实时请求)
    • image processor: graphics magick(call by gm4java)(主要是 gif 的合成与过大图片的压缩)

    体验优化

    • 本地爬虫使用 https 请求替代 ssl 远程连接服务端数据库
    • 将根据 p 站原生的内容分级调整图床(非动态图片级数大于 5 上传 uploadcc,小于 5 上传新浪图床,动态图片上传 postImage),将减少新浪图床的和谐造成的不便
    • 更快的 web 体验
    • 将部署多台图片反代服务器(目前准备两台)
    第 1 条附言    2019-05-01 10:11:18 +08:00

    大家五一快乐!

    第 2 条附言    2019-05-02 11:23:59 +08:00
    反代服务器换了国内 nat 效果还可以哒
    46 条回复    2019-08-04 19:27:13 +08:00
    zirconium
        1
    zirconium  
       2019-04-29 13:04:27 +08:00
    目前在使用,感谢大佬提供的平台。
    OysterQAQ
        2
    OysterQAQ  
    OP
       2019-04-29 14:39:55 +08:00 via iPhone
    @zirconium 感谢使用_(:з」∠)_
    isleon
        3
    isleon  
       2019-04-29 15:07:38 +08:00
    在别的坛看过老哥的贴,目前学生无收入,还开销那么大,很艰难呀。
    微博图床之前还没了。
    OysterQAQ
        4
    OysterQAQ  
    OP
       2019-04-29 15:15:14 +08:00
    @isleon 主要是微博图床的限制,其实目前维护费用一年一共几百块,还挺轻松的,如果微博图床以后 referer 强制指定为 weibo.com 的话,日排行模块可能就难以为继了
    samondlee
        5
    samondlee  
       2019-04-29 16:52:56 +08:00
    联通 4G 热点搜索的时候一直在转圈

    浙江移动固网也是 emmmm

    之前在成都电信成都移动的时候好好的。。。

    用美国节点访问的话 一搜索就会拒绝服务?
    native
        6
    native  
       2019-04-29 17:01:11 +08:00
    感谢分享
    OysterQAQ
        7
    OysterQAQ  
    OP
       2019-04-29 17:27:48 +08:00 via iPhone
    @samondlee api 的 dns 缓存估计没刷新
    del1214
        8
    del1214  
       2019-04-29 17:30:35 +08:00
    请问架构图拿什么软件画的,
    98jiang
        9
    98jiang  
       2019-04-29 17:40:21 +08:00
    收藏一下~
    OysterQAQ
        10
    OysterQAQ  
    OP
       2019-04-29 17:54:42 +08:00 via iPhone
    @del1214 xmind zen
    KnightChess
        11
    KnightChess  
       2019-04-29 19:23:16 +08:00 via Android
    抓到你了,老乡
    OysterQAQ
        12
    OysterQAQ  
    OP
       2019-04-29 20:05:55 +08:00 via iPhone
    @KnightChess ...( ω )....捕捉
    kurisu1901
        13
    kurisu1901  
       2019-04-29 20:24:51 +08:00
    很感谢! 能绕过会员的热门搜索限制真是太方便了
    RicardoY
        14
    RicardoY  
       2019-04-29 20:34:27 +08:00 via Android
    呃似乎已经挂掉了..
    OysterQAQ
        15
    OysterQAQ  
    OP
       2019-04-29 21:40:17 +08:00 via iPhone
    @RicardoY 具体什么情况?
    catalina
        16
    catalina  
       2019-04-29 21:48:06 +08:00 via Android
    前段时候好好的,今天上去好像加载不出图片了。。。
    OysterQAQ
        17
    OysterQAQ  
    OP
       2019-04-29 21:56:24 +08:00
    @catalina 日排行还是搜索?
    catalina
        18
    catalina  
       2019-04-29 22:02:11 +08:00 via Android
    @OysterQAQ 搜索。日排行正常。
    我发消息可能你那边收不到提醒,不好意思给你造成麻烦了。
    ffghf
        19
    ffghf  
       2019-04-29 22:03:51 +08:00 via Android
    真的挺好用,就是不知道为啥加载速度贼慢...
    OysterQAQ
        20
    OysterQAQ  
    OP
       2019-04-29 22:18:52 +08:00
    @catalina 有啥麻烦的 搜索的话高速的服务器本月流量用完啦,现在是龟速的
    @ffghf 高速的服务器本月流量用完啦
    catalina
        21
    catalina  
       2019-04-29 22:46:20 +08:00 via Android
    @OysterQAQ 这样吗。。。
    wolflone
        22
    wolflone  
       2019-04-29 23:25:34 +08:00 via Android
    是不是只有全年龄的?
    RicardoY
        23
    RicardoY  
       2019-04-29 23:30:02 +08:00 via Android
    @OysterQAQ 搜索的时候长时间显示动画不出结果
    OysterQAQ
        24
    OysterQAQ  
    OP
       2019-04-29 23:36:46 +08:00 via iPhone
    @RicardoY dns 缓存的锅
    OysterQAQ
        25
    OysterQAQ  
    OP
       2019-04-30 00:45:52 +08:00 via iPhone
    挺感动的,下午上了捐助链接,刚才收到了人生中第一笔与第二笔捐助
    run2
        26
    run2  
       2019-04-30 01:13:09 +08:00
    长时间没有返回 然后 500 难道是你的服务器被 p 站屏蔽了?

    Request URL: https://api.pixivic.com/illusts?page=0&keyword=%E5%A5%B3
    Request Method: GET
    Status Code: 500 Internal Server Error
    Remote Address: 120.79.134.10:443
    Referrer Policy: no-referrer-when-downgrade
    OysterQAQ
        27
    OysterQAQ  
    OP
       2019-04-30 01:34:41 +08:00 via iPhone
    @sobigfish 反代服务器网络出了点问题,在香港,小厂商,难免波动,p 站是被墙的
    chunbai
        28
    chunbai  
       2019-04-30 09:19:26 +08:00
    挺好用的( ω )
    1847bell
        29
    1847bell  
       2019-04-30 09:23:15 +08:00
    昨天就开始用了,厉害嗷铁汁
    crazytree
        30
    crazytree  
       2019-04-30 09:31:48 +08:00
    只有我一个人用不了吗?搜索无结果,排行无结果
    OysterQAQ
        31
    OysterQAQ  
    OP
       2019-04-30 10:35:22 +08:00
    @crazytree 可能是 dns 缓存没清理干净
    BCy66drFCvk1Ou87
        32
    BCy66drFCvk1Ou87  
       2019-04-30 15:04:04 +08:00
    背景图片好可爱
    OysterQAQ
        33
    OysterQAQ  
    OP
       2019-04-30 17:43:22 +08:00
    @HuasLeung 芝麻凛赛高
    cyh1997
        34
    cyh1997  
       2019-04-30 18:34:26 +08:00 via Android
    首页背景这么可爱,有没有原图呢
    OysterQAQ
        35
    OysterQAQ  
    OP
       2019-04-30 22:36:52 +08:00
    @cyh1997 我这张就挺清晰呀 原图没保存
    KasuganoSoras
        36
    KasuganoSoras  
       2019-05-01 00:56:34 +08:00
    老哥,挂了
    KasuganoSoras
        37
    KasuganoSoras  
       2019-05-01 00:57:50 +08:00
    建议图片 GET 下来以后缓存一下,定期清理,不然的话请求量一大网站就容易挂……
    mmdsun
        38
    mmdsun  
       2019-05-01 01:04:16 +08:00 via Android
    我这边代理上 b 站是 OK 的。但是这是搜索转了几圈谷歌就提示 DNS_PROBE_FINISHED_BAD_CONFIG
    Ghosin
        39
    Ghosin  
       2019-05-01 02:01:31 +08:00
    很棒一直在用
    shihira
        40
    shihira  
       2019-05-01 08:21:43 +08:00 via Android
    啊啊盼这个功能盼了好多年了。尽快修复希望

    其实不把图爬下来也没所谓,只需要到原站的链接就够了,节省点开支
    OysterQAQ
        41
    OysterQAQ  
    OP
       2019-05-01 09:21:12 +08:00 via iPhone
    @shihira 有的,点击后跳转到 pixiv 的详情页
    xh520630
        42
    xh520630  
       2019-05-01 18:07:25 +08:00
    辛苦了哇 终于可以上 P 站了激动(不)
    RicardoY
        43
    RicardoY  
       2019-05-01 21:42:55 +08:00 via Android
    @OysterQAQ 请问为什么最近几天的排行为什么加载不出来呀
    OysterQAQ
        44
    OysterQAQ  
    OP
       2019-05-01 22:36:38 +08:00
    @RicardoY 28 号前的可以。默认最新是当前日期前天的日排行
    RicardoY
        45
    RicardoY  
       2019-05-01 23:41:15 +08:00 via Android
    @OysterQAQ 辛苦了
    kazakiri
        46
    kazakiri  
       2019-08-04 19:27:13 +08:00 via Android
    用 Nginx 怎么反代呢?
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     3196 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 29ms UTC 11:16 PVG 19:16 LAX 04:16 JFK 07:16
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86