想做一个开源镜像站,大家有什么建议吗? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
thiswind
V2EX    程序员

想做一个开源镜像站,大家有什么建议吗?

  •  1
     
  •   thiswind
    thiswind 2016-05-02 11:34:25 +08:00 8524 次点击
    这是一个创建于 3448 天前的主题,其中的信息可能已经有所发展或是发生改变。

    想做一些开源软件的镜像给本地的程序员用,目前做了一个 Ubuntu 的 Rsync 和一个 pypi

    大家有没有什么建议呢?短期内可以见效果的话,做哪些镜像比较好呢?

    (现在有一个很小很小的数据中心可以用,3台服务器,几十个物理核,1TB+内存,10TB+存储)

    第 1 条附言    2016-05-02 12:30:34 +08:00
    建议收集列表:

    - 做各种 Chrome 版本的离线安装包(谢谢: JiShuTui )
    47 条回复    2016-05-06 17:20:41 +08:00
    Comdex
        1
    Comdex  
       2016-05-02 11:41:49 +08:00
    开个虚拟机我用, O(∩_∩)O 谢谢
    donghouhe
        2
    donghouhe  
       2016-05-02 11:46:10 +08:00
    开满各种虚拟机, win , mac , linux 各版本的,提供给需要的人用
    JiShuTui
        3
    JiShuTui  
       2016-05-02 11:54:52 +08:00 via Android
    Chrome 各版本离线安装包
    thiswind
        4
    thiswind  
    OP
       2016-05-02 12:14:49 +08:00
    @JiShuTui 哦,这个是个好主意啊,谢谢,记下了:)
    thiswind
        5
    thiswind  
    OP
       2016-05-02 12:16:21 +08:00
    @donghouhe 可是资源有点少,倒是打算做一个 docker 容器托管,不知道合不合适
    thiswind
        6
    thiswind  
    OP
       2016-05-02 12:17:35 +08:00
    @Comdex 呵呵,机器不是我的,我只是代管啊。要买得起那么多资源,我就先买房子啦
    N4HS3zwwKs7wira0
        7
    N4HS3zwwKs7wira0  
       2016-05-02 12:19:24 +08:00
    无私的楼主。敲碗等:)缺国内机器用来 bt 下载 wwwww
    thiswind
        8
    thiswind  
    OP
       2016-05-02 12:23:57 +08:00
    @lianxiangru 饿,不懂诶,是啥?
    N4HS3zwwKs7wira0
        9
    N4HS3zwwKs7wira0  
       2016-05-02 12:27:27 +08:00
    @thiswind 下载啊。。。美国网络直接 bt 下载要被查水表了=。= 所以很多人都用国内机器下载,再 http 拽回去。。。
    mrhuiyu
        10
    mrhuiyu  
       2016-05-02 12:33:54 +08:00
    @lianxiangru 具体做法呢?这又三四天物理机。。。
    N4HS3zwwKs7wira0
        11
    N4HS3zwwKs7wira0  
       2016-05-02 12:37:00 +08:00
    @mrhuiyu 开个虚拟机就可以了啊。。 aria2c 后台下载呗。。
    longquanwo
        12
    longquanwo  
       2016-05-02 12:37:54 +08:00
    @mrhuiyu 确实,楼主需要评估能做多久,不然就别折腾开源镜像站,害人害己
    4679kun
        13
    4679kun  
       2016-05-02 12:38:13 +08:00 via Android
    docker 容器托管好评
    ayaseangle
        14
    ayaseangle  
       2016-05-02 12:39:30 +08:00 via Android
    这么大的存储可以清华大学镜像站全站拷贝了吧
    SCaffrey
        15
    SCaffrey  
       2016-05-02 12:49:33 +08:00
    1TB +内存 大概是花了多少钱啊……?
    thiswind
        16
    thiswind  
    OP
       2016-05-02 13:24:16 +08:00 via iPhone
    @longquanwo 可以做很多年的,应该可以做 10 年+
    thiswind
        17
    thiswind  
    OP
       2016-05-02 13:26:30 +08:00 via iPhone
    @ayaseangle 就是好多技术不熟悉,不知道具体镜像要怎么搭,现在只做了 ubuntu 的
    thiswind
        18
    thiswind  
    OP
       2016-05-02 13:27:01 +08:00 via iPhone
    @4679kun OK ,记下了:)
    thiswind
        19
    thiswind  
    OP
       2016-05-02 13:27:43 +08:00 via iPhone
    @SCaffrey 40w 左右的服务器
    longquanwo
        20
    longquanwo  
       2016-05-02 13:52:22 +08:00
    @thiswind docker 托管吧 还可以弄一点外快。跟主机壳合作
    just1
        21
    just1  
       2016-05-02 13:58:12 +08:00 via Android
    看看中科大有什么,全部拖过来
    主要带宽大吗
    whisperzzzz
        22
    whisperzzzz  
       2016-05-02 14:00:58 +08:00
    @JiShuTui 用?standalOne=1 下载不好么 0 。 0
    vnady
        23
    vnady  
       2016-05-02 14:27:38 +08:00
    看其他主流官方镜像下载量最大、最频繁的源。
    ivmm
        24
    ivmm  
       2016-05-02 14:45:14 +08:00
    反代各种谷歌字体、 gravatar ,要有 https
    lostab
        25
    lostab  
       2016-05-02 14:57:34 +08:00 via Android   1
    openstack 可用的 windows 安装镜像,多谢楼主
    DesignerSkyline
        26
    DesignerSkyline  
       2016-05-02 14:59:12 +08:00 via iPad   1
    可以镜像一下排名中间的发行版,比如 sabayo 之类的。另外 opensuse 如果能全镜像就好了(包括 Open Build Service 的社区源
    DesignerSkyline
        27
    DesignerSkyline  
       2016-05-02 14:59:24 +08:00 via iPad
    plqws
        28
    plqws  
       2016-05-02 15:42:33 +08:00
    chocolatey 的 host 代理
    shenmegui
        29
    shenmegu  
       2016-05-02 18:33:11 +08:00 via Android
    office 离线包?想我当初在线安装 office 装了 4 个多小时,至今有阴影
    htfy96
        30
    htfy96  
       2016-05-02 18:45:35 +08:00 via Android
    secondwtq
        31
    secondwtq  
       2016-05-02 20:02:30 +08:00
    首先,服务器的上传和下载带宽都很重要 ...

    我一般比较喜欢用 Arch ,楼主可以考虑一下,貌似不大
    wwek
        32
    wwek  
       2016-05-02 20:49:04 +08:00
    带宽,存储
    iFlicker
        33
    iFlicker  
       2016-05-02 21:44:52 +08:00   1
    在维护我们校建不久的镜像站... 最大的问题是 rsync 各种失败..总是不稳定, 管理用的
    https://github.com/ideal/mirror
    VmuTargh
        34
    VmuTargh  
       2016-05-02 21:48:02 +08:00 via Android
    openwrt
    maven
    pip
    gem
    tvallday
        35
    tvallday  
       2016-05-02 21:56:22 +08:00
    rubygems
    http 和 https 的。
    dangge
        36
    dangge  
       2016-05-02 22:13:38 +08:00
    @iFlicker 我就知道你肯定要出现
    -割-
    建议提供一些小众的,非主流的镜像.
    just4fan
        37
    just4fan  
       2016-05-02 22:30:40 +08:00 via Android
    ubuntu 的 ppa
    国内每次 apt-get update 都提示索引校验失败,早就要疯了

    centos 的 remi 源什么的 我装 php5.6 时用到的
    lhbc
        38
    lhbc  
       2016-05-02 22:40:36 +08:00
    MySQL
    MariaDB
    (以上两个是官方最新版,不是各发行版带的那个)
    FreeBSD
    OpenWrt
    CentOS remi repo

    这些应该都不大,而且用户量也挺多的
    fhefh
        39
    fhefh  
       2016-05-02 22:48:09 +08:00
    Xcode
    iOS 开发文档
    strahe
        40
    strahe  
       2016-05-02 22:50:43 +08:00   1
    镜像其实都有的,如果真有资源,建议做一些冷门的资源镜像,并且要长时间维护才有价值。
    wssgcg1213
        41
    wssgcg1213  
       2016-05-02 23:06:03 +08:00
    npm
    ayaseangle
        42
    ayaseangle  
       2016-05-02 23:13:12 +08:00 via Android
    @thiswind 一般情况好像定时 rsync 就完了
    lslqtz
        43
    lslqtz  
       2016-05-03 05:06:09 +08:00 via iPhone
    反代缓存各种库,缓存 google chrome 各版本离线包,缓存各种 rpm 包,反代各种 yum apt-get 源。
    Cu635
        44
    Cu635  
       2016-05-03 10:20:50 +08:00   1
    首先,注意版权问题。官方明确说不让镜像的一定别镜像,没说允许没说不允许的尽量先联系一下他们吧;当然,上游没说不允许的你也可以先镜像再说,出了问题自己兜着……。

    其次,注意安全问题,尽量找有签名的并且一定把上游的签名(公钥)也给镜像下来。上游没有签名的话至少是 hash ,如果都没有,先让他们加上吧……

    最后,你的镜像站最好封杀迅雷的 range 下载,否则你就等着哭吧……
    Balthild
        45
    Balthild  
       2016-05-03 12:30:14 +08:00 via iPhone
    建议反代一下 pkgbuild.org 的 pacman 源
    snoopygao
        46
    snoopygao  
       2016-05-03 13:10:03 +08:00
    镜像 google 搜索!
    matsuz
        47
    matsuz  
       2016-05-06 17:20:41 +08:00 via Android   1
    maven maven maven
    强烈建议楼主做 maven 镜像
    国内现在几乎没有稳定可用的 maven 镜像,但是这个的需求又特别大。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     878 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 29ms UTC 20:45 PVG 04:45 LAX 13:45 JFK 16:45
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86