一般都是直通 GPU 下 虚拟机或者 docker 形式交付，用价格吸引大量用户，但真正的大单子还是需要和大老板谈合同，这样来说使用 GPU 的技术反而是最简单的，财务核算是最为麻烦的

1. 存储方面：
a. 推荐 lustre , 我给某双一流大学做的 lustre, 即使机房意外断电，也没有丢数据
b. 存储系统的设计，元数据服务器务必用 RAID 1 模式下的 NVME 盘，显著提高元数据性能，例如读写文件锁、搜索加载文件树； OSS 服务器可以用小容量（重建 raid 更快）机械硬盘，RAID 6 模式 ； lustre 后面再接一个 NAS(NFS ），定时 rsync 备份全量的 lustre 数据
2.调度系统：
a.对于高校用户，还是推荐 slurm ，k8s 是为大公司业务系统设计的，他们有大量管理设计开发微服务的经验，往往维护 k8s 集群的是一个小团队
b.容器的问题，可以看看 singularity 和 slurm 的解决方案 、SPANK 插件 ，还有你的 sbatch 脚本和 slurm 配置是否正确，我之前维护一个 GPU 集群，跑大模型也是用的 slurm+docker ，没有出现过容器残留的现象

PVE 稳定运行 3 年了

有个隐藏的日志文件

回复大家下这里实现了 iptables 对虚拟机的流量控制

#ipv4d 转发不用开启
sysctl net.ipv4.ip_forward=0

# 需要开启桥的 iptables 转发
sysctl net.bridge.bridge-nf-call-iptables=1

# 创建和虚拟机 id 相同名字的规则链
iptables -t filter -N kvmtest
# 开启转发
iptables -A FORWARD -j kvmtest
# 添加默认规则
iptables -A kvmtest -m state --state INVALID -j DROP
iptables -A kvmtest -m state --state RELATED,ESTABLISHED -j ACCEPT
iptables -A kvmtest -j DROP

# 添加自定义规则
iptables -I kvmtest -p tcp --dport 22 -j ACCEPT #和平常添加自定义规则一样
iptables -I kvmtest -p tcp --dport 80 -j ACCEPT
iptables -I kvmtest -p icmp -j ACCEPT

# 删除规则链 需要依次删除转发、清楚规则链中内容、再删除规则链
iptables -D FORWARD -j kvmtest
iptables -F kvmtest
iptables -X kvmtest

@NessajCN 那 pve(promox) 是可以实现对同局域网下虚拟机的防火墙，我看我启用了 pve 的虚拟机的防火墙后，宿主机 iptables 会多出相应的安全规则

@NessajCN 我这里只想做在宿主机下限制本地多个虚拟机的流量，因为我们的虚拟机没有对公网提供服务的设计，如果有那是做的网关上的端口映射，我的设计是 提供一个类似于 VPC 网络下的虚拟机防火墙

@NessajCN 因为想做一个云的防火墙

@rjagge 可以试试 upstreams.yaml https://spack.readthedocs.io/en/latest/chain.html 类似这样 upstreams:
spack-instance-1:
install_tree: /path/to/other/spack/opt/spack
modules:
tcl: /path/to/other/spack/share/spack/modules

@bitllion slurm 做调度，还可以配置 mail 提醒作业状态，zerotire 等 vpn 做异地 vpn,放假出差在外也能连 server ，使用 spack 包管理器安装软件，软件都是 root 安装，普通用户只有使用权限

作为一名 HPC 管理员，没必要用 pve ，虽然我这里部分生产环境的机器用了 pve 做 a100 直通，但对于你们人少后续维护不是很方便。给你这样的规划：

最近半年用这家的，保险起见选择月付 /季付，来自一个受伤的 suwa （机场）用户，以后买啥都很谨慎了苦笑

mobaxterm

@wingor2015 速蛙机场跑路用户一个，所以我现在最多按季付了，按照他们官方讲，公司已经运营了 4 年了，还有 QQ 群，我目前用着没问题，国内 /香港 我找到最便宜和稳定的了

打个推广~~~用了 2 个月了，目前很稳，缺点就是上下行对等，做个主页站没问题的，胜在便宜，建议按季付
20 块一个月有人要嘛？
我搞到了一些服务器，开网站免备案那种
配置是 2h2g 100m 20ssd
需要的话私聊一下，可以预装宝塔
https://www.rainyun.com/?ref=MjUzNDA=

打个推广
20 块一个月有人要嘛？
我搞到了一些服务器，开网站免备案那种
配置是 2h2g 100m 20ssd
需要的话私聊一下，可以预装宝塔