求教：该如何把数据集喂给 pod 内的模型训练容器呢？
TravisMtg 2022-10-20 08:23:30 +08:00 via iPhone 2725 次点击这是一个创建于 1087 天前的主题，其中的信息可能已经有所发展或是发生改变。
x 问题：在做一个类似 kubeflow 的 MLOPS 的东西，整了一个模型想在 k8s 跑跑看，目前训练过程已经放进 docker ，希望将数据集直接挂载到 pod 上。
已经了解了 pv ，pvc 的概念，也在网上搜了一些教程，但是都是目前看到的都是用来持久化**生产**出来的数据的。不用 hostpath 这种方法，有办法直接把数据文件夹和 pod 绑定让 pod 内的容器消费吗？
提前谢谢各位
已经了解了 pv ，pvc 的概念，也在网上搜了一些教程，但是都是目前看到的都是用来持久化**生产**出来的数据的。不用 hostpath 这种方法，有办法直接把数据文件夹和 pod 绑定让 pod 内的容器消费吗？
提前谢谢各位
 | 1 jack80342 2022-10-20 08:26:15 +08:00 via iPhone  1 直接用 pv 、pvc 就可以，你是遇到什么问题了吗？ |
 | 3 liunaijie 2022-10-20 08:36:06 +08:00 1 用 docker -v 把你本地数据挂进 pod 的某个目录 |
 | 4 optional 2022-10-20 08:36:21 +08:00 via iPhone 1 使用 initialContainer 把数据下载进去，数据可以放 s3 等地方 |
 | 6 julyclyde 2022-10-20 09:37:11 +08:00 1 pv 也不是“只能被”容器访问的啊 你也可以单独访问 pv 把内容放进去，然后再启动容器 |
 | 7 ccde8259 2022-10-20 10:01:34 +08:00 via iPhone 1 这种场景为什么不用 HDFS+YARN…… |
 | 8 winglight2016 2022-10-20 10:05:35 +08:00 1 数据在本地就 kubectl cp ，在云上就 curl/wget ，目的文件夹选 pvc 的挂载地址 如果长期大量存储，还是推荐 oss ，毕竟会便宜一些 |
 | 9 sujin190 2022-10-20 10:52:09 +08:00 1 云平台的 k8s 都支持挂载自己的对象存储吧，比如阿里云的 ack 挂载 oss ，华为云 cce 挂载 obs ，如果数据在自己机器上的话装个 nfs ，pod 直接挂载 nfs 就行，当然这些都是网络访问的，你不单独购买的网络的话访问速度估计都不快，如果数据不经常变，比较好的是买块云磁盘，先挂载到某个机器上完成数据上传，之后卸载了 pod 再选择挂载该云磁盘就行，用 initialContainer 下载也行，不过数据比较多来回训练也太耗时了，而且你还的保证 pod 宿主机有足够硬盘才行 |
 | 10 yyttrr 2022-10-20 11:36:09 +08:00 1 我们这边做法是训练前这一次的数据是确定的，存放在 oss 上，启动的时候有个 initContainer 负责把这个数据拉到一块盘上 |
 | 11 YouRTBUG 2022-10-20 13:25:45 +08:00 1 kubernetes-csi 机制来导入外部存储， 我们的存储端是 ceph(s3), 所以用了 ceph-csi 通过 pod 里的 pv 和 pvc 概念挂载到 pod 中。 |
 | 12 pandaxin 2022-10-20 19:09:09 +08:00 看下 juicefs |
 | 13 zhujq 2022-10-21 10:04:13 +08:00 看下 juicefs |
Select Language