推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
Python 的 pickle 加载大于内存上限的内容时会分段载入吗？应该怎么处理大文件读取？
LeeReamond 2021-12-09 06:23:59 +08:00 2972 次点击这是一个创建于 1485 天前的主题，其中的信息可能已经有所发展或是发生改变。
要处理很大的内容，比如视频裸流之类的东西，如果全放到内存里内存会撑爆。目前对储存和读取都有疑问，python 的 pickle 模块能简单的解决这个问题吗？就是随便 pickle.dump 一下，比如 dump 了 100G ，然后 load 的时候它会自动分段读吗？还是一次性把 100G 都读进内存之后才能解码？
 | 1 ila 2021-12-09 07:27:14 +08:00 via Android 视频流本地存储后应该没有超过 2g 的 |
 | 3 secsilm 2021-12-09 08:07:38 +08:00 via Android 没记错的话，pickle 是都读进内存的。 |
 | 4 skinny 2021-12-09 08:45:30 +08:00 不要用 Python 存一大坨数据，会炸！ |
 | 5 ysc3839 2021-12-09 09:12:32 +08:00 via Android 翻了下代码，load()是流式处理的，loads()是创建个 BytesIO 再 load()。不过看上去是纯 Python 实现的，性能大概不咋样。 |
 | 6 paopjian 2021-12-09 09:56:10 +08:00 这操作有点骚啊,不怕死机数据全丢吗 |
 | 7 ruanimal 2021-12-09 10:24:18 +08:00 视频流需要用 pickle ，直接二进制文件不行吗？ pickle 应该需求完整文件才能加载对象吧，读文件倒是流式读的。 |
 | 8 moomtong 2021-12-09 10:40:04 +08:00 Memory Map?不确定视频文件行不行 |
 | 9 Volekingsg 2021-12-09 11:12:10 +08:00 apache arrow ？ |
 | 10 lizytalk 2021-12-09 13:29:38 +08:00 via iPhone mmap |
 | 11 LeeReamond OP @ruanimal 主要是大文件自己切割不太方便，裸流的话，比如 10bit 视频，1080P60FPS ，一分钟二十多 G 出去了，自己要搞储存和读取，还要切割开始和结束的位置，还有可能出错还要纠错，感觉太难搞。。 |
Select Language