V2EX joson1205 的所有回复 第 1 页 / 共 2 页
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX    joson1205    全部回复第 1 页 / 共 2 页
回复总数  32
1  2  
2019-09-12 08:59:50 +08:00
回复了 dany813 创建的主题 程序员 预算 5000 买个笔记本,求老哥们推荐
5k ,前两天首发入手了联想 Air14,整体感觉还是不错的
难道只有我一个在研究游戏外挂吗?[dogo]
2019-08-14 17:00:15 +08:00
回复了 zky001 创建的主题 Python pandas 处理数据慢,求好方法
肯定是代码算法逻辑有问题,不可能那么久
2019-08-14 14:12:20 +08:00
回复了 yeyu1989 创建的主题 Python 从哪儿可以获取股票、基金行情(用爬虫或者服务)
会崩溃那就不叫数据库了.....
2019-08-13 12:14:51 +08:00
回复了 joson1205 创建的主题 Python Python 读取 Excel 超大数据文件问题
@jiang123574 嗯,已经用上了,目前用的就是它
@qwjhb 卖个鸡腿,尊重一下原创吧
2019-08-13 09:23:15 +08:00
回复了 ixuuux 创建的主题 Python 爬虫求助,关于图片上传
抓包分析一下吧,一楼正解
关键还是获取到后怎么用吧,不然没有意义.获取到的文章多数应该是转载吧,不知道有没有考虑文章排版的问题,超链接,图片,字体样式等等这些
2019-08-09 17:43:41 +08:00
回复了 joson1205 创建的主题 Python Python 读取 Excel 超大数据文件问题
@snw 其实刚开始拿到报表的时候就是用的 VBA 实现的,后面经过一系列的调整,运算已经是越来越复杂,而且又涉及到拆分,样式,单元格的合并等等这些,优化过一次,电脑还是都直接卡死,没办法,才考虑用的 Python.
可能是我水平不够....见笑..
2019-08-09 16:42:43 +08:00
回复了 joson1205 创建的主题 Python Python 读取 Excel 超大数据文件问题
@youthfire 简单搜索一下关于 pyExcelerate 的资料,这个库好像不支持添加单元格批注的,是我没找到方法吗?资料实在太少了,知道的可以告诉我一下,谢谢
2019-08-09 15:21:56 +08:00
回复了 joson1205 创建的主题 Python Python 读取 Excel 超大数据文件问题
@leavic 限制行数太少了,也满足不了日常业务需求
2019-08-09 14:32:07 +08:00
回复了 joson1205 创建的主题 Python Python 读取 Excel 超大数据文件问题
@youthfire 写入的代码目前比较完善,暂时不打算做改动,谢谢你的建议
2019-08-09 12:59:40 +08:00
回复了 joson1205 创建的主题 Python Python 读取 Excel 超大数据文件问题
@snw vba 在运算方面实在太慢了
2019-08-09 12:36:48 +08:00
回复了 joson1205 创建的主题 Python Python 读取 Excel 超大数据文件问题
目前找到最快的办法是 xlwings,预先打开了 xlsx 文件,在几秒钟内就能读取完成!

import xlwings as xw
# 事先打开了 xlsx 文件,会直接返回这个文件对象
wb = xw.Book("demo.xlsx")
sht1 = wb.sheets["sht111"]
sht2 = wb.sheets["sht222"]

sht1_value = sht1.range('A2:AU140000').value
sht2_value = sht2.range('A2:AQ19000').value
2019-08-09 11:49:40 +08:00
回复了 joson1205 创建的主题 Python Python 读取 Excel 超大数据文件问题
@alexfu 我拿到数据的时候属于一个核算节点,row 是固定的,基本不会有增删,没办法改成增量式计算,而且数据都是连续性的,skip_row 并不适用...
2019-08-09 11:35:33 +08:00
回复了 joson1205 创建的主题 Python Python 读取 Excel 超大数据文件问题
@wqzjk393 纠正一下,刚检查测试代码的时候发现有点异常,重新对比了一下,没到 100 秒,不过也是和 xlrd 速度差不多的,在 85 秒左右
2019-08-09 11:26:20 +08:00
回复了 joson1205 创建的主题 Python Python 读取 Excel 超大数据文件问题
@wqzjk393 试过了,比较慢,我正常 xlrd 读取要 85 秒,pandas 将近 100 秒
2019-08-09 10:56:59 +08:00
回复了 joson1205 创建的主题 Python Python 读取 Excel 超大数据文件问题
@1462326016 我认为 xlrd 单纯在读取速度上是比 openpyxl 快不少的.
@vest8 pywin32 没有用过,我查查资料,谢谢
2019-08-09 10:30:47 +08:00
回复了 joson1205 创建的主题 Python Python 读取 Excel 超大数据文件问题
@sikariba 我转 CSV 过程中数据都要过一遍内存吧
1  2  
关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5403 人在线   最高记录 6679       Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 29ms UTC 08:34 PVG 16:34 LAX 01:34 JFK 04:34
Do have faith in what you're oing.
ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86