pandas loc 操作会内存泄漏？

未复现：
import pandas
import sys

df = pandas.DataFrame([[j for j in range(100)] for i in range(10000)])
print(sys.getsizeof(df)) # 8000104
df = df.loc[:100]
print(sys.getsizeof(df)) # 80904

@djj510620510

是不是 df 里面有 list 或者 dict 之类的引用类型，

@djj510620510 切片后内存确实是少了
但是你看 python 的内存，没释放

在 ipython 里面，这样操作后，切片后的内存对象小了，
但是查看当前 python 占用内存，还是 切片之前的

@wuwukai007

啊，我看漏了，的确是内存还是那么多。

不过我再测了一下，如果把处理放到函数里面的话，函数执行完了，内存就会减少：

In [1]: def test():
...: df = pandas.DataFrame([[j for j in range(1000)] for _ in range(10000)])
...: df = df.loc[:100]
...: return df
...:

In [2]:

In [2]: import pandas

In [3]: a = test()

python 就有这种问题，如果运算过程对内存很紧张的话，建议开子进程，用完销毁

IPython 的 In 与 Out 是不是保持了切片之前的数组的引用？试试 IPython.display.clear_output()

用 ipython 你可以看下 globals()里面还有原来的变量

@Kelan @djj510620510 @zk8802
用了一个曲线的方法，
df2 = df.loc[:100].copy()
del df
但是有一个问题，如果切片的数据也是很多的话比如源数据 1.5G 切一般，
这样曲线做还是会临时增加 800MB 的内存。。。。

@jyyx @zk8802
不是 ipython 的问题，我在脚本里跑发现这个问题才在 ipython 里面测试的

试试强制 garbage collection:
import gc; gc.collect()

不懂 python，会不会是 gc 回收内存后不会实时把内存还给操作系统。

我之前也遇到过类似的情况，后来像楼上说的用子进程了

我试了下的确用切片会有问题
df = df.loc[xxx, :] 这样写会有问题
可以试下改成 df.drop(xxxx, inplace=True)