python读取大文件处理时使用多线程

如题所述

举报该问题

第1个回答 2022-06-03

如果有个很大的文件，几十G?，需要每次读取一部分，处理后再读取剩余部分。
with open as f 已经从内部处理难点，使用 for line in f 以迭代器的形式每次读取一行，不会有内存问题。

下面程序的思路是用一个列表存放读取到的数据，达到长度后就开始处理，处理完就清空列表，继续执行

相似回答

如何用多线程读取大文件并且做数据处理,100答：b、cpu要干的工作比读文件快不，读一次文件的速度要慢于cpu处理一次的速度，没必要多多线程，多线程提升不了多少性能，还增加编程的难度，单线程处理即可。c、待处理文件，必须知道一定的边界值，如分页边界或单条纪录边界。有了上面的前提，每个线程维护单独的缓冲区，缓存区大小就是c点提到的边界纪录...

python中多进程+协程的使用以及为什么要用它答：3、多进程+多线程：这里就厉害了，一般来说也有很多人用这个方法，多进程下，每个进程都能占一个cpu，而多线程从一定程度上绕过了阻塞的等待，所以比单进程下的多线程又更好使了，例如我们开10个进程，每个进程里开20W个线程，执行的速度理论上是比单进程开200W个线程快10倍以上的（为什么是10倍以上...

如何提高 python pd.read_csv的效率?答：5. 使用多进程或多线程：通过使用多进程或多线程可以同时读取和处理多个文件，提高整体效率。Python的`concurrent.futures`模块提供了方便的并发功能。6. 使用`dask`库：`dask`是一个灵活的延迟计算库，它可以处理大型数据集并自动将其切分成多个分块。它对`pandas`的API进行了扩展，可以无缝地替代`pd....

Python3读取大文件的方法答：1.方法一：利用yield生成器 2. 方法二：利用open()自带方法生成迭代对象，这个是一行一行的读取总结：二者的比较方法一：可以灵活控制一次读取的size，在速度上较2有优势，适用于一些大的二进制文件，比如读取一些大的视频或者图片等。方法二：在处理一些文本的时候感觉更加便利，按行读更容易对文本...

大家正在搜

python多线程处理文件 python多线程读取文件 python多线程读取同一个文件 python多线程处理文件安全 python多线程下载大文件 python多线程写入一个文件 python多线程写文件加锁 python用多线程写一个生成器 Python OpenCV多线程