当前位置：首页 > news >正文

Python: 分块读取文本文件

news 来源：原创 2024/9/20 4:37:14

在处理大文件时，逐行或分块读取文件是很常见的需求。下面是几种常见的方法，用于在 Python 中分块读取文本文件：

在这里插入图片描述

1、问题背景

如何分块读取一个较大的文本文件，并提取出特定的信息？

问题描述:
```
f=open('blank.txt','r')
quotes=f.read()
noquotes=quotes.replace('"','')
f.close()rf=open('blank.txt','w')
rf.write(noquotes)
rf.close()   f=open('blank.txt','r')
finished = False
postag=[]
while not finished:line=f.readline()words=line.split()postag.append(words[4])postag.append(words[6])postag.append(words[8])              finished=True
```
- 使用 open()函数打开文件，将文件内容读入变量 quotes，然后用 replace()函数去除所有双引号，再将处理后的内容写回文件。
- 再次打开文件，并使用 readline() 函数逐行读取文件内容。
- 对于每一行，将其按空格分割成一个列表 words，并提取出列表中的第 5、7 和 9 个元素，将其添加到 postag 列表中。
问题原因：
- 问题在于 while not finished: 循环仅迭代了文件的第一行，因此无法处理整个文件。

2、解决方案

使用 xml.etree.ElementTree 模块解析 XML 文件：

from xml.etree import ElementTreeline = '<word id="8" form="hibernis" lemma="hibernus1" postag="n-p---nb-" head="7" relation="ADV"/>'element = ElementTree.fromstring(line)form = element.attrib['form']
lemma = element.attrib['lemma']
postag = element.attrib['postag']print(form, lemma, postag)

使用 ElementTree.fromstring() 方法将 XML 字符串解析成一个元素对象。
使用 element.attrib 获取元素的属性，并提取出 form、lemma 和 postag 属性的值。
打印出提取出的信息。

使用正则表达式提取信息：
```
import redata = open('x').read()
RE = re.compile('.*form="(.*)" lemma="(.*)" postag="(.*?)"', re.M)
matches = RE.findall(data)
for m in matches:print(m)
```
- 使用 re.compile() 方法编译正则表达式，并将其应用到文本数据中。
- 使用 findall() 方法查找所有匹配正则表达式的子字符串，并将其存储在 matches 列表中。
- 遍历 matches 列表，并打印出每个匹配子字符串。
使用 SAX 解析器解析 XML 文件：
```
import xml.saxclass Handler(xml.sax.ContentHandler):def startElement(self, tag, attrs):if tag == 'word':print('form=', attrs['form'])print('lemma=', attrs['lemma'])print('postag=', attrs['postag'])ch = Handler()
f = open('myfile')
xml.sax.parse(f, ch)
```
- 定义一个 SAX 解析器类 Handler，并重写 startElement() 方法，用于处理 XML 文件中的元素。
- 使用 xml.sax.parse() 方法解析 XML 文件，并指定解析器对象 ch。
- 每次遇到一个 word 元素，就会调用 startElement() 方法，并打印出元素的 form、lemma 和 postag 属性的值。
使用 BeautifulSoup 解析 XML 文件：
```
from bs4 import BeautifulSoupsoup = BeautifulSoup(open('myfile').read(), 'xml')for word in soup.find_all('word'):print('form=', word['form'])print('lemma=', word['lemma'])print('postag=', word['postag'])
```
- 使用 BeautifulSoup() 方法解析 XML 文件，并将其存储在 soup 对象中。
- 使用 find_all() 方法查找所有 word 元素，并将其存储在 words 列表中。
- 遍历 words 列表，并打印出每个元素的 form、lemma 和 postag 属性的值。