实现 Python 批量文件操作的五种方式-51CTO.COM

在日常开发中，处理大量文件是一个常见的任务。Python 提供了多种方法来批量操作文件，无论是重命名、移动还是修改文件内容。本文将详细介绍五种常用的方法，并通过实际代码示例展示如何使用它们。

引言

处理文件是编程中的基本任务之一，特别是在涉及大量数据的情况下。Python 作为一门功能强大的编程语言，提供了多种内置库和模块来简化文件处理工作。本文将介绍五种常用的文件处理方法，并通过具体示例展示其应用。

方法一：使用 os 模块

os 是 Python 的标准库之一，提供了丰富的文件系统操作接口。

import os

# 获取当前目录下所有文件名
files = os.listdir('.')
print("当前目录下的文件:", files)

# 遍历文件列表，重命名每个文件
for filename in files:
    if filename.endswith('.txt'):
        new_name = f"new_{filename}"
        os.rename(filename, new_name)
        print(f"已将 {filename} 重命名为 {new_name}")1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.

输出：

当前目录下的文件: ['example.txt', 'test.txt']
已将 example.txt 重命名为 new_example.txt
已将 test.txt 重命名为 new_test.txt1.
2.
3.

这段代码首先列出当前目录下的所有文件，然后遍历这些文件，将所有 .txt 文件重命名为以 new_ 开头的新名字。

方法二：使用 shutil 模块

shutil 是 os 模块的一个补充，提供了更高级的文件操作功能。

import shutil
import os

# 创建一个新目录用于存放复制后的文件
if not os.path.exists('backup'):
    os.makedirs('backup')

# 将所有 `.txt` 文件复制到新目录中
for filename in os.listdir('.'):
    if filename.endswith('.txt'):
        shutil.copy(filename, 'backup')
        print(f"已将 {filename} 复制到 backup 目录")1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.

输出：

已将 example.txt 复制到 backup 目录
已将 test.txt 复制到 backup 目录1.
2.

这里我们创建了一个名为 backup 的目录，并将所有 .txt 文件复制到了这个目录中。

方法三：使用 glob 模块

glob 模块提供了基于 Unix shell 风格的通配符来匹配文件名的功能。

import glob

# 使用通配符获取所有 `.txt` 文件
txt_files = glob.glob('*.txt')
print("找到的 .txt 文件:", txt_files)

# 遍历这些文件，打印文件内容
for file in txt_files:
    with open(file, 'r') as f:
        content = f.read()
        print(f"{file} 的内容是:\n{content}")1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.

输出：

找到的 .txt 文件: ['example.txt', 'test.txt']
example.txt 的内容是:
Hello, this is an example text file.
test.txt 的内容是:
This is a test text file.1.
2.
3.
4.
5.

这段代码展示了如何使用 glob 来匹配特定类型的文件，并读取它们的内容。

方法四：使用 pathlib 模块

pathlib 是 Python 3.4 之后引入的一个现代文件路径处理库。

from pathlib import Path

# 获取当前目录下的所有文件
directory = Path('.')
files = list(directory.iterdir())
print("当前目录下的文件:", [f.name for f in files])

# 遍历这些文件，检查是否为 `.txt` 文件
for file in files:
    if file.suffix == '.txt':
        # 将文件移动到另一个目录
        new_location = directory / 'moved' / file.name
        file.replace(new_location)
        print(f"已将 {file.name} 移动到 moved 目录")1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.

输出：

当前目录下的文件: ['example.txt', 'test.txt']
已将 example.txt 移动到 moved 目录
已将 test.txt 移动到 moved 目录1.
2.
3.

这里我们使用 pathlib 来处理文件路径，并将所有 .txt 文件移动到一个新的目录中。

方法五：使用 concurrent.futures 模块

对于需要处理大量文件的情况，可以使用多线程或多进程来加速处理过程。

import concurrent.futures
import os

def process_file(filename):
    """处理单个文件的函数"""
    if filename.endswith('.txt'):
        with open(filename, 'a') as f:
            f.write("\nProcessed by multi-threading.")
        print(f"已处理 {filename}")

# 获取所有 `.txt` 文件
txt_files = [f for f in os.listdir('.') if f.endswith('.txt')]

# 使用线程池执行文件处理任务
with concurrent.futures.ThreadPoolExecutor() as executor:
    executor.map(process_file, txt_files)1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.

输出：

已处理 example.txt
已处理 test.txt1.
2.

这段代码展示了如何使用多线程来并行处理多个文件，显著提高处理速度。

总结

本文详细介绍了五种常用的文件处理方法：os 模块用于文件的基本操作，如重命名；shutil 模块提供高级文件操作，如复制；glob 模块用于通配符匹配文件；pathlib 模块提供现代文件路径处理；concurrent.futures 模块支持多线程处理。通过实际代码示例，展示了每种方法的应用场景及其优势。