说到Python处理大数据集，别说你会用Pandas

import pandas as pd  
  
# 设置分块大小，例如每次读取 10000 行  
chunksize = 10000  
  
# 使用 chunksize 参数分块读取 CSV 文件  
for chunk in pd.read_csv('large_file.csv', chunksize=chunksize):  
    # 在这里处理每个 chunk，例如打印每行的信息  
    print(chunk.head())  # 或者其他你需要的操作  
  
    # 如果你需要保存或进一步处理每个 chunk 的数据，可以在这里进行  
    # 例如，你可以将每个 chunk 写入不同的文件，或者对 chunk 进行某种计算并保存结果

from pyspark.sql import SparkSession  
  
# 创建一个 SparkSession 对象  
spark = SparkSession.builder \  
    .appName("Big Data Processing with PySpark") \  
    .getOrCreate()  
  
# 读取 CSV 文件  
# 假设 CSV 文件名为 data.csv，并且有一个名为 'header' 的表头  
# 你需要根据你的 CSV 文件的实际情况修改这些参数  
df = spark.read.csv("path_to_your_csv_file/data.csv", header=True, inferSchema=True)  
  
# 显示数据集的前几行  
df.show(5)  
  
# 对数据进行一些转换  
# 例如，我们可以选择某些列，并对它们应用一些函数  
# 假设我们有一个名为 'salary' 的列，并且我们想要增加它的值（仅作为示例）  
df_transformed = df.withColumn("salary_increased", df["salary"] * 1.1)  
  
# 显示转换后的数据集的前几行  
df_transformed.show(5)  
  
# 将结果保存到新的 CSV 文件中  
# 注意：Spark 默认不会保存表头到 CSV，你可能需要手动处理这个问题  
df_transformed.write.csv("path_to_save_transformed_csv/transformed_data", header=True)  
  
# 停止 SparkSession  
spark.stop()

import modin.pandas as pd  
  
# 读取 CSV 文件  
df = pd.read_csv('path_to_your_csv_file.csv')  
  
# 显示前几行  
print(df.head())

import dask.dataframe as dd  
  
# 读取 CSV 文件  
df = dd.read_csv('path_to_your_csv_file.csv')  
  
# 触发计算并显示前几行（注意这里使用的是 compute 方法）  
print(df.head().compute())

import polars as pl
  
# 读取 CSV 文件  
df = pl.read_csv('path_to_your_csv_file.csv')  
  
# 显示前几行
print(df.head())