前文
今天为大家分享一篇使用python将大量数据导出到Excel中的技巧心得,可以让Python和Excel的数据实现互通!具有很好的参考价值,希望对大家有所帮助(建议在电脑端阅读,代码案例较多)。一起过来看看吧!
问题描述
为了更好地展示数据,Excel格式的数据文件往往比文本文件更具有优势,但是具体到python中,该如何导出数据到Excel呢?如果碰到需要导出大量数据又该如何操作呢?
具体步骤
Step 1 安装openpyxl
使用 pip install openpyxl 即可,但是在windows下安装的是2.2.6版本,在centos自动安装的是4.1版本,写的代码在windows下运行没问题,但centos上却报错了,说是ew=ExcelWriter(workbook=wb)少提供一个参数,于是果断在 237服务器上我已安装2.2.6版本的,问题解决。
- pip install openpyxl==2.2.6
Step 2 直接上代码(Ps:代码中包含xlwt和openpyxl的两个实现版本)
- # coding:utf-8
- '''
- # 希望对大家有帮助哈,请多提问题
- create by yaoyz
- date: 2017/01/24
- '''
- importxlrd
- importxlwt
- # workbook相关
- fromopenpyxl.workbookimportWorkbook
- # ExcelWriter,封装了很强大的excel写的功能
- fromopenpyxl.writer.excelimportExcelWriter
- # 一个eggache的数字转为列字母的方法
- fromopenpyxl.utilsimportget_column_letter
- fromopenpyxl.reader.excelimportload_workbook
- classHandleExcel():
- '''Excel相关操作类'''
- def__init__(self):
- self. head_row_labels = [u'学生ID',u'学生姓名',u'联系方式',u'知识点ID',u'知识点名称']
- """
- function:
- 读出txt文件中的每一条记录,把它保存在list中
- Param:
- filename: 要读出的文件名
- Return:
- res_list:返回的记录的list
- """
- defread_from_file(self,filename):
- res_list=[]
- file_obj=open(filename,"r")
- forlineinfile_obj.readlines():
- res_list.append(line)
- file_obj.close()
- returnres_list
- """
- function:
- 读出*.xlsx中的每一条记录,把它保存在data_dic中返回
- Param:
- excel_name: 要读出的文件名
- Return:
- data_dic:返回的记录的dict
- """
- defread_excel_with_openpyxl(self, excel_name="testexcel2007.xlsx"):
- # 读取excel2007文件
- wb = load_workbook(filename=excel_name)
- # 显示有多少张表
- print"Worksheet range(s):", wb.get_named_ranges()
- print"Worksheet name(s):", wb.get_sheet_names()
- # 取第一张表
- sheetnames = wb.get_sheet_names()
- ws = wb.get_sheet_by_name(sheetnames[0])
- # 显示表名,表行数,表列数
- print"Work Sheet Titile:",ws.title
- print"Work Sheet Rows:",ws.get_highest_row()
- print"Work Sheet Cols:",ws.get_highest_column()
- # 获取读入的excel表格的有多少行,有多少列
- row_num=ws.get_highest_row()
- col_num=ws.get_highest_column()
- print"row_num: ",row_num," col_num: ",col_num
- # 建立存储数据的字典
- data_dic = {}
- sign=1
- # 把数据存到字典中
- forrowinws.rows:
- temp_list=[]
- # print "row",row
- forcellinrow:
- printcell.value,
- temp_list.append(cell.value)
- print""
- data_dic[sign]=temp_list
- sign+=1
- printdata_dic
- returndata_dic
- """
- function:
- 读出*.xlsx中的每一条记录,把它保存在data_dic中返回
- Param:
- records: 要保存的,一个包含每一条记录的list
- save_excel_name: 保存为的文件名
- head_row_stu_arrive_star:
- Return:
- data_dic:返回的记录的dict
- """
- defwrite_to_excel_with_openpyxl(self,records,head_row,save_excel_name="save.xlsx"):
- # 新建一个workbook
- wb = Workbook()
- # 新建一个excelWriter
- ew = ExcelWriter(workbook=wb)
- # 设置文件输出路径与名称
- dest_filename = save_excel_name.decode('utf-8')
- # 第一个sheet是ws
- ws = wb.worksheets[0]
- # 设置ws的名称
- ws.title ="range names"
- # 写第一行,标题行
- forh_xinrange(1,len(head_row)+1):
- h_col=get_column_letter(h_x)
- #print h_col
- ws.cell('%s%s'% (h_col,1)).value ='%s'% (head_row[h_x-1])
- # 写第二行及其以后的那些行
- i =2
- forrecordinrecords:
- record_list=str(record).strip().split("\t")
- forxinrange(1,len(record_list)+1):
- col = get_column_letter(x)
- ws.cell('%s%s'% (col, i)).value ='%s'% (record_list[x-1].decode('utf-8'))
- i +=1
- # 写文件
- ew.save(filename=dest_filename)
- """
- function:
- 测试输出Excel内容
- 读出Excel文件
- Param:
- excel_name: 要读出的Excel文件名
- Return:
- 无
- """
- defread_excel(self,excel_name):
- workbook=xlrd.open_workbook(excel_name)
- printworkbook.sheet_names()
- # 获取所有sheet
- printworkbook.sheet_names()# [u'sheet1', u'sheet2']
- sheet2_name = workbook.sheet_names()[1]
- # 根据sheet索引或者名称获取sheet内容
- sheet2 = workbook.sheet_by_index(1)# sheet索引从0开始
- sheet2 = workbook.sheet_by_name('Sheet1')
- # sheet的名称,行数,列数
- printsheet2.name,sheet2.nrows,sheet2.ncols
- # 获取整行和整列的值(数组)
- rows = sheet2.row_values(3)# 获取第四行内容
- cols = sheet2.col_values(2)# 获取第三列内容
- printrows
- printcols
- # 获取单元格内容
- printsheet2.cell(1,0).value
- printsheet2.cell_value(1,0)
- printsheet2.row(1)[0].value
- # 获取单元格内容的数据类型
- printsheet2.cell(1,0).ctype
- # 通过名称获取
- returnworkbook.sheet_by_name(u'Sheet1')
- """
- function:
- 设置单元格样式
- Param:
- name: 字体名字
- height: 字体高度
- bold: 是否大写
- Return:
- style: 返回设置好的格式对象
- """
- defset_style(self,name,height,bold=False):
- style = xlwt.XFStyle()# 初始化样式
- font = xlwt.Font()# 为样式创建字体
- font.name = name# 'Times New Roman'
- font.bold = bold
- font.color_index =4
- font.height = height
- borders= xlwt.Borders()
- borders.left=6
- borders.right=6
- borders.top=6
- borders.bottom=6
- style.font = font
- style.borders = borders
- returnstyle
- """
- function:
- 按照 设置单元格样式 把计算结果由txt转变为Excel存储
- Param:
- dataset:要保存的结果数据,list存储
- Return:
- 将结果保存为 excel对象中
- """
- defwrite_to_excel(self, dataset,save_excel_name,head_row):
- f = xlwt.Workbook()# 创建工作簿
- # 创建第一个sheet:
- # sheet1
- count=1
- sheet1 = f.add_sheet(u'sheet1', cell_overwrite_ok=True)# 创建sheet
- # 首行标题:
- forpinrange(len(head_row)):
- sheet1.write(0,p,head_row[p],self.set_style('Times New Roman',250,True))
- default=self.set_style('Times New Roman',200,False)# define style out the loop will work
- forlineindataset:
- row_list=str(line).strip("\n").split("\t")
- forppinrange(len(str(line).strip("\n").split("\t"))):
- sheet1.write(count,pp,row_list[pp].decode('utf-8'),default)
- count+=1
- f.save(save_excel_name)# 保存文件
- defrun_main_save_to_excel_with_openpyxl(self):
- print"测试读写2007及以后的excel文件xlsx,以方便写入文件更多数据"
- print"1. 把txt文件读入到内存中,以list对象存储"
- dataset_list=self.read_from_file("test_excel.txt")
- '''test use openpyxl to handle EXCEL 2007'''
- print"2. 把文件写入到Excel表格中"
- head_row_label=self.head_row_labels
- save_name="test_openpyxl.xlsx"
- self.write_to_excel_with_openpyxl(dataset_list,head_row_label,save_name)
- print"3. 执行完毕,由txt格式文件保存为Excel文件的任务"
- defrun_main_save_to_excel_with_xlwt(self):
- print" 4. 把txt文件读入到内存中,以list对象存储"
- dataset_list=self.read_from_file("test_excel.txt")
- '''test use xlwt to handle EXCEL 97-2003'''
- print" 5. 把文件写入到Excel表格中"
- head_row_label=self.head_row_labels
- save_name="test_xlwt.xls"
- self.write_to_excel_with_openpyxl(dataset_list,head_row_label,save_name)
- print"6. 执行完毕,由txt格式文件保存为Excel文件的任务"
- if__name__ =='__main__':
- print"create handle Excel Object"
- obj_handle_excel=HandleExcel()
- # 分别使用openpyxl和xlwt将数据写入文件
- obj_handle_excel.run_main_save_to_excel_with_openpyxl()
- obj_handle_excel.run_main_save_to_excel_with_xlwt()
- '''测试读出文件,注意openpyxl不可以读取xls的文件,xlrd不可以读取xlsx格式的文件'''
- #obj_handle_excel.read_excel_with_openpyxl("testexcel2003.xls") # 错误写法
- #obj_handle_excel.read_excel_with_openpyxl("testexcel2003.xls") # 错误写法
- obj_handle_excel.read_excel("testexcel2003.xls")
- obj_handle_excel.read_excel_with_openpyxl("testexcel2007.xlsx")
扩展阅读
通过查阅资料,发现网上众说纷纭,总结起来有如下几点:
python Excel相关操作的module lib有两组,一组是 xlrd、xlwt、xlutils ,另一组是 openpyxl,但是前一组(xlrd,xlwt)比较老,只能处理由Excel 97-2003 或者Excel 97 以前版本生成的xls格式的excel文件,xlwt甚至不支持07版以后的excel,这个格式excel文件一般来说,最大只能支持256列或者65536行的excel文件。
因此面对需要导出大量数据到excel的情况,你将有如下三种选择:
- 换一种存储格式,如保存为CSV文件
- 使用openpyxl—,因为它支持对Excel 2007+ xlsx/xlsm format的处理
- win32 COM (Windows only)
当然,我们要直面困难,为了更好地展示数据给产品和用户,我们依然选择第二种。
经过一番搜索后我找到了openpyxl的网址,放在下面了,支持07+的excel,一直有人在维护,文档清晰易读,参照Tutorial和API文档很快就能上手了,大家有需要的可以自取。
- openpyxl网址:https://openpyxl.readthedocs.io/en/stable/