python使用pandas按照行数分割表格
更新时间：2021年8月13日 12:00 点击：3270
问题
- 一张excel表格，大概1万行，需要录入系统
- 系统每次最多只能录入500行表格数据，一旦超过500行，就会录入失败
- 需要把1万行的数据按照500行分割，形成20个表格，这样才能录入系统
思路
- 使用pandas得到总行数，比如10002行，分割表格的时候，要保留一行表头
- 第一张表，是1-500行，第二张表是 501-1000，以此类推
- 最后一张表应该是1000-10002行，生成的表格数量是10000/500+1,21张
- 生成的表格按照顺序保存到一个目录中
- 写一个函数，可以按照任意指定的分割数量进行分割。
代码实现
#按行数分割表格函数
#问题
#1.如果有有一个十万行表格，要录入系统，但是系统每次最多只能录入500行？
#解决问题：
#1.按照指定的行数分割表格
#2.分割出来的表格按照序号命名
import pandas as pd
import os
def SplitExcel(file,num):
file_dir='result' #创建目录
if os.path.isdir(file_dir):
os.rmdir(file_dir)
else:
os.mkdir(file_dir)
n = 1
row_list = []
df = pd.DataFrame(pd.read_excel(file, sheet_name=0))
row_num = int(df.shape[0]) # 获取行数
if num >= row_num: #如果分割行数大于总行数，报错
raise Exception('too much!!')
try:
for i in list(range(num,row_num,num)):
row_list.append(i)
row_list.append(row_num) # 得到完整列表
except Exception as e:
print (e)
(name,ext)=os.path.splitext(file) #获取文件名
for m in row_list:
filename=os.path.join(file_dir,name+'-' + str(n) + '.xlsx')
if m <row_num:
df_handle=df.iloc[m-num:m] #获取n行之前
print (df_handle)
df_handle.to_excel(filename , sheet_name='sheet1',index=False)
elif m == int(row_num):
remainder=int(int(row_num)%num) #余数
df_handle=df.iloc[m-remainder:m] #获取最后不能整除的行
df_handle.to_excel(filename , sheet_name='sheet1', index=False)
n = n + 1
if __name__=='__main__':
file= 'result.xls'
SplitExcel(file,num=10)
测试效果
一张83行的表格，去除表头，一共82行，按照10行分割，一共要获得9张表格，最后一张表格，应该只有两行，中间的表格，数据必须是连续的，
分割前
分割后
到此这篇关于python使用pandas按照行数分割表格的文章就介绍到这了,更多相关pandas按行分割表格内容请搜索猪先飞以前的文章或继续浏览下面的相关文章希望大家以后多多支持猪先飞！
相关文章
pandas pd.read_csv()函数中parse_dates()参数的用法说明
这篇文章主要介绍了pandas pd.read_csv()函数中parse_dates()参数的用法说明，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-05- 今天小编就为大家分享一篇Pandas实现DataFrame按行求百分数(比例数)，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-05-09
- 本文主要介绍了python使用pandas按照行数分割表格，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下...2021-08-13
- 这篇文章主要介绍了解决python3安装pandas出错的问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教...2021-05-20
- 比较操作是很简单的基础知识,不过Pandas中的比较操作有一些特殊的点,本文介绍的非常详细,对正在学习python的小伙伴们很有帮助.需要的朋友可以参考下...2021-05-20
- 这篇文章主要介绍了用pandas划分数据集实现训练集和测试集，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2020-07-20
- 这篇文章主要介绍了pandas 实现将两列中的较大值组成新的一列，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-26
- pandas 读取excel文件使用的是 read_excel方法。本文将详细解析read_excel方法的常用参数，以及实际的使用示例，感兴趣的朋友跟随小编一起看看吧...2021-11-01
- 今天小编就为大家分享一篇TensorFlow2.0:张量的合并与分割实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-04-22
解决python pandas读取excel中多个不同sheet表格存在的问题
这篇文章主要介绍了解决python pandas读取excel中多个不同sheet表格存在的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-07-14Oracle 两个逗号分割的字符串,获取交集、差集(sql实现过程解析)
这篇文章主要介绍了Oracle 两个逗号分割的字符串，获取交集、差集的sql实现过程解析,本文给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下...2020-07-11- 笔者最近正在学习Pandas数据分析，将自己的学习笔记做成一套系列文章。本节主要记录Pandas中使用stack和pivot实现数据透视。感兴趣的小伙伴们可以参考一下...2021-09-05
- 这篇文章主要介绍了对python pandas中 inplace 参数的理解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-06-28
Pandas.DataFrame转置的实现 <font color=red>原创</font>
这篇文章主要介绍了Pandas.DataFrame转置的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2021-03-09- 这篇文章主要介绍了pandas 实现某一列分组,其他列合并成list的案例。具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-26
- 大家都知道Nginx产生的日志都是存在一个文件，随着网站运行时间越长，日志文件的大小也在不断增长，所以这个时候就需要实现定时分割，这篇文章主要介绍了在CentOS 7.0下nginx实现每天定时分割日志的相关资料，需要的朋友可以参考下。...2017-07-06
- 这篇文章主要为大家详细介绍了NodeJS实现图片文本分割，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下...2021-09-06
- 今天给大家带来的是关于Python的相关知识,文章围绕着Pandas常用函数方法展开,文中有非常详细的介绍及代码示例,需要的朋友可以参考下...2021-06-16
- 这篇文章主要介绍了python 用pandas实现数据透视表功能的方法，帮助大家更好的理解和使用python，感兴趣的朋友可以了解下...2020-12-21
- 今天小编就为大家分享一篇Pandas 解决dataframe的一列进行向下顺移问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-05-09