jupylab pandas按条件批量处理xls数据

批量处理xls表数据

引入相关包

import pandas as pd
import xlrd
import numpy as np# 去掉jupyleb警告
import warnings
warnings.filterwarnings("ignore")from IPython.core.interactiveshell import InteractiveShell
InteractiveShell.ast_node_interactivity = 'all'

读取一个表，按照条件筛选，并统计多少条，并封装成函数，返回值为条数

def qushu(path):#读取xls表中的数据到pandas中wb = xlrd.open_workbook(path, logfile=open(os.devnull, 'w'))df = pd.read_excel(wb)#按照列名   条件   筛选出表中数据data = df[(df['手术类别'] == '手术') | (df['手术类别'] == '介入治疗') ]#将数据中病人重复的只筛选第一个data_drop = data.drop_duplicates(subset=['病案号'],keep=False)#查询符合的条数len_num = data_drop.shape[0]return len_num

pandas函数简介drop_duplicates

函数体：

df.drop_duplicates(subset=['A','B'],keep='first',inplace=True)

主要参数：

subset： 输入要进行去重的列名，默认为None

keep： 可选参数有三个：‘first’、 ‘last’、 False， 默认值 ‘first’。其中，

first表示： 保留第一次出现的重复行，删除后面的重复行。
last表示： 删除重复项，保留最后一次出现。
False表示： 删除所有重复项。
inplace：布尔值，默认为False，是否直接在原数据上删除重复项或删除重复项后返回副本。

批量读取文件

#文件名为1.xls、2.xls、.....
str = "C:/1.xls"#提取每个文件名，这里比较灵活，可以多种方法，我这里有些不妥，可以直接循环拼接字符串
str_split_path = str.split(".")[0]
str_split_path = str_split_path[:-1]num_list = []#将数据存到数组中#循环读取操作xls，并将返回的数据保存在表中
for i in range(1,21):str_all = str_split_path + "{}".format(i) + ".xls"num_1 = qushu(str_all)num_list.append(num_1)print(num_list)