python pandas dataframe常用数据处理总结

最近一直在做数据处理相关的工作，有几点经常遇到的情况总结如下：

1. 数据中存在为空数据如何处理

处理方式1：丢弃数据行
# 实现方式1
data = data.dropna(subset=['id']) # 若id列中某行数值为空，丢弃整行数据
# 实现方式2
data = df[df['id'].notna()]处理方式2：填充，定值填充或插值填充
data['value'] = data['value'].fillna(0.0) # 使用0.0对value列中空值进行填充

2. 丢弃某行某列

# 如果rn列存在，丢弃该列
if 'rn' in df.columns:df = df.drop('rn', axis=1)  # axis控制行列# 若直接在原数据做操作，需设置inplace参数df.drop('rn', axis=1， inplace=True)

3. 如何对某列中字符串数据进行批量操作

# 设time中数据为12:34这种类型
df['time'].str.split(':',expand=True).astype(int) 
# expand参数用以将分割的字符串展开为单独的列，astype用于转换数据类型

4. 数据中不存在某列，添加列

# 添加有值的列如何做
data = {'A': ['item1', 'item2', 'item3', 'item4'],'B': ['0.1', '0.2', '0.3', '0.4']
}
df = pd.DataFrame(data)# 增加一列'id'字段, 并选择特定行赋值
df.loc[[True, False, True, True],'id'] = ['1', '2', '3']
# 不支持同时加两列，只能加单列# 添加无值的列，再进行处理
df['add'] = np.nan
df['add'] = np.where(df['hour'] >= 1000, 1, 0) 
df['hour'] = np.where(df['hour'] >= 1000, df['hour'] - 1000, df['hour'])

5. 一些日期处理函数

# pd.to_datetime
# 将day转为datetime格式
tmp_day = pd.to_datetime(df['day'], format='%Y%m%d')# pd.to_timedelta
timestamp = tmp_day + pd.to_timedelta(df['hour'], unit='h') + pd.to_timedelta(df['min'],unit='m') + pd.to_timedelta(df['add'], unit='D')

6. 一些处理函数

# id分组中，源数据只有一行batch字段有填充，函数实现将batch拓展填充到各数据行
df['batch'] = df.groupby('id')['batch'].transform(lambda x: x.fillna(method='ffill').fillna(method='bfill'))
# 首先通过groupby函数根据id列对数据进行分组，然后对每个分组使用transform函数。
# transform函数中的lambda函数使用fillna方法先向前（ffill）填充分组中的np.nan值，
# 如果某一分组中的第一行为np.nan，则之后再向后（bfill）填充。# 对每个id分组，执行apply操作，运行数据处理函数，实现功能
def trans(df):df = df.groupby('id').apply(lambda group: group.apply(process_column))return df
def process_column(col):# 若数据列名中存在period或为a b c，将该组数据用;连接起来返回if 'period' in col.name or col.name in ['a','b','c']:return ';'.join(str(v) for v in col)else:# 其余数据直接做unique返回return col.unique()