Pandas数据清洗

发布时间:2024-12-21 02:06

Pandas数据分析:数据清洗与处理工具 #生活技巧# #工作学习技巧# #编程语言学习路径#

最新推荐文章于 2024-09-28 06:16:12 发布

Crystal_Coding 于 2019-08-22 21:18:31 发布

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

创建DataFrame结构数据: 

df=DataFrame(data=np.random.randint(0,150,size=(100,50)),index=np.arange(100,200),columns=['Python','En','Math','Physics','Chen'])

对df中的空数据进行分析:

df.isnull().any()

df.notnull().all()

df.isnull().sum()

df.isnull().sum().sum()

将表格中的一些数据制空,然后在做相应的处理:

for i in range(50):

index=np.random.randint(100,200,size=1)[0]

cols=df.columns

col=np.random.choice(cols)

df.loc[index,col]=np.NAN

对空数据进行填充:

df2.fillna(value=0)

df3=df2.fillna(value=df2.mean())

df3.astype(np.int16)

df4=df2.fillna(df2.median())

zhongshu=[]

for col in df.columns:

zhongshu.append(df[col].value_counts().index[0])

s=Series(data=zhongshu,index=df.columns)

"""

method : {'backfill', 'bfill', 'pad', 'ffill', None}, default None

Method to use for filling holes in reindexed Series

pad / ffill: propagate last valid observation forward to next valid

backfill / bfill: use NEXT valid observation to fill gap

"""

df3.fillna(method='backfill')

df3.fillna(method='pad',axis=1)

对空数据进行删除:

df4=df.dropna()

网址:Pandas数据清洗 https://www.yuejiaxmz.com/news/view/529420

相关内容

Python pandas 数据清洗(二)
利用Python进行数据分析——Pandas(2)
从0到1数据分析实战学习笔记(二)数据清洗
大数据清洗随手记(一)
Pandas 数据处理(一)缺失值处理
数据清洗实战:工业生产数据的深入探讨
数据清洗:最佳实践与工具推荐
数据挖掘:数据清洗——数据噪声处理
大数据环境下的高效数据清洗策略
Python 数据清洗之缺失数据滤除dropna()

随便看看