189 8069 5689
在进行数据处理时，如果数据简单，数量不多，excel是大家的首选。但是当数据众多，类型复杂，需要灵活地显示切片、进行索引、以及排序时，python会更加方便。借助python中的numpy和pandas库，它能快速完成各种任务，包括数据的创建、检查、清洗、预处理、提取、筛选、汇总、统计等。接下来几篇文章，将以excel为参照，介绍python中数据的处理。
成都创新互联公司于2013年成立，是专业互联网技术服务公司，拥有项目做网站、成都网站建设网站策划，项目实施与项目整合能力。我们以让每一个梦想脱颖而出为使命，1280元湖州做网站,已为上家服务,为湖州各地企业和个人服务,联系电话:028-86922220
提到pandas，那就不得不提两类重要的数据结构，Series和DataFrame，这两类数据结构都是建立在numpy的数组array基础上。与array相比，Series是一个一维的数据集，但是每个数据元素都带有一个索引，有点类似于字典。而DataFrame在数组的基础上，增加了行索引和列索引，类似于Series的字典，或者说是一个列表集。
所以在数据处理前，要安装好numpy , pandas。接下来就看看如何完成一套完整的数据操作。
创建数据表的方法分两种，分别是从外部导入数据，以及直接写入数据。
在python中，也可外部导入xlsx格式文件，使用read_excel()函数：
import pandas as pd
from pandas import DataFrame,Series
data=DataFrame(pd.read_excel('c:/python27/test.xlsx'))
print data
输出：
Gene Size Function
0 arx1 411 NaN
1 arx2 550 monooxygenase
2 arx3 405 aminotransferase
……
即：调用pandas中read_excel属性，来读取文件test.xlsx，并转换成DataFrame格式，赋给变量data。在每一行后，自动分了一个索引值。除了excel，还支持以下格式文件的导入和写入：
Python写入的方法有很多，但还是不如excel方便。常用的例如使用相等长度的字典或numpy数组来创建：
data1 = DataFrame(
{'Gene':['arx1','arx2','arx3'],
'Size':[411,550,405],
'Func':[np.NaN,'monooxygenase','aminotransferase ']})
print data1
输出
Func Gene Size
0 NaN arx1 411
1 monooxyg arx2 550
2 amino arx3 405
分配一个行索引后，自动排序并输出。
在python中，可以使用info()函数查看整个数据的详细信息。
print data.info()
输出
RangeIndex: 7 entries, 0 to 6
Data columns (total 3 columns):
Gene 7 non-null object
Size 7 non-null int64
Function 5 non-null object
dtypes: int64(1), object(2)
memory usage: 240.0+ bytes
None
此外，还可以通过shape, column, index, values, dtypes等函数来查看数据维度、行列组成、所有的值、 数据类型：
print data1.shape
print data1.index
print data1.columns
print data1.dtypes
输出
(3, 3)
RangeIndex(start=0, stop=3, step=1)
Index([u'Func', u'Gene', u'Size'], dtype='object')
Func object
Gene object
Size int64
dtype: object
在excel中可以按“F5”，在“定位条件”中选择“空值”，选中后，输入替换信息，再按“Ctrl+Enter”即可完成替换。
在python中，使用函数 isnull 和 notnull 来检测数据丢失, 包含空值返回True，不包含则返回False。
pd.isnull(data1)
pd.notnull(data1)
也可以使用函数的实例方法，以及加入参数，对某一列进行检查：
print data1['Func'].isnull()
输出
Func Gene Size
0 True False False
1 False False False
2 False False False
再使用fillna对空值进行填充：
data.fillna(value=0)
#用0来填充空值
data['Size'].fillna(data1['Size'].mean())
#用data1中Size列的平均值来填充空值
data['Func']=data['Func'].map(str.strip)
#清理Func列中存在的空格
Excel中可以按“Ctrl+F”，可调出替换对话框，替换相应数据。
Python中，使用replace函数替换：
data['Func'].replace('monooxygenase', 'oxidase')
将Func列中的'monooxygenase'替换成'oxidase'。
Excel中，通过“数据-筛选-高级”可以选择性地看某一列的唯一值。
Python中，使用unique函数查看：
print data['Func'].unique()
输出
[nan u'monooxygenase' u'aminotransferase' u'methyltransferase']
Excel中，通过UPPER、LOWER、PROPER等函数来变成大写、小写、首字母大写。
Python中也有同名函数：
data1['Gene'].str.lower()
Excel中可以通过“数据-删除重复项”来去除重复值。
Python中，可以通过drop_duplicates函数删除重复值：
print data['Func'].drop_duplicates()
输出
0 NaN
1 monooxygenase
2 aminotransferase
3 methyltransferase
Name: Func, dtype: object
还可以设置“ keep=’last’ ”参数，后出现的被保留，先出现的被删除：
print data['Func'].drop_duplicates(keep='last')
输出
2 aminotransferase
3 methyltransferase
6 monooxygenase
8 NaN
Name: Func, dtype: object
内容参考：
Python For Data Analysis
蓝鲸网站分析博客，作者蓝鲸（王彦平）
1. 使用内置函数set
lists = [1,1,2,3,4,6,6,2,2,9]
lists = list(set(lists))
先将列表转换为集合，因为集合是不重复的，故直接删除重复元素，而且输出结果为排序后的
如果你知道他的索引（index）
假设他的索引存在变量a中
列表名为list
list.pop(a)
当然，也可以用remove函数
但是，局限于只能删第一个
比如：
a=[0,1,1,1,2,3,3]
a.remove(1)
print(a)
结果为：
[0, 1, 1, 2, 3, 3]
from pandas import read_csv
df = read_csv('D://PDA//4.3//data.csv')
df
#找出行重复的位置
dIndex = df.duplicated()
#根据某些列，找出重复的位置
dIndex = df.duplicated('id')
dIndex = df.duplicated(['id', 'key'])
#根据返回值，把重复数据提取出来
df[dIndex]
id key value
4 1251147 品牌 Apple
5 1251147 商品名称 苹果iPad mini 3
#直接删除重复值
#默认根据所有的列，进行删除
newDF = df.drop_duplicates()
#当然也可以指定某一列，进行重复值处理
newDF = df.drop_duplicates('id')
Duplicated函数功能：查找并显示数据表中的重复值
这里需要注意的是：
drop_duplicates函数功能是：删除数据表中的重复值，判断标准和逻辑与duplicated函数一样
前两天处理数据的时候，需要得到两个数据的交集数据，所以要去除数据中非重复部分，只保留数据中的重复部分。
网上看了一下大家的教程，大部分都是教去除重复行，很少有说到仅保留重复行的。所以在这里用drop_duplicates这个去重函数来实现这个功能。
drop_duplicates函数介绍 ：
data.drop_duplicates(subset=[‘A’,‘B’],keep=‘first’,inplace=True)
#subset对应的值是列名，表示只考虑这两列，将这两列对应值相同的行进行去重。
默认值为subset=None表示考虑所有列。
keep='first’表示保留第一次出现的重复行，是默认值。
keep另外两个取值为"last"和False，分别表示保留最后一次出现的重复行和去除所有重复行。
inplace=True表示直接在原来的DataFrame上删除重复项，而默认值False表示生成一个副本。
要用函数取得数据集data中的重复列，分三个步骤 ：
（提前导入pandas模块）
data0_1 = data.drop_duplicates() #保留第一个重复行
data0_2 = data.drop_duplicates(keep=False) #去除所有重复行
data0_3=pd.concat([data0_1,data0_2]).drop_duplicates(keep=False)
#合并起来再去重，只剩下真的重复行。
举例：data中wangwu行和tony行重复，需要把它们两行取出。
第一步：#保留第一个重复行
第二步：#去除所有重复行
第三步：#合并起来再去重
通过以上步骤实现取出数据中的重复行。