189 8069 5689
在进行数据处理时，如果数据简单，数量不多，excel是大家的首选。但是当数据众多，类型复杂，需要灵活地显示切片、进行索引、以及排序时，python会更加方便。借助python中的numpy和pandas库，它能快速完成各种任务，包括数据的创建、检查、清洗、预处理、提取、筛选、汇总、统计等。接下来几篇文章，将以excel为参照，介绍python中数据的处理。
在梁平等地区，都构建了全面的区域性战略布局，加强发展的系统性、市场前瞻性、产品创新能力，以专注、极致的服务理念，为客户提供成都网站制作、成都网站设计、外贸营销网站建设 网站设计制作按需网站建设,公司网站建设,企业网站建设,品牌网站制作,成都全网营销推广,外贸网站建设,梁平网站建设费用合理。
提到pandas，那就不得不提两类重要的数据结构，Series和DataFrame，这两类数据结构都是建立在numpy的数组array基础上。与array相比，Series是一个一维的数据集，但是每个数据元素都带有一个索引，有点类似于字典。而DataFrame在数组的基础上，增加了行索引和列索引，类似于Series的字典，或者说是一个列表集。
所以在数据处理前，要安装好numpy , pandas。接下来就看看如何完成一套完整的数据操作。
创建数据表的方法分两种，分别是从外部导入数据，以及直接写入数据。
在python中，也可外部导入xlsx格式文件，使用read_excel()函数：
import pandas as pd
from pandas import DataFrame,Series
data=DataFrame(pd.read_excel('c:/python27/test.xlsx'))
print data
输出：
Gene Size Function
0 arx1 411 NaN
1 arx2 550 monooxygenase
2 arx3 405 aminotransferase
……
即：调用pandas中read_excel属性，来读取文件test.xlsx，并转换成DataFrame格式，赋给变量data。在每一行后，自动分了一个索引值。除了excel，还支持以下格式文件的导入和写入：
Python写入的方法有很多，但还是不如excel方便。常用的例如使用相等长度的字典或numpy数组来创建：
data1 = DataFrame(
{'Gene':['arx1','arx2','arx3'],
'Size':[411,550,405],
'Func':[np.NaN,'monooxygenase','aminotransferase ']})
print data1
输出
Func Gene Size
0 NaN arx1 411
1 monooxyg arx2 550
2 amino arx3 405
分配一个行索引后，自动排序并输出。
在python中，可以使用info()函数查看整个数据的详细信息。
print data.info()
输出
RangeIndex: 7 entries, 0 to 6
Data columns (total 3 columns):
Gene 7 non-null object
Size 7 non-null int64
Function 5 non-null object
dtypes: int64(1), object(2)
memory usage: 240.0+ bytes
None
此外，还可以通过shape, column, index, values, dtypes等函数来查看数据维度、行列组成、所有的值、 数据类型：
print data1.shape
print data1.index
print data1.columns
print data1.dtypes
输出
(3, 3)
RangeIndex(start=0, stop=3, step=1)
Index([u'Func', u'Gene', u'Size'], dtype='object')
Func object
Gene object
Size int64
dtype: object
在excel中可以按“F5”，在“定位条件”中选择“空值”，选中后，输入替换信息，再按“Ctrl+Enter”即可完成替换。
在python中，使用函数 isnull 和 notnull 来检测数据丢失, 包含空值返回True，不包含则返回False。
pd.isnull(data1)
pd.notnull(data1)
也可以使用函数的实例方法，以及加入参数，对某一列进行检查：
print data1['Func'].isnull()
输出
Func Gene Size
0 True False False
1 False False False
2 False False False
再使用fillna对空值进行填充：
data.fillna(value=0)
#用0来填充空值
data['Size'].fillna(data1['Size'].mean())
#用data1中Size列的平均值来填充空值
data['Func']=data['Func'].map(str.strip)
#清理Func列中存在的空格
Excel中可以按“Ctrl+F”，可调出替换对话框，替换相应数据。
Python中，使用replace函数替换：
data['Func'].replace('monooxygenase', 'oxidase')
将Func列中的'monooxygenase'替换成'oxidase'。
Excel中，通过“数据-筛选-高级”可以选择性地看某一列的唯一值。
Python中，使用unique函数查看：
print data['Func'].unique()
输出
[nan u'monooxygenase' u'aminotransferase' u'methyltransferase']
Excel中，通过UPPER、LOWER、PROPER等函数来变成大写、小写、首字母大写。
Python中也有同名函数：
data1['Gene'].str.lower()
Excel中可以通过“数据-删除重复项”来去除重复值。
Python中，可以通过drop_duplicates函数删除重复值：
print data['Func'].drop_duplicates()
输出
0 NaN
1 monooxygenase
2 aminotransferase
3 methyltransferase
Name: Func, dtype: object
还可以设置“ keep=’last’ ”参数，后出现的被保留，先出现的被删除：
print data['Func'].drop_duplicates(keep='last')
输出
2 aminotransferase
3 methyltransferase
6 monooxygenase
8 NaN
Name: Func, dtype: object
内容参考：
Python For Data Analysis
蓝鲸网站分析博客，作者蓝鲸（王彦平）
Python操作excel文件根据某一字段将相同的类拆分。
需要安装pandas，xlrd，openpyxl库。
定义新列需要用到columns.tolist()函数，具体代码如下:col_name=df.columns.tolistcol_name.insert(新列位置，'新列名称')wb=df.reindex(columns=col_name)然后后面再接一行代码用来定义新列的计算规则。
用python读取excel中的一列数据步骤如下：
1、首先打开dos命令窗，安装必须的两个库，命令是：pip3 install xlrd；Pip3 install xlwt。
2、准备好excel。
3、打开pycharm，新建一个excel.py的文件，首先导入支持库import xlrdimport xlwt。
4、要操作excel，首先得打开excel，使用open_workbook(‘路径’)，要获取行与列，使用nrows(行)，ncols(列)，获取具体的值，使用cell（row,col）.value。
5、要在excel里写入值，就要使用write属性,重点说明写入是用到xlwt这个支援库，思路是先新建excel，然后新建页签B，然后将一组数据写入到B，最后保存为excel.xls。
首先选中E1单元格，然后点公式—vlookup
请点击输入图片描述
在弹出的函数参数对话框中，Lookup_value栏选定D1（即想要引用出来的项目），Table_array栏选定A1:B10(即要引用的范围)
请点击输入图片描述
选定A1:B10，按F4（绝对引用，使引用范围固定）
请点击输入图片描述
在Col_index_num栏输入2（即引用第二列的数值），Range_lookup栏输入0（即FALSE大致匹配）
请点击输入图片描述
最后下拉E1完成匹配
请点击输入图片描述
1、首先打开电脑上编写python的软件。
2、然后新建一个py文件，如下图所示。
3、接着就是导入xlrd包，读取表格的函数就在这里面，如下图所示。
4、然后就是打开想要读取的表格，如下图所示。
5、接着就是指定要读取一个excel表中的那个表格。
6、然后就是根据sheet索引获取sheet内容。
7、最后就是读取一个表格中的行或列的值，就完成了。
迭代器是 23 种设计模式中最常用的一种（之一），在 Python 中随处可见它的身影，我们经常用到它，但是却不一定意识到它的存在。在关于迭代器的系列文章中（链接见文末），我至少提到了 23 种生成迭代器的方法。有些方法是专门用于生成迭代器的，还有一些方法则是为了解决别的问题而“暗中”使用到迭代器。
在系统学习迭代器之前，我一直以为 range() 方法也是用于生成迭代器的，现在却突然发现，它生成的只是可迭代对象，而并不是迭代器！ （PS：Python2 中 range() 生成的是列表，本文基于Python3，生成的是可迭代对象）
于是，我有了这样的疑问：为什么 range() 不生成迭代器呢？在查找答案的过程中，我发现自己对 range 类型的认识存在一些误区。因此，本文将和大家全面地认识一下 range ，期待与你共同学习进步。
1、range() 是什么？
它的语法：range(start, stop [,step]) ；start 指的是计数起始值，默认是 0；stop 指的是计数结束值，但不包括 stop ；step 是步长，默认为 1，不可以为 0 。range() 方法生成一段左闭右开的整数范围。
对于 range() 函数，有几个注意点：（1）它表示的是左闭右开区间；（2）它接收的参数必须是整数，可以是负数，但不能是浮点数等其它类型；（3）它是不可变的序列类型，可以进行判断元素、查找元素、切片等操作，但不能修改元素；（4）它是可迭代对象，却不是迭代器。
2、 为什么range()不生产迭代器？
可以获得迭代器的内置方法很多，例如 zip() 、enumerate()、map()、filter() 和 reversed() 等等，但是像 range() 这样仅仅得到的是可迭代对象的方法就绝无仅有了（若有反例，欢迎告知）。这就是我存在知识误区的地方。
在 for-循环 遍历时，可迭代对象与迭代器的性能是一样的，即它们都是惰性求值的，在空间复杂度与时间复杂度上并无差异。我曾概括过两者的差别是“一同两不同”：相同的是都可惰性迭代，不同的是可迭代对象不支持自遍历（即next()方法），而迭代器本身不支持切片（即 getitem () 方法）。
虽然有这些差别，但很难得出结论说它们哪个更优。现在微妙之处就在于，为什么给 5 种内置方法都设计了迭代器，偏偏给 range() 方法设计的就是可迭代对象呢？把它们都统一起来，不是更好么？
事实上，Pyhton 为了规范性就干过不少这种事，例如，Python2 中有 range() 和 xrange() 两种方法，而 Python3 就干掉了其中一种，还用了“李代桃僵”法。为什么不更规范点，令 range() 生成的是迭代器呢？
关于这个问题，我没找到官方解释，以下纯属个人观点 。
zip() 等方法都需要接收确定的可迭代对象的参数，是对它们的一种再加工的过程，因此也希望马上产出确定的结果来，所以 Python 开发者就设计了这个结果是迭代器。这样还有一个好处，即当作为参数的可迭代对象发生变化的时候，作为结果的迭代器因为是消耗型的，不会被错误地使用。
而 range() 方法就不同了，它接收的参数不是可迭代对象，本身是一种初次加工的过程，所以设计它为可迭代对象，既可以直接使用，也可以用于其它再加工用途。例如，zip() 等方法就完全可以接收 range 类型的参数。
也就是说，range() 方法作为一种初级生产者，它生产的原料本身就有很大用途，早早把它变为迭代器的话，无疑是一种画蛇添足的行为。
对于这种解读，你是否觉得有道理呢？欢迎就这个话题与我探讨。
3、range 类型是什么？
以上是我对“为什么range()不产生迭代器”的一种解答。顺着这个思路，我研究了一下它产生的 range 对象，一研究就发现，这个 range 对象也并不简单。
首先奇怪的一点就是，它竟然是不可变序列！我从未注意过这一点。虽然说，我从未想过修改 range() 的值，但这一不可修改的特性还是令我惊讶。
翻看文档，官方是这样明确划分的——有三种基本的序列类型：列表、元组和范围（range）对象。（There are three basic sequence types: lists, tuples, and range objects.）
这我倒一直没注意，原来 range 类型居然跟列表和元组是一样地位的基础序列！我一直记挂着字符串是不可变的序列类型，不曾想，这里还有一位不可变的序列类型呢。
那 range 序列跟其它序列类型有什么差异呢？
普通序列都支持的操作有 12 种。range 序列只支持其中的 10 种，不支持进行加法拼接与乘法重复。
那么问题来了：同样是不可变序列，为什么字符串和元组就支持上述两种操作，而偏偏 range 序列不支持呢？虽然不能直接修改不可变序列，但我们可以将它们拷贝到新的序列上进行操作啊，为何 range 对象连这都不支持呢？
且看官方文档的解释：
…due to the fact that range objects can only represent sequences that follow a strict pattern and repetition and concatenation will usually violate that pattern.
原因是 range 对象仅仅表示一个遵循着严格模式的序列，而重复与拼接通常会破坏这种模式…
问题的关键就在于 range 序列的 pattern，仔细想想，其实它表示的就是一个等差数列啊（喵，高中数学知识没忘…），拼接两个等差数列，或者重复拼接一个等差数列，想想确实不妥，这就是为啥 range 类型不支持这两个操作的原因了。由此推论，其它修改动作也会破坏等差数列结构，所以统统不给修改就是了。
4、小结
回顾全文，我得到了两个偏冷门的结论：range 是可迭代对象而不是迭代器；range 对象是不可变的等差序列。
若单纯看结论的话，你也许没有感触，或许还会说这没啥了不得啊。但如果我追问，为什么 range 不是迭代器呢，为什么 range 是不可变序列呢？对这俩问题，你是否还能答出个自圆其说的设计思想呢？（PS：我决定了，若有机会面试别人，我必要问这两个问题的嘿~）
由于 range 对象这细微而有意思的特性，我觉得这篇文章写得值了。本文是作为迭代器系列文章的一篇来写的，所以对于迭代器的基础知识介绍不多，另外，还有一种特殊的迭代器也值得单独成文，那就是生成器了。