189 8069 5689
Linux中进程的通信方式有信号，管道，共享内存，消息队列socket等。其中管道是*nix系统进程间通信的最古老形式，所有*nix都提供这种通信方式。管道是一种半双工的通信机制，也就是说，它只能一端用来读，另外一端用来写；另外，管道只能用来在具有公共祖先的两个进程之间通信。管道通信遵循先进先出的原理，并且数据只能被读取一次，当此段数据被读取后，马上会从数据中消失，这一点很重要。
成都创新互联公司总部坐落于成都市区，致力网站建设服务有成都网站制作、网站建设、网络营销策划、网页设计、网站维护、公众号搭建、微信平台小程序开发、软件开发等为企业提供一整套的信息化建设解决方案。创造真正意义上的网站建设，为互联网品牌在互动行销领域创造价值而不懈努力！
Linux上，创建管道使用pipe函数，当它执行后，会产生两个文件描述符，分别为读端和写端。单个进程中的管道几乎没有任何作用，通常会先调用pipe，然后调用fork，从而创建从父进程到子进程的IPC通道。
Linux中，我们经常会使用到管道，例如用cat命令查看一个大文件时，一页不能全部显示，我们可以通过cat xxx | more来分页显示，又比如搜索文件里的内容可以用 cat xxx | grep search来进行，这里我们都用到了管道。接下来我会用python编写一段自动分页显示的程序，而不用手动来使用管道。
#!/usr/bin/env python
import os,sys
if not sys.argv[1:]:
print "No filename input"
sys.exit(1)
try:
fp = open(sys.argv[1],"r")
except IOError,msg:
sys.exit(msg)
pi=os.pipe()
pid=os.fork()
if pid:
#parent
os.close(pi[0]) #close read pipe
#write to pipe
line=fp.readline()
while line:
os.write(pi[1],line)
line=fp.readline()
#close write pipe
os.close(pi[1])
#wait for chile
os.waitpid(pid,0)
else:
os.close(pi[1]) #close write pipe
#put pipe read to stdin
os.dup2(pi[0],sys.stdin.fileno())
os.close(pi[0])
os.execl("/bin/more","more")
把这段代码存为scat.py，增加执行权限之后，运行 scat.py 文件名，系统就会自动读取文件的内容并分页，与使用 cat 文件名 | more 的效果是一模一样的。在上面的代码中，用到了前几篇博客中说的fork，dup2和exec系列函数。
上篇文章简单介绍了multiprocessing模块，本文将要介绍进程之间的数据共享和信息传递的概念。
在多进程处理中，所有新创建的进程都会有这两个特点：独立运行，有自己的内存空间。
我们来举个例子展示一下：
这个程序的输出结果是：
在上面的程序中我们尝试在两个地方打印全局列表result的内容：
我们再用一张图来帮助理解记忆不同进程间的数据关系：
如果程序需要在不同的进程之间共享一些数据的话，该怎么做呢？不用担心，multiprocessing模块提供了Array对象和Value对象，用来在进程之间共享数据。
所谓Array对象和Value对象分别是指从共享内存中分配的ctypes数组和对象。我们直接来看一个例子，展示如何用Array对象和Value对象在进程之间共享数据：
程序输出的结果如下：
成功了！主程序和p1进程输出了同样的结果，说明程序中确实完成了不同进程间的数据共享。那么我们来详细看一下上面的程序做了什么：
在主程序中我们首先创建了一个Array对象：
向这个对象输入的第一个参数是数据类型：i表示整数，d代表浮点数。第二个参数是数组的大小，在这个例子中我们创建了包含4个元素的数组。
类似的，我们创建了一个Value对象：
我们只对Value对象输入了一个参数，那就是数据类型，与上述的方法一致。当然，我们还可以对其指定一个初始值（比如10），就像这样：
随后，我们在创建进程对象时，将刚创建好的两个对象：result和square_sum作为参数输入给进程：
在函数中result元素通过索引进行数组赋值，square_sum通过 value 属性进行赋值。
注意：为了完整打印result数组的结果，需要使用 result[:] 进行打印，而square_sum也需要使用 value 属性进行打印：
每当python程序启动时，同时也会启动一个服务器进程。随后，只要我们需要生成一个新进程，父进程就会连接到服务器并请求它派生一个新进程。这个服务器进程可以保存Python对象，并允许其他进程使用代理来操作它们。
multiprocessing模块提供了能够控制服务器进程的Manager类。所以，Manager类也提供了一种创建可以在不同流程之间共享的数据的方法。
服务器进程管理器比使用共享内存对象更灵活，因为它们可以支持任意对象类型，如列表、字典、队列、值、数组等。此外，单个管理器可以由网络上不同计算机上的进程共享。
但是，服务器进程管理器的速度比使用共享内存要慢。
让我们来看一个例子：
这个程序的输出结果是：
我们来理解一下这个程序做了什么：首先我们创建了一个manager对象
在with语句下的所有行，都是在manager对象的范围内的。接下来我们使用这个manager对象创建了列表（类似的，我们还可以用 manager.dict() 创建字典）。
最后我们创建了进程p1（用于在records列表中插入一条新的record）和p2（将records打印出来），并将records作为参数进行传递。
服务器进程的概念再次用下图总结一下：
为了能使多个流程能够正常工作，常常需要在它们之间进行一些通信，以便能够划分工作并汇总最后的结果。multiprocessing模块支持进程之间的两种通信通道：Queue和Pipe。
使用队列来回处理多进程之间的通信是一种比较简单的方法。任何Python对象都可以使用队列进行传递。我们来看一个例子：
上面这个程序的输出结果是：
我们来看一下上面这个程序到底做了什么。首先我们创建了一个Queue对象：
然后，将这个空的Queue对象输入square_list函数。该函数会将列表中的数平方，再使用 put() 方法放入队列中：
随后使用 get() 方法，将q打印出来，直至q重新称为一个空的Queue对象：
我们还是用一张图来帮助理解记忆：
一个Pipe对象只能有两个端点。因此，当进程只需要双向通信时，它会比Queue对象更好用。
multiprocessing模块提供了 Pipe() 函数，该函数返回由管道连接的一对连接对象。 Pipe() 返回的两个连接对象分别表示管道的两端。每个连接对象都有 send() 和 recv() 方法。
我们来看一个例子：
上面这个程序的输出结果是：
我们还是来看一下这个程序到底做了什么。首先创建了一个Pipe对象：
与上文说的一样，该对象返回了一对管道两端的两个连接对象。然后使用 send() 方法和 recv() 方法进行信息的传递。就这么简单。在上面的程序中，我们从一端向另一端发送一串消息。在另一端，我们收到消息，并在收到END消息时退出。
要注意的是，如果两个进程(或线程)同时尝试从管道的同一端读取或写入管道中的数据，则管道中的数据可能会损坏。不过不同的进程同时使用管道的两端是没有问题的。还要注意，Queue对象在进程之间进行了适当的同步，但代价是增加了计算复杂度。因此，Queue对象对于线程和进程是相对安全的。
最后我们还是用一张图来示意：
Python的multiprocessing模块还剩最后一篇文章：多进程的同步与池化
敬请期待啦！
mkfifo函数使用
[code]mkfifo（建立实名管道）
相关函数
pipe，popen，open，umask
表头文件
#include
#include
定义函数
int mkfifo(const char * pathname,mode_t mode);
函数说明
mkfifo() 会依参数pathname建立特殊的FIFO文件，该文件必须不存在，而参数mode为该文件的权限（mode%~umask），因此 umask值也会影响到FIFO文件的权限。Mkfifo()建立的FIFO文件其他进程都可以用读写一般文件的方式存取。当使用open()来打开 FIFO文件时，O_NONBLOCK旗标会有影响
1、当使用O_NONBLOCK 旗标时，打开FIFO 文件来读取的操作会立刻返回，但是若还没有其他进程打开FIFO 文件来读取，则写入的操作会返回ENXIO 错误代码。
2、没有使用O_NONBLOCK 旗标时，打开FIFO 来读取的操作会等到其他进程打开FIFO文件来写入才正常返回。同样地，打开FIFO文件来写入的操作会等到其他进程打开FIFO 文件来读取后才正常返回。
返回值
若成功则返回0，否则返回-1，错误原因存于errno中。
错误代码
EACCESS 参数pathname所指定的目录路径无可执行的权限
EEXIST 参数pathname所指定的文件已存在。
ENAMETOOLONG 参数pathname的路径名称太长。
ENOENT 参数pathname包含的目录不存在
ENOSPC 文件系统的剩余空间不足
ENOTDIR 参数pathname路径中的目录存在但却非真正的目录。
EROFS 参数pathname指定的文件存在于只读文件系统内。
示例1:
#include
#include
#include
#include
int main(void)
{
char buf[80];
int fd;
unlink( "zieckey_fifo" );
mkfifo( "zieckey_fifo", 0777 );
if ( fork() 0 )
{
char s[] = "Hello!\n";
fd = open( "zieckey_fifo", O_WRONLY );
write( fd, s, sizeof(s) );
//close( fd );
}
else
{
fd = open( "zieckey_fifo", O_RDONLY );
read( fd, buf, sizeof(buf) );
printf("The message from the pipe is:%s\n", buf );
//close( fd );
}
return 0;
}
执行
hello!
示例2:
#include
#include
#include
#include
#include
int main( int argc, char **argv )
{
mode_t mode = 0666;
if ( argc !=2 )
{
printf( "Usage:[%s] fifo_filename\n", argv[0] );
return -1;
}
if (mkfifo( argv[1], mode)0 )
{
perror( "mkfifo");
return -1;
}
return 0;
} [/code]
Python 函数
函数是组织好的，可重复使用的，用来实现单一，或相关联功能的代码段。
函数能提高应用的模块性，和代码的重复利用率。你已经知道Python提供了许多内建函数，比如print()。但你也可以自己创建函数，这被叫做用户自定义函数。
定义一个函数
你可以定义一个由自己想要功能的函数，以下是简单的规则：
函数代码块以 def 关键词开头，后接函数标识符名称和圆括号()。
任何传入参数和自变量必须放在圆括号中间。圆括号之间可以用于定义参数。
函数的第一行语句可以选择性地使用文档字符串—用于存放函数说明。
函数内容以冒号起始，并且缩进。
return [表达式] 结束函数，选择性地返回一个值给调用方。不带表达式的return相当于返回 None。
语法
def functionname( parameters ): "函数_文档字符串"
function_suite
return [expression]
默认情况下，参数值和参数名称是按函数声明中定义的顺序匹配起来的。
实例
以下为一个简单的Python函数，它将一个字符串作为传入参数，再打印到标准显示设备上。
实例(Python 2.0+)
def printme( str ): "打印传入的字符串到标准显示设备上"
print str
return
函数调用
定义一个函数只给了函数一个名称，指定了函数里包含的参数，和代码块结构。
这个函数的基本结构完成以后，你可以通过另一个函数调用执行，也可以直接从Python提示符执行。
如下实例调用了printme（）函数：
实例(Python 2.0+)
#!/usr/bin/python# -*- coding: UTF-8 -*-
# 定义函数def printme( str ): "打印任何传入的字符串"
print str
return
# 调用函数printme("我要调用用户自定义函数!")printme("再次调用同一函数")
以上实例输出结果：
我要调用用户自定义函数!再次调用同一函数
参数传递
在 python 中，类型属于对象，变量是没有类型的：
a=[1,2,3]
a="Runoob"
以上代码中，[1,2,3] 是 List 类型，"Runoob" 是 String 类型，而变量 a 是没有类型，她仅仅是一个对象的引用（一个指针），可以是 List 类型对象，也可以指向 String 类型对象。
可更改(mutable)与不可更改(immutable)对象
在 python 中，strings, tuples, 和 numbers 是不可更改的对象，而 list,dict 等则是可以修改的对象。
不可变类型：变量赋值 a=5 后再赋值 a=10，这里实际是新生成一个 int 值对象 10，再让 a 指向它，而 5 被丢弃，不是改变a的值，相当于新生成了a。
可变类型：变量赋值 la=[1,2,3,4] 后再赋值 la[2]=5 则是将 list la 的第三个元素值更改，本身la没有动，只是其内部的一部分值被修改了。
python 函数的参数传递：
不可变类型：类似 c++ 的值传递，如 整数、字符串、元组。如fun（a），传递的只是a的值，没有影响a对象本身。比如在 fun（a）内部修改 a 的值，只是修改另一个复制的对象，不会影响 a 本身。
可变类型：类似 c++ 的引用传递，如 列表，字典。如 fun（la），则是将 la 真正的传过去，修改后fun外部的la也会受影响
python 中一切都是对象，严格意义我们不能说值传递还是引用传递，我们应该说传不可变对象和传可变对象。
python 传不可变对象实例
实例(Python 2.0+)
#!/usr/bin/python# -*- coding: UTF-8 -*-
def ChangeInt( a ): a = 10
b = 2ChangeInt(b)print b # 结果是 2
实例中有 int 对象 2，指向它的变量是 b，在传递给 ChangeInt 函数时，按传值的方式复制了变量 b，a 和 b 都指向了同一个 Int 对象，在 a=10 时，则新生成一个 int 值对象 10，并让 a 指向它。
传可变对象实例
实例(Python 2.0+)
#!/usr/bin/python# -*- coding: UTF-8 -*-
# 可写函数说明def changeme( mylist ): "修改传入的列表"
mylist.append([1,2,3,4])
print "函数内取值: ", mylist
return
# 调用changeme函数mylist = [10,20,30]changeme( mylist )print "函数外取值: ", mylist
实例中传入函数的和在末尾添加新内容的对象用的是同一个引用，故输出结果如下：
函数内取值: [10, 20, 30, [1, 2, 3, 4]]函数外取值: [10, 20, 30, [1, 2, 3, 4]]
参数
以下是调用函数时可使用的正式参数类型：
必备参数
关键字参数
默认参数
不定长参数
必备参数
必备参数须以正确的顺序传入函数。调用时的数量必须和声明时的一样。
调用printme()函数，你必须传入一个参数，不然会出现语法错误：
实例(Python 2.0+)
#!/usr/bin/python# -*- coding: UTF-8 -*-
#可写函数说明def printme( str ): "打印任何传入的字符串"
print str
return
#调用printme函数printme()
以上实例输出结果：
Traceback (most recent call last):
File "test.py", line 11, in module
printme()TypeError: printme() takes exactly 1 argument (0 given)
关键字参数
关键字参数和函数调用关系紧密，函数调用使用关键字参数来确定传入的参数值。
使用关键字参数允许函数调用时参数的顺序与声明时不一致，因为 Python 解释器能够用参数名匹配参数值。
以下实例在函数 printme() 调用时使用参数名：
实例(Python 2.0+)
#!/usr/bin/python# -*- coding: UTF-8 -*-
#可写函数说明def printme( str ): "打印任何传入的字符串"
print str
return
#调用printme函数printme( str = "My string")
以上实例输出结果：
My string
下例能将关键字参数顺序不重要展示得更清楚：
实例(Python 2.0+)
#!/usr/bin/python# -*- coding: UTF-8 -*-
#可写函数说明def printinfo( name, age ): "打印任何传入的字符串"
print "Name: ", name
print "Age ", age
return
#调用printinfo函数printinfo( age=50, name="miki" )
以上实例输出结果：
Name: mikiAge 50
默认参数
调用函数时，默认参数的值如果没有传入，则被认为是默认值。下例会打印默认的age，如果age没有被传入：
实例(Python 2.0+)
#!/usr/bin/python# -*- coding: UTF-8 -*-
#可写函数说明def printinfo( name, age = 35 ): "打印任何传入的字符串"
print "Name: ", name
print "Age ", age
return
#调用printinfo函数printinfo( age=50, name="miki" )printinfo( name="miki" )
以上实例输出结果：
Name: mikiAge 50Name: mikiAge 35
不定长参数
你可能需要一个函数能处理比当初声明时更多的参数。这些参数叫做不定长参数，和上述2种参数不同，声明时不会命名。基本语法如下：
def functionname([formal_args,] *var_args_tuple ): "函数_文档字符串"
function_suite
return [expression]
加了星号（*）的变量名会存放所有未命名的变量参数。不定长参数实例如下：
实例(Python 2.0+)
#!/usr/bin/python# -*- coding: UTF-8 -*-
# 可写函数说明def printinfo( arg1, *vartuple ): "打印任何传入的参数"
print "输出: "
print arg1
for var in vartuple: print var
return
# 调用printinfo 函数printinfo( 10 )printinfo( 70, 60, 50 )
以上实例输出结果：
输出:10输出:706050
匿名函数
python 使用 lambda 来创建匿名函数。
lambda只是一个表达式，函数体比def简单很多。
lambda的主体是一个表达式，而不是一个代码块。仅仅能在lambda表达式中封装有限的逻辑进去。
lambda函数拥有自己的命名空间，且不能访问自有参数列表之外或全局命名空间里的参数。
虽然lambda函数看起来只能写一行，却不等同于C或C++的内联函数，后者的目的是调用小函数时不占用栈内存从而增加运行效率。
语法
lambda函数的语法只包含一个语句，如下：
lambda [arg1 [,arg2,.....argn]]:expression
如下实例：
实例(Python 2.0+)
#!/usr/bin/python# -*- coding: UTF-8 -*-
# 可写函数说明sum = lambda arg1, arg2: arg1 + arg2
# 调用sum函数print "相加后的值为 : ", sum( 10, 20 )print "相加后的值为 : ", sum( 20, 20 )
以上实例输出结果：
相加后的值为 : 30相加后的值为 : 40
return 语句
return语句[表达式]退出函数，选择性地向调用方返回一个表达式。不带参数值的return语句返回None。之前的例子都没有示范如何返回数值，下例便告诉你怎么做：
实例(Python 2.0+)
#!/usr/bin/python# -*- coding: UTF-8 -*-
# 可写函数说明def sum( arg1, arg2 ): # 返回2个参数的和."
total = arg1 + arg2
print "函数内 : ", total
return total
# 调用sum函数total = sum( 10, 20 )
以上实例输出结果：
函数内 : 30
变量作用域
一个程序的所有的变量并不是在哪个位置都可以访问的。访问权限决定于这个变量是在哪里赋值的。
变量的作用域决定了在哪一部分程序你可以访问哪个特定的变量名称。两种最基本的变量作用域如下：
全局变量
局部变量
全局变量和局部变量
定义在函数内部的变量拥有一个局部作用域，定义在函数外的拥有全局作用域。
局部变量只能在其被声明的函数内部访问，而全局变量可以在整个程序范围内访问。调用函数时，所有在函数内声明的变量名称都将被加入到作用域中。如下实例：
实例(Python 2.0+)
#!/usr/bin/python# -*- coding: UTF-8 -*-
total = 0 # 这是一个全局变量# 可写函数说明def sum( arg1, arg2 ): #返回2个参数的和."
total = arg1 + arg2 # total在这里是局部变量.
print "函数内是局部变量 : ", total
return total
#调用sum函数sum( 10, 20 )print "函数外是全局变量 : ", total
以上实例输出结果：
函数内是局部变量 : 30函数外是全局变量 : 0
本文首发于我的 个人博客
％％来自dplyr包的管道函数，我们可以将其理解为车间里的流水线，经过前一步加工的产品才能进入后一步进一步加工，其作用是将前一步的结果直接传参给下一步的函数，从而省略了中间的赋值步骤，可以大量减少内存中的对象，节省内存。
符号%%，这是管道操作，其意思是将%%左边的对象传递给右边的函数，作为第一个选项的设置（或剩下唯一一个选项的设置。
比如我们要算f(x)=sin((x+1)^2)在x=4的值，可以分为以下三步：
计算a = x+1的值；
计算b = a^2的值；
计算c = sin(b)的值
这样一来，c就是我们需要的最终结果了。用R语言管道传参，只需要这样写：
f1 - function(x){return(x+1)}
f2 - function(x){return(x^2)}
f3 - function(x){return(sin(x))}
library(dplyr) #用管道传参需要这个包
a - 1
b - a %% f1 %% f2 %% f3
print(b)
[1] -0.7568025
a%%f(b)等同于f(a,b)；
b%%f(a,.,c)等同于f(a,b,c);
例如：
library(dplyr)
f1 - function(x,y){return(x+y)}
f2 - function(x,y,z){return(x*y+z)}
a1 - 2
a2 - 3
a3 - 4
d1 - a1 %% f1(a2)
d1
[1] 5
d2 - a2 %% f2(a1,.,a3)
d2
[1] 10
d3 - a3 %% f2(a1,a2,.)
d3
[1] 10
创建一份数据:
library(tidyr)
date - as.Date('2017-6-22')+0:14
hour - sample(1:24, 15)
min - sample(1:60, 15)
second - sample(1:60, 15)
dat - data.frame(date,hour,min,second)
dat
date hour min second
1 2017-06-22 22 54 15
2 2017-06-23 7 51 4
3 2017-06-24 11 23 38
4 2017-06-25 23 45 50
5 2017-06-26 14 60 44
6 2017-06-27 5 24 56
7 2017-06-28 9 39 25
8 2017-06-29 20 22 22
9 2017-06-30 2 17 43
10 2017-07-01 17 56 31
11 2017-07-02 19 11 33
12 2017-07-03 24 35 18
13 2017-07-04 15 6 13
14 2017-07-05 4 12 47
15 2017-07-06 12 7 30
我们想把它变成标准时间格式，怎么办呢？“tidyr”包的函数unite()可以以指定字符连接指定列，形成新列，具体用法见下例：
a1 - rep(1,5)
a2 - rep(2,5)
a3 - rep(3,5)
A - data.frame(a1,a2,a3)
A
a1 a2 a3
1 1 2 3
2 1 2 3
3 1 2 3
4 1 2 3
5 1 2 3
A1 - unite(A,a12,a1,a2,sep = '~')
或者 A1 - A %% unite(a12,a1,a2,sep = '~')
对数据A的列a1,a2合并为新列a12，用“~”连接。
A1
a12 a3
1 1~2 3
2 1~2 3
3 1~2 3
4 1~2 3
5 1~2 3
再来一步：
A2 - unite(A1,a123,a12,a3,sep = '/')
A2 - A1 %% unite(a123,a12,a3,sep = '/')
对A1里面的a12与a3用“/”连接，形成新列“a123”。
A2
a123
1 1~2/3
2 1~2/3
3 1~2/3
4 1~2/3
5 1~2/3
也可以用管道传参一步搞定：
A %%unite(a12,a1,a2,sep = '~') %% unite(a123,a12,a3,sep = '/')
a123
1 1~2/3
2 1~2/3
3 1~2/3
4 1~2/3
5 1~2/3
看懂上例，就可以用管道传参一步搞定时间转换问题。
dat1 - dat %%unite(datehour,date,hour,sep = ' ')%%unite(datetime,datehour,min,second,sep = ':')
dat1
datetime
1 2017-06-22 22:54:15
2 2017-06-23 7:51:4
3 2017-06-24 11:23:38
4 2017-06-25 23:45:50
5 2017-06-26 14:60:44
6 2017-06-27 5:24:56
7 2017-06-28 9:39:25
8 2017-06-29 20:22:22
9 2017-06-30 2:17:43
10 2017-07-01 17:56:31
11 2017-07-02 19:11:33
12 2017-07-03 24:35:18
13 2017-07-04 15:6:13
14 2017-07-05 4:12:47
15 2017-07-06 12:7:30
觉得不错，记得点赞哦，也可以分享、让更多的人看到！
原文链接