第52天：Python multiprocessing 模块
本节主要介绍 multiprocessing 多进程模块，由于 threading 多线程模块无法充分利用电脑的多核优势，而在实际开发中会对系统性能有较高的要求，就需要使用多进程来充分利用多核 cpu 的资源，下面详细介绍 Python 中的 multiprocessing。
multiprocessing 多进程模块有类似 threading 模块的 API 接口，方便熟悉 threading 的用户直接使用 multiprocessing。它支持子进程、通信和共享数据、执行不同形式的同步，下面简单介绍下几个常用的组件。
Process类
在 multiprocessing 中生成进程的方式是通过创建一个 Process 对象，然后调用它的 start() 方法来实现。例如：
from multiprocessing import Processdef f(name): print('hello', name)if __name__ == '__main__': p = Process(target=f, args=('world',)) #启动进程 p.start() #实现进程间的同步，等待所有进程退出 p.join()
#执行结果：hello world需要注意的是，在上面示例代码中使用了if __name__ == '__main__'，这行代码是符合编程规范的。加上它可以确保主模块能够被新启动的 Python 解释器安全导入。
在启动进程的过程中，需要考虑执行顺序的问题，正常情况下是主进程先执行，子进程后执行。例如：
#主子进程执行顺序from multiprocessing import Processimport osimport timedef run(): print("子进程开启") time.sleep(2) print("子进程结束")
if __name__ == "__main__": print("主进程启动") p = Process(target=run) p.start() print("主进程结束")
#执行结果：主进程启动主进程结束子进程开启子进程结束Queue类
因为不同进程之间内存是不共享的，要想实现进程间的通信，必须要提供中间的媒介。Python 提供了两个通信的对象类。一个是 Queue 类，另一个是 Pipe 类。
Queue 队列使用一个管道和少量锁和信号量实现的共享队列实例，它是线程和进程安全的，常被用于两个进程之间的通讯。例如有一个 wirte 进程负责写数据，另外一个 read 进程负责读数据。当我们需要将写的数据交给读的进程时，可以通过 Queue 作为中间桥梁，先把 write 进程写的数据交给队列，再由队列将数据传递给 read 进程。
#Queue队列from multiprocessing import Process, Queuedef f(q): q.put([11, None, 'lily'])if __name__ == '__main__': q = Queue() p = Process(target=f, args=(q,)) p.start() print(q.get()) p.join()
#执行结果：[11, None, 'lily']在上述示例中调用了 join()函数，它可以阻塞主进程，直到调用 join()函数的进程终止。该函数有一个可选的参数 timeout，参数 timeout 的默认值是 None。如果 timeout 是一个正数，它最多会阻塞 timeout 秒。
Pipe类
Pipe 和 Queue 一样，可以作为进程之间通信的通道。Pipe()函数返回两个对象 conn1 和 conn2 ，这两个对象表示管道的两端。
Pipe()函数有一个可选参数 duplex，参数 duplex 的默认值为 True，表示该管道是双向的，即两个对象都可以发送和接收消息。如果把参数 duplex 设置为 False ，表示该管道是单向的，即 conn1 只能用于接收消息，conn2 只能用于发送消息。例如：
from multiprocessing import Process, Pipedef f(conn): conn.send([11, None, 'lily']) conn.close()
if __name__ == '__main__': conn1, conn2 = Pipe() p = Process(target=f, args=(conn2,)) p.start() print(conn1.recv()) p.join()
#执行结果：[11, None, 'lily']从以上示例可以看出，Queue 和 Pipe 拥有相似的功能。但在日常开发中，两者使用的场景有所不同，Pipe 多用于两个进程间通信，而 Queue 则多用于两个及以上进程间的通信。
Lock类
由于多线程共享进程的资源和地址空间，因此，在对这些公共资源进行操作时，为了防止这些公共资源出现异常的结果，必须考虑线程的同步和互斥问题。
为了保证进程间的同步，我们可以使用 Lock 类给线程或者进程加锁。Lock 返回的是一个非递归锁对象，Lock 实际上是一个工厂函数。它返回由默认上下文初始化的 multiprocessing.synchronize.Lock 对象。
一旦某一个进程或者线程拿到了锁，后续的任何其他进程或线程的其他请求都会被阻塞直到锁被释放。例如：
#!/usr/bin/python3from multiprocessing import Process, Lockdef f(l, i): l.acquire() try: print('this is', i) finally: l.release()
if __name__ == '__main__': lock = Lock()
for num in range(10): Process(target=f, args=(lock, num)).start()
#执行结果：this is 0this is 2this is 3this is 4this is 1this is 5this is 6this is 7this is 8this is 9
总结
本节给大家介绍了 Python 中 multiprocessing 模块的常用操作，对于实现基于进程的并行操作提供了支撑，注意与 threading 模块基于线程的并行操作区分开。
示例代码：https://github.com/JustDoPython/python-100-day/tree/master/day-052
参考
[1] https://docs.python.org/3.7/library/multiprocessing.html
[2] https://blog.csdn.net/brucewong0516/article/details/85796073
系列文章