09 Python多进程编程-进程之间的数据同步-基于互斥锁

一文速通 Python 并行计算：09 Python 多进程编程-进程之间的数据同步-基于互斥锁、递归锁、信号量、条件变量、事件和屏障

摘要：

多进程同步机制包括互斥锁、递归锁、信号量、条件变量、事件和屏障等：互斥锁用于保护共享资源，递归锁支持同一进程重复加锁，信号量可控制访问资源的数量，条件变量用于进程间等待特定条件，事件用于进程间通信和同步，屏障用于多个进程在特定点同步，确保协同运行。

关于我们更多介绍可以查看云文档：Freak 嵌入式工作室云文档，或者访问我们的 wiki：****https://github.com/leezisheng/Doc/wik

原文链接：

FreakStudio的博客
往期推荐：

学嵌入式的你，还不会面向对象？？！
全网最适合入门的面向对象编程教程：00 面向对象设计方法导论
全网最适合入门的面向对象编程教程：01 面向对象编程的基本概念
全网最适合入门的面向对象编程教程：02 类和对象的 Python 实现-使用 Python 创建类
全网最适合入门的面向对象编程教程：03 类和对象的 Python 实现-为自定义类添加属性
全网最适合入门的面向对象编程教程：04 类和对象的Python实现-为自定义类添加方法
全网最适合入门的面向对象编程教程：05 类和对象的Python实现-PyCharm代码标签
全网最适合入门的面向对象编程教程：06 类和对象的Python实现-自定义类的数据封装
全网最适合入门的面向对象编程教程：07 类和对象的Python实现-类型注解
全网最适合入门的面向对象编程教程：08 类和对象的Python实现-@property装饰器
全网最适合入门的面向对象编程教程：09 类和对象的Python实现-类之间的关系
全网最适合入门的面向对象编程教程：10 类和对象的Python实现-类的继承和里氏替换原则
全网最适合入门的面向对象编程教程：11 类和对象的Python实现-子类调用父类方法
全网最适合入门的面向对象编程教程：12 类和对象的Python实现-Python使用logging模块输出程序运行日志
全网最适合入门的面向对象编程教程：13 类和对象的Python实现-可视化阅读代码神器Sourcetrail的安装使用
全网最适合入门的面向对象编程教程：全网最适合入门的面向对象编程教程：14 类和对象的Python实现-类的静态方法和类方法
全网最适合入门的面向对象编程教程：15 类和对象的 Python 实现-__slots__魔法方法
全网最适合入门的面向对象编程教程：16 类和对象的Python实现-多态、方法重写与开闭原则
全网最适合入门的面向对象编程教程：17 类和对象的Python实现-鸭子类型与“file-like object“
全网最适合入门的面向对象编程教程：18 类和对象的Python实现-多重继承与PyQtGraph串口数据绘制曲线图
全网最适合入门的面向对象编程教程：19 类和对象的 Python 实现-使用 PyCharm 自动生成文件注释和函数注释
全网最适合入门的面向对象编程教程：20 类和对象的Python实现-组合关系的实现与CSV文件保存
全网最适合入门的面向对象编程教程：21 类和对象的Python实现-多文件的组织：模块module和包package
全网最适合入门的面向对象编程教程：22 类和对象的Python实现-异常和语法错误
全网最适合入门的面向对象编程教程：23 类和对象的Python实现-抛出异常
全网最适合入门的面向对象编程教程：24 类和对象的Python实现-异常的捕获与处理
全网最适合入门的面向对象编程教程：25 类和对象的Python实现-Python判断输入数据类型
全网最适合入门的面向对象编程教程：26 类和对象的Python实现-上下文管理器和with语句
全网最适合入门的面向对象编程教程：27 类和对象的Python实现-Python中异常层级与自定义异常类的实现
全网最适合入门的面向对象编程教程：28 类和对象的Python实现-Python编程原则、哲学和规范大汇总
全网最适合入门的面向对象编程教程：29 类和对象的Python实现-断言与防御性编程和help函数的使用
全网最适合入门的面向对象编程教程：30 Python的内置数据类型-object根类
全网最适合入门的面向对象编程教程：31 Python的内置数据类型-对象Object和类型Type
全网最适合入门的面向对象编程教程：32 Python的内置数据类型-类Class和实例Instance
全网最适合入门的面向对象编程教程：33 Python的内置数据类型-对象Object和类型Type的关系
全网最适合入门的面向对象编程教程：34 Python的内置数据类型-Python常用复合数据类型：元组和命名元组
全网最适合入门的面向对象编程教程：35 Python的内置数据类型-文档字符串和__doc__属性
全网最适合入门的面向对象编程教程：36 Python的内置数据类型-字典
全网最适合入门的面向对象编程教程：37 Python常用复合数据类型-列表和列表推导式
全网最适合入门的面向对象编程教程：38 Python常用复合数据类型-使用列表实现堆栈、队列和双端队列
全网最适合入门的面向对象编程教程：39 Python常用复合数据类型-集合
全网最适合入门的面向对象编程教程：40 Python常用复合数据类型-枚举和enum模块的使用
全网最适合入门的面向对象编程教程：41 Python常用复合数据类型-队列（FIFO、LIFO、优先级队列、双端队列和环形队列）
全网最适合入门的面向对象编程教程：42 Python常用复合数据类型-collections容器数据类型
全网最适合入门的面向对象编程教程：43 Python常用复合数据类型-扩展内置数据类型
全网最适合入门的面向对象编程教程：44 Python内置函数与魔法方法-重写内置类型的魔法方法
全网最适合入门的面向对象编程教程：45 Python实现常见数据结构-链表、树、哈希表、图和堆
全网最适合入门的面向对象编程教程：46 Python函数方法与接口-函数与事件驱动框架
全网最适合入门的面向对象编程教程：47 Python函数方法与接口-回调函数Callback
全网最适合入门的面向对象编程教程：48 Python函数方法与接口-位置参数、默认参数、可变参数和关键字参数
全网最适合入门的面向对象编程教程：49 Python函数方法与接口-函数与方法的区别和lamda匿名函数
全网最适合入门的面向对象编程教程：50 Python函数方法与接口-接口和抽象基类
全网最适合入门的面向对象编程教程：51 Python函数方法与接口-使用Zope实现接口
全网最适合入门的面向对象编程教程：52 Python函数方法与接口-Protocol协议与接口
全网最适合入门的面向对象编程教程：53 Python字符串与序列化-字符串与字符编码
全网最适合入门的面向对象编程教程：54 Python字符串与序列化-字符串格式化与format方法
全网最适合入门的面向对象编程教程：55 Python字符串与序列化-字节序列类型和可变字节字符串
全网最适合入门的面向对象编程教程：56 Python字符串与序列化-正则表达式和re模块应用
全网最适合入门的面向对象编程教程：57 Python字符串与序列化-序列化与反序列化
全网最适合入门的面向对象编程教程：58 Python字符串与序列化-序列化Web对象的定义与实现
全网最适合入门的面向对象编程教程：59 Python并行与并发-并行与并发和线程与进程
一文速通Python并行计算：00 并行计算的基本概念
一文速通Python并行计算：01 Python多线程编程-基本概念、切换流程、GIL锁机制和生产者与消费者模型
一文速通Python并行计算：02 Python多线程编程-threading模块、线程的创建和查询与守护线程
一文速通Python并行计算：03 Python多线程编程-多线程同步（上）—基于互斥锁、递归锁和信号量
一文速通Python并行计算：04 Python多线程编程-多线程同步（下）—基于条件变量、事件和屏障
一文速通Python并行计算：05 Python多线程编程-线程的定时运行
一文速通Python并行计算：06 Python多线程编程-基于队列进行通信
一文速通Python并行计算：07 Python多线程编程-线程池的使用和多线程的性能评估
更多精彩内容可看：

给你的 Python 加加速：一文速通 Python 并行计算
一文搞懂 CM3 单片机调试原理
肝了半个月，嵌入式技术栈大汇总出炉
电子计算机类比赛的“武林秘籍”
一个MicroPython的开源项目集锦：awesome-micropython，包含各个方面的Micropython工具库
Avnet ZUBoard 1CG开发板—深度学习新选择
工程师不要迷信开源代码，还要注重基本功
什么？配色个性化的电机驱动模块？！！
什么？XIAO主控新出三款扩展板!
手把手教你实现Arduino发布第三方库
万字长文手把手教你实现MicroPython/Python发布第三方库
一文速通电子设计大赛，电子人必看的获奖秘籍
一文速通光电设计大赛，电子人必看！
工科比赛“无脑”操作指南：知识学习硬件选购→代码调试→报告撰写的保姆级路线图
单场会议拍摄收费6000+？拍摄技巧和步骤都在这里
0基础如何冲击大唐杯国奖？学姐的的备赛心得都在这里
文档获取：

可访问如下链接进行对文档下载：
https://github.com/leezisheng/Doc
该文档是一份关于 并行计算 和 Python 并发编程 的学习指南，内容涵盖了并行计算的基本概念、Python 多线程编程、多进程编程以及协程编程的核心知识点：

正文

进程之间数据除了共享内存、共享进程外不共享,但是共享同一套文件系统,所以访问同一个文件,或同一个打印终端,是没有问题的,而共享带来的是竞争，竞争带来的结果就是错乱，如何控制，需要进程之间进行同步。
进程的同步原语包括：Lock、Event、Condition、Semaphore、Rlock、Barrier。相关的同步原语和线程的库很类似。
如下代码是多个进程不同步共享同一打印终端，采用并发运行,效率高,但竞争同一打印终端,带来了打印错乱。

1. from multiprocessing import Process import os,time def work(): print('%s is running' %os.getpid()) time.sleep(2) print('%s is done' %os.getpid()) if __name__ == '__main__': for i in range(3): p=Process(target=work) p.start()

复制代码

以下为运行效果，可以看到并应该是三个进程轮流输出的两条语句变为乱序输出。

1.基于互斥锁的进程数据同步

如下 work 函数中利用 acquire() 和 release() ，来控制共享数据的读写权限：

1. from multiprocessing import Process,Lock import os,time def work(lock): lock.acquire() print('%s is running' %os.getpid()) time.sleep(2) print('%s is done' %os.getpid()) lock.release() if __name__ == '__main__': lock=Lock() for i in range(3): p=Process(target=work,args=(lock,)) p.start()

复制代码

可以看到按序输出，加锁实现由并发变成了串行,牺牲了运行效率,但避免了竞争。

2.基于递归锁的进程数据同步

示例代码如下：

1. from multiprocessing import Process,RLock import multiprocessing import time mutex = RLock() def test(mutex): if mutex.acquire(): print("I am %s" % multiprocessing.current_process().name) if mutex.acquire(): print("I am %s" % multiprocessing.current_process().name) mutex.release() time.sleep(1) mutex.release() if __name__ == '__main__': for i in range(0, 10): p = Process(target=test,args=(mutex,)) p.start()

复制代码

输出如下，可以看到输出正常：

3.基于信号量的进程数据同步

以下为示例代码，从运行结果中我们可以看到两个 print 依次输出。

1. from multiprocessing import Process,Semaphore import multiprocessing import time _# 创建一个信号量，信号量是一个内部数据_ _# 用于标明当前的共享资源可以有多少并发读取_ semaphore = Semaphore(1) def test(semaphore): _# 测试控制该资源的信号量。_ if semaphore.acquire(): _# 若此信号量的值为正，则允许进行使用该资源。线程将信号量减 1。_ print("I am %s,pid:%s" % (multiprocessing.current_process().name,multiprocessing.current_process().pid)) print("%s am runing" % multiprocessing.current_process().name) semaphore.release() if __name__ == '__main__': for i in range(0, 10): p = Process(target=test,args=(semaphore,)) p.start()

复制代码

4.基于条件变量的进程数据同步

这里，我们以生产者消费者模型为例，在多线程的基于条件变量的线程同步示例中，我们使用全局变量当作缓存，在本例中，我们同样如此。
有些同学会问，不是说进程中的数据是独立的吗？没错，在多进程编程中，不同的进程之间默认情况下是无法共享数据的。但 Python 提供了一些机制来实现多进程间的数据共享，其中之一是共享内存。共享内存允许多个进程共享一个存储区域，一个进程写入共享内存中的信息，其他进程可以方便的读取。在 Python 中可以使用 Value、Array 将数据存储在共享内存中，也可以使用 multiprocessing 模块中 sharedctypes 自定义共享内存的 ctypes 对象。

下例中，以 value 对象作为缓存，只要缓存不满，生产者一直向缓存生产；只要缓存不空，消费者一直从缓存取出（之后销毁）。
当缓冲队列不为空的时候，生产者将通知消费者；当缓冲队列不满的时候，消费者将通知生产者。

1. from multiprocessing import Process,Condition,Value import multiprocessing import time condition = Condition() products = Value(&#39;i&#39;, 0) _# 生产者进程_ def Producer(condition,products): while True: if condition.acquire(): _# 消费者通过拿到锁来修改共享的资源_ if products.value < 10: _# 如果产品数量小于 10，继续生成，并通过 notify 方法通知消费者_ _# 只要缓存不满，生产者一直向缓存生产；_ products.value += 1; print(&quot;Producer(%s):deliver one, now products:%s&quot; % (multiprocessing.current_process().name, products.value)) _# 当缓冲队列不为空的时候，生产者将通知消费者_ condition.notify() else: _# 如果已经满了，那么生产者进入等待状态，直到被唤醒_ print(&quot;Producer(%s):already 10, stop deliver, now products:%s&quot; %(multiprocessing.current_process().name, products.value)) condition.wait() _# 释放资源_ condition.release() time.sleep(1) _# 消费者进程_ def Consumer(condition,products): while True: if condition.acquire(): if products.value > 1: _# 只要缓存不空，消费者一直从缓存取出（之后销毁）_ products.value -= 1 print(&quot;Consumer(%s):consume one, now products:%s&quot; % (multiprocessing.current_process().name, products.value)) _# 当缓冲队列不满的时候，消费者将通知生产者。_ condition.notify() else: _# 缓存空，消费者线程等待_ print(&quot;Consumer(%s):only 1, stop consume, products:%s&quot; % (multiprocessing.current_process().name, products.value)) condition.wait() _# 释放资源_ condition.release() time.sleep(1) if __name__ == &#39;__main__&#39;: ProducerProcess = Process(target=Producer,args=(condition,products)) ConsumerProcess = Process(target=Consumer, args=(condition, products)) ProducerProcess.start() ConsumerProcess.start()

复制代码

如下为运行情况，可以看到正常运行。

5.基于事件的进程数据同步

示例代码和运行结果如下，与多线程中类似。

1. from multiprocessing import Process,Event import multiprocessing event = Event() def worker(event_obj, i): print(&#39;{i}号进程等待事件信号&#39;.format(i=i)) event_obj.wait() print(&#39;{i}号进程收到事件信号&#39;.format(i=i)) if __name__ == &#39;__main__&#39;: for i in range(5): p = Process(target=worker, args=(event, i)) p.start() event.set()

复制代码

6.基于屏障的进程数据同步

下面的代码展示了如何使用 barrier() 函数来同步两个进程。我们有 4 个进程，进程 1 和进程 2 由 barrier 语句管理，进程 3 和进程 4 没有同步策略。

1. import multiprocessing from multiprocessing import Barrier, Lock, Process import time from datetime import datetime def test_with_barrier(synchronizer, serializer): name = multiprocessing.current_process().name synchronizer.wait() now = time.time() time.sleep(1) with serializer: print(&quot;process %s ----> %s&quot; % (name, datetime.fromtimestamp(now))) def test_without_barrier(): name = multiprocessing.current_process().name now = time.time() print(&quot;process %s ----> %s&quot; % (name, datetime.fromtimestamp(now))) if __name__ == &#39;__main__&#39;: synchronizer = Barrier(2) serializer = Lock() Process(name=&#39;p1 - test_with_barrier&#39;, target=test_with_barrier, args=(synchronizer,serializer)).start() Process(name=&#39;p2 - test_with_barrier&#39;, target=test_with_barrier, args=(synchronizer,serializer)).start() Process(name=&#39;p3 - test_without_barrier&#39;, target=test_without_barrier).start() Process(name=&#39;p4 - test_without_barrier&#39;, target=test_without_barrier).start()

复制代码

运行代码，将看到进程 1 和进程 2 在同一时间打印：

下面这幅图表示了 barrier 如何同步两个进程：

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！