2017 年 2 月 10 日 11:10 为什么在 Python 里推荐使用多进程而不是多线程？ 发表于 2016/4/25 16:19:09 1289 人阅读 分类： Python 转载地址

最近在看 Python 的多线程，经常我们会听到老手说：“ Python 下多线程是鸡肋，推荐使用多进程！ ”，但是为什么这么说呢？ 要知其然，更要知其所以然。所以有了下面的深入研究： 首先强调背景：

  1. GIL 是什么？ GIL 的全称是 Global Interpreter Lock( 全局解释器锁 ) ，来源是 python 设计之初的考虑，为了数据安全所做的决定。 2.

每个 CPU 在同一时间只能执行一个线程 在单核 CPU 下的多线程其实都只是并发，不是并行，并发和并行从宏观上来讲都是同时处理多路请求的概念。但并发和并行又有区别，并行是指两个或者多个事件在同一时刻发生；而并发是指两个或多个事件在同一时间间隔内发生。 在 Python 多线程下，每个线程的执行方式： 获取 GIL 执行代码直到 sleep 或者是 python 虚拟机将其挂起。 释放 GIL 可见，某个线程想要执行，必须先拿到 GIL ，我们可以把 GIL 看作是“通行证”，并且在一个 python 进程中， GIL 只有一个。拿不到通行证的线程，就不允许进入 CPU 执行。 在 Python2.x 里， GIL 的释放逻辑是当前线程遇见 IO 操作或者 ticks 计数达到 100 （ ticks 可以看作是 Python 自身的一个计数器，专门作用于 GIL ，每次释放后归零，这个计数可以通过

sys.setcheckinterval

来调整），进行释放。 而每次释放 GIL 锁，线程进行锁竞争、切换线程，会消耗资源。并且由于 GIL 锁存在， python 里一个进程永远只能同时执行一个线程 ( 拿到 GIL 的线程才能执行 ) ，这就是为什么在多核 CPU 上， python 的多线程效率并不高。 那么是不是 python 的多线程就完全没用了呢？ 在这里我们进行分类讨论： CPU 密集型代码 ( 各种循环处理、计数等等 ) ，在这种情况下，由于计算工作多， ticks 计数很快就会达到阈值，然后触发 GIL 的释放与再竞争（多个线程来回切换当然是需要消耗资源的），所以 python 下的多线程对 CPU 密集型代码并不友好 。 IO 密集型代码 ( 文件处理、网络爬虫等 ) ，多线程能够有效提升效率 ( 单线程下有 IO 操作会进行 IO 等待，造成不必要的时间浪费，而开启多线程能在线程 A 等待时，自动切换到线程 B ，可以不浪费 CPU 的资源，从而能提升程序执行效率 ) 。所以 python 的多线程对 IO 密集型代码比较友好 。 而在 python3.x 中， GIL 不使用 ticks 计数，改为使用计时器（执行时间达到阈值后，当前线程释放 GIL ），这样对 CPU 密集型程序更加友好，但 依然没有解决 GIL 导致的同一时间只能执行一个线程的问题 ，所以效率依然不尽如人意。 请注意：多核多线程比单核多线程更差，原因是单核下的多线程，每次释放 GIL ，唤醒的那个线程都能获取到 GIL 锁，所以能够无缝执行，但多核下， CPU0 释放 GIL 后，其他 CPU 上的线程都会进行竞争，但 GIL 可能会马上又被 CPU0 拿到，导致其他几个 CPU 上被唤醒后的线程会醒着等待到切换时间后又进入待调度状态，这样会造成线程颠簸 (thrashing) ，导致效率更低。 回到最开始的问题：经常我们会听到老手说：“ python 下想要充分利用多核 CPU ，就用多进程 ”，原因是什么呢？ 原因是： 每个进程有各自独立的 GIL ，互不干扰，这样就可以真正意义上的并行执行，所以在 python 中，多进程的执行效率优于多线程 ( 仅仅针对多核 CPU 而言 ) 。 所以在这里说结论： 多核下，想做并行提升效率，比较通用的方法是使用多进程，能够有效提高执行效率

来自

< http://m.blog.csdn.net/article/details?id=51243137

已使用 Microsoft OneNote 2016 创建。