本章目标

本章将深入讲解 Python 的高级并发与多进程编程技术，协助你：

• 理解 GIL（全局解释器锁）对多线程的影响
• 熟悉 threading 与 concurrent.futures.ThreadPoolExecutor
• 掌握 multiprocessing 多进程模型与进程池
• 了解进程间通信（Queue、Pipe、Manager）
• 掌握异步 asyncio 并发模型与性能调优技巧

1. GIL 与 Python 并发模型

• GIL：Python 解释器全局锁，同一时刻只允许一个线程执行字节码
• 适合 I/O 密集型 → 多线程
• 适合 CPU 密集型 → 多进程

2. 多线程编程

import threading

def worker(n):
    print(f'Worker {n} running')

threads = []
for i in range(5):
    t = threading.Thread(target=worker, args=(i,))
    threads.append(t)
    t.start()

for t in threads:
    t.join()

• 适合网络 I/O、文件 I/O 等阻塞场景

使用 ThreadPoolExecutor 简化

from concurrent.futures import ThreadPoolExecutor

def task(n):
    return n * n

with ThreadPoolExecutor(max_workers=4) as ex:
    results = list(ex.map(task, range(10)))
print(results)

3. 多进程编程

from multiprocessing import Process

def worker(n):
    print(f'Process {n}')

if __name__ == '__main__':
    ps = []
    for i in range(4):
        p = Process(target=worker, args=(i,))
        ps.append(p)
        p.start()
    for p in ps:
        p.join()

• 多进程可充分利用多核 CPU，适合 CPU 密集型

使用进程池 Pool

from multiprocessing import Pool

def task(n):
    return n*n

if __name__ == '__main__':
    with Pool(4) as pool:
        print(pool.map(task, range(10)))

4. 进程间通信（IPC）

from multiprocessing import Process, Queue

def worker(q):
    q.put('data')

if __name__ == '__main__':
    q = Queue()
    p = Process(target=worker, args=(q,))
    p.start()
    print(q.get())
    p.join()

• Pipe 适合双向通信
• Manager 可共享 list/dict 等对象

5. asyncio 异步并发

import asyncio

async def job(n):
    await asyncio.sleep(1)
    print(f'Job {n}')

async def main():
    tasks = [asyncio.create_task(job(i)) for i in range(5)]
    await asyncio.gather(*tasks)

asyncio.run(main())

• asyncio 适合大规模 I/O 并发场景

6. 并发性能分析与调优

• 使用 time / cProfile 测试性能
• 合理设置线程/进程数量，避免过度上下文切换
• 避免在 CPU 密集任务中使用线程
• 使用 asyncio.Semaphore 控制并发量

7. 练习题

1. 使用 ThreadPoolExecutor 实现并行下载器。
2. 使用 multiprocessing 计算 1~1000000 的平方和。
3. 使用 Queue 在进程间传递数据并统计结果。
4. 用 asyncio 实现 100 个并发 HTTP 请求。

附图提议

• 图1：GIL 工作原理图
• 图2：多线程与多进程架构对比图
• 图3：asyncio 事件循环模型图

小结

本章深入介绍了 Python 的高级并发与多进程编程，包括多线程、多进程、异步 I/O 与 IPC 技巧，掌握这些内容有助于编写高性能的并发程序。