Python多进程项目实战教程_进程池与数据通信案例

Python多进程开发中，进程池（Pool）用于高效并发执行批量任务，IPC机制（Queue、Pipe、Value、Array等）实现进程间安全数据交换与共享状态。

Python多进程开发中，进程池（Pool）和进程间通信（IPC）是两个核心能力。它们解决的是“如何高效并发执行任务”和“如何在独立进程中安全交换数据”这两个实际问题。不掌握它们，多进程就只能停留在手动 Process 启动的初级阶段，难以应对真实项目需求。

用 Pool 管理批量计算任务

当有一批相似、可并行的计算任务（如图像处理、日志解析、API批量调用），multiprocessing.Pool 是最直接的选择。它自动管理进程生命周期、任务分发与结果收集，避免手动创建/等待大量 Process 实例的繁琐与风险。

• 基础用法：调用 pool.map(func, iterable) 即可将函数应用到每个输入项，返回结果列表，顺序与输入一致；适合“输入→处理→输出”结构清晰的任务。
• 异步支持：用 pool.apply_async(func, args, callback=...) 可提交任务并立即返回 AsyncResult 对象，适合需要非阻塞提交或自定义回调处理的场景。
• 资源控制：初始化时指定 processes=n（默认为 CPU 核心数），避免无节制创建进程拖垮系统；配合 pool.close() 和 pool.join() 确保所有子进程正常退出。

跨进程传递简单数据：Queue 与 Pipe

子进程内存隔离，无法直接共享变量。对轻量级、单向或双向的数据流，Queue 和 Pipe 是最常用且线程/进程安全的通信方式。

• Queue：类似线程中的 queue.Queue，但专为进程设计，底层基于管道+锁。适合生产者-消费者模型，例如主进程下发任务ID，工作进程完成后再把结果塞回队列。
• Pipe：返回一对连接对象（conn1, conn2），两端可分别用于读写，性能略高于 Queue，适合两个进程点对点通信。注意它是半双工（默认）或全双工（设 duplex=True），需自行协调收发逻辑。
• 注意项：不要在 Queue 或 Pipe 中传递不可序列化对象（如带 lambda 或嵌套类实例的字典）；大数据量传输建议改用共享内存或文件。

共享状态与同步：Value、Array 与 Lock

当多个进程需要读写同一块内存（比如计数器、状态标志、预分配数组），multiprocessing.Value 和 multiprocessing.Array 提供了 C 风格的共享内存访问能力，配合 Lock 防止竞态。

• Value('i', 0) 创建一个共享整型，类型码参考 ctypes（如 'd' 表示 double）；Array('d', [1.0, 2.0]) 创建共享浮点数组。
• 必须加锁：即使只是 counter.value += 1 这样的操作，在多进程中也不是原子的，必须用 with lock: 包裹，否则结果不可预测。
• 适用边界：适合结构简单、更新频次不高、数据量小的共享状态；不适合复杂对象或频繁读写的高并发场景（此时应考虑消息队列或数据库）。

实战组合：用进程池 + 队列实现带进度反馈的批量下载

一个典型需求：并发下载 100 个 URL，实时显示已完成数量，并汇总失败链接。这里 Pool 负责并发下载，Queue 作为结果通道，主进程持续监听并更新状态。

• 定义下载函数，接收 URL 和一个 Queue 实例，成功则 q.put(('success', url))，失败则 q.put(('fail', url, error))。
• 主进程创建 Pool 和 Queue，用 pool.map_async 启动全部任务，同时开启一个循环不断从 q.get_nowait() 取结果（加 try/except queue.Empty 避免阻塞）。
• 每收到一条结果就更新计数器和日志，最后等 pool.join() 结束后输出汇总报告。

这种结构兼顾了并发效率、状态可见性与错误可追溯性，是生产环境中常见的稳健模式。