scoop-Python中可扩展的并发操作库

SCOOP（Python 中的可扩展并发操作）是一个分布式任务模块，允许在从异构网格到超级计算机的各种环境中进行并发并行编程。其文档可在scoop.readthedocs.org上找到。

SCOOP 的设计理念如下：计算机的未来是平行;简单即美;并行应该更简单。

这些原则被具体地转化为最少数量的函数， 允许最大并行效率，同时保持使用它们所需的最少内部知识。它在实现时考虑到了 Python 3，同时与 Python 2.6+ 兼容，可以在不牺牲效率和速度的情况下进行快速原型设计。

关于 SCOOP 的一些评论：

“我必须说，这是迄今为止我做过的最简单的升级。我仍然需要在集群上构建和测试它，但在我的开发机器上升级和测试花了大约 10 分钟。”

SCOOP 特征

SCOOP 相对于futures、 multiprocessing 和类似模块的特性和优势 如下：

  • 通过网络利用多台计算机的力量；

  • 能够在一个任务中生成多个任务；

  • API 与PEP-3148兼容；

  • 只需少量修改即可并行化串行代码；

  • 高效的负载均衡。

SCOOPed 程序剖析

首先通过网盘搜索下载获取并安装SCOOP的源代码， SCOOP可以处理多种多样化的多层任务。有了它，当框架在本地或远程执行它们时，您可以同时轻松地提交不同的功能和数据。与大多数多处理框架相反，它允许在任务中启动子任务。

通过 SCOOP，您可以同时执行性质不同（以任务颜色表示）或复杂性不同（以任务半径表示）的任务。该模块将处理并行化的物理注意事项，例如资源上的任务分配（负载平衡）、通信等。

应用

SCOOP的常见应用包括但不限于：

  • 进化算法

  • 蒙特卡罗模拟

  • 数据挖掘

  • 数据处理

  • 图遍历

赞 (0)

相关推荐