阅读背景：

Apache Spark探秘：多进程模型还是多线程模型？

发表于:2021-03-17

Apache Spark的高性能一定程度上取决于它采用的异步并发模型（这里指server/driver端采用的模型），这与Hadoop 2.0（包括YARN和MapReduce）是一致的。Hadoop 2.0自己实现了类似Actor的异步并发模型，实现方式是epoll+状态机，而Apache Spark则直接采用了开源软件Akka，该软件实现了Actor模型，性能非常高。尽管二者在server端采用了一致的并发模型，但在任务级别（特指Spark任务和MapReduce任务）上却采用了不同的并行机制：Hadoop MapReduce采用了多进程模型，而Spark采用了多线程模型。 Apache Spark的高性能一定程度上取决于它采用的异步并发模型（这里指serve

分享到：

非常感谢你花费了来阅读本文,如果你在本站获取到了新知识,那就请点击分享按钮将本站分享出去吧。

你可能喜欢:

AttributeError：'dict'对象没有属性'charss'

Java File RenameTo函数返回false及正确写法

为什么要用多线程

Android Studio和Gradle构建错误

关于Controller下Request取值的问题(.net mvc)

Android Studio 1.x 使用问题汇总

堆优化的prim

揭露安利!!!!!!_weixin_33754065的博客

Python 语言list 列表类型中的 extend() 和 append() 的区别

NoClassDefFoundError在Java:com/google/common/base/Function