Spark vs. Flink
写在前面
总体介绍
架构
优化器
迭代处理
shuffle过程
内存管理
容错机制
反压机制
用户编程
Powered by
GitBook
架构
架构
在讨论架构的时候,我们还将Hadoop拿来一起比较。首先较为关注的问题有:
物理节点上启动了哪些进程和线程?
Task是作为进程还是线程?
图 1 Hadoop模型
图2 Spark模型
图3 Spark架构图
图4 Flink架构图
重要的进程
Hadoop
Spark
Flink
主节点
JobTracker
Master
JobManager
从节点
TaskTracker
Woker
TaskManager
results matching "
"
No results matching "
"