2020-07-22 09:32
⁄ 工业·编程
⁄ 共 1376字
这四个项目能放在一起比较的背景应该是分布式计算的演进过程。
开源分布式计算的第一个流行的框架是 Hadoop 项目中的 MapReduce 模块。它将所有计算抽象成 Map 和 Reduce 两个阶段,在计算时通过增加机器,并行的读取数据文件,进行 Map 或 Reduce 的操作,并将结果写到文件中。如此反复得到最终的结果。
上面过程中,每个 Map 和 Reduce 阶段所能表达的计算逻辑是有限的,因此完整的业务逻辑往往包含了多个阶段。注意到每个阶...
Flink, Hadoop, Spark, Storm, 大数据阅读全文