求索阁

这四个项目能放在一起比较的背景应该是分布式计算的演进过程。 开源分布式计算的第一个流行的框架是 Hadoop 项目中的 MapReduce 模块。它将所有计算抽象成 Map 和 Reduce 两个阶段，在计算时通过增加机器，并行的读取数据文件，进行 Map 或 Reduce 的操作，并将结果写到文件中。如此反复得到最终的结果。 上面过程中，每个 Map 和 Reduce 阶段所能表达的计算逻辑是有限的，因此完整的业务逻辑往往包含了多个阶段。注意到每个阶...

下面只是说说spark研发团队为什么选择scala，不是对比语言好坏。 第一：java与scala 1、当涉及到大数据Spark项目场景时，Java就不太适合，与Python和Scala相比，Java太冗长了，一行scala可能需要10行java代码。 2、当大数据项目，Scala支持Scala-shell，这样可以更容易地进行原型设计，并帮助初学者轻松学习Spark，而无需全面的开发周期。但是Java不支持交互式的shell功能。 第二：Python与Scala 虽然两者都具有简洁的语法，两...

Spark Summit China 2015于4月18日在北京国际会议中心顺利召开。作为本次峰会的主席，我很荣幸地邀请到了来自Databricks、微软亚洲研究院、IBM、英特尔、Cloudera、百度、阿里巴巴、腾讯及亚信的Spark开发者与使用者来分享他们的宝贵经验。本文，我将从我的视角来解读本次Spark峰会所传递出来的信息。下面一起回顾： Tathagata Das：New Directions for Spark in 2015 从TD（Spark Streaming负责人）的第一场分享来看，Spark确...

从灵机一闪的实验室“电火花”成长为大数据技术平台中异军突起的新锐，Spark何以被IBM赌博式的押注？在技术开放时代，IBM又将发生怎样的变化？带着种种问题，IBM大中华区大数据与分析事业部总经理钟泽敏先生；IBM大中华区大数据与分析事业部数据平台方案总经理刘胜利先生；IBM大中华区软件架构师总监、IBM技术科学院委员林旭光先生；IBM大中华区大数据分析平台销售总监洪建勋先生与CSDN进行了独家沟通。 Spark——IBM未来十年最重要...