Spark内核设计的艺术:架构设计与实现
编辑推荐
适读人群 :本书主要适合于以下读者:1.想要学习Scala语言的开发人员2.想要学习Spark原理的数据开发人员3.服务器和分布式系统开发人员4.分布式系统架构师5.Spark集群运维、部署及性 多位专家联袂推荐,360大数据专家撰写,剖析Spark 2.1.0架构与实现精髓 细化到方法级,提炼出多个流程图,立体呈现架构、环境、调度、存储、计算、部署、API七大核心设计
内容简介
多位专家联袂推荐,360大数据专家撰写,剖析Spark 2.1.0架构与实现精髓。细化到方法级,提炼出多个流程图,立体呈现架构、环境、调度、存储、计算、部署、API七大核心设计。本书一共有10章内容,主要包括以下部分。 准备部分:介绍Spark的环境搭建和基本原理,有效降低了读者进入Spark世界的门槛,同时对Spark背景知识及整体设计能有宏观的认识。 基础部分:介绍Spark的基础设施(包括配置、RPC、度量等)、初始化、执行环境等内容,使读者深入理解RPC框架的设计、执行环境功能,是了解核心内容的前提。 核心部分:该部分是Spark*为核心的部分,涵盖存储体系、调度系统、计算引擎、部署模式等。读者将充分了解Spark的数据处理与实现细节,透视本质,是进行定制化、性能优化、精准排查的基础,学习和工作更加高效。 API部分:这部分主要对Spark的新老API进行对比,对新API进行简单介绍。
作者简介
耿嘉安 10余年IT行业相关经验。先后就职于阿里巴巴、艺龙、360,专注于开源和大数据领域。在大量的工作实践中,对J2EE、JVM、Tomcat、Spring、Hadoop、Spark、MySQL、Redis都有深入研究,尤其喜欢剖析开源项目的源码实现。早期从事J2EE企业级应用开发,对Java相关技术有独到见解。著有《深入理解Spark:核心思想与源码分析》一书。