SparkStreaming技术内幕及源码剖析
编辑推荐
全面透彻剖析Spark Streaming技术内幕和源码,并结合Spark Streaming调优实践的经验总结,适合所有大数据应用的技术管理和开发人员阅读。
本书涵盖Spark Streaming的内部技术原理、源码分析、性能调优方法以及对未来Spark Streaming新版本的新功能分析。
内容简介
本书以大数据处理引擎Spark的稳定版本1.6.x为基础,从应用案例、原理、源码、流程、调优等多个角度剖析Spark上的实时计算框架Spark Streaming。在勾勒出Spark Streaming架构轮廓的基础上,从基本源码开始进行剖析,由浅入深地引导已具有Spark和Spark Streaming基础技术知识的读者进行Spark Streaming的进阶学习,理解Spark Streaming的原理和运行机制,为流数据处理的决策和应用提供了技术参考;结合Spark Streaming的深入应用的需要,对Spark Streaming的性能调优进行了分析,也对Spark Streaming功能的改造和扩展提供了指导。
本书适合大数据领域CTO、架构师、高级软件工程师,尤其是Spark领域已有Spark Streaming基础知识的从业人员阅读,也可供需要深入学习Spark、Spark Streaming的高校研究生和高年级本科生参考。
作者简介
王家林,中国著名的Spark培训专家,Apache Spark、Android 技术中国区布道师,DT大数据梦工厂创始人和首席专家,Android软硬整合专家。彻底研究了 Spark 从 0.5.0 到 2.1.0 中共 28个版本的 Spark 源码,目前致力于开发优化的 Spark 中国版本。尤其擅长 Spark 在生产环境下各种类型和场景故障的排除和解决,痴迷于 Spark 生产环境下任意类型(例如 Shuffle 和各种内存问题及数据倾斜问题等)的 Spark 程序的深度性能优化。从 2014 年 6 月 24 日起,已开启免费的 Spark 公开课《决胜大数据时代 Spark100 期公益大讲堂》。在 2015 年 6月 27 日成立 DT 大数据梦工厂,开启 IMF(Impossible Mission Force)行动,率先在全球开展以 Spark 为核心的,免费为社会培养 100 万企业级实战高级大数据人才行动计划,截止目前已有数千人参与到这个行动之中。
夏阳,系统架构师,从事平台和应用软件研发工作多年,行业阅历丰富,对行业技术发展有独到见解和精准判断,近几年先后就职于中创中间件公司、蚁坊软件公司、任子行网络技术股份有限公司,从事大数据相关的技术研发工作。对大数据处理、机器学习、图计算、文本处理等技术领域有丰富工作经验和浓厚兴趣。