分享

每周一本书 |《Presto技术内幕》:看京东技术大牛360度无死角剖析Presto

 数据猿 2021-02-23
<数据猿导读>

《Presto技术内幕》是京东技术团队大牛们的倾情之作。由浅入深地详细介绍了Presto的安装过程、内部运行原理机制、功能特性、性能优化方法,以及在应用过程中常见的问题及解决方案等,非常适合沉浸在Java中不能自拔的攻城狮,也是现在火得一塌糊涂的大数据爱好者的不错选择...

本周推荐的是 《Presto技术内幕》, 这是一本专业性稍强的书,有些小伙伴们可能看得吃力一些。没关系,可以先把之前小编给大家推荐的入门书籍吃透了,毕竟,学习本身就是一件由浅入深的事情。

不过,这本书含金量真的很重,由京东技术团队的大牛们共同打造的一本实战+经验的干货书籍!

《Presto技术内幕》

《Presto技术内幕》是京东技术团队大牛们的倾情之作。由浅入深地详细介绍了Presto的安装过程、内部运行原理机制、功能特性、性能优化方法,以及在应用过程中常见的问题及解决方案等,可用于多种数据源混合进行实时大数据分析计算,使一些使用其他大数据技术不能解决的业务场景有了一个全新有效的解决方案。

适合人群:

Java 研发工程师;

在大数据技术领域从业的研发工程师、运维工程师、架构师;

对大数据研究方向感兴趣的大学老师和学生、以及大数据技术的入门学者;

从事海量数据分析应用的开发者、研究者。

内容简介:

Presto是专门为大数据实时查询计算而设计和开发的产品。由于Presto是基于Java语言开发的, 因此,对使用者和开发者而言, Presto极易学习、使用并针对特定的业务场景进行改造开发和性能优化。无论是对多数据源支持,还是高性能、易用性、可扩展性等方面, Presto都是大数据实时查询计算产品中的佼佼者。

 本书按照由浅入深的顺序对Presto进行了全方位的细致讲解,具体内容包括Presto概述、 Presto安装与部署、 Presto RESTful框架解析、提交查询、生成查询执行计划、查询调度、查询执行、队列、System Connector、 Hive Connector、 Kafka Connector、 Connector开发、 Functions开发、 JD-Presto功能改造、 Presto性能调优、 Presto应用场景。

本书对Java研发工程师,在大数据技术领域从业的研发工程师、运维工程师、架构师,对大数据研究方向感兴趣的大学老师和学生、以及大数据技术的入门学者,从事海量数据分析应用的开发者、研究者都有很强的参考价值。

作者简介:

翁志:现任京东首席技术顾问,信息安全部负责人,硅谷研发中心负责人,主要负责京东的技术创新,信息安全以及对外技术交流合作等,兼任全国信息安全标准化技术委员会委员。拥有近20年IT技术开发经验,拥有十余项国内外专利。2013年加入京东,领导京东大数据开源计算框架Presto荣获“2015COPU开源优秀项目奖”,本人获“中国开源杰出人物”称号。

机构负责人-戴东东:时任京东数据库管理部负责人,负责数据库、大数据等新技术研究工作,拥有近15年IT技术研发及团队管理经验,侧重于海量数据库、大数据、机器学习等技术领域的研究。2012年加入京东,组建并带领JD-Presto研发团队荣获多个国内外奖项。

高级架构师-吕信:Presto中国社区创建者与管理者,主要从事Hadoop、JD-Presto大数据开源产品及京东数据云的研发与架构设计,具有丰富的大数据解决方案及大数据公有云解决方案的设计及开发经验。

架构师-郭李明:2012年入职京东,一直从事与大数据分布式架构相关的技术研究,参与并主导了Presto京东开源版本的核心功能开发,致力于大数据计算的解决方案研究。

高级工程师-袁安峰:擅长Presto性能调优与Bug修复,对Presto的SQL优化器有深入研究, 同时一直致力于对Presto底层实现原理的研究和探索。负责CSDN极客社区Presto板块维护,热衷于分享研究Presto技术原理的文章以及对Presto使用的心得和体会。

高级工程师-孔云龙:对HDFS、MapReduce、Hive等Hadoop生态系统中的技术有比较深入研究,在分布式查询引擎Presto和分布式消息系统Kafka的功能改造和优化方面积累了丰富的经验。目前正在京东公有云部门从事数据计算服务相关研发工作。

目录:

第一部分 基础篇

第 1 章 Presto概述 2

第 2 章 Presto 安装与部署 12

第二部分 核心设计篇

第 3 章 Presto RESTful 框架解析 44

第 4 章 提交查询 53

第 5 章 生成查询执行计划 62

第 6 章 查询调度 111

第 7 章 查询执行 119

第 8 章 队列 148

第 9 章 System Connector 155

第 10 章 Hive Connector 169

第 11 章 Kafka Connector 187

第 12 章 Connector 开发 211

第 13 章 Functions 开发 220

第三部分 高级篇

第 14 章 JD-Presto 功能改造 234

第 15 章 Presto 性能调优 259

第 16 章 Presto 应用场景 263

附录 A 常见问题及解决办法 269

A.1 同时访问两个 Hadoop 集群 269

A.2 Kafka 集群重启后无法获取数据 272

A.3 Task exceeded max memory size 277

A.4 SQL 中 In 子句太长导致栈溢出错误 278

A.5 高并发导致大量查询出错 279

附录 B Presto 配置参数说明 282

附录 C Presto 执行信息说明 289

注:此书由数据猿联合电子工业出版社共同推荐。

    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多