基本信息
- 作者： 蒋杰 刘煜宏 陈鹏 郑礼雄
- 出版社：机械工业出版社
- ISBN：9787111710769
- 上架时间：2022-7-14
- 出版日期：2022 年7月
- 开本：16开
- 页码：564
- 版次：1-1
- 所属分类：计算机 > 数据库 > 数据库存储与管理
编辑推荐
腾讯大数据平台十年磨一剑
践行“科技向善”落地方案
内容简介
目录
前言
第1章 打造腾讯大数据平台 1
1.1 腾讯大数据的缘起 3
1.2 腾讯大数据的构建理念 5
1.3 腾讯大数据的总体架构 7
第2章 数据实时采集平台 11
2.1 接入层挑战 12
2.2 接入管理层TDManager 14
2.3 数据采集 17
2.4 数据总线 23
2.5 消息中间件 30
2.6 数据分拣 40
2.7 接入层展望 44
第3章 分布式存储平台 46
3.1 文件存储HDFS 47
3.2 统一存储Ceph 62
3.3 下一代大数据存储Ozone 77
3.4 KV存储HBase 88
第4章 分布式计算平台 99
4.1 批处理MapReduce 100
第1章 打造腾讯大数据平台 1
1.1 腾讯大数据的缘起 3
1.2 腾讯大数据的构建理念 5
1.3 腾讯大数据的总体架构 7
第2章 数据实时采集平台 11
2.1 接入层挑战 12
2.2 接入管理层TDManager 14
2.3 数据采集 17
2.4 数据总线 23
2.5 消息中间件 30
2.6 数据分拣 40
2.7 接入层展望 44
第3章 分布式存储平台 46
3.1 文件存储HDFS 47
3.2 统一存储Ceph 62
3.3 下一代大数据存储Ozone 77
3.4 KV存储HBase 88
第4章 分布式计算平台 99
4.1 批处理MapReduce 100
前言
腾讯作为一家以互联网为基础的科技与文化公司，其互联网业务与亿万网民的日常生活息息相关，从社交平台出发，已拓展至娱乐、金融、资讯、工具、流量平台等多个业务板块。2019年，马化腾公布腾讯公司的新愿景为“用户为本，科技向善”，目前已经践行多个“科技向善”落地方案，例如与政府合作的AI寻人、AI医学影像产品“腾讯觅影”，以及培育高产量AI黄瓜等项目，而这些项目的背后无不是以腾讯大数据作为底层支撑，通过AI赋能创造可以为社会带来实际价值的产品。
腾讯数据人每天不得不面对海量的数据处理需求，例如用户每天在微信朋友圈和QQ空间上传的图片超过10亿张，腾讯视频每天播放量超过20亿次，除夕当天红包支付超过25亿笔，每天移动支付超过5亿笔，这些数据规模在国内均居行业前列。
伴随着业务的迅猛发展，腾讯大数据平台十年磨一剑，已经初步搭建完成了数据采集、存储、计算、应用、运维、治理等一整套大数据业务处理平台。本书正是在此背景下应运而生的，首次对外详细阐述了腾讯大数据平台系统架构，以及多年来平台建设的思考与沉淀。
本书内容总体分成两大部分，第一部分主要讲述腾讯大数据平台的技术体系，第二部分主要讲述腾讯大数据通过腾讯云对外开放的一系列产品。主要包括：
一、腾讯大数据的起源、技术理念及发展历程：重点讲述腾讯大数据从无到有的故事、开源路线选择的思考以及三代大数据平台架构的技术演进。
二、数据实时采集平台：重点讲述腾讯自主研发的高并发消息中间件，该平台在腾讯内部使用超过十年，每天接入数十万亿级的消息。
三、分布式存储平台：讲述广受欢迎的HDFS、Ceph、HBase等开源组件，并重点阐述下一代分布式存储平台Ozone。
四、分布式计算平台：重点讲述腾讯大数据历经十年发展的变迁史，从Hadoop到Spark，从Storm到Flink的发展史，同时也讲述任务调度系统及多种计算分析引擎。
五、资源调度平台：重点讲述如何实现十万节点级别的大规模集群的调度管理，阐述CPU、GPU、内存、磁盘、网络等资源调度的优化。
六、数据治理体系：涉及元数据、数据资产管理、数据安全等内容。
七、机器学习平台：介绍腾讯大数据自主研发的高性能分布式机器学习平台Angel，这是国内首个在全球范围的顶级开源社区毕业的机器学习平台。
八、数据内容挖掘：主要讲述对数据价值的挖掘、以用户画像为核心的数据内容的挖掘。
九、大数据平台运营：大数据平台的核心竞争力很大一部分来自平台的运维与运营，腾讯大数据平台的机器节点规模超过十万台，但腾讯大数据运维团队只有二三十人，这里主要讲述运维团队经历的方方面面。
十、对外开放的腾讯大数据能力：讲述腾讯大数据套件TBDS、一站式机器学习平台智能钛TI，也讲述每天推送量达到数百亿的移动推送平台，重点披露承载了腾讯大数据超过500万核的底层算力平台的技术实践细节，还有智能客服机器人、数据可视化产品等。
本书由腾讯数据平台部组织编写，详尽地记录了腾讯大数据技术发展与演进各个阶段所使用的技术，也记录了腾讯大数据团队经历过的各种考验，希望可以给各位同行及有志于从事大数据行业的朋友一些启发与借鉴。
腾讯数据人每天不得不面对海量的数据处理需求，例如用户每天在微信朋友圈和QQ空间上传的图片超过10亿张，腾讯视频每天播放量超过20亿次，除夕当天红包支付超过25亿笔，每天移动支付超过5亿笔，这些数据规模在国内均居行业前列。
伴随着业务的迅猛发展，腾讯大数据平台十年磨一剑，已经初步搭建完成了数据采集、存储、计算、应用、运维、治理等一整套大数据业务处理平台。本书正是在此背景下应运而生的，首次对外详细阐述了腾讯大数据平台系统架构，以及多年来平台建设的思考与沉淀。
本书内容总体分成两大部分，第一部分主要讲述腾讯大数据平台的技术体系，第二部分主要讲述腾讯大数据通过腾讯云对外开放的一系列产品。主要包括：
一、腾讯大数据的起源、技术理念及发展历程：重点讲述腾讯大数据从无到有的故事、开源路线选择的思考以及三代大数据平台架构的技术演进。
二、数据实时采集平台：重点讲述腾讯自主研发的高并发消息中间件，该平台在腾讯内部使用超过十年，每天接入数十万亿级的消息。
三、分布式存储平台：讲述广受欢迎的HDFS、Ceph、HBase等开源组件，并重点阐述下一代分布式存储平台Ozone。
四、分布式计算平台：重点讲述腾讯大数据历经十年发展的变迁史，从Hadoop到Spark，从Storm到Flink的发展史，同时也讲述任务调度系统及多种计算分析引擎。
五、资源调度平台：重点讲述如何实现十万节点级别的大规模集群的调度管理，阐述CPU、GPU、内存、磁盘、网络等资源调度的优化。
六、数据治理体系：涉及元数据、数据资产管理、数据安全等内容。
七、机器学习平台：介绍腾讯大数据自主研发的高性能分布式机器学习平台Angel，这是国内首个在全球范围的顶级开源社区毕业的机器学习平台。
八、数据内容挖掘：主要讲述对数据价值的挖掘、以用户画像为核心的数据内容的挖掘。
九、大数据平台运营：大数据平台的核心竞争力很大一部分来自平台的运维与运营，腾讯大数据平台的机器节点规模超过十万台，但腾讯大数据运维团队只有二三十人，这里主要讲述运维团队经历的方方面面。
十、对外开放的腾讯大数据能力：讲述腾讯大数据套件TBDS、一站式机器学习平台智能钛TI，也讲述每天推送量达到数百亿的移动推送平台，重点披露承载了腾讯大数据超过500万核的底层算力平台的技术实践细节，还有智能客服机器人、数据可视化产品等。
本书由腾讯数据平台部组织编写，详尽地记录了腾讯大数据技术发展与演进各个阶段所使用的技术，也记录了腾讯大数据团队经历过的各种考验，希望可以给各位同行及有志于从事大数据行业的朋友一些启发与借鉴。
媒体评论
数字经济时代，数据已成为重要的生产要素。腾讯作为一家大型互联网科技公司，在业务快速发展的同时，也带来了数据的爆发式增长和对技术的极高要求。腾讯大数据经过十余年深耕不辍的探索实践，从2009年搭建第一个Hadoop集群，到第四代数智融合计算平台，团队支撑着腾讯多业态发展，也力求突破革新，走出了一条从开源到自研的构建之道。
全书共13章，分两大部分进行全面而系统的介绍，第一部分从腾讯大数据平台的发展历程和总体架构切入，深入剖析了各项技术原理，阐述了实战过程中的挑战和自研核心技术的设计思想，覆盖了大数据接入、计算、存储、分析、调度等大量技术组件。第二部分主要介绍了腾讯在数据治理、数据应用、机器学习和平台运营方面的建设经验，并对腾讯大数据产品及其在内外部场景的实践落地进行了解读， 书中列举的大量实践案例对广大读者都极具参考价值和借鉴意义。
本书汇集了腾讯几十位一线技术专家铢积寸累的思考和实战精髓，以全面的视角、认真审慎的态度，讲述了腾讯大数据的核心体系，形成了这样一部翔实、丰富和系统化的大数据著作。相信本书可为广大读者、相关企业提供参考路线和实战经验，同时也为大数据产业和数字化创新贡献一份微薄之力。
全书共13章，分两大部分进行全面而系统的介绍，第一部分从腾讯大数据平台的发展历程和总体架构切入，深入剖析了各项技术原理，阐述了实战过程中的挑战和自研核心技术的设计思想，覆盖了大数据接入、计算、存储、分析、调度等大量技术组件。第二部分主要介绍了腾讯在数据治理、数据应用、机器学习和平台运营方面的建设经验，并对腾讯大数据产品及其在内外部场景的实践落地进行了解读， 书中列举的大量实践案例对广大读者都极具参考价值和借鉴意义。
本书汇集了腾讯几十位一线技术专家铢积寸累的思考和实战精髓，以全面的视角、认真审慎的态度，讲述了腾讯大数据的核心体系，形成了这样一部翔实、丰富和系统化的大数据著作。相信本书可为广大读者、相关企业提供参考路线和实战经验，同时也为大数据产业和数字化创新贡献一份微薄之力。
