基本信息
【插图】
编辑推荐
BAT资深数据科学家撰写，多年AB实验设计与分析、AB实验平台建设经验，融合国内外优秀企业先进经验
融合国内外企业先进经验，系统阐释AB实验原理、方法、评估指标体系、平台搭建、组织和文化建设、实践难点和增长实践
内容简介
书籍
计算机书籍
本书是AB实验领域的标准化著作，它将带领你快速理解AB实验原理、掌握AB实验方法、搭建AB实验平台、塑造基于数据和实验的企业文化，高效开展AB实验、实现用AB实验驱动增长。
作者是某BAT大厂的数据科学家，在数据产品、AB实验等数据科学领域有10余年经验，亲自主导了该厂AB实验平台的搭建和AB实验产品的设计与分析，积累了丰富的经验。
学习本书，你将收获以下知识和技能：
AB实验的基础知识、关键问题及其挑战；
AB实验的统计学知识、参与单元、随机分流；
AB实验的SRM问题、灵敏度、长期影响；
AB实验的产品指标体系、评估指标体系；
AB实验的平台建设、组织和文化建设；
AB实验的增长实践和解决方案；
AB实验的难点和局限性；
因果分析方法和用户调查分析方法
本书内容具有以下3个特点：
（1）全面系统、主次分明：如上所述，本书涵盖AB实验理论、实践的方方面面，重点放在对AB实验关键环节的深入理解、关键问题的解决方案上，力争把关键问题剖析到位，而不是面面俱到地泛泛而谈；
（2）案例丰富、算例清晰：重要知识点都配有翔实的行业案例，帮助读者通过应用场景理解AB实验；以深入浅出的方式阐述了AB实验涉及的复杂数理知识；
（3）全球视野、与时具进：不仅总结了国内外优秀企业的AB实验案例，而且将全球AB实验领域先进的研究成果和案例融入了书中。
通过本书的深入学习，你将成为为一个实验领域的专家，完全可以处理常规的AB实验中的大部分问题，帮助你更好地迭代产品，实现产品的优化和业务的增长。
计算机书籍
本书是AB实验领域的标准化著作，它将带领你快速理解AB实验原理、掌握AB实验方法、搭建AB实验平台、塑造基于数据和实验的企业文化，高效开展AB实验、实现用AB实验驱动增长。
作者是某BAT大厂的数据科学家，在数据产品、AB实验等数据科学领域有10余年经验，亲自主导了该厂AB实验平台的搭建和AB实验产品的设计与分析，积累了丰富的经验。
学习本书，你将收获以下知识和技能：
AB实验的基础知识、关键问题及其挑战；
AB实验的统计学知识、参与单元、随机分流；
AB实验的SRM问题、灵敏度、长期影响；
AB实验的产品指标体系、评估指标体系；
AB实验的平台建设、组织和文化建设；
AB实验的增长实践和解决方案；
AB实验的难点和局限性；
因果分析方法和用户调查分析方法
本书内容具有以下3个特点：
（1）全面系统、主次分明：如上所述，本书涵盖AB实验理论、实践的方方面面，重点放在对AB实验关键环节的深入理解、关键问题的解决方案上，力争把关键问题剖析到位，而不是面面俱到地泛泛而谈；
（2）案例丰富、算例清晰：重要知识点都配有翔实的行业案例，帮助读者通过应用场景理解AB实验；以深入浅出的方式阐述了AB实验涉及的复杂数理知识；
（3）全球视野、与时具进：不仅总结了国内外优秀企业的AB实验案例，而且将全球AB实验领域先进的研究成果和案例融入了书中。
通过本书的深入学习，你将成为为一个实验领域的专家，完全可以处理常规的AB实验中的大部分问题，帮助你更好地迭代产品，实现产品的优化和业务的增长。
目录
前言
第一部分 了解AB实验
第1章 AB实验的基本原理和应用002
1.1 什么是AB实验002
1.1.1 AB实验的定义002
1.1.2 AB实验的类型004
1.2 AB实验的3个基本要素005
1.2.1 实验参与单元005
1.2.2 实验控制参数007
1.2.3 实验指标008
1.3 AB实验的2个核心价值009
1.3.1 定性因果：验证因果关系，确保方向正确009
1.3.2 定量增长：实践数据驱动，精细成本收益012
1.4 AB实验的2个关键特性015
1.5 AB实验行业应用016
1.5.1 AB实验应用场景016
1.5.2 AB实验应用案例018
第二部分 深入AB实验
第2章 AB实验的关键问题026
2.1 实验参与对象的3个问题027
第一部分 了解AB实验
第1章 AB实验的基本原理和应用002
1.1 什么是AB实验002
1.1.1 AB实验的定义002
1.1.2 AB实验的类型004
1.2 AB实验的3个基本要素005
1.2.1 实验参与单元005
1.2.2 实验控制参数007
1.2.3 实验指标008
1.3 AB实验的2个核心价值009
1.3.1 定性因果：验证因果关系，确保方向正确009
1.3.2 定量增长：实践数据驱动，精细成本收益012
1.4 AB实验的2个关键特性015
1.5 AB实验行业应用016
1.5.1 AB实验应用场景016
1.5.2 AB实验应用案例018
第二部分 深入AB实验
第2章 AB实验的关键问题026
2.1 实验参与对象的3个问题027
前言
为什么要写这本书
AB实验作为利用数据驱动增长的重要手段，可以在推断因果效应的同时量化策略效果，在产品创新、优化和改进中发挥着越来越重要的作用。AB实验是一项复杂的系统工程。如果没有坚实的理论基础、强大的平台能力、丰富的实践经验作为支撑，那么很容易得出错误的AB实验结论，进而让组织做出错误的决策，错失发展机会。
从我的亲身经历和对大量企业的调研了解来看，当前有相当多的从业者，甚至大型互联网企业的技术人员，对AB实验的理解还处于比较粗浅的阶段，甚至存在很多误解。许多企业的AB实验实践停留在初级阶段，对于如何高效开展AB实验、构建基于数据和实验的企业文化，还没有形成成熟的方法论，导致实验过程反复和低效。同时，在市面上，系统阐述AB实验原理、平台建设、实践、文化建设等方面的图书非常少，大量希望学习AB实验的读者找不到有效的渠道来获得专业知识。
我曾参与过多种类型业务场景下AB实验的设计与分析，也负责过大型AB实验平台的建设。通过学习国内外公司先进的经验，并在实践中不断尝试，我积累了丰富的AB实验经验。本着分享、交流、学习的心态和初衷，我撰写了本书。AB实验是一个系统性的工程，涉及的知识非常广泛。本书以AB实验相关的知识为重点，扩展了与AB实验紧密相关的内容，比如指标体系建设、AB实验之外的因果分析方法、用户调查方法等。
希望本书能对广大正在践行AB实验的读者有所启发，加深行业对于AB实验的理解，提升AB实验实践的科学性，促进AB实验文化的发展。希望读者能借助AB实验这个有力的工具，成功实现产品增长。
读者对象
本书适合所有对AB实验有需求的企业管理者、相关从业者，以及对于数据驱动增长、数据科学等领域感兴趣的读者。目前大部分AB实验集中在互联网行业，因为其天生具有进行在线AB实验的优势和强烈需求。我们以典型的互联网公司中主要角色的视角来看本书对不同的角色的主要价值。
企业管理者和决策者：对于企业管理者来说，如果企业当前还没有AB实验，他们需要确定企业当前阶段是否需要引入AB实验，以及以什么样的方式引入（自建或采购）。因为涉及企业当前的财务、人力状况以及产品未来的规划，所以只能由他们做出决策。对于已经在进行AB实验的企业，管理者和决策者需要了解AB实验的原理以及AB实验是如何运行、如何分析的，充分了解后他们在阅读AB实验报告的时候才不会被数据戏法所欺骗。本书介绍的很多案例中，针对同一个实验，实验报告如果采用不同的口径或者指标，得出的结果是完全不一样的，决策者必须学会自己看数据和实验报告。
产品经理和运营人员：对于有增长需求且适合进行AB实验的产品来说，产品经理和运营人员就是AB实验的主要发起者。他们需要对自己策划的产品功能、策略、运营活动、方案进行测试，以保证产品的优化和迭代按照组织期望的方向进行。只有具备了系统的AB实验知识，才能设计出合理的AB实验方案，并能够准确判断实验是否正常运行，实验收集数据是否可用且满足实验评估的要求。如果没有扎实的实验知识，得出的实验结果很难保证是科学的、可信的。
数据分析师、数据科学家等数据工作者：AB实验分析是数据分析中一个非常重要的方向，很多公司AB实验的结果是由数据分析师统一输出的，以保证客观性和准确性。在互联网领域，数据分析工作中AB实验分析的比重甚至可能超过30%。不懂AB实验分析的数据分析师在就业竞争中会处于明显的劣势。对于数据科学方向的从业人员来说，有两个区别于传统数据分析的关键点，一个是模型构建能力，另一个就是实验设计和解析能力。在许多大型公司中，数据科学部门肩负着构建实验团队和实验平台以及进行实验评估和实验文化推进的任务。可以说掌握AB实验相关的知识是数据科学家必备的。
前后端、算法等技术开发人员：AB实验的实现涉及整个产品研发链的很多环节，比如前端涉及UI和交互逻辑的下发，后端涉及分流逻辑、触发时机的实现，算法研发更是要频繁使用实验平台进行AB实验。如果这些技术实现者系统地掌握了AB实验的相关知识，那么他们不仅能更好地设计和规划技术架构，而且在代码出现问题的时候，也能通过原理的分析快速定位和修复问题。同时，开发人员也可以用AB实验来测试不同的架构、代码方案的性能等。
本书特色
本书有以下几个主要特色。
内容全面系统、主次分明。本书以AB实验为中心，包含AB实验方方面面的知识，不仅有AB实验相关的理论基础知识、平台建设、文化建设，还涵盖指标体系建设、增长实践、AB实验的局限性以及因果推断、用户研究等内容，内容全面且系统。同时，本书将重点放在对AB实验关键环节的深入理解、关键问题的解决上，力争把问题从原理和实践角度剖析到位，而不是面面俱到地泛泛而谈。
案例丰富，算例清晰，理论扎实又容易读懂。书中重要的知识点都配有翔实的行业实践案例，帮助读者更深入地理解应用场景。我还给出了生动易懂的例子以及严密公式的推导，以深入浅出的方式阐述AB实验涉及的复杂数理知识。比如，统计学中假设检验中的P值、显著性水平等问题，AB实验为什么能进行因果推断，以及需要具备什么条件等。
视野广阔，内容与时俱进，具有先进性。在写作本书时，我对国际前沿热点、新近实践经验、研究成果、最新行业动态进行了持续的跟踪和解析，同时调研了国内多家大型互联网公司的AB实验实践情况，力求让本书具有全球视角下与时俱进的指导意义。
本书主要内容
本书分为6个部分，共21章。
第一部分了解AB实验（第1章），主要从AB实验的原理、行业案例出发，帮助读者建立对AB实验的基本认知，并从应用视角阐述AB实验的优势、价值，让读者了解学习AB实验的原因。
第二部分深入AB实验（第2～9章），对于AB实验中的关键问题和挑战、实践中容易出现的问题、较难理解的环节进行深入细致的解析，包括统计学相关、实验分流、实验灵敏度和长期影响评估等方面。
AB实验作为利用数据驱动增长的重要手段，可以在推断因果效应的同时量化策略效果，在产品创新、优化和改进中发挥着越来越重要的作用。AB实验是一项复杂的系统工程。如果没有坚实的理论基础、强大的平台能力、丰富的实践经验作为支撑，那么很容易得出错误的AB实验结论，进而让组织做出错误的决策，错失发展机会。
从我的亲身经历和对大量企业的调研了解来看，当前有相当多的从业者，甚至大型互联网企业的技术人员，对AB实验的理解还处于比较粗浅的阶段，甚至存在很多误解。许多企业的AB实验实践停留在初级阶段，对于如何高效开展AB实验、构建基于数据和实验的企业文化，还没有形成成熟的方法论，导致实验过程反复和低效。同时，在市面上，系统阐述AB实验原理、平台建设、实践、文化建设等方面的图书非常少，大量希望学习AB实验的读者找不到有效的渠道来获得专业知识。
我曾参与过多种类型业务场景下AB实验的设计与分析，也负责过大型AB实验平台的建设。通过学习国内外公司先进的经验，并在实践中不断尝试，我积累了丰富的AB实验经验。本着分享、交流、学习的心态和初衷，我撰写了本书。AB实验是一个系统性的工程，涉及的知识非常广泛。本书以AB实验相关的知识为重点，扩展了与AB实验紧密相关的内容，比如指标体系建设、AB实验之外的因果分析方法、用户调查方法等。
希望本书能对广大正在践行AB实验的读者有所启发，加深行业对于AB实验的理解，提升AB实验实践的科学性，促进AB实验文化的发展。希望读者能借助AB实验这个有力的工具，成功实现产品增长。
读者对象
本书适合所有对AB实验有需求的企业管理者、相关从业者，以及对于数据驱动增长、数据科学等领域感兴趣的读者。目前大部分AB实验集中在互联网行业，因为其天生具有进行在线AB实验的优势和强烈需求。我们以典型的互联网公司中主要角色的视角来看本书对不同的角色的主要价值。
企业管理者和决策者：对于企业管理者来说，如果企业当前还没有AB实验，他们需要确定企业当前阶段是否需要引入AB实验，以及以什么样的方式引入（自建或采购）。因为涉及企业当前的财务、人力状况以及产品未来的规划，所以只能由他们做出决策。对于已经在进行AB实验的企业，管理者和决策者需要了解AB实验的原理以及AB实验是如何运行、如何分析的，充分了解后他们在阅读AB实验报告的时候才不会被数据戏法所欺骗。本书介绍的很多案例中，针对同一个实验，实验报告如果采用不同的口径或者指标，得出的结果是完全不一样的，决策者必须学会自己看数据和实验报告。
产品经理和运营人员：对于有增长需求且适合进行AB实验的产品来说，产品经理和运营人员就是AB实验的主要发起者。他们需要对自己策划的产品功能、策略、运营活动、方案进行测试，以保证产品的优化和迭代按照组织期望的方向进行。只有具备了系统的AB实验知识，才能设计出合理的AB实验方案，并能够准确判断实验是否正常运行，实验收集数据是否可用且满足实验评估的要求。如果没有扎实的实验知识，得出的实验结果很难保证是科学的、可信的。
数据分析师、数据科学家等数据工作者：AB实验分析是数据分析中一个非常重要的方向，很多公司AB实验的结果是由数据分析师统一输出的，以保证客观性和准确性。在互联网领域，数据分析工作中AB实验分析的比重甚至可能超过30%。不懂AB实验分析的数据分析师在就业竞争中会处于明显的劣势。对于数据科学方向的从业人员来说，有两个区别于传统数据分析的关键点，一个是模型构建能力，另一个就是实验设计和解析能力。在许多大型公司中，数据科学部门肩负着构建实验团队和实验平台以及进行实验评估和实验文化推进的任务。可以说掌握AB实验相关的知识是数据科学家必备的。
前后端、算法等技术开发人员：AB实验的实现涉及整个产品研发链的很多环节，比如前端涉及UI和交互逻辑的下发，后端涉及分流逻辑、触发时机的实现，算法研发更是要频繁使用实验平台进行AB实验。如果这些技术实现者系统地掌握了AB实验的相关知识，那么他们不仅能更好地设计和规划技术架构，而且在代码出现问题的时候，也能通过原理的分析快速定位和修复问题。同时，开发人员也可以用AB实验来测试不同的架构、代码方案的性能等。
本书特色
本书有以下几个主要特色。
内容全面系统、主次分明。本书以AB实验为中心，包含AB实验方方面面的知识，不仅有AB实验相关的理论基础知识、平台建设、文化建设，还涵盖指标体系建设、增长实践、AB实验的局限性以及因果推断、用户研究等内容，内容全面且系统。同时，本书将重点放在对AB实验关键环节的深入理解、关键问题的解决上，力争把问题从原理和实践角度剖析到位，而不是面面俱到地泛泛而谈。
案例丰富，算例清晰，理论扎实又容易读懂。书中重要的知识点都配有翔实的行业实践案例，帮助读者更深入地理解应用场景。我还给出了生动易懂的例子以及严密公式的推导，以深入浅出的方式阐述AB实验涉及的复杂数理知识。比如，统计学中假设检验中的P值、显著性水平等问题，AB实验为什么能进行因果推断，以及需要具备什么条件等。
视野广阔，内容与时俱进，具有先进性。在写作本书时，我对国际前沿热点、新近实践经验、研究成果、最新行业动态进行了持续的跟踪和解析，同时调研了国内多家大型互联网公司的AB实验实践情况，力求让本书具有全球视角下与时俱进的指导意义。
本书主要内容
本书分为6个部分，共21章。
第一部分了解AB实验（第1章），主要从AB实验的原理、行业案例出发，帮助读者建立对AB实验的基本认知，并从应用视角阐述AB实验的优势、价值，让读者了解学习AB实验的原因。
第二部分深入AB实验（第2～9章），对于AB实验中的关键问题和挑战、实践中容易出现的问题、较难理解的环节进行深入细致的解析，包括统计学相关、实验分流、实验灵敏度和长期影响评估等方面。
媒体评论
AB Test
Powerful Tool of Causal Analysis and Growth
“快速试错”是互联网公司在增量时代的制胜法宝，PMF、MVP、敏捷开发、灰度发布、内部赛马，都是为了把“快”做到极致。但存量时代到来之后，“试错”的机会成本越来越高，“快”的边际效益递减，法宝开始不灵了。通过科学的因果推断做出正确决策，降低“试错”的机会成本，成了新的方法论红利，而AB实验是目前最广泛适用的因果推断方法。本书深入介绍了相关的统计学原理、应用流程、工具平台和组织文化，以及隐藏其中的问题和陷阱，分享了宝贵的踩坑经验，能够帮助实践中的读者少走很多弯路。
——曾炜数据科学家/增长专家
这本书详细记录了作者在大型互联网公司参与实验平台建设、业务运营的丰富经验，并且总结了很多成型的实验方法和归因分析，相信对相关行业的参与者会有比较好的参考意义，是一本值得一看的实战指南。
——郎兵亚马逊前产品总监
本书作者结合实践经验，介绍了AB实验的理论和方法，给从业者在科学数据决策方面实现业务增长带来了很多启发。
——张华百度搜索前项目负责人
本书深入浅出地介绍了进行AB实验的基本知识，并总结了在实验实操过程中可能遇到的大量问题与解法，可以作为AB实验从业者的入门书。
——朱思宇腾讯新闻前数据开发负责人
Powerful Tool of Causal Analysis and Growth
“快速试错”是互联网公司在增量时代的制胜法宝，PMF、MVP、敏捷开发、灰度发布、内部赛马，都是为了把“快”做到极致。但存量时代到来之后，“试错”的机会成本越来越高，“快”的边际效益递减，法宝开始不灵了。通过科学的因果推断做出正确决策，降低“试错”的机会成本，成了新的方法论红利，而AB实验是目前最广泛适用的因果推断方法。本书深入介绍了相关的统计学原理、应用流程、工具平台和组织文化，以及隐藏其中的问题和陷阱，分享了宝贵的踩坑经验，能够帮助实践中的读者少走很多弯路。
——曾炜数据科学家/增长专家
这本书详细记录了作者在大型互联网公司参与实验平台建设、业务运营的丰富经验，并且总结了很多成型的实验方法和归因分析，相信对相关行业的参与者会有比较好的参考意义，是一本值得一看的实战指南。
——郎兵亚马逊前产品总监
本书作者结合实践经验，介绍了AB实验的理论和方法，给从业者在科学数据决策方面实现业务增长带来了很多启发。
——张华百度搜索前项目负责人
本书深入浅出地介绍了进行AB实验的基本知识，并总结了在实验实操过程中可能遇到的大量问题与解法，可以作为AB实验从业者的入门书。
——朱思宇腾讯新闻前数据开发负责人
