基本信息
【插图】
编辑推荐
适读人群 ：（1）高等院校人工智能、数据科学、计算机等相关专业学生； （2）深度学习入门者； （3）工业界从事人工智能应用的专业人员。
1.邱锡鹏教授“蒲公英书”《神经网络与深度学习》配套实践英亚注册。
本书是邱锡鹏教授与百度飞桨研发团队联合编写，章节设计与蒲公英书前8章一一对应，以模型解读+案例实践的形式进行介绍，旨在降低深度学习的门槛，打通深度学习理论与实践的最后一公里。
2. 深度学习初学者提升动手实践能力的实操教程。
全书实践案例使用飞桨框架编写，代码简洁，易上手，从零开始一步步进行深度学习的实践，从学习流程角度和模型构建角度出发，搭建一个轻量级的机器学习框架以及相应的算子库来完成实际任务。
3. 全方位的深度学习教学和实训资源。
除纸质书之外，提供免费的视频课程、丰富题库和实训环境，邱锡鹏教授和百度飞桨研发团队亲自讲解示范，读者可以在AI Studio上在线学习并运行实践代码。
4、蒲公英书作者邱锡鹏教授亲自把关，百度首席技术官王海峰博士亲笔推荐。
内容简介
作译者
邱锡鹏
复旦大学计算机学院教授，国家优青获得者，主要从事自然语言处理、深度学习等方向的研究，发表CCF A/B类论文70余篇，获得ACL 2017杰出论文奖（CCF A类）、CCL 2019最佳论文奖、《中国科学：技术科学》2021年度高影响力论文奖，多篇论文入选PaperDigest发布的IJCAI/ACL/EMNLP的最有影响力论文，主持开发了开源框架FudanNLP和FastNLP，这两个框架已被国内外数百家单位使用。2015年入选首届中国科协青年人才托举工程，2018年获钱伟长中文信息处理科学技术奖青年创新奖，2020年获第四届上海高校青年教师教学竞赛优等奖，2021年获首届上海市计算机学会教学成果奖一等奖（第一完成人）。培养学生多次获得一级学会优博、微软学者、百度奖学金等。
飞桨英亚注册编写组
成员包括：
安梦涛、毕然、迟恺、程军、吕健、李鹏、刘其文、林天扬、马艳军、文灿、吴高升、吴蕾、汪庆辉、吴甜、徐彤彤、于佃海、张翰迪、张一超、张亚娴
复旦大学计算机学院教授，国家优青获得者，主要从事自然语言处理、深度学习等方向的研究，发表CCF A/B类论文70余篇，获得ACL 2017杰出论文奖（CCF A类）、CCL 2019最佳论文奖、《中国科学：技术科学》2021年度高影响力论文奖，多篇论文入选PaperDigest发布的IJCAI/ACL/EMNLP的最有影响力论文，主持开发了开源框架FudanNLP和FastNLP，这两个框架已被国内外数百家单位使用。2015年入选首届中国科协青年人才托举工程，2018年获钱伟长中文信息处理科学技术奖青年创新奖，2020年获第四届上海高校青年教师教学竞赛优等奖，2021年获首届上海市计算机学会教学成果奖一等奖（第一完成人）。培养学生多次获得一级学会优博、微软学者、百度奖学金等。
飞桨英亚注册编写组
成员包括：
安梦涛、毕然、迟恺、程军、吕健、李鹏、刘其文、林天扬、马艳军、文灿、吴高升、吴蕾、汪庆辉、吴甜、徐彤彤、于佃海、张翰迪、张一超、张亚娴
目录
序
前言
第1章实践基础1
1.1如何运行本书的代码...................................2
1.1.1本地运行.....................................2
1.1.2代码下载与使用方法..............................3
1.1.3在线运行.....................................4
1.2张量............................................6
1.2.1创建张量.....................................6
1.2.2张量的属性....................................9
1.2.3张量与Numpy数组转换............................13
1.2.4张量的访问....................................13
1.2.5张量的运算....................................16
1.3算子............................................20
1.3.1算子定义.....................................21
1.3.2自动微分机制..................................25
1.3.3预定义的算子..................................27
1.3.4本书中实现的算子................................27
1.3.5本书中实现的优化器..............................29
1.4本书中使用的数据集和实现的Dataset类........................29
前言
第1章实践基础1
1.1如何运行本书的代码...................................2
1.1.1本地运行.....................................2
1.1.2代码下载与使用方法..............................3
1.1.3在线运行.....................................4
1.2张量............................................6
1.2.1创建张量.....................................6
1.2.2张量的属性....................................9
1.2.3张量与Numpy数组转换............................13
1.2.4张量的访问....................................13
1.2.5张量的运算....................................16
1.3算子............................................20
1.3.1算子定义.....................................21
1.3.2自动微分机制..................................25
1.3.3预定义的算子..................................27
1.3.4本书中实现的算子................................27
1.3.5本书中实现的优化器..............................29
1.4本书中使用的数据集和实现的Dataset类........................29
前言
“我不能创造的东西，我就不理解（ What I cannot create, I do not understand）．”这是诺贝尔物理奖获得者理查德 ·费恩曼（ Richard Feynman）在他办公室黑板上留下的一句话．深度学习的学习中也是如此，只有通过实践才能更深入地理解理论．
《神经网络与深度学习》电子版 ①从 2015年年底在网上开放共享以来，收到很多读者的反馈，其中有很多宝贵的建议和意见．这些反馈也使得《神经网络与深度学习》不断改进． 2020年年初，由于疫情影响我封闭在家，终于有时间把这本书正式整理出版．这本书出版后，也得到广大读者的支持．《神经网络与深度学习》主要阐述了神经网络与深度学习技术的基本原理和方法．很多读者希望能在学习的同时进行实践，以加深对理论的理解．虽然我在 GitHub上留了一些实践练习的作业，但深知这些作业本身具有一定的门槛，对深度学习的入门读者有一定难度．因此，给《神经网络与深度学习》配一本实践书，一直是我的愿望．刚好百度飞桨团队也在给一些人工智能英亚注册配备实践内容，使得我的愿望提前实现．基于教学需求和投入精力的考虑，本书只选择了《神经网络与深度学习》的前 8章进行实践配套，对于其余章节，希望以后有机会再进行实践配套．飞桨是一款非常成熟的深度学习框架，其生态建设也非常完善．飞桨在 2.0版本之后支持了动态图，变得更加易用．因此本书以飞桨框架来编写实践内容，同时支持在 AI Studio上运行，进一步降低了使用门槛．
本书的定位是把神经网络模型、深度学习原理和工程实践结合起来，让读者在动手实践中更深入地理解深度学习的模型和原理．因此，本书在章节设计上和《神经网络与深度学习》一一对应，并以模型解读 +案例实践的形式进行介绍：
1）模型解读主要聚焦如何从零开始一步步实现机器学习模型和算法，并结合简单的任务来加深读者对模型和算法的理解．
2）案例实践主要强调如何在实际应用的任务中使用飞桨 API来更好地实现模型和算法，会涉及一些在实际任务上碰到的数据预处理等问题．
为了更适合深度学习的入门者使用，我们力求代码简洁，并从零开始一步步进行深度学习的实践，搭建一个轻量级的机器学习框架以及相应的算子库：
1）从学习流程角度出发，构建一个轻量级机器学习框架 Runner，用它来将机器学习实践中的要素（包括数据、模型、学习准则 [损失函数 ]、优化算法、评价指标）以及机器学习流程（模型准备、模型训练、模型评价以及模型预测）封装为一个整体，以方便读者快速开发一个机器学习系统来完成实际任务． Runner类也随着学习内容的递进不断完善，最终可以用来处理大多数机器学习任务，有很高的实用性．
①本书出版后因封面上专门设计了蒲公英图案，寓意帮助更多的读者进入深度学习以及人工智能领域，为人工智能领域注入新的生机与活力，而被广大读者昵称为蒲公英书．——编辑注
2）从模型构建角度出发，借鉴深度学习框架中算子的概念，本书从零开始一步步实现自定义的基本算子库，进一步通过组合自定义算子来搭建机器学习模型，最终搭建自己的机器学习模型库nndl．这使得读者在实践过程中不仅知其然还知其所以然，更好地掌握深度学习的模型和算法，并理解深度学习框架的实现原理．
本书中构建的轻量级机器学习框架 Runner和算子库 nndl基本可以满足我们在日常实践中的大部分机器学习任务的需要，读者也可以在具体的应用中不断完善，最终打造一个适合自己的个性化机器学习框架．
此外，本书还对《神经网络与深度学习》中的一些数学公式和术语翻译进行更新：
1）在数学公式方面，《神经网络与深度学习》中使用矩阵表示一组样本时，每一列为一个样本．而在实践中，矩阵计算是以张量（ Tensor）为单位进行的．因此，为了更加符合目前深度学习框架中的张量的特性和使用方式，本书使用每一行为一个样本．这样就需要对原来的公式进行重新的推导，好处是可以直接根据公式快速地实现代码．
2）在术语翻译方面，机器学习领域的很多名词存在难翻译和乱翻译的现象．在李航老师的建议下，我有幸与周志华老师、李沐、阿斯顿 ·张一起讨论了机器学习相关术语的翻译问题，对各自英亚注册中不一致的译法进行统一，因此本书中采用我们当时讨论确定的最新译法，比如将 Dropout翻译为“暂退法”，将 Normalization翻译为“规范化”等．
本书能够完成，离不开飞桨英亚注册编写组的安梦涛、毕然、迟恺、程军、吕健、刘其文、马艳军、文灿、吴高升、吴蕾、汪庆辉、吴甜、徐彤彤、于佃海、张翰迪、张一超、张亚娴的大力支持，他们为本书撰写了逻辑严谨的模型解读内容和简洁易用的实践代码．特别感谢我的学生李鹏和林天扬，他们也为本书的出版付出了很多时间和精力．
因为个人能力有限，书中难免有不当和错误之处，还望读者海涵和指正，不胜感激．
最后，我衷心希望本书能为国产深度学习框架的普及做出一点点贡献．
邱锡鹏
于上海 .复旦大学
2022年 7月 1日
《神经网络与深度学习》电子版 ①从 2015年年底在网上开放共享以来，收到很多读者的反馈，其中有很多宝贵的建议和意见．这些反馈也使得《神经网络与深度学习》不断改进． 2020年年初，由于疫情影响我封闭在家，终于有时间把这本书正式整理出版．这本书出版后，也得到广大读者的支持．《神经网络与深度学习》主要阐述了神经网络与深度学习技术的基本原理和方法．很多读者希望能在学习的同时进行实践，以加深对理论的理解．虽然我在 GitHub上留了一些实践练习的作业，但深知这些作业本身具有一定的门槛，对深度学习的入门读者有一定难度．因此，给《神经网络与深度学习》配一本实践书，一直是我的愿望．刚好百度飞桨团队也在给一些人工智能英亚注册配备实践内容，使得我的愿望提前实现．基于教学需求和投入精力的考虑，本书只选择了《神经网络与深度学习》的前 8章进行实践配套，对于其余章节，希望以后有机会再进行实践配套．飞桨是一款非常成熟的深度学习框架，其生态建设也非常完善．飞桨在 2.0版本之后支持了动态图，变得更加易用．因此本书以飞桨框架来编写实践内容，同时支持在 AI Studio上运行，进一步降低了使用门槛．
本书的定位是把神经网络模型、深度学习原理和工程实践结合起来，让读者在动手实践中更深入地理解深度学习的模型和原理．因此，本书在章节设计上和《神经网络与深度学习》一一对应，并以模型解读 +案例实践的形式进行介绍：
1）模型解读主要聚焦如何从零开始一步步实现机器学习模型和算法，并结合简单的任务来加深读者对模型和算法的理解．
2）案例实践主要强调如何在实际应用的任务中使用飞桨 API来更好地实现模型和算法，会涉及一些在实际任务上碰到的数据预处理等问题．
为了更适合深度学习的入门者使用，我们力求代码简洁，并从零开始一步步进行深度学习的实践，搭建一个轻量级的机器学习框架以及相应的算子库：
1）从学习流程角度出发，构建一个轻量级机器学习框架 Runner，用它来将机器学习实践中的要素（包括数据、模型、学习准则 [损失函数 ]、优化算法、评价指标）以及机器学习流程（模型准备、模型训练、模型评价以及模型预测）封装为一个整体，以方便读者快速开发一个机器学习系统来完成实际任务． Runner类也随着学习内容的递进不断完善，最终可以用来处理大多数机器学习任务，有很高的实用性．
①本书出版后因封面上专门设计了蒲公英图案，寓意帮助更多的读者进入深度学习以及人工智能领域，为人工智能领域注入新的生机与活力，而被广大读者昵称为蒲公英书．——编辑注
2）从模型构建角度出发，借鉴深度学习框架中算子的概念，本书从零开始一步步实现自定义的基本算子库，进一步通过组合自定义算子来搭建机器学习模型，最终搭建自己的机器学习模型库nndl．这使得读者在实践过程中不仅知其然还知其所以然，更好地掌握深度学习的模型和算法，并理解深度学习框架的实现原理．
本书中构建的轻量级机器学习框架 Runner和算子库 nndl基本可以满足我们在日常实践中的大部分机器学习任务的需要，读者也可以在具体的应用中不断完善，最终打造一个适合自己的个性化机器学习框架．
此外，本书还对《神经网络与深度学习》中的一些数学公式和术语翻译进行更新：
1）在数学公式方面，《神经网络与深度学习》中使用矩阵表示一组样本时，每一列为一个样本．而在实践中，矩阵计算是以张量（ Tensor）为单位进行的．因此，为了更加符合目前深度学习框架中的张量的特性和使用方式，本书使用每一行为一个样本．这样就需要对原来的公式进行重新的推导，好处是可以直接根据公式快速地实现代码．
2）在术语翻译方面，机器学习领域的很多名词存在难翻译和乱翻译的现象．在李航老师的建议下，我有幸与周志华老师、李沐、阿斯顿 ·张一起讨论了机器学习相关术语的翻译问题，对各自英亚注册中不一致的译法进行统一，因此本书中采用我们当时讨论确定的最新译法，比如将 Dropout翻译为“暂退法”，将 Normalization翻译为“规范化”等．
本书能够完成，离不开飞桨英亚注册编写组的安梦涛、毕然、迟恺、程军、吕健、刘其文、马艳军、文灿、吴高升、吴蕾、汪庆辉、吴甜、徐彤彤、于佃海、张翰迪、张一超、张亚娴的大力支持，他们为本书撰写了逻辑严谨的模型解读内容和简洁易用的实践代码．特别感谢我的学生李鹏和林天扬，他们也为本书的出版付出了很多时间和精力．
因为个人能力有限，书中难免有不当和错误之处，还望读者海涵和指正，不胜感激．
最后，我衷心希望本书能为国产深度学习框架的普及做出一点点贡献．
邱锡鹏
于上海 .复旦大学
2022年 7月 1日
序言
很高兴看到《神经网络与深度学习：案例与实践》的出版．本书由复旦大学邱锡鹏教授和飞桨英亚注册编写组联合编写，采用理论解读和案例实践相结合的写作方式，深入浅出地讲解了深度学习的经典算法和技术原理．本书的出版是践行“产学合作，协同育人”方针的重要体现，对培养兼具理论素养和实操能力的 AI人才具有示范意义．
当前，新一轮科技革命和产业变革如火如荼，人工智能技术加速发展，与产业的融合也越来越广泛、越来越深入，改变了人们的生产生活方式．作为人工智能的核心基础技术，深度学习有很强的通用性，并呈现出标准化、自动化和模块化的工业大生产特征，推动人工智能进入工业大生产阶段．
随着人工智能与各行各业的结合愈加紧密，人才的短缺将是一个长期挑战，未来需要越来越多的既懂 AI技术又具备产业经验的复合型 AI人才．一直以来，飞桨联合学术界和产业界，持续探索人工智能产教融合，形成了集人才培养、科技创新、学科建设为一体的综合性产学合作创新方案，培养了大量 AI人才．
本书即是产教融合的成果，其章节设计与邱锡鹏教授的著作《神经网络与深度学习》（蒲公英书）一一对应，案例代码基于飞桨平台，简洁易用，便于读者理解和动手实践．
虽然人工智能技术的复杂度越来越高，但得益于飞桨等深度学习平台的快速发展，人工智能应用的门槛正持续降低，人工智能技术与实际应用场景的融合创新也越来越丰富和深入．希望本书能够帮助广大读者快速掌握深度学习技术和实践方法，以在产业智能化浪潮中大展宏图．
百度首席技术官王海峰
2022年 7月
当前，新一轮科技革命和产业变革如火如荼，人工智能技术加速发展，与产业的融合也越来越广泛、越来越深入，改变了人们的生产生活方式．作为人工智能的核心基础技术，深度学习有很强的通用性，并呈现出标准化、自动化和模块化的工业大生产特征，推动人工智能进入工业大生产阶段．
随着人工智能与各行各业的结合愈加紧密，人才的短缺将是一个长期挑战，未来需要越来越多的既懂 AI技术又具备产业经验的复合型 AI人才．一直以来，飞桨联合学术界和产业界，持续探索人工智能产教融合，形成了集人才培养、科技创新、学科建设为一体的综合性产学合作创新方案，培养了大量 AI人才．
本书即是产教融合的成果，其章节设计与邱锡鹏教授的著作《神经网络与深度学习》（蒲公英书）一一对应，案例代码基于飞桨平台，简洁易用，便于读者理解和动手实践．
虽然人工智能技术的复杂度越来越高，但得益于飞桨等深度学习平台的快速发展，人工智能应用的门槛正持续降低，人工智能技术与实际应用场景的融合创新也越来越丰富和深入．希望本书能够帮助广大读者快速掌握深度学习技术和实践方法，以在产业智能化浪潮中大展宏图．
百度首席技术官王海峰
2022年 7月
媒体评论
虽然人工智能技术的复杂度越来越高，但得益于飞桨等深度学习平台的快速发展，人工智能应用的门槛正持续降低，人工智能技术与实际应用场景的融合创新也越来越丰富和深入。希望本书能够帮助广大读者快速掌握深度学习技术和实践方法，以在产业智能化浪潮中大展宏图。
——百度首席技术官王海峰
本书是《神经网络与深度学习》（蒲公英书）的配套实践英亚注册，章节设计和《神经网络与深度学习》一一对应，并以模型解读+案例实践的形式进行介绍。模型解读主要聚焦如何从零开始一步步实现深度学习中的各种模型和算法，案例实践主要强调如何使用飞桨预定义API来更好地完成实际任务。建议读者将本书和《神经网络与深度学习》结合阅读，在动手实践中更深入地理解深度学习的原理、模型和算法。
本书亮点
?代码简洁、易上手：本书的实践案例使用飞桨框架编写，代码简洁，非常适合深度学习的入门者使用。
?搭建自定义的算子模型库：借鉴深度学习框架中算子的概念，本书从零开始一步步实现自定义的算子模型库nndl，进一步通过组合自定义算子来搭建机器学习模型，使得读者在实践过程中不仅知其然还知其所以然，更好地掌握深度学习的模型和算法，并理解深度学习框架的实现原理。
?打造自己的机器学习框架：为提高易用性，本书打造了一个轻量级机器学习框架Runner，用它来将机器学习实践中的要素（包括数据、模型、损失函数、优化算法、评价指标）以及机器学习流程（模型准备、模型训练、模型评价、模型预测）封装为一个整体，以方便读者快速开发一个机器学习系统来完成实际任务。
?提供免费的视频课程和实训环境：本书配备了免费的视频课程和实训环境，读者可以在AI Studio上在线学习并运行实践代码，进一步降低了学习门槛。
——百度首席技术官王海峰
本书是《神经网络与深度学习》（蒲公英书）的配套实践英亚注册，章节设计和《神经网络与深度学习》一一对应，并以模型解读+案例实践的形式进行介绍。模型解读主要聚焦如何从零开始一步步实现深度学习中的各种模型和算法，案例实践主要强调如何使用飞桨预定义API来更好地完成实际任务。建议读者将本书和《神经网络与深度学习》结合阅读，在动手实践中更深入地理解深度学习的原理、模型和算法。
本书亮点
?代码简洁、易上手：本书的实践案例使用飞桨框架编写，代码简洁，非常适合深度学习的入门者使用。
?搭建自定义的算子模型库：借鉴深度学习框架中算子的概念，本书从零开始一步步实现自定义的算子模型库nndl，进一步通过组合自定义算子来搭建机器学习模型，使得读者在实践过程中不仅知其然还知其所以然，更好地掌握深度学习的模型和算法，并理解深度学习框架的实现原理。
?打造自己的机器学习框架：为提高易用性，本书打造了一个轻量级机器学习框架Runner，用它来将机器学习实践中的要素（包括数据、模型、损失函数、优化算法、评价指标）以及机器学习流程（模型准备、模型训练、模型评价、模型预测）封装为一个整体，以方便读者快速开发一个机器学习系统来完成实际任务。
?提供免费的视频课程和实训环境：本书配备了免费的视频课程和实训环境，读者可以在AI Studio上在线学习并运行实践代码，进一步降低了学习门槛。
