基本信息
内容简介
作译者
[美] 埃拉德·哈赞（Elad Hazan） 著：埃拉德·哈赞（Elad Hazan） 普林斯顿大学计算机科学教授，谷歌人工智能普林斯顿公司的联合创始人和董事。他专注于机器学习和优化中基本问题的算法设计和分析的研究，曾获得贝尔实验室奖、2008年度和2012年度IBM Goldberg最佳论文奖、欧洲研究理事会奖、玛丽·居里奖学金和谷歌研究奖。他曾在计算学习协会指导委员会任职，并担任COLT 2015程序委员会主席，2017年与他人共同创建了致力于高效优化和控制的In8公司。
目录
前言
致谢
第1章 导论 1
1.1 在线凸优化模型 2
1.2 可以用OCO建模的例子 3
1.3 一个温和的开始: 从专家建议中学习 8
1.3.1 加权多数算法 10
1.3.2 随机加权多数算法 12
1.3.3 对冲 14
1.4 习题 16
1.5 文献点评 17
第2章 凸优化的基本概念 18
2.1 基本定义和设定 18
2.1.1 在凸集上的投影 20
2.1.2 最优条件简介 21
2.2 梯度、次梯度下降法 23
2.3 非光滑和非强凸函数的归约27
2.3.1 光滑非强凸函数的归约 28
2.3.2 强凸非光滑函数的归约 29
2.3.3 一般凸函数的归约 32
致谢
第1章 导论 1
1.1 在线凸优化模型 2
1.2 可以用OCO建模的例子 3
1.3 一个温和的开始: 从专家建议中学习 8
1.3.1 加权多数算法 10
1.3.2 随机加权多数算法 12
1.3.3 对冲 14
1.4 习题 16
1.5 文献点评 17
第2章 凸优化的基本概念 18
2.1 基本定义和设定 18
2.1.1 在凸集上的投影 20
2.1.2 最优条件简介 21
2.2 梯度、次梯度下降法 23
2.3 非光滑和非强凸函数的归约27
2.3.1 光滑非强凸函数的归约 28
2.3.2 强凸非光滑函数的归约 29
2.3.3 一般凸函数的归约 32
前言
本书可用作大量在线凸优化（OnlineConvexOptimization,OCO）理论的导论.它是一本针对研究生课程的基础内容设计的高等英亚注册,可作为深入优化与机器学习交叉领域的研究人员的参考书.
这一课程于2010～2014年在Technion开设,每一年都有一些小的变化,之后于2015～2016年在普林斯顿大学开设.这些课程中的核心材料在本书中均有涉及,同时本书也附带了习题以便学生完成部分计算和证明,还有一些具有启发性和发人深省的内容.多数材料是以应用实例的形式给出的,这些例子贯穿不同的主题,包括来自专家建议的预测（predictionfromexpertadvice）、投资组合选择（portfolioselection）、矩阵补全（matrixcompletion）和推荐系统（recommendationsystem）、支持向量机（SupportVectorMachine,SVM）的训练等.
希望本书可以为读者、教师和研究人员提供帮助.
请将本书置于机器学习的图书馆中
近年来,在机器学习广阔领域的子学科,如在线学习（onlinelearning）、提升方法（boosting）、博弈中的遗憾值最小化方法（regretminimizationingames）、通用预测方法（universalprediction）和其他相关主题中出现了大量的入门文献.在本书中,很难对所有这些内容进行取舍,但它们也许指出了本书在读者拥有的虚拟图书馆中的位置.
紧挨着本书的应当是Cesa-Bianchi和Lugosi[29]的精彩英亚注册,正是它启迪了本书的撰写.事实上,它启迪了博弈论中学习方法的整个领域.另外,有着无数有关凸优化和凸分析的入门文献,包括[23,78,76,77,21,92].有关机器学习的文献太多了,不可能在此一一给出.
本书的主要目的是为在线凸优化和凸优化与机器学习相结合的课程提供英亚注册.在线凸优化已经在很多综述和入门文献（例如[53,97,85,87]）中产生了足够大的影响.希望本书能进一步丰富这些文献.
本书的结构
本书旨在为计算机科学、电气工程、运筹学、统计学及相关领域的研究生提供自学课程的参考.因此,本书遵循了在Technion讲授的“决策分析”课程的架构.
根据课程的深度和广度,每一章都应讲授一周或两周.第1章为导论,因此没有其他部分那么严格.
全书可以粗略地分成两个部分:第一部分从第2章到第5章,包括在线凸优化的基本概念、架构和核心算法;第二部分从第6章到第9章,旨在处理更高级的算法、更困难的设定和与著名的机器学习范式之间的关系.
这一课程于2010～2014年在Technion开设,每一年都有一些小的变化,之后于2015～2016年在普林斯顿大学开设.这些课程中的核心材料在本书中均有涉及,同时本书也附带了习题以便学生完成部分计算和证明,还有一些具有启发性和发人深省的内容.多数材料是以应用实例的形式给出的,这些例子贯穿不同的主题,包括来自专家建议的预测（predictionfromexpertadvice）、投资组合选择（portfolioselection）、矩阵补全（matrixcompletion）和推荐系统（recommendationsystem）、支持向量机（SupportVectorMachine,SVM）的训练等.
希望本书可以为读者、教师和研究人员提供帮助.
请将本书置于机器学习的图书馆中
近年来,在机器学习广阔领域的子学科,如在线学习（onlinelearning）、提升方法（boosting）、博弈中的遗憾值最小化方法（regretminimizationingames）、通用预测方法（universalprediction）和其他相关主题中出现了大量的入门文献.在本书中,很难对所有这些内容进行取舍,但它们也许指出了本书在读者拥有的虚拟图书馆中的位置.
紧挨着本书的应当是Cesa-Bianchi和Lugosi[29]的精彩英亚注册,正是它启迪了本书的撰写.事实上,它启迪了博弈论中学习方法的整个领域.另外,有着无数有关凸优化和凸分析的入门文献,包括[23,78,76,77,21,92].有关机器学习的文献太多了,不可能在此一一给出.
本书的主要目的是为在线凸优化和凸优化与机器学习相结合的课程提供英亚注册.在线凸优化已经在很多综述和入门文献（例如[53,97,85,87]）中产生了足够大的影响.希望本书能进一步丰富这些文献.
本书的结构
本书旨在为计算机科学、电气工程、运筹学、统计学及相关领域的研究生提供自学课程的参考.因此,本书遵循了在Technion讲授的“决策分析”课程的架构.
根据课程的深度和广度,每一章都应讲授一周或两周.第1章为导论,因此没有其他部分那么严格.
全书可以粗略地分成两个部分:第一部分从第2章到第5章,包括在线凸优化的基本概念、架构和核心算法;第二部分从第6章到第9章,旨在处理更高级的算法、更困难的设定和与著名的机器学习范式之间的关系.
媒体评论
本书将优化描述为一个过程。在许多实际应用中，环境非常复杂，不可能建立一个全面的理论模型，并应用经典的算法理论和数学优化。随着时间的推移，稳健地应用从经验中学习的优化方法是必要且有益的。这种将优化视为过程的观点已经被很多领域接受，并在建模和现代日常生活的部分系统中取得了惊人的成就。
本书可作为计算机科学、电气工程、运筹学、统计学及相关领域研究生的在线凸优化和凸优化与机器学习结合等课程的英亚注册，也可作为深入优化与机器学习交叉领域的研究人员的参考书。
作者简介
埃拉德·哈赞 （Elad Hazan）普林斯顿大学计算机科学教授，谷歌人工智能普林斯顿公司的联合创始人和董事。他专注于机器学习和优化中基本问题的算法设计和分析的研究，曾获得贝尔实验室奖、2008年度和2012年度IBM Goldberg最佳论文奖、欧洲研究理事会奖、玛丽·居里奖学金和谷歌研究奖。他曾在计算学习协会指导委员会任职，并担任COLT 2015程序委员会主席，2017年与他人共同创建了致力于高效优化和控制的In8公司。
本书可作为计算机科学、电气工程、运筹学、统计学及相关领域研究生的在线凸优化和凸优化与机器学习结合等课程的英亚注册，也可作为深入优化与机器学习交叉领域的研究人员的参考书。
作者简介
埃拉德·哈赞 （Elad Hazan）普林斯顿大学计算机科学教授，谷歌人工智能普林斯顿公司的联合创始人和董事。他专注于机器学习和优化中基本问题的算法设计和分析的研究，曾获得贝尔实验室奖、2008年度和2012年度IBM Goldberg最佳论文奖、欧洲研究理事会奖、玛丽·居里奖学金和谷歌研究奖。他曾在计算学习协会指导委员会任职，并担任COLT 2015程序委员会主席，2017年与他人共同创建了致力于高效优化和控制的In8公司。
