内容简介
本书根据李宏毅老师“机器学习”公开课中与深度学习相关的内容编写而成，介绍了卷积神经网络、Transformer、生成模型、自监督学习（包括 BERT 和 GPT）等深度学习常见算法，并讲解了对抗攻击、领域自适应、强化学习、元学习、终身学习、网络压缩等深度学习相关的进阶算法. 在理论严谨的基础上，本书保留了公开课中大量生动有趣的例子，帮助读者从生活化的角度理解深度学习的概念、建模过程和核心算法细节。
◎编辑推荐：
本书在编写时即考虑尽可能完备地为读者讲述深度学习知识体系，并适当配以相关图解实例生动有趣地阐述一些复杂难懂的知识，此外针对所讲述的知识，也会与时俱进地搭配比较新颖的代码来加深读者对深度学习的理解。
作者简介
王琦
上海交通大学人工智能教育部重点实验室博士研究生，硕士毕业于中国科学院大学．Datawhale成员，《Easy RL：强化学习教程》作者，英特尔边缘计算创新大使，Hugging Face社区志愿者，AI TIME成员．主要研究方向为强化学习、计算机视觉、深度学习．曾获“中国光谷·华为杯”第十九届中国研究生数学建模竞赛二等奖、中国大学生计算机设计大赛二等奖、亚太地区大学生数学建模竞赛（APMCM）二等奖和“挑战杯”全国大学生课外学术科技作品竞赛江苏省选拔赛二等奖等荣誉，发表SCI/EI论文多篇。
杨毅远
牛津大学计算机系博士研究生，硕士毕业于清华大学．Datawhale成员，《Easy RL：强化学习教程》作者．主要研究方向为时间序列、数据挖掘、智能传感系统，深度学习．曾获国家奖学金、北京市优秀毕业生、清华大学优秀硕士学位论文、全国大学生智能汽车竞赛总冠军等荣誉，发表SCI/EI论文多篇。
江季
网易高级算法工程师，硕士毕业于北京大学．Datawhale成员，《Easy RL：强化学习教程》作者．主要研究方向为强化学习、深度学习、大模型、机器人等．曾获得国家奖学金、上海市优秀毕业生等荣誉，取得强化学习与游戏AI等相关专利多项。
目录
第1章机器学习基础11.1案例学习2
1.2线性模型7
1.2.1分段线性曲线9
1.2.2模型变形17
1.2.3机器学习框架21
第2章实践方法论22
2.1模型偏差22
2.2优化问题23
2.3过拟合25
2.4交叉验证29
2.5不匹配30
参考资料31
第3章深度学习基础32
3.1局部最小值与鞍点32
3.1.1临界点及其种类32
3.1.2判断临界值种类的方法33
3.1.3逃离鞍点的方法37
3.2批量和动量39
3.2.1批量大小对梯度下降法的影响..40
3.2.2动量法45
3.3自适应学习率47
3.3.1AdaGrad50
3.3.2RMSProp53
3.3.3Adam54
3.4学习率调度54
3.5优化总结56
3.6分类57
3.6.1分类与回归的关系57
3.6.2带有softmax函数的分类58
3.6.3分类损失59
3.7批量归一化61
3.7.1放入深度神经网络64
3.7.2测试时的批量归一化67
3.7.3内部协变量偏移68
参考资料69
第4章卷积神经网络71
4.1观察1：检测模式不需要整幅图像..73
4.2简化1：感受野74
4.3观察2：同样的模式可能出现在图像的不同区域..78
4.4简化2：共享参数79
4.5简化1和简化2的总结..81
4.6观察3：下采样不影响模式检测..86
4.7简化3：汇聚86
4.8卷积神经网络的应用：下围棋..88
参考资料91
第5章循环神经网络92
5.1独热编码93
5.2什么是RNN94
5.3RNN架构96
5.4其他RNN97
5.4.1Elman网络和Jordan网络98
5.4.2双向循环神经网络98
5.4.3LSTM99
5.4.4LSTM举例101
5.4.5LSTM运算示例102
5.5LSTM网络原理105
5.6RNN的学习方式109
5.7如何解决RNN的梯度消失或梯度爆炸问题..113
5.8RNN的其他应用114
5.8.1多对一序列114
5.8.2多对多序列115
5.8.3序列到序列117
参考资料119
第6章自注意力机制120
6.1输入是向量序列的情况..120
6.1.1类型1：输入与输出数量相同122
6.1.2类型2：输入是一个序列，输出是一个标签123
6.1.3类型3：序列到序列任务124
6.2自注意力机制的运作原理..124
6.3多头自注意力134
6.4位置编码136
6.5截断自注意力138
6.6对比自注意力与卷积神经网络139
6.7对比自注意力与循环神经网络141
参考资料143
第7章Transformer145
7.1序列到序列模型145
7.1.1语音识别、机器翻译与语音翻译145
7.1.2语音合成146
7.1.3聊天机器人147
7.1.4问答任务147
7.1.5句法分析148
7.1.6多标签分类149
7.2Transformer结构149
7.3Transformer编码器151
7.4Transformer解码器154
7.4.1自回归解码器154
7.4.2非自回归解码器161
7.5编码器–解码器注意力162
7.6Transformer的训练过程..164
7.7序列到序列模型训练常用技巧166
7.7.1复制机制166
7.7.2引导注意力166
7.7.3束搜索167
7.7.4加入噪声168
7.7.5使用强化学习训练168
7.7.6计划采样169
参考资料170
第8章生成模型171
8.1生成对抗网络171
8.1.1生成器171
8.1.2判别器175
8.2生成器与判别器的训练过程176
8.3GAN的应用案例178
8.4GAN的理论介绍180
8.5WGAN算法183
8.6GAN训练的难点与技巧..188
8.7GAN的性能评估方法190
8.8条件型生成194
8.9CycleGAN196
参考资料199
第9章扩散模型201
9.1扩散模型生成图片的过程..201
9.2去噪模块202
9.3训练噪声预测器203
第10章自监督学习206
10.1BERT207
10.1.1BERT的使用方式211
10.1.2BERT有用的原因221
10.1.3BERT的变体227
10.2GPT230
参考资料234
第11章自编码器235
11.1自编码器的概念235
11.2为什么需要自编码器237
11.3去噪自编码器238
11.4自编码器应用之特征解耦239
11.5自编码器应用之离散隐表征242
11.6自编码器的其他应用245
第12章对抗攻击246
12.1对抗攻击简介246
12.2如何进行网络攻击248
12.3快速梯度符号法251
12.4白箱攻击与黑箱攻击252
12.5其他模态数据被攻击案例256
12.6现实世界中的攻击256
12.7防御方式中的被动防御260
12.8防御方式中的主动防御262
第13章迁移学习264
13.1领域偏移264
13.2领域自适应265
13.3领域泛化271
参考资料272
第14章强化学习273
14.1强化学习的应用274
14.1.1玩电子游戏274
14.1.2下围棋276
14.2强化学习框架276
14.2.1第1步：定义函数277
14.2.2第2步：定义损失278
14.2.3第3步：优化278
14.3评价动作的标准282
14.3.1使用即时奖励作为评价标准283
14.3.2使用累积奖励作为评价标准283
14.3.3使用折扣累积奖励作为评价标准..284
14.3.4使用折扣累积奖励减去基线作为评价标准..285
14.3.5Actor-Critic288
14.3.6优势Actor-Critic293
参考资料294
第15章元学习295
15.1元学习的概念295
15.2元学习的三个步骤296
15.3元学习与机器学习299
15.4元学习的实例算法301
15.5元学习的应用305
参考资料306
第16章终身学习307
16.1灾难性遗忘307
16.2终身学习的评估方法311
16.3终身学习问题的主要解法312
第17章网络压缩316
17.1网络剪枝316
17.2知识蒸馏321
17.3参数量化324
17.4网络架构设计325
17.5动态计算329
参考资料332
第18章可解释性机器学习333
18.1可解释性人工智能的重要性333
18.2决策树模型的可解释性334
18.3可解释性机器学习的目标335
18.4可解释性机器学习中的局部解释335
18.5可解释性机器学习中的全局解释342
18.6扩展与小结345
参考资料345
第19章ChatGPT346
19.1ChatGPT简介和功能346
19.2对ChatGPT的误解346
19.3ChatGPT背后的关键技术——预训练..349
19.4ChatGPT带来的研究问题352
索引354
······