Datawhale等联合整理涵盖多方面的AI学习路线及资源

【导读】

知名开源平台、AI 技术平台以及领域专家 Datawhale、ApacheCN、AI 有道和黄海广博士联合整理并贡献了本文，其内容包含 AI 入门基础知识、数据分析与挖掘、机器学习、深度学习、强化学习、前沿 Paper 以及自然语言处理、计算机视觉、推荐系统、风控模型和知识图谱这五大 AI 理论应用领域。是你学习AI从入门到专家必备的学习路线和优质学习资源。

基础知识

1 数学

数学是无法学完的，也极少有人能如博士那般扎实地学好数学基础。要入门人工智能领域，只需掌握必要的基础知识即可。AI 的数学基础主要包括高等数学、线性代数、概率论与数理统计这三门本科必修课程。以下整理了一篇简易的数学入门文章：

数学基础：高等数学

数学基础：线性代数

数学基础：概率论与数理统计

机器学习的数学基础资料下载：

1) 机器学习的数学基础.docx

对高等数学的公式做了总结，对线性代数的公式做了总结，对概率论与数理统计的公式做了总结。

2) 斯坦福大学机器学习的数学基础.pdf

原版英文材料，非常全面，建议英语好的同学直接学习这个材料。

下载链接:

提取码: hktx

国外经典数学教材：

国内的浙大版和同济版数学教材相比较而言，更加通俗易懂，并且能够深入浅出地讲解知识，这有利于初学者更好地奠定数学基础。下载链接：

2 统计学

入门教材：深入浅出统计学

进阶教材：商务与经济统计

推荐视频：可汗学院统计学

3 编程

入门人工智能领域，首推Python这门编程语言。

1) Python安装：

Python 的安装包，我推荐去下载 Anaconda。Anaconda 是一个专门用于科学计算的 Python 发行版。它支持 Linux 系统、Mac 系统以及 Windows 系统。并且它提供了包管理的功能和环境管理的功能。通过它可以非常方便地解决多版本 Python 同时存在、切换的问题，以及各种第三方包的安装问题。

下载地址：

推荐选Anaconda （python 3.7版本）

IDE：推荐使用pycharm，社区版免费

下载地址：

安装教程：

Anaconda 以及 Jupyter notebook 和 Pycharm 。

Ubuntu18.04 进行深度学习环境配置，包含 CUDA9、CUDNN7.4 以及 TensorFlow1.8 。 首先要安装 CUDA9，接着安装 CUDNN7.4，最后安装 TensorFlow1.8 来完成整个深度学习环境的配置。

2) python入门的资料推荐

a.廖雪峰python学习笔记

b.python入门笔记

作者是李金，这是一个 jupyter notebook 文件，它将 Python 的主要语法进行了一次演示，是值得推荐的。下载链接：

提取码: 2bzh

c.南京大学python视频教程

这个教程很值得推荐。它涵盖了 python 的主要语法以及常用的库。

查看地址：

看完这三个资料后，Python就基本达到了入门水平。此时，可以使用 scikit-learn 等机器学习库来解决机器学习的问题了。

3）补充

代码规范：

numpy练习题：

pandas练习题：

数据分析/挖掘

1 数据分析的基础书籍

《利用python进行数据分析》

这本书包含很多实践案例，你能学会怎样运用各种 Python 库，像 NumPy、Pandas、Matplotlib 以及 IPython 等，来高效地处理各种各样的数据分析问题。倘若把这些代码都运行一遍，基本上就能够解决数据分析的大部分问题了。

2 特征工程

3 数据挖掘项目

机器学习

公开课 吴恩达《Machine Learning》

这门课程绝对是机器学习入门的首选，没有其他可与之相比的。即便你缺乏机器学习所需要的扎实的概率论、线性代数等数学基础，依然能够轻松地开始学习这门机器学习入门课，并且能够体会到机器学习所蕴含的无穷趣味。

课程主页：

中文视频：

网易云课堂搬运了这门课，并由黄海广等人翻译了中文字幕。

中文笔记及作业代码：

公开课 吴恩达 CS229

吴恩达在斯坦福教授的机器学习课程 CS229 与他在 Coursera 上的《Machine Learning》相似。不过，CS229 有更多的数学要求以及公式的推导，难度稍难一些。此课程对机器学习和统计模式识别进行了广泛的介绍。

课程主页：

中文视频：

中文笔记：

速查表：

一名斯坦福的毕业生 Shervine Amidi 是这份给力的资源贡献者。作者整理了一份速查表，这份速查表超级详细，是关于 CS229 的。

作业代码：

公开课 林轩田《机器学习基石》

台岛大学的林轩田老师开设的《机器学习基石》课程，它的特点是由浅入深且内容全面，几乎涵盖了机器学习领域的诸多方面。这门课程作为机器学习的入门和进阶资料是很合适的。同时，林老师的教学风格十分幽默风趣，总是能让读者在轻松愉悦的氛围里掌握知识。与 Ng 的《Machine Learning》相比，这门课稍微难一些，重点在于机器学习的理论知识。

中文视频：

中文笔记：

配套教材

配套书籍是《Learning From Data》，其在线书籍的主页是：

公开课 林轩田《机器学习技法》

《机器学习技法》这门课程是《机器学习基石》的进阶课程。它主要对机器学习领域中一些经典的算法进行了介绍，其中有支持向量机、决策树、随机森林、神经网络等。其难度比《机器学习基石》稍微高一些，并且实用性很强。

中文视频：

中文笔记：

书籍 《机器学习》

周志华的《机器学习》被大家亲昵地称作“西瓜书”。这本书极为经典，它讲述了机器学习的核心数学理论以及算法。这本书适合作为学校的教材，也适合中阶读者自学使用。然而，在入门阶段学习这本书时，难度稍微有些偏高。

配合《机器学习实战》一起学习，效果更好！

读书笔记：

公式推导：

课后习题：

书籍 《统计学习方法》

李航的这本《统计学习方法》是经典之作。它包含的机器学习理论知识更为完备且专业。用它来夯实理论是很不错的。

讲课 PPT：

读书笔记：

参考笔记：

代码实现：

有一本书名为《Scikit-Learn 与 TensorFlow 机器学习实用指南》

这本《Scikit-Learn 与 TensorFlow 机器学习实用指南》在经过前面的学习之后，很适合用来提升你的机器学习实战编程能力。

这本书包含两大部分。其一，介绍机器学习基础算法，且每章都有 Scikit-Learn 实操项目。其二，介绍神经网络与深度学习，每章配备 TensorFlow 实操项目。倘若仅涉及机器学习，那么可以先阅读第一部分的内容。

全书代码：

实战 Kaggle 比赛

比赛是提升自己机器学习实战能力的有效方式，其中首选的是 Kaggle 比赛。

Kaggle 主页:

Kaggle 路线:

工具 Scikit-Learn 官方文档

Scikit-Learn 是机器学习领域中一个非常全面的库。它是一份非常难得的实战编程手册。

官方文档：

中文文档（0.19）：

深度学习

公开课 吴恩达《Deep Learning》

吴恩达开设了机器学习课程之后，他发布的《Deep Learning》课程也获得了很高的评价。吴恩达老师的课程有一个很大的特点，那就是会把知识逐步地传授给你，它是入门学习中很难得的良好视频资料。

整个专题包含五门课程，分别是：神经网络和深度学习；改善深层神经网络，包含超参数调试、正则化以及优化；结构化机器学习项目；卷积神经网络；序列模型。

课程视频

网易云课堂：

Coursera:

课程笔记

吴恩达老师的机器学习有个人笔记，之前已编写过。黄海广博士带领团队整理出了中文笔记。

参考论文

吴恩达老师在课程中提到了很多优秀论文，黄海广博士整理如下：

参考论文

课程PPT及课后作业

吴恩达的深度学习课程，其中有该课程的课件，还有课后作业，以及一些其他的资料。

公开课 Fast.ai《程序员深度学习实战》

说到深度学习的公开课，有一门与吴恩达《Deep Learning》并驾齐驱的公开课，它是由 Fast.ai 出品的《程序员深度学习实战》。这门课的一个最大特点是采用“自上而下”的方式，而非“自下而上”的方式。并且，它是一门通过实战来学习深度学习的绝佳课程。

视频地址

B站地址(英文字幕)：

CSDN地址(2017版中文字幕):

课程笔记

英文笔记原文：

@hiromi_suenaga 进行了关于深度学习的相关内容，其中包含 2 部分，第 1 部分的第 1 课，其编号为 602f73869197

由ApacheCN组织的中文翻译：

公开课 CS230 Deep Learning

对应的全套 PPT 也在 4 月 2 日随之上线。今年的课程从内容方面来看，与去年的差别不是很大。它涵盖了深度学习的基本模型，如 CNNs、RNNs、LSTM、Adam、Dropout、BatchNorm、Xavier/He initialization 等。同时，还涉及到医疗、自动驾驶、手语识别、音乐生成和自然语言处理等领域。

Datawhale整理了该门课程的详细介绍及参考资料:

书籍 神经网络与深度学习 - 复旦邱锡鹏

本书是深度学习领域的入门教材，非常优秀。它主要介绍了神经网络与深度学习方面的基础知识。还介绍了主要模型，如前馈网络、卷积网络、循环网络等。同时也介绍了在计算机视觉、自然语言处理等领域的应用。

书籍 《深度学习》

完成上述学习后，若想更系统地构建深度学习的知识体系，阅读《深度学习》是很合适的。这本书从浅到深地介绍了基础数学知识、机器学习经验以及当前深度学习的理论和发展情况。它能够助力人工智能技术爱好者和从业人员，在三位专家学者的思维引领下，全面地了解深度学习。

书籍介绍

《深度学习》常被称作花书，它是深度学习领域最经典的畅销书。由 IanGoodfellow、YoshuaBengio 和 AaronCourville 这三位全球知名专家撰写，是深度学习领域具有奠基性的经典教材，且被大众尊称为“AI 圣经”。

在线阅读

该书由众多网友众包翻译，电子版在以下地址获得：

书籍 《深度学习 500 问》

你看完了所有的视频并且研习了 AI 圣经之后，心里一定会充满疑问。在这种情况下，不如来看看深度学习面试中常见的 500 个问题。

书籍介绍

DeepLearning - 500 - questions 的作者是川大的一名优秀毕业生谈继勇。这个项目是以深度学习面试问答的形式，收集了 500 个问题及答案。内容涵盖了常用的概率知识、线性代数、机器学习、深度学习、计算机视觉等热点问题。目前该书尚未完结，却已在 Github 上获得了 2.4w 颗 star。

项目地址：

工具 TensorFlow 官方文档

学深度学习一定离不开TensorFlow

官方文档：

中文文档：

工具 PyTorch官方文档

PyTorch是学深度学习的另一个主流框架

官方文档：

中文文档(版本0.3)：

强化学习

公开课名为 Reinforcement Learning，授课老师是 David Silver。

吴恩达的课程对于机器学习和深度学习初学者有着重要意义，而 David Silver 的这门课程就如同前者一样，绝对是大多数人学习强化学习时必定会选择的课程。

课程由浅至深，将强化学习的内容细细讲述，十分详尽。然而，因为强化学习自身的难度，聆听这门课存在一定的门槛。建议在对这个领域有大致了解之后，观看该视频，这样学习效果会更好，也更容易找到学习的重点。

视频地址

B站地址(中文字幕)：

课程原地址：

课程资料

课程PPT：

课程笔记：

公开课 李宏毅《深度强化学习》

David Silver 的课程内容详尽，然而其中很多前沿内容并未被涵盖。在此情况下，台大李宏毅的《深度强化学习》便成为学习前沿动态的最佳选择。

视频地址

B站地址(中文字幕)：

课程原地址：

课程资料

课程PPT：

~tlkagk/courses_MLDS18.html

课程笔记：

前沿Paper

1 Arxiv

Arxiv Stats

Arxiv 机器学习最新论文检索主页地址：

Arxiv Sanity Preserver

Andrej Karpathy 研发出了 Arxiv Sanity Preserver，此工具有助于对特征进行分类、搜索以及过滤。

主页地址：

2 Papers with Code

浏览最先进的 Papers with Code 相关论文。

这个网站名为 Browse state-of-the-art。它把 ArXiv 上的最新深度学习论文和 GitHub 上的开源代码相互关联起来。该项目现今涵盖了 651 个排行榜，1016 个深度学习任务，795 个数据集，还有非常重要的 10257 个包含复现代码的优秀论文。它是寻找论文和代码的绝佳利器。它把 1016 个深度学习任务划分成了 16 大类，涵盖了深度学习的各个方面。

主页地址：

举两个例子：

CV：

NLP：

按照星星数量排序的 Papers with Code 相关论文

这份资源将 AI 领域 2013 年到 2018 年的所有论文进行了收集，并且依据在 GitHub 上的标星数量来进行排序。

GitHub 项目地址：

3 Deep Learning Papers 阅读路线

如果你是深度学习领域的新手，那么你可能会遇到的第一个问题便是“我应当从哪篇论文开始进行阅读呢？”接下来为你呈现一个深入学习论文的阅读路线图！

GitHub 项目地址：

这份深度学习论文阅读路线分为三大块：

深度学习的基础涵盖了多个方面，为其后续的发展奠定了坚实的基石。

2 Deep Learning Method

3 Applications

深度学习进行对象检测。 深度学习用于对象检测。 深度学习可进行对象检测。 深度学习能够进行对象检测。 深度学习具备进行对象检测的能力。

新模型不断涌现，性能也在不断提升。

本资源针对目标检测近些年的发展情况进行了介绍，同时也对相关论文做了介绍，还总结出了一份文献 paper 列表，这份列表非常全面。

GitHub 项目地址：

5 知名会议

会议

NeurIPS：

ICML：

ICLR：

AAAI：

IJCAI：

UAI：

计算机视觉：

CVPR：

ECCV：

ICCV：

自然语言处理：

ACL：

EMNLP：

NAACL：

知名期刊:

JAIR：

JMLR：

其它

在机器人领域，有 CoRL，它涉及学习方面；有 ICAPS，涵盖规划，其中包括但不限于机器人相关内容；还有 ICRA、IROS、RSS。

对于更理论性的研究，有 AISTATS、COLT、KDD。

理论应用

自然语言处理 1 NLP是什么

自然语言处理是一门研究计算机处理人类语言的技术。其目的是要弥补人类交流（自然语言）与计算机理解（机器语言）之间的差距。自然语言处理包含句法语义分析、信息抽取、文本挖掘、机器翻译、信息检索、问答系统和对话系统等诸多领域。

2 课程推荐

CS224n 斯坦福深度自然语言处理课

17版中文字幕：

课程笔记：

笔记

2019版课程主页：

自然语言处理是由 Dan Jurafsky 和 Chris Manning 所涉及的领域。 Dan Jurafsky 与 Chris Manning 在自然语言处理方面有重要贡献。 自然语言处理与 Dan Jurafsky 和 Chris Manning 紧密相关。 Dan Jurafsky 和 Chris Manning 专注于自然语言处理。 自然语言处理离不开 Dan Jurafsky 和 Chris Manning 的工作。

B站英文字幕版：

学术激流网：

3 书籍推荐

Python自然语言处理

入门读物，整本书既涉及语料库的操作，又涉及传统的基于规则的方法。全书包含分词（tokenization）这方面，也包含词性标注（POS）这方面，还包含语块（Chunk）标注这方面，以及句法剖析与语义剖析等方面，是 nlp 中一本很实用的教程。

自然语言处理综论

由 Daniel Jurafsky 和 James H. Martin

本书具有很高的权威性，它是一部经典的 NLP 教科书，其中涵盖了经典的自然语言处理领域，也涵盖了统计自然语言处理领域，还涵盖了语音识别领域以及计算语言学领域。

统计自然语言处理基础

Chris Manning 和 Hinrich Schütze 进行了相关操作（或：Chris Manning 和 Hinrich Schütze 做出了相关举动等，具体需根据前文确定合适表述）。

更高级的统计 NLP 方法，在统计的基本部分方面介绍得很好。同时，在 n 元语法部分的介绍也很出色。

4 博客推荐

我爱自然语言处理

地址：

TFIDF、文档相似度等等在这个网站上都有通俗易懂的解释

语言日志博客（Mark Liberman）

地址：

自然语言处理方面的博客。 它专注于自然语言处理领域的相关内容。 这个博客主要探讨自然语言处理的各种问题和技术。 它是一个关于自然语言处理的知识分享平台。 自然语言处理博客为人们提供了关于该领域的信息和见解。 此博客与自然语言处理紧密相关，分享相关知识和经验。 自然语言处理的博客致力于传播该领域的知识和动态。 它是一个围绕自然语言处理展开的博客。 自然语言处理博客在该领域发挥着重要的信息传播作用。 这个关于自然语言处理的博客具有重要的价值和意义。

地址：

有一个由美国的 Hal Daumé III 维护的自然语言处理博客，这个博客经常对最新的学术动态进行评论，是值得关注的。其中包含了关于 ACL、NAACL 等学术会议的参会感想以及对论文的点评。

5 项目推荐

基于LSTM的中文问答系统

基于RNN的文本生成器

基于char-rnn的汪峰歌词生成器

用RNN生成手写数字

6 开源NLP工具包

中文NLP相关：

英文NLP相关：

NLTK:

TextBlob:

Gensim:

Pattern:

Spacy:

Orange:

Pineapple:

7 相关论文

100 Must-Read NLP Papers

计算机视觉 1 计算机视觉的应用

计算机视觉的应用

无人驾驶

无人安防

人脸识别

车辆车牌识别

以图搜图

VR/AR

3D重构

无人机

医学图像分析

其他

2 课程推荐

Stanford CS223B

比较适合那些基础的同学，也适合刚刚开始入门的同学。它与深度学习的结合相对较少，不会用整门课来讲解深度学习，而是主要讲解计算机视觉，并且在各个方面都会涉及到。

李飞飞：CS231n课程：

3 书籍推荐

1.入门学习：

《计算机视觉：模型、学习与推理》

2.经典权威的参考资料：

《计算机视觉：算法与应用》

3.理论实践：

《OpenCV3编程入门》

推荐系统 1 推荐系统是什么

推荐系统是一种能自动联系用户与物品的工具。它可以在信息过载的环境里，帮助用户找到令他们感兴趣的信息。同时，它也能把信息推送给对这些信息感兴趣的用户。推荐系统属于资讯过滤的一种应用。

2 推荐课程

推荐系统有一门专项课程，名为《Recommender Systems Specialization》

这个系列包含 4 门子课程以及 1 门毕业项目课程。其中有推荐系统导论这门课程，还有最近邻协同过滤这门课程，以及推荐系统评价这门课程，另外还有矩阵分解和高级技术等相关内容。

观看地址：

3 书籍推荐

《推荐系统实践》（项亮 著）

《推荐系统》是由 Dietmar Jannach 等人所著，由蒋凡进行翻译的书籍。

《用户网络行为画像》（牛温佳等 著）

《推荐系统手册》（保罗·B·坎托等著）

4 算法库

LibRec

它有效地解决了评分预测和物品推荐这两大关键的推荐问题。

项目地址:

官网地址：

LibMF

C++版本开源推荐系统，主要实现了基于矩阵分解的推荐系统。针对 SGD（随即梯度下降）优化方法在并行计算中所面临的 locking problem 和 memory discontinuity 问题，提出了一种名为 FPSGD（Fast Parallel SGD）的矩阵分解高效算法。此算法会依据计算节点的个数对评分矩阵 block 进行划分，并且会分配计算节点。

项目地址：

~cjlin/libmf/

SurPRISE

一个Python版本的开源推荐系统，有多种经典推荐算法

项目地址：

一种基于神经网络的协同过滤技术。它利用神经网络来学习用户和物品之间的潜在关系，从而实现更准确的推荐。通过将用户和物品的特征表示为向量，神经网络可以自动捕捉它们之间的交互模式，并进行推荐预测。这种方法在推荐系统中取得了显著的效果，能够更好地满足用户的个性化需求。

神经协同过滤推荐算法的Python实现

项目地址：

Crab

用 Python 开发的开源推荐软件，在其中实现了 item 的协同过滤以及 user 的协同过滤。

项目地址：

5 常用数据集

MovieLen

MovieLens 数据集中，用户会对自己看过的电影进行评分，评分的分值范围是 1 到 5。MovieLens 包含两个库，这两个库的大小不同，适用于不同规模的算法。其中一个库规模较小，是 943 个独立用户对 1682 部电影进行的 10000 次评分；另一个库规模较大，是 6040 个独立用户对 3900 部电影进行的大约 100 万次评分。适用于传统的推荐任务

Douban

豆瓣有一个匿名数据集叫 Douban，其中包含 12 万用户以及 5 万条电影数据，这些数据包含用户对电影的评分信息以及用户间的社交信息，可适用于社会化推荐任务。

BookCrossing

~cziegler/BX/

这个数据集是网上 Book-Crossing 图书社区的评分数据，有 278858 个用户对 271379 本书进行了评分，评分包括显式和隐式两种。这些用户的年龄等人口统计学属性是以匿名形式保存的，并且可供分析。这个数据集是从 Book-Crossing 图书社区上采集的。

6 推荐论文