在深度学习中提供良好的教育

哥伦比亚数学博士,前布朗教授,K-12数学老师保罗·洛克哈特(Paul Lockhart)在有影响力的文章中写道 数学家的哀叹 在一个噩梦般的世界中,直到孩子花了十多年的时间掌握了音乐的符号和理论,然后才将班级将乐谱转换成另一个键,他们才被允许收听或播放音乐。在美术课上,学生学习颜色和涂药器,但直到大学才被允许实际绘画。听起来很荒谬?这就是数学的教学方式–我们要求学生花很多年做死记硬背,并学习干燥,脱节的“基础知识”,我们声称这些基础知识会在以后大部分学生退出该学科很久之后才会得到回报。

不幸的是,这是深度学习的少数资源中的几个开始的地方-要求学习者遵循Hessian的定义和定理来近似损失函数的泰勒近似,而没有给出实际的工作代码示例。我不是在计算微积分。我喜欢微积分,甚至在大学时期都教过微积分,但我认为这不是深度学习的好入门。

由于无聊的教学方式,乏味的重复性练习以及课程将这么多有趣的部分(例如图论,计数和排列,组论)保存到很晚,所以如此之多的学生被许多人拒之门外数学专业的学生放弃了该科目。而且,深度学习的守门员在要求您导出多元链规则或给出KL散度的理论基础时,都会做类似的事情,然后他们会教您如何使用神经网络来处理您自己的项目。

我们将利用有关教学方法的最佳研究成果,尝试通过技术教学来解决这些问题,其中包括:

最后,我们在说的是 良好的教育。这就是我们最关心的。以下是我们关于良好教育的更多想法:

良好的教育始于 “整个游戏”

就像孩子们在开始练习击球之前对棒球有什么了解一样,我们希望您在学习微积分和链条规则之前就对深度学习有一个全面了解。我们将从大局到细节(这与大多数教育的方向相反,大多数教育试图在将所有单个要素放在一起之前进行教学)。举一个很好的例子,看一下 杰里米(Jeremy)关于递归神经网络的演讲–他首先使用功能强大的库编写了3行RNN,然后删除了该库,并使用GPU框架构建了自己的架构,然后删除了该框架,并使用基本的python从头开始构建了所有细节。

在一个 启发我们的书哈佛大学教育学教授戴维·珀金斯(David Perkins)拥有麻省理工学院(MIT)人工智能博士学位,他呼吁不要做任何复杂的事情,除非您先教所有单个要素是一种疾病:“元素炎”。这就像不知道比赛是什么的击球练习。当您不知道这些元素如何适合全局时,这些元素可能看起来很无聊或毫无意义。当您无法解决自己关心的问题或无法理解技术细节如何融入整体时,就很难保持动力。也许这就是为什么研究表明小学生的内在动机从三年级到八年级(这是唯一研究的年份)不断下降的原因。

良好的教育使您能够处理自己关心的问题

无论您是兴奋地从叶子的图片中识别出植物是否患病,自动生成编织图案,通过X射线诊断结核病,还是确定浣熊何时在使用猫门,我们都会为您提供深入学习的帮助自己的问题(通过其他人提供的预先训练的模型)尽快解决,然后逐步探究更多细节。您将在第一堂课的前30分钟内学习如何使用深度学习以最先进的准确性解决自己的问题!有一个有害的神话,您需要拥有Google规模的计算资源和数据集才能进行深度学习,但这不是事实。

良好的教育并不过分。

您是否看过Jeremy在Excel中实现现代深度学习优化方法?如果不, 去看吧 (从视频中的4:50分钟开始)然后返回。这通常被认为是一个复杂的主题,但是在工作了数周之后,杰里米(Jeremy)弄清楚了如何使它变得如此容易以至于显而易见。如果您真正了解某些内容,则可以通过一种易于理解的方式对其进行解释,甚至可以在Excel中实现它!复杂的行话和晦涩的技术定义是由于懒惰而产生的,或者是当说话者不确定自己说的是什么,而隐藏在外围知识的背后。

良好的教育是包容性的。

它不会带来任何不必要的障碍。如果您没有在12岁时开始编码,如果您具有非传统背景,如果您负担不起Mac,或者您正在处理非传统问题,这不会使您感到难过。如果您没有上过精英大学。我们希望我们的课程尽可能地方便。我非常关注包容性,并花了几个月的时间研究和撰写我广泛阅读的每篇文章, 实用技巧 关于我们如何 增加多样性 在技​​术方面,以及花费一年半的时间教授全栈软件开发以 妇女专职。目前深度学习是 更均匀 比一般的技术要来的多,这对于如此强大而有影响力的领域来说是令人恐惧的。 我们将改变这一点.

良好的教育激励着对基础技术概念的研究。

全面了解将为您提供更多的基础知识框架。了解深度学习的功能以及如何使用它是学习更枯燥或乏味的部分的最佳动机。

“打棒球比击球练习更有趣,演奏音乐比练习音阶更有趣,并且进行一些初中版本的历史或数学探究比记住日期或进行总和更有趣,” Perkins写道。为您感兴趣的问题建立工作模型比编写证明更有趣(对于大多数人来说!)

良好的教育会鼓励您犯错误。

在里面 观看次数最多的TED演讲 教育专家肯·鲁宾逊爵士(Sir Ken Robinson)一直以来都在争辩说,通过污蔑错误,我们的学校系统破坏了孩子们天生的创造能力。罗宾逊说:“如果您不准备犯错,您将永远不会得到任何原始的东西。”

在代码沉重的方法中进行深度学习教学 交互式Jupyter笔记本 是尝试许多事情,犯错误并轻松更改正在做的事情的理想设置。

良好的教育可以利用现有资源

不需要在已有好的教材的情况下重新发明教材。如果您需要复习矩阵乘法,我们将带您去汗学院。如果您对X着迷并且想更深入,我们建议您阅读Y。我们的目标是帮助您实现深度学习目标,而不是成为您到达那里的唯一资源。

良好的教育鼓励创造力

洛克哈特报价

洛克哈特认为,最好根本不教数学,然后教这样一种错综复杂的形式,使大多数人摆脱数学之美。他将数学描述为“丰富而有趣的想象力冒险”,并将其定义为“解释艺术”,尽管很少有人这样讲。

将深度学习应用到您所擅长的外部领域以及您所热衷的问题上,这将是深度学习最大的胜利。这将需要您有创造力。

良好的教育会教您提出问题,而不仅仅是回答问题

即使是那些似乎在传统教育方法下蓬勃发展的人,他们的服务仍然很差。我接受了一种传统的教育方法(尽管我在各个阶段都有一些杰出的老师,尤其是在斯沃斯莫尔)。我在学校里表现出色,通过了高考,并且总体上喜欢学习。我喜欢数学,后来又在杜克大学获得数学博士学位。虽然我擅长于习题集和考试,但是当我为博士研究和职业生涯做准备时,这种传统方法极大地损害了我。老师不再给我精心组织,范围适当的问题。在设置要执行的任务之前,我再也无法学习每个增量构建块。当Perkins写关于他为寻找一个好的论文主题而奋斗的著作时,我也已经学会了如何解决自己遇到的问题,但是却没有学会如何独自寻找和确定有趣的问题。现在,我将以前的学业成就视为我必须克服的薄弱环节。当我开始研究深度学习时,我喜欢阅读数学定理和证明,但这实际上并没有帮助我建立深度学习模型。

良好的教育是基于证据的

我们喜欢数据和科学方法,并且对研究支持的技术感兴趣。

间隔重复学习就是这样一种有证据支持的技术,在这种学习中,学习者会在他们忘记话题之前定期重新访问它。杰里米(Jeremy)使用这项技术在 自学中文。整个游戏学习方法与间隔重复学习非常吻合,因为我们将重新讨论主题,每次进入越来越多的低级细节,但始终回到大局。