什么是深度学习?它和机器学习有什么关系?

2017-12-11   来源:未知   点击:
在对话中,吴博士谈到,计算能力的提升和可获得的数据的增加是深度学习的两个关键驱动因素。机器学习的很多进步都是受到计算能力和
       近来,深度学习成为一个流行词。有分析师认为,它会削弱现有机器学习方法的地位。实际上,深度学习并不是一个新概念,它是上世纪90年代就已经出现的人工神经网络(ANN)算法的一种扩展。由于ANN需要极大的数据集用于训练,所以被边缘化了。深度学习算法为ANN带来了新生,它会训练多层ANN,而所需的数据比先前的预期要少。近日,数据科学家Anubhav Srivastava撰文分享了一些有关深度学习的看法。
 
深度学习可以更好地通过增加数据集的规模来改善学习结果,这是人们需要这种算法的原因。在实际的解决方案中,深度学习更适合于未标记数据,而这超出了自然语言处理的范畴,后者更多限于实体识别。与传统的机器学习工具相比,深度学习挖掘了神经网络的潜力。基于强大的特征提取,它比其他工具更适合模式识别(图像、文本、音频)。
 
但是,深度学习并不会取代其他所有的机器学习算法。对于许多应用而言,一些简单点的算法(如逻辑回归、支持向量机)就已经足够。支持者之所以为深度学习而兴奋,一个基本的原因是,它是一种不同于线性或内核模型的元算法。这意味着,深度学习没有任何损失函数的特性,而且不受特定的公式限制,可以为科学家提供更大的灵活性。
 
有分析师认为,深度学习是最像大脑的算法,但Anubhav认为这种观点有些片面,并以Numenta为例进行了进一步的阐述。Numenta“皮质(cortical)”算法基于分级时序记忆(HTM)模型,而后者是在“稀疏分布记忆(sparse distributed memory)”概念的基础上发展而来,那是一种学习人类长期记忆的数学模型。皮质算法既可以从空间维度,也可以从时间维度进行特征提取,使它更像是大脑的仿制品。
 
有鉴于此,Anubhav认为,目前围绕深度学习和Numenta的一些争论不甚合理。有种观点是,Numenta HTM适合无监督学习,并将此视为其相对于深度学习算法的一个重大优势。还有一种观点是,Numenta可以视为一种时间-内存需求更小的在线学习算法。Anubhav指出,有一个很重要的事实被忽略了,就是深度学习是一个多层模型。在多数情况下,神经网络模型一次只能求解一种问题类型,面对多种问题类型时,就需要使用混合模型。在这方面,深度学习算法的多层模型是一个巨大的优势,即使Numenta也无法与其相比。
 
 
之前,百度首席科学家吴恩达(Andrew Ng)博士和百度硅谷人工智能实验室主任亚当.科茨(Adam Coates)博士,曾在知名美国社交新闻站点Reddit热门板块AMA(Ask me anything)上回答了网友关于深度学习的问题。
 
深度学习的前沿正转向高性能计算
         在对话中,吴博士谈到,计算能力的提升和可获得的数据的增加是深度学习的两个关键驱动因素。机器学习的很多进步都是受到计算能力和数据的驱动,吴博士认为深度学习的前沿正转移到高性能计算(HPC),这也是目前他们在百度的工作重心之一。吴博士认为在企业环境下建立新的HPC技术以及访问大量的数据更加容易,驱使他选择与企业开展合作。同时,吴博士认为计算能力的提升并不是我们被动地等待而自然发生的。在两位专家从事深度学习的生涯中,有很多的成功得益于主动地追求可用的计算能力。例如,在2008年,吴博士启动了他所认为的第一个CUDA / GPU深度学习任务,并引领这个领域开始使用GPU。2011年,吴博士创立并领导了谷歌深度学习小组(当时称为谷歌大脑),使用谷歌云扩展深度学习;这使得深度学习得以推向工业界。在2013年,科茨博士等人建立了第一个HPC式的深度学习系统,可扩展性提升了1-2个数量级。目前在百度,吴博士的团队正在正利用HPC技术,开发新一代的深度学习系统,HPC为深度学习提供了一大助力。吴博士认为高性能计算和大数据的深度结合将为他们带来下一个深度学习的巨大进步,目前他们已经在语音识别方面取得的突破(http://bit.ly/deepspeech)。
 
另外,吴博士还谈到,50年前,实际上是计算机科学理论推动着计算机科学实践的前进。例如,理论工作搞清楚了排序的复杂度是O(n log n),早期,Don Knuth关于计算机理论方面的一些著作,真正推动了计算机科学的进步。今天,一些领域中仍然是理论推动实践,如计算机安全:假如我们发现一个加密的漏洞,并发表一篇关于它的理论文章,这可能会导致全世界都根据你的理论更改自己的代码。但在机器学习领域,进步越来越受到一些实际的工作所驱动,而不是理论。
 
机器学习技术VS专业领域知识
在谈到面对一个专业领域内的具体问题什么技术更加重要,是机器学习的应用能力,还是对具体问题的领域知识?吴博士认为,解决不同问题需要的技术是不同的。但广泛地说,对于解决一个问题所需要的知识源于两个方面:
 
你身边的工程师所拥有的;从数据自身所能够学习到的。
在某些领域(如计算机视觉,语音识别和自然语言处理),快速增加的数据意味着(2)是现在的主导力量,因此,领域知识和身边工程师的能力正变得越来越不那么重要。 5年前,涉足计算机视觉和语音识别研究真的非常困难,因为需要你必须掌握很多的领域知识。但由于深度学习的兴起和数据的增加,学习门槛现在变得更容易、更低,因为解决问题的途径已经变为了机器学习+数据,工程师知道什么已经变得不那么关键了。吴博士认为现在的获胜方法越来越多的是使用差不多的领域知识,编写了一个学习算法,然后给它一大堆的数据,让算法从数据中得出答案。
 
为什么选择百度
当谈到为什么选择加入百度的时候。吴博士认为百度是一家非常出色的公司,百度研究院在很大程度上是一个全新的环境。百度投入了大量的精力进行员工发展,所以这里的人都在努力工作,并迅速地学习深度学习,HPC等技术,他觉得这些东西为推动机器学习研究提供了最好的条件和可能性。
另外,吴博士也针对网友关心的几个问题提出了自己的看法。
 
从事机器学习是否需要一个高的学位。吴博士认为对于机器学习研究是否需要一个学位:答案是绝对不需要!一个博士学位是了解机器学习的一种很棒的途径。但是,许多顶尖的机器学习研究人员并没有一个博士学位。比如通过Coursera自主学习就是一种很好的方法。如果已经拥有的许多软件开发技巧,可以一直跟进MOOCs,并使用免费的在线资源(如deeplearning.stanford.edu/tutorial)。通过充分的自学足以在一个工业界的机器学习团队中获得一个好的位置。
概率方法在深度学习中的地位。吴博士谈到,在深度学习的初期,Hinton开发了一些概率深度学习算法,如受限玻尔兹曼机,其使用对比散度算法进行训练。但是,这些模型实际上很复杂,而且计算归一化常数(划分函数)非常困难,导致实际上是采用复杂的MCMC和其他算法来进行训练。在接下来的几年中,研究人员意识到在大多数的情况下这种概率形式并没有提供任何优势,反而增加了复杂度。因此,几乎所有的深度学习算法都远离这种概率形式,改为使用计算确定的神经网络。(3)非监督学习的未来。吴博士认为虽然目前大部分成功的深度学习都是使用监督学习,但并不代表非监督学习在深度学习中没有作用,反而具有非常大的潜力,因为我们拥有的非标记数据比标记数据多得多,只是我们还没有找到很合适的非监督学习算法,因此非监督学习存在巨大的研究空间!
 
吴博士也谈到,自己经常在思考从事研究的意义在哪里。在百度,吴博士团队的目标是开发出过硬的人工智能技术,从而让数亿的互联网用户受益。随着时间的推移,吴博士愈加觉得应该更加具有战略眼光,虽然已经看到前面还有很多的路要走,不仅仅是写一篇论文,而是要铺好一条道路让团队的技术能够为更多的人受益。在这些日子里,这是让两位专家对于自己的工作真正保持热情的源泉!
推荐阅读