网站首页 > 人工智能AI > 人工智能技术 模式识别研究的回顾与展望 - 模式识别 多智时代 正文

模式识别研究的回顾与展望 - 模式识别 多智时代

admin 2020/02/27 人工智能技术 80℃

人工智能

[db:标签][db:标签]:

演讲前,主持人教授向谭院士作了简要介绍。

谭教授是中国科学院院士、英国皇家工程学院外籍院士、发展中国家科学院院士、巴西科学院外籍院士。有很多标题,所以我不一一介绍。当然,我对他的了解是,他在模式识别实验室工作期间,从事了一系列与人工智能相关的研究,如图像处理、计算机视觉、模式识别等。他出版了11部专著,500多篇文章,100多项发明。在获得一系列国家奖项后,他现在是中国图形协会主席和中国人工智能协会副主席。让我们热烈欢迎谭铁牛院士。

谭铁牛院士的演讲题目是“模式识别研究的回顾与展望”。

以下是对演讲本质的总结。

今天我不会谈论具体的算。我希望通过这次演讲,我们能够了解模式识别的现状,尤其是在大数据时代。当人工智能非常流行时,模式识别的下一个方向是什么值得研究。因此,我想介绍更多的情况,而不是具体的算法。我通常会在后面列出一些在这方面有代表性的文章,我们可以在后面了解更多。

我今天要谈三件事。首先简要回顾了近几十年来模式识别的发展。第二部分是模式识别的发展现状。第三部分是从我个人的角度来看,我认为有几个研究方向值得特别注意,其中一些已经在其他场合讨论过,今天我做了一些更新。“模式识别”的概念对今天在座的每个人都不陌生,包括隔壁房间的同事。模式识别是一种模式识别,模式是存在于时间和空间中的可观察、可测量和可区分的信息。识别就是识别各种有形的模式。众所周知,模式识别本质上是一个寻找映射的过程。虽然模式识别是一个很老的话题,但它不是一个新的话题,但是我做了这么多年的模式识别研究,还没有找到一个标准的定义。所以我在这里列出了模式识别的一些定义,我们看到有很多定义。然而,不管它是什么样的定义,都有几个步骤。首先,你需要获得信号。例如,你需要识别苹果,给苹果拍照,找出苹果在哪里,预处理这些数据,然后描述它们。当然,您可以提取特征,显式特征或隐式特征,然后识别它们。这是一个基本概念,并不是因为我做的模式识别认为模式识别很重要,它真的很重要,它是人类最重要的智能行为。因此,机器的模式识别能力反映了机器智能的仿人程度。

雷·库兹韦尔,美国发明家和未来学家,虽然我不同意他的许多观点,但我同意他的观点。他说模式识别是人类最重要的智能行为,机器的模式识别能力反映了它唯一的未来方向。

当然,谈到模式识别的发展和历史,我必须提到相关的杂志和组织。我不会完全讨论时间关系。值得一提的是,我们在这一领域最早的出版物《模式识别信函》,以及这一领域最重要的组织是IAPR。中国在这一领域也有许多组织,包括CCS,它也有一个专门的人工智能和模式识别委员会。我的国家重点实验室位于国家自动化研究所,也是首批模式识别国家重点实验室之一。

自从第一个光学字符识别专利和计算机诞生以来,模式识别已经经历了半个世纪的发展。中间过程也在不断创新,受益于数学基础,如统计学等。所以统计首先出现,然后是句法模式识别,句法模式识别流行了一段时间,然后是神经网络。总的来说,理论创新就是这样一条脉,当然中间也有交替。因此,随着发展到今天,以深层网络为代表的模式识别应该说已经进入了一个新的发展时期。因此,无论是统计模式识别、句子模式识别还是神经网络模式识别,当然,有些人把神经模式识别看作是统计模式识别,它们各有优缺点,不能相互替代。

在理论创新不断取得突破的同时,应用也在不断扩展。这个地区有很多。仔细想想近年来深度学习和人工智能的热潮。许多方面是由于模式识别中的深度学习的发展。许多方面是模式识别的突破。例如,大家都很熟悉的前几年的挥发性有机化合物、图像识别和语音识别是模式识别中的典型问题。也就是说,模式识别多年来的发展对其发展起到了特别重要的推动作用,尤其是在不断扩展的领域中。从最早的字符识别到后来我认真遇到的非常多的模式识别领域,每个人每天都会接触到模式识别的应用。我可以举几个例子来说明计算机模式识别在一些特定的模式识别问题上取得了很大的进展。我暂时称之为特殊模式识别。

例如,语音识别,正如你已经看到的,当然,我无意将搜狗的语音识别与HKUST·荀飞的语音识别进行比较。我这里有一个语音识别的视频,非常擅长识别和翻译。在人脸识别领域,包括上汤技术,我们做得很好。当然,我们不敢说人脸识别能彻底解决问题。例如,双胞胎识别是一个问题,包括有时父亲和儿子看起来很像,但不是很好识别。因此,这些年来我一直在研究虹膜识别。这里有几个例子。我无意宣传我的作品。我只想告诉你在模式识别领域已经取得了巨大的进步。首先,近距离有虹膜识别。例如,在煤矿的应用中,虹膜是一个圆形区域的结构,这也是我过去20年的主要研究方向。现在,不仅可以近距离识别虹膜,还可以远距离识别。当然,它没有几十米远,而且在一两米的距离内也可以识别虹膜。最近,我们的虹膜识别技术被用于寻找走失的儿童,包括老年痴呆症患者。

我之前提到了深入研究。每个人都熟悉这些例子。让我提一下,如果你熟悉它们,再复习一遍。如果你不熟悉它们,让我补充一点,对于你和我来说,如果你看这两幅图像,每个人都会认出它们是一辆汽车,但是目前深入研究无法正确地认出这一栏中的图像。是的,它不能被识别为是,它可以将错误识别为是,这表明深度学习的问题,并且它在鲁棒性和算法方面仍然存在问题。当然,应该特别注意的是,这被特别称为人工合成,或者这些图像是有意人工生成的,因此不能被识别。

所以计算机视觉的鲁棒性是一个大问题。例如,它的旋转,它的光的变化,它会把凹的东西看成

还有一个不好的概括。人们有能力从一个实例中得出结论,但是机器不能,所以我们需要大量高质量的训练数据样本。人们可以通过读书来学习。一个孩子看见一个苹果。只要她的母亲告诉她这是一个苹果,他就会知道这是一个苹果,不管他遇到什么颜色和形状。这种泛化能力非常显著,所以如何使我们的计算机模式识别方法具有这样的泛化能力是非常重要的。

还有很差的可解释性。每个人都知道深入学习是好的,但深入网络,我个人认为它仍然是一个黑箱模式。它无法解释它的结果。当然,人们可以解释他的结果。著名的计算机视觉专家罗伯特·哈拉里克说,计算机视觉的根本问题是鲁棒性问题。如果不考虑鲁棒性问题,几乎所有的计算机视觉问题都已经解决了。我同意这一观点,所以这方面是模式识别接下来将面临的几个难题。

模式识别发展至今。我对其现状有几点概括。首先,对特定任务的模式识别取得了突破性进展,有些性能可以与人类相比,甚至超过人类。统计和基于神经网络的模式识别目前占主导地位,深度学习创造了新的局面。通用模式识别系统还有很长的路要走。关键问题是我们是否需要一个通用的模式识别系统。这也是我们需要思考的问题。如果有必要,这样一个系统还有很长的路要走。健壮性、适应性和通用性是进一步发展的三大瓶颈。如何在这三个方面取得突破是模式识别下一步应该特别关注的方向。至少我和我的学生是这样认为的,我也要求我的学生这样做。

我怎样才能突破?这就是我要关注的。

也是一个值得关注的方向。我认为首先值得注意的是如何突破这三个瓶颈。首先,我是一个受生物启发的模式识别。上次我在北京做了一个关于生物启发模式识别的演讲。今天,我想重复它的一些内容。自然界中有太多的生物系统机制需要我们去学习。我引用了两个人的话,一个是科学家,另一个是政治家,他们都说明了从生物系统中学习的重要性。历史上模式识别和计算机视觉的发展得益于生物机制在许多方面的启发。例如,我在医生的时期做了纹理分析。当时,我最常用的是Gabor函数。通过这个函数,我发现人们的感觉非常类似于Gabor函数。因此,我在做博士论文时使用了这个函数。我发现效果非常好。当然,后人也做了大量的工作,形成了非常经典的纹理分析方法。我主要从生物学和人脑机制解释学习的有效性,当然还有意义、注意机制等等。包括我们目前的深入学习和多层网络,实际上都是受大脑的启发。

我将在下面向你简要汇报,我们可以从人类大脑或生物系统的哪些方面学习,哪些方面值得学习。我把它分为四个层次,从微观到宏观,有一些机制值得借鉴。当然,我们需要从中学习。首先,我们需要知道我们能从中学到什么,然后如何对它们建模,以及如何将它们嵌入到模式识别算法中。因此,这是一个不同的问题。今天,我将主要向你们报告在这四个层面上哪些机制值得学习和尝试。至于如何尝试和如何塑造他们,我会提到一两个代表性的作品。当然,在最微观的层面上,我们的大脑有1000亿个神经元,它的联系甚至更多。有许多不同类型的神经元,它们是可兴奋的和抑制的。神经元在这里如何体现?神经突触具有功能可塑性、结构可塑性等。这是在神经元的微观层面。

在神经回路层面,也有很多东西值得学习,比如深度学习和深度神经网络。目前,大多数是前向链路。事实上,人脑中有向后和侧向的联系。还有更多的宏观功能区,可以有多个大脑区域,协调不同的大脑功能区,等等。

最后,最宏观的是行为层面的学习机制。我们如何学习?在学习中

现在,由于时间限制,我想指出每一级的一些代表性工作。

例如,在神经元水平上,我前面提到过有不同类型的神经元,有些是兴奋的,有些是抑制的。在这里,我抑制了我的同事今年发表的一篇文章,引用了不同类型的神经元,其效果有不同的促进作用。同时,神经元的类型可以自动学习。所以深层神经网络不是单一的类型,它有多种类型。我想辛顿教授对每个人都很熟悉。他模拟神经元的噪音特征。渲染过程中不考虑隐藏节点,暂时简化了网络结构,提高了网络效率。在某种程度上,他解决了小样本和神经元机制的问题。神经元的放电效应也不同,尤其是神经元的可塑性机制。本吉奥从这一机制中吸取了教训,发现它确实能提高兴奋性。

在循环层,有前向链路、反向链路和横向链路。这是一个大家都非常熟悉的前向链接。现在最深入的学习是前向链接,包括AlexNet和VGG。我想集中在横向链接上,也就是说,同一楼层的横向链接。这是清华大学教授发表的一篇文章。它真的能提高兴奋感。反向链接是我们自己的工作,是由我的一个博士生完成的。我试着通过反向链接把高层次的信息传递给低层次,发现效果也很好。

另一个层次是功能区,这是一个更宏观的区域。不同的大脑区域有不同的功能。如何协调它们,或者不同的大脑区域如何协调来完成一项任务,也是值得学习的。这是我的一个学生做的一项研究。在多任务训练和学习中借鉴了不同脑区的功能协调机制,取得了良好的效果。

另一个是多渠道合作。每个人都知道视觉通路有背侧通路和腹侧通路。他们借鉴这一机制,提出了一个具有两条相同路径的卷积网络,一条用于挖掘表观信息,另一条用于获取运动信息。这个效果非常好。

有很多关于注意和记忆机制的研究。这更容易理解。这也是我的一个学生做的。如果你感兴趣,你可以很容易地找到这篇文章。记忆和选择性机制、注意力机制、计算机视觉使用得越多,我就越不会扩展。

最后一个是学习机制。在值得关注的方向上,今天我将重点介绍生物激励模式识别。现在我来谈谈这个,还有四个。

宏级别是行为级别。人类行为的机制是什么,特别是在学习过程中,值得学习吗?我谈到了从机制、过程和方法中学习。学习过程包括发展学习和强化学习。方法包括迁移学习和知识学习。学习效果包括生成学习和概念学习。

模仿生物学从简单到复杂的学习过程,在积累过程中扩大学习范围,而人类的学习就是这样一种机制。这项研究试图从童年到成年的学习机制中学习。

强化学习是每个人都非常熟悉的。我想在这里谈论的是与环境的互动。成长过程中与环境的互动对我们从外界获取信息和知识非常重要。我经常说,如果我站在这个我看不清楚的地方,我会主动行动,通过与环境的互动来学习,从而提高我对环境的适应能力。这是我们的自动化同事做的几个简单演示。这种无人驾驶飞行器通过与环境互动,自动学会寻找一个可以通过的地方。

还有转移学习,我们都有。如果你能打好乒乓球和羽毛球,也许你能学得更快。这是我的一个做手写识别的同事。他将迁移学习的概念应用于手写识别,并取得了良好的效果。

另一个是知识学习。人们有这种能力,当我们识别某样东西时,我们会利用大量的先验知识,结合现场观察到的信息,即先验知识和数据的结合,来有效地识别你看到的物体。这是我们都能做的。基于这种机制,计算机也可以做得很好。

还有现在非常流行的世代学习。它一方面解决了小样本和训练数据的问题,另一方面通过生成原始数据样本分布一致的更深层的数据,提高了算法的垄断性、泛化能力和适应性。现在每个人都非常关心这项工作,我们也做了一些工作。我们看这些组照片,主要是为了显示通过网络生成的图像非常逼真。这是输入图像的一面。有四组图像,每组左侧一组,右侧一组。一组是原始的,另一组是生成的,中间是输入的。如果你不仔细看,你就看不出左边是电脑生成的还是右边是电脑生成的,这说明它的网络生成的数据非常可靠。因此,它可以用来训练你的网络。这是我团队中一位教授所做的工作。

还有概念学习。2015年底,《自然》杂志发表了一篇类似的文章。当时,这也引起了一点小小的轰动。它试图克服对大量大样本训练数据进行深度学习的需要,模拟人们从机器中的少量数据中学习知识。就像一个孩子以前见过苹果,后来能认出更多的苹果一样,这是一个小样本学习。如果你对它感兴趣,可以理解这篇文章,它是一种典型的统计方法,学会了规则,规则是结构模式识别所需要的,所以从统计方法中获取规则,然后用这些规则来识别,所以它是一种从统计到结构,再从结构到统计的模式识别方法,我认为这是一种非常有前途的方法。

[·库科在线课堂]一部开创性的作品:可量化的未来基本策略

咨询电话/微信:18516600808

这是我今天要向大家报告的模式识别研究方向的第一个重要方面,即基于生物灵感的模式识别方法。

仍有四个方向值得注意,我将简要提及它们。因为我今天的重点是生物启发的模式识别,我认为这是解决三种人格瓶颈的一个重要方法。

我之前说过强健是硬骨头。如果鲁棒性的问题得到解决,计算机视觉的问题也将得到解决,这一点我同意。在现实生活中,稳健是我们经常遇到的事情。如果你的算法不健壮,它基本上是无用的,所以解决鲁棒性问题是非常重要的。当然,解决鲁棒性问题的另一种方法是找到鲁棒性特征。例如,对于人脸图像,你的光照会有一点变化,你的姿势会有一点变化,你的人脸识别也会随之变化。在跨媒体、多源异构的可视化大数据中找到更好的通用星型和不可变形的表达方式。这是健壮性必须解决的问题。这项工作已经进行了几年,我们现在仍在使用它。我们提出了一个叫做测序测量的特征。我们发现这个特性非常健壮。例如,一些同事可能在其他场合听了我的话。一个非常简单的特性非常有效。这种特性称为排序特性。什么是排序功能?举个例子,这两个人,姚明和他的一个朋友,如果我问每个人谁高谁矮,这个问题太简单了,你会在一瞬间就知道是姚。但是,如果我问你姚明比那个人高多少,你可能不能马上告诉我,或者你只能随便说一个数据,你今天给出的答案可能与你昨天给出的答案不同。定性比较快速稳定,稳定性非常强。定量测量缓慢且不稳定,这是测序测量中非常重要的一点。如果给你两个球来衡量哪一个重,哪一个轻,你可以很好地判断它,但是你不能判断多少重,多少轻。图像中也是如此。在图像中找到两个区域。与B区相比,如果A区的灰度低于B区,或者A区比B区亮,我就把它算作1。如果它比那个更暗,我会把它算作0,然后在不同的区域移动,这会产生很多1和0。这是顺序测量。这非常简单,但是非常有效。这是第二个重要方向。

第三是结合结构和统计的新模式识别理论。这是一个值得关注的发展趋势,目前的研究并不多,因为统计方法和结构方法各有千秋

第四个方向是数据和知识的结合。这是可以理解的。现在每个人都强调数据的重要性。当然,数据非常重要,但数据不是一切。在学习神经回路环节的过程中,我提到了反向环节,即把信息从一层传递到下一层,把知识传递到下一层。数据和知识的结合也是一个非常重要的发展方向,所以数据和知识的结合非常重要。

第五个是以互联网为中心的模式识别。互联网上有太多的数据,包括大数据、知识、互动、众包等等。因此,它可以说是人类智能机器智能的混合载体。如何充分利用互联网上的海量数据,对于促进模式识别的研究和发展非常重要。同时,模式识别系统的整个过程完全基于互联网信息。同时,互联网上的许多任务需要模式识别来完成。互联网上如此多的信息反映了什么样的情况?它需要数据挖掘、模式识别和分析。所以去年在IJCAI上发表了一篇关于模式识别的文章。

今天,我将利用这段时间首先介绍模式识别的基本概念。我还知道,今天在座的并非所有同事都进行模式识别。特别是,我简要回顾了模式识别在过去几十年的发展,包括它的现状。目前的状况是,我们有三个硬骨头,稳健性、普遍性和适用性。另外,根据我自己的拙见,我认为这五个方向,尤其是基于生物极性机制的模式识别,值得大家关注。

模式识别非常重要。这三个特征是三块硬骨头。瓶颈需要突破。我们应该向生物系统学习,注重结构与统计的结合,注重数据与知识的结合,重用海量互联网数据是一个值得特别关注的研究方向。这就是我要说的。如果我错了,请批评我。

来源:算法和数学之美

在不久的将来,智能生命必将完全进入我们的生活。有兴趣进入未来前沿产业的朋友可以收集智能生命,及时获取前沿信息和人工智能、大数据、云计算物联网的基础知识。让我们携手引领人工智能的未来!

网站地图