网站首页 > 人工智能AI > 人工智能技术 模式识别和机器学习、数据挖掘的区别与联系 - 模式识别 多智时代 正文

模式识别和机器学习、数据挖掘的区别与联系 - 模式识别 多智时代

admin 2020/02/27 人工智能技术 81℃

人工智能(1)[db:标签]式识别和人工智能[db:标签]诞生

自动控制始于工业革命之后。人们想设计能减少人工干预和自我调节的机器。工程学开始产生根源和其他技巧。到了20世纪40年代,随着第二次世界大战的需要和计算机的出现,信息理论和控制论的鼻祖维纳正式提出了“两个理论”。控制论这个词是维纳根据古希腊的根源发明的。用老人自己的话说,“控制论:或动物和机器中的控制和交流。”动物没有提到在他年轻时对生物学感兴趣的是别人的天才。在工程学中,控制论的控制是围绕机器进行的。这是因为这位创始人出生于第二次世界大战,他的初衷是让机器代替人类进行防空武器的后续瞄准。维纳是一位数学家,他写的理论和公式让当时的工程师非常头疼。然而,维纳不仅是一位数学家和“理论家”,而且是一个实际的工程问题。他参与了第二次世界大战,并想出了这个主意。最典型的是噪音的处理。在典型负反馈控制系统的框图中,从“传感器”到“给定输入”画了一条线。然而,在实践中,传感器存在误差,测量回路包含噪声,并且所需的测量值甚至淹没在噪声信号(水声信号)中。此时,识别“真实值”的问题被称为过滤,通过设计各种过滤器来解决。然而,只要我们学习现代信号处理,我们就会发现它不同于传统的信号处理,时域、频域和z域的滤波器不再改变。从维纳最优滤波算ARMA模型的原理可以看出,由于信号和噪声是用随机过程和概率统计来处理和描述的,滤波问题已经可以用“估计”和“预测”来描述。此外,确定系统状态方程参数的问题似乎是“识别”,这几乎是相同的。这些词很冗长,因为它们出现在模式识别的分支中。祖父提出并总结了这些方法主要是为了在控制问题中发挥传感器的作用。然而,在不需要机器或控制的其他领域,也需要传感器来测量、消除噪声、估计、预测和识别。事实上,从需求的角度来看,关于“机器如何像人类一样区分人类语言”的研究也是从20世纪40年代开始的。起初,它也是一个“声谱图”或类似的东西,似乎是由贝尔实验室完成的。类似的问题“识别航空照片”和“识别手写字符”也是类似的任务。这些工作也应该由电脑而不是人来完成。两朵花盛开,每只表一朵。让我们把各行各业的需要和当地的条件写下来。让我们再看看电脑。同时,在计算机产生之后,需要找到更多的应用领域。除了有吸引力的计算速度之外,数学家们开始考虑让计算机做其他事情。因此,“人工智能人工智能”这个词在20世纪50年代开始出现。请注意,人工不是模拟。也就是说,我们不是用计算机“模仿”人脑的硬件结构和人类的思维过程,而是研究如何让半导体计算机使用二进制数据结构算法来实现人脑的智能“效果”。就像做一道题一样,你只需要得到结果,而不是看到步骤。数据结构与算法是计算机专业的核心课程之一,也是除了“制造计算机”之外,学习如何“使用计算机”的一门独特的课程。(20世纪60年代,我们中文大学的计算机系独立于电子系和自动化系。因此,在“会编程和制作软件”的IT农民工中,技术类学生比“蓝领”好,后者还算过得去。除了if for的语法,他们一直在学习数据结构、算法和离散数学。那些“迷宫”和“8皇后问题”是数学家抽象出来并扔给计算机的智力问题。人工智能在狭义上也被称为人工智能,它基本上等同于计算机算法。当然,也有关于人脑的结构和思维过程的研究,计算机被用来模拟人脑的“广义”人工智能,但我认为,计算机是一种工具 但是除了解谜,一个人能力中的智能是什么呢?总结之后,其中之一是识别能力,然后是决策能力。这很好,一方面是需求,另一方面是计算机的计算能力。估计、预测、识别、识别.是时候把这些类似的任务作为一个整体来解决了!因此,在20世纪60年代,模式识别产生了模式识别和机器学习的过程。一个标准的模式识别过程是:“目标对象”-1-“数字表示”-2-“计算机算法”-3-“识别结果”。然而,这个过程只是计算机工作时的过程。但是在我们像这样工作之前,还有许多事情要做。例如,人脸识别,一个计算机算法不是生来就认识很多人的,算法需要经过训练和学习才能按照上述过程工作。你在训练、学习和识别什么?这仍然需要回到定义。“模式识别”这个词并不像它的名字所暗示的那样容易。直到我进入研究生院很久以后,我才明白它的含义,我知道它可以被分类。让我们来谈谈人脸识别。对人类来说,我们可以认识到一个人的面部图像来自同一个人,即使他们有不同的表情和姿势。你能认出它的原因可能是你观察过脸型和发型,也可能是面部特征和形状的组合。但是什么决定了你的判断?有些人可以说出来,但有些人不清楚。因此,使用一个抽象的词——“模式”来描述那些能够使您确定哪些样本属于同一类别并且能够与其他类别区分开来的特征或属性。我们在下面设计了一个计算机算法,为每个人的图像创建一个独特的“模式”或模型,不同的n个人对应n个模型。很可能每个人的身份号码I对应于参数模型Mi。建立或训练的过程可以是“计算”这些图像并确定每个模型的参数。为了评估算法的性能,开发人员必须首先准备一些已知类别的图像,并将它们分成训练集和测试集,以便在训练集上训练的算法将在测试集上测试。根据测试结果调整算法参数,如果算法太差,请更改算法。不断调整参数,不断改变程序,不断训练,不断测试.因此,本文通常将算法的结果附加在各种数据集和各种情况下。在一张地图和一张桌子后面,你必须写很多程序,并且花很多时间在电脑上运行。这样,经过培训,你就可以按照上面的程序工作了。如果属于第一个人的图片出现,该算法使用保存的n个人模型分别计算相似度,并判断该图片最有可能来自模型Mj,这意味着计算机可以通过查看该图片来识别该人的身份为j。如果J等于真实身份I,那么识别是正确的。如果每次识别都是正确的,那么计算机就达到了人脑的能力。注意,当输出j时,该算法不知道真实身份,那么这种工作可以被视为预测。如果输出是一个离散变量,例如,这里有一个类别,它被称为分类,而输出需要预测连续变量,如股票指数和房价,被称为回归。这里的回归并不意味着“过去”的值,也就是说,预测的目标输出是一个连续的值。好了,现在让我们谈谈机器学习。回顾你的模型来自哪里。虽然有些模型假设,但它们主要来自已知身份的输入数据。该算法的“训练-考试”过程与人类的学习过程非常相似,因此这种计算机算法被称为机器学习。事实上,这是从数据中进行机器学习。机器似乎一直在自学,但实际上是人们编写的算法让它不断学习。如果算法是纯统计的,它也可以被称为统计学习。因此,在我看来,最大似然可能是与人工智能最相似的类别。这都是计算机算法。不同的是人工智能具有类似人类的能力。不管算法是怎么来的,球拍头定义的公式也要考虑。然而,最大似然比范围更窄,特指通过从数据中学习的过程获得的“智力”。就统计学的概念而言,最大似然法是一种数据驱动法 Connection timed out after 15001 milliSEConds 虽然这些图像处理类的内容都是简单的数学公式,但——总是需要微调参数,这让我想起了由于不同的场合和不同的理想图像效果而进行的PID参数调整。嗯,非常工程化。顺便说一下,我对工程的理解是对实际问题的专业经验的积累。公式理论很简单,而获得经验只需要更多的时间来处理实际问题。熟能生巧。用这种方式看工程很容易,经验也不神秘。然而,每个人的时间总是有限的。如果他或她在某个特定领域的时间比其他人多,那么他或她的经验就会变得有价值。此外,不是每个人都喜欢“接触现实”这个词。事实上,书籍中没有“理想状态”,只有各种意想不到的问题层出不穷。挑战不亚于理论探索。工程的思想是对可能遇到的实际问题的复杂性保持敏感并做出估计,并且能够解决过程中遇到的问题。可以在性能上妥协和妥协;参数可以近似或测试。有可能把原来的创新产品变成普通的或不可识别的——,所有这些都是为了让这款产品最终发挥作用并改变(然后慢慢改变,让它看起来更好用)。嗯,那不是重点。继续。现在图像像人脸数据库一样清晰,识别效果很好。让我们找客户来验收。然而,在向客户演示之后,人们突然问该系统是否可以集成到数字信号处理器和嵌入式系统中。甚至这个,甚至那个.啊。等等,你突然想到这个程序好像是在一台双核电脑上运行的,好像它使用了几个从MATLAB派生出来的函数,并且在r.你说是,你的脸没有反应,但你想到的是鲁在《潜伏》检查侯爵时从你的牙齿里挤出的线:我真想把你的嘴咬掉!你一开始没说.但是老板下了死亡的命令,每个人都必须继续下去!作为一名算法开发者,你责无旁贷!这个软件是用c和c完全重写的!不能用好的MATLAB,API真的很笨,简单的矩阵计算需要这么多的人力和资金。不知不觉中,一周过去了,终于写好了。赶快下载刚刚回到n版,还很热的板卡:嘿,没反应吗?软件或硬件问题?检查那边的电路,试着改变这边的程序?咻,有一个影子,但为什么噪音如此严重,鼻子不是鼻子,脸不是脸?相机或主板上有干扰吗?我可以在软件中再次更改参数吗?终于,它开始起作用了。为什么它看起来卡住了?哦,太慢了。硬件条件比PC机差几个等级。我该怎么办?换成更简单的算法?表演怎么样?在此之前,该算法很难得到实验结果。难道这一切都没有实现吗?是黑色的吗?这个人脸识别的例子有点夸张,但并不是完全虚构的。通过这个例子,我想说的是,数据源、软件和硬件的安排、性能的选择和参数的实验调整都是一些实际的工程问题,在文中是看不到或写不出来的。它通常需要不同的传感器和硬件来处理,还需要各行各业的专业背景知识。相机、相机和图像处理的知识对图像来说是不可或缺的。要进行水声信号和语音识别,需要具备拾音器阵列和频域信号处理的知识。这就是为什么自动化、电子、通信,甚至生物医学专业都可以参与其中。最后,我想总结一下我对公共关系的理解:公共关系的产生是因为“计算机代替人脑”在各个领域的实际需求,所以它必须面向应用。公共关系不是在标准数据集上验证分类算法的性能,这是最大似然法的业务。PR是在实际问题中使用最大似然算法。它是理论加上实践,科学和技术(尽管理论是核心)。前三部分主要关注公共关系。让我们谈谈吧。接下来,我将试着谈谈我所知道的机器学习算法的总体情况,以及尚未见到的数据挖掘。(4)解释和数据挖掘从这一部分开始,我打算描述最大似然算法的一般情况。多媒体教学发展很快,几乎所有的论文都被收录 我认为这实际上是从输入数据的形式中分离出来的。我不想先说这个,因为这不能与公式和图表分开。根据最大似然法的目的和用途,它可以分为预测和数据挖掘。我认为用这个分数更有意义。这两种算法的核心区别在于预测问题更注重算法的预测能力,而数据挖掘问题更注重算法的可解释性。如前所述,如果目标变量是一个离散的类别标记,如某一疾病在医学上的阴性阳性或一个人的身份号码,它被称为分类;如果它的目标是连续变量,如股票价格和房价,它被称为回归。预测能力很容易理解。我们只关心在训练集上训练的算法的错误和误分类率尽可能低。换句话说,模型给出的预测应该尽可能接近实际结果。能解释就更好说了。简而言之,我们更关心的是输入的P维变量之间的关系,或者哪些变量在算法生成的预测中起主要作用,即算法给出预测结果的依据是什么。例如,商业智能的共同市场篮子分析是一个典型的可以解释的数据挖掘问题。因为有一个直接的“钱景”,几乎每本谈论统计、数据挖掘、机器学习甚至数据库应用的书都应该提到这个问题,现在所有的购物和购书网站都在做同样的事情。零售商能从他们积累的巨额客户账单中“挖掘”出什么?首先,通过分析哪种商品容易同时出现在顾客的购物篮中,购物中心可以把这些看似无关的东西放在一起,以方便顾客。另一方面,通过分析顾客在办理会员卡时留下的个人信息,可以发现经常光顾购物中心的人都是有个性的人。通过这种方式,广告将会更有针对性,更多这类人将会被吸引。流行的做法是将每张票据作为一个P维向量,对应于所有的P商品。买1,而不是0。n张钞票形成一个n * p值为0-1的表格。流行的Apriori算法用于从数据中“挖掘”购物模式。例如,规则:{支持度=0.03,置信度=0.87:{花生酱、黄油、果酱}={面包}表明,如果客户同时购买前三项,同时购买面包的概率为87%。同时购买4种商品的顾客占总顾客的3%。这种模式看起来平淡无奇,但有时会发现一种非常奇怪的模式,忘记了一个例子,即:{尿布、奶粉}={啤酒、剃须刀}将这四种产品放在一起确实能提高销售额,原因将在后面讨论。例如,客户身份信息的挖掘结果为:支持度=0.13,置信度=0.8{在家说英语,住房,专业}=收入超过4万美元。然后迅速瞄准这些人,在他们常去的地方做广告。请注意,在这些“模式”之前的括号中只有2 3个“变量”,这比p变量的总数小得多。也就是说,我们的预测只取决于所有P变量中的某个数量。如果我说这是可以解释的。恐怕我们还是不明白。佛教用“表达解释”和“覆盖解释”来解释概念。为了解释一个概念,表解释意味着“它是什么?”释文没有说“它是什么”,而是“它不是什么,不是什么……”。让我们把它和没有解释的算法进行比较。例如,它仍然是一个N*p矩阵。如果我想分析是什么导致了面包的购买,当我把N * P的总和作为X,把面包N*1作为Y的最小二乘时,β=(X ' * X)-1 * X ' * Y是什么意思?用这个贝塔系数,给我任何一个1*(p-1)的钞票x,你就可以给出买面包与否的预测值y_est=x*贝塔系数。然而,看看返回的p-dimension测试版,我不能简单地说哪些其他产品在购买面包方面发挥了更重要的作用,我也不能想出一个增加销量的方法。这就是预测能力和解释能力的区别。可预测性是输出结果的准确性,可解释性可以用来帮助人们理解模型背后的原因。例如,从以前的{尿布,奶粉}={啤酒,剃须刀}的购物模式,再加上顾客的年龄和性别,it i 进而可以重新设计实验或者进行改进:不但把这已发现的4种商品摆一起,而且把其他年轻父亲可能会买的东西也摆过来试试。医学上也是这样。不是特别关注用已有的p项的因素(行为习惯、实验条件、检查化验结果)去准确预测疾病,而更关注如何从p个因素中发现是哪几种因素组合更容易导致疾病,进而可以改进实验设计,改进检查,乃至改进预防和治疗的方案。传统上统计学里作为因素分析(Factor Analysis)问题来研究,而数据挖掘使用的方法就更多,涉及的更广。而且数据挖掘也不仅仅是用来进行变量选择和重要性分析,可以用树、图、层次聚类之类直观的结构,描述变量之间的复杂依赖关系。前一段有个书叫 《小趋势》 (microtrends)的,里面举了美国社会统计学家统计出来的许多看起来奇妙的小众人群,用来描述当今的美国社会。甚至进而有针对性地设计竞选宣传策略,左右选举结果。这都属于看中可解释性的数据挖掘了。总结一下预测和数据挖掘的区别:预测是偏重得到决策结果,数据挖掘是偏重分析决策原因和过程。预测问题主要是在生物特征鉴别(人脸,语音,指纹,虹膜)、机器视觉、目标跟踪这些领域,直接代替人进行决策。在商业数据,医学数据里,需要解决数据挖掘问题,给人提供参考。之所以要费劲区分预测和数据挖掘,因为天下没有免费的午餐,一种算法预测精度高了通常很难具备太好的可解释性。要针对具体的应用问题选择合适的算法,就要明白自己更需要的哪种能力。很多算法同时具备一定的预测准确度和可解释性,仅从算法形式上很难分清,还是应该从应用背景上来分析。

在不久的将来,智能生活一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏智能生活,及时获取人工智能、大数据云计算物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

网站地图