機(jī)器學(xué)習(xí)是一門多領(lǐng)域交叉學(xué)科，廊括眾多：涉及到概率論、統(tǒng)計(jì)學(xué)、逼近論、凸分析、算法復(fù)雜度理論等多門學(xué)科。專門研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識(shí)或技能，重新組織已有的知識(shí)結(jié)構(gòu)使之不斷改善自身的性能。

它是人工智能的核心，是使計(jì)算機(jī)具有智能的根本途徑。如果以人來(lái)說(shuō)明的話，機(jī)器學(xué)習(xí)相當(dāng)于人的學(xué)習(xí)能力和發(fā)展能力。

我們對(duì)機(jī)器學(xué)習(xí)的認(rèn)識(shí)，不能管中窺豹，要全面一些，了解他的前世今生。即它的發(fā)展歷程是怎么樣的；于今天而言，它的現(xiàn)狀又是怎么樣的；在未來(lái)，它將會(huì)有哪些全新的發(fā)展。橫向來(lái)看。機(jī)器學(xué)習(xí)的分類又都有哪些；它的算法有哪些；在哪些領(lǐng)域有它的應(yīng)用。

一、機(jī)器學(xué)習(xí)的發(fā)展歷程

機(jī)器學(xué)習(xí)的發(fā)展和人工智能發(fā)展是離不開(kāi)的，機(jī)器學(xué)習(xí)是人工智能研究發(fā)展到一定階段的必然產(chǎn)物。

人工智能的研究歷史有著一條從以“推理”為重點(diǎn)，到以“知識(shí)”為重點(diǎn)，再到以“學(xué)習(xí)”為重點(diǎn)的自然、清晰的脈絡(luò)。下面是人工智能發(fā)展的三個(gè)時(shí)期：

推理期

時(shí)間為1950s~1970s，人們認(rèn)為只要給機(jī)器賦予邏輯推理能力，機(jī)器就能具有智能。這一階段的代表性工作主要有A. Newell和H. Simon的“邏輯理論家”程序以及此后的“通用問(wèn)題求解”程序等，這些工作在當(dāng)時(shí)取得了令人振奮的成果。例如，“邏輯理論家”程序在1952年證明了著名數(shù)學(xué)家羅素和懷特海的名著《數(shù)學(xué)原理》中的38條定理，在1963年證明了全部的52 條定理，而且定理 2.85甚至比羅素和懷特海證明得更巧妙。A.Newell和H.Simon因此獲得了1975年圖靈獎(jiǎng)。然而，隨著研究向前發(fā)展，人們逐漸認(rèn)識(shí)到，僅具有邏輯推理能力是遠(yuǎn)遠(yuǎn)實(shí)現(xiàn)不了人工智能的。E.A. Feigenbaum等人認(rèn)為，要使機(jī)器具有智能，就必須設(shè)法使機(jī)器擁有知識(shí)。

知識(shí)期

時(shí)間為1970s~1980s，在這一時(shí)期，大量專家系統(tǒng)問(wèn)世，在很多領(lǐng)域做出了巨大貢獻(xiàn)。E.A. Feigenbaum 作為“知識(shí)工程”之父在 1994 年獲得了圖靈獎(jiǎng)。但是，專家系統(tǒng)面臨“知識(shí)工程瓶頸”，簡(jiǎn)單地說(shuō)，就是由人來(lái)把知識(shí)總結(jié)出來(lái)再教給計(jì)算機(jī)是相當(dāng)困難的。于是，一些學(xué)者想到，如果機(jī)器自己能夠?qū)W習(xí)知識(shí)該多好

學(xué)習(xí)期

時(shí)間為1980s~現(xiàn)在，機(jī)器學(xué)習(xí)開(kāi)始受到重視，成為一個(gè)獨(dú)立的學(xué)科領(lǐng)域并開(kāi)始快速發(fā)展、各種機(jī)器學(xué)習(xí)技術(shù)百花齊放的時(shí)期。事實(shí)上，圖靈在1950年提出圖靈測(cè)試的文章中就已經(jīng)提到了機(jī)器學(xué)習(xí)的可能，而1950s其實(shí)已經(jīng)開(kāi)始有機(jī)器學(xué)習(xí)相關(guān)的研究工作，主要集中在基于神經(jīng)網(wǎng)絡(luò)的連接主義學(xué)習(xí)方面，代表性工作主要有F.Rosenblatt的感知機(jī)、B.Widrow的Adaline等。

二、機(jī)器學(xué)習(xí)的研究現(xiàn)狀

機(jī)器學(xué)習(xí)作為人工智能的關(guān)鍵核心技術(shù)，受到了前所未有的重視和快速發(fā)展。深入研究其發(fā)展現(xiàn)狀和競(jìng)爭(zhēng)格局，有助于為企業(yè)戰(zhàn)略和相關(guān)產(chǎn)業(yè)政策制定提供科學(xué)決策依據(jù)。

基于 DII 數(shù)據(jù)庫(kù)和 WOS 數(shù)據(jù)庫(kù)，從發(fā)展階段、熱點(diǎn)與核心領(lǐng)域識(shí)別、競(jìng)爭(zhēng)國(guó)家對(duì)比三方面，對(duì)該技術(shù)領(lǐng)域發(fā)展現(xiàn)狀、競(jìng)爭(zhēng)格局進(jìn)行了分析。

機(jī)器學(xué)習(xí)技術(shù)處于快速成長(zhǎng)期，我國(guó)目前也處于快速發(fā)展期；我國(guó)在技術(shù)結(jié)構(gòu)布局上存在短板；美國(guó)的專利活動(dòng)最強(qiáng)，我國(guó)也屬于技術(shù)活躍者；美國(guó)的專利質(zhì)量最高，我國(guó)與其相差較大；互聯(lián)網(wǎng)企業(yè)是重要推動(dòng)力量；熱點(diǎn)領(lǐng)域有智能診斷、自動(dòng)駕駛儀、教育輔助、語(yǔ)音識(shí)別、計(jì)算機(jī)視覺(jué)等；核心領(lǐng)域有排。。.。。.

三、機(jī)器學(xué)習(xí)的分類

（一）基于學(xué)習(xí)策略的分類：模擬人腦的機(jī)器學(xué)習(xí)、直接采用數(shù)學(xué)方法的機(jī)器學(xué)習(xí)

（二）基于學(xué)習(xí)方法的分類：歸納學(xué)習(xí)、演繹學(xué)習(xí)、類比學(xué)習(xí)、分析學(xué)習(xí)

四、機(jī)器學(xué)習(xí)的常見(jiàn)算法

1. 線性回歸

在統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)領(lǐng)域，線性回歸可能是最廣為人知也最易理解的算法之一。

預(yù)測(cè)建模主要關(guān)注的是在犧牲可解釋性的情況下，盡可能最小化模型誤差或做出最準(zhǔn)確的預(yù)測(cè)。我們將借鑒、重用來(lái)自許多其它領(lǐng)域的算法（包括統(tǒng)計(jì)學(xué)）來(lái)實(shí)現(xiàn)這些目標(biāo)。

線性回歸模型被表示為一個(gè)方程式，它為輸入變量找到特定的權(quán)重（即系數(shù) B），進(jìn)而描述一條最佳擬合了輸入變量（x）和輸出變量（y）之間關(guān)系的直線。

2. Logistic 回歸

Logistic 回歸是機(jī)器學(xué)習(xí)從統(tǒng)計(jì)學(xué)領(lǐng)域借鑒過(guò)來(lái)的另一種技術(shù)。它是二分類問(wèn)題的首選方法。

像線性回歸一樣，Logistic 回歸的目的也是找到每個(gè)輸入變量的權(quán)重系數(shù)值。但不同的是，Logistic 回歸的輸出預(yù)測(cè)結(jié)果是通過(guò)一個(gè)叫作「logistic 函數(shù)」的非線性函數(shù)變換而來(lái)的。

logistic 函數(shù)的形狀看起來(lái)像一個(gè)大的「S」，它會(huì)把任何值轉(zhuǎn)換至 0-1 的區(qū)間內(nèi)。這十分有用，因?yàn)槲覀兛梢园岩粋€(gè)規(guī)則應(yīng)用于 logistic 函數(shù)的輸出，從而得到 0-1 區(qū)間內(nèi)的捕捉值（例如，將閾值設(shè)置為 0.5，則如果函數(shù)值小于 0.5，則輸出值為 1），并預(yù)測(cè)類別的值。

3. 線性判別分析

Logistic 回歸是一種傳統(tǒng)的分類算法，它的使用場(chǎng)景僅限于二分類問(wèn)題。如果你有兩個(gè)以上的類，那么線性判別分析算法（LDA）是首選的線性分類技術(shù)。

4. 分類和回歸樹(shù)

決策樹(shù)是一類重要的機(jī)器學(xué)習(xí)預(yù)測(cè)建模算法。

決策樹(shù)可以被表示為一棵二叉樹(shù)。這種二叉樹(shù)與算法設(shè)計(jì)和數(shù)據(jù)結(jié)構(gòu)中的二叉樹(shù)是一樣的，沒(méi)有什么特別。每個(gè)節(jié)點(diǎn)都代表一個(gè)輸入變量（x）和一個(gè)基于該變量的分叉點(diǎn)（假設(shè)該變量是數(shù)值型的）。

5. 樸素貝葉斯

樸素貝葉斯是一種簡(jiǎn)單而強(qiáng)大的預(yù)測(cè)建模算法。

該模型由兩類可直接從訓(xùn)練數(shù)據(jù)中計(jì)算出來(lái)的概率組成：1）數(shù)據(jù)屬于每一類的概率；2）給定每個(gè) x 值，數(shù)據(jù)從屬于每個(gè)類的條件概率。一旦這兩個(gè)概率被計(jì)算出來(lái)，就可以使用貝葉斯定理，用概率模型對(duì)新數(shù)據(jù)進(jìn)行預(yù)測(cè)。當(dāng)你的數(shù)據(jù)是實(shí)值的時(shí)候，通常假設(shè)數(shù)據(jù)符合高斯分布（鐘形曲線），這樣你就可以很容易地估計(jì)這些概率。

6. K 最近鄰算法

K 最近鄰（KNN）算法是非常簡(jiǎn)單而有效的。KNN 的模型表示就是整個(gè)訓(xùn)練數(shù)據(jù)集。

對(duì)新數(shù)據(jù)點(diǎn)的預(yù)測(cè)結(jié)果是通過(guò)在整個(gè)訓(xùn)練集上搜索與該數(shù)據(jù)點(diǎn)最相似的 K 個(gè)實(shí)例（近鄰）并且總結(jié)這 K 個(gè)實(shí)例的輸出變量而得出的。對(duì)于回歸問(wèn)題來(lái)說(shuō)，預(yù)測(cè)結(jié)果可能就是輸出變量的均值；而對(duì)于分類問(wèn)題來(lái)說(shuō)，預(yù)測(cè)結(jié)果可能是眾數(shù)（或最常見(jiàn)的）的類的值。

關(guān)鍵之處在于如何判定數(shù)據(jù)實(shí)例之間的相似程度。如果你的數(shù)據(jù)特征尺度相同（例如，都以英寸為單位），那么最簡(jiǎn)單的度量技術(shù)就是使用歐幾里得距離，你可以根據(jù)輸入變量之間的差異直接計(jì)算出該值。

7. 學(xué)習(xí)向量量化

KNN 算法的一個(gè)缺點(diǎn)是，你需要處理整個(gè)訓(xùn)練數(shù)據(jù)集。而學(xué)習(xí)向量量化算法（LVQ）允許選擇所需訓(xùn)練實(shí)例數(shù)量，并確切地學(xué)習(xí)這些實(shí)例。

8. 支持向量機(jī)

支持向量機(jī)（SVM）可能是目前最流行、被討論地最多的機(jī)器學(xué)習(xí)算法之一。

超平面是一條對(duì)輸入變量空間進(jìn)行劃分的「直線」。支持向量機(jī)會(huì)選出一個(gè)將輸入變量空間中的點(diǎn)按類（類 0 或類 1）進(jìn)行最佳分割的超平面。在二維空間中，你可以把他想象成一條直線，假設(shè)所有輸入點(diǎn)都可以被這條直線完全地劃分開(kāi)來(lái)。SVM 學(xué)習(xí)算法旨在尋找最終通過(guò)超平面得到最佳類別分割的系數(shù)。

9. 袋裝法和隨機(jī)森林

隨機(jī)森林是最流行也最強(qiáng)大的機(jī)器學(xué)習(xí)算法之一，它是一種集成機(jī)器學(xué)習(xí)算法。

自助法是一種從數(shù)據(jù)樣本中估計(jì)某個(gè)量（例如平均值）的強(qiáng)大統(tǒng)計(jì)學(xué)方法。你需要在數(shù)據(jù)中取出大量的樣本，計(jì)算均值，然后對(duì)每次取樣計(jì)算出的均值再取平均，從而得到對(duì)所有數(shù)據(jù)的真實(shí)均值更好的估計(jì)。

隨機(jī)性來(lái)進(jìn)行次優(yōu)分割。

10. Boosting 和 AdaBoost

Boosting 是一種試圖利用大量弱分類器創(chuàng)建一個(gè)強(qiáng)分類器的集成技術(shù)。要實(shí)現(xiàn) Boosting 方法，首先你需要利用訓(xùn)練數(shù)據(jù)構(gòu)建一個(gè)模型，然后創(chuàng)建第二個(gè)模型（它企圖修正第一個(gè)模型的誤差）。直到最后模型能夠?qū)τ?xùn)練集進(jìn)行完美地預(yù)測(cè)或加入的模型數(shù)量已達(dá)上限，我們才停止加入新的模型。

五、機(jī)器學(xué)習(xí)的應(yīng)用

模式識(shí)別的應(yīng)用領(lǐng)域廣泛，包括計(jì)算機(jī)視覺(jué)、醫(yī)學(xué)圖像分析、光學(xué)文字識(shí)別、自然語(yǔ)言處理、語(yǔ)音識(shí)別、手寫識(shí)別、生物特征識(shí)別、文件分類、搜索引擎等，而這些領(lǐng)域也正是機(jī)器學(xué)習(xí)大展身手的舞臺(tái)，因此模式識(shí)別與機(jī)器學(xué)習(xí)的關(guān)系越來(lái)越密切。