人工智能(Artificial Intelligence)是一個(gè)最廣泛的概念，人工智能的目的就是讓計(jì)算機(jī)這臺(tái)機(jī)器能夠象人一樣思考，而機(jī)器學(xué)習(xí)(Machine Learning)是人工智能的分支，專門研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識(shí)或技能，使之不斷改善自身的性能。

深度學(xué)習(xí)(Deep Learning)是一種機(jī)器學(xué)習(xí)的方法，它試圖使用包含復(fù)雜結(jié)構(gòu)或由多重非線性變換構(gòu)成的多個(gè)處理層（神經(jīng)網(wǎng)絡(luò)）對(duì)數(shù)據(jù)進(jìn)行高層抽象的算法。

神經(jīng)網(wǎng)絡(luò)是一組大致模仿人類大腦構(gòu)造設(shè)計(jì)的算法，用于識(shí)別模式。神經(jīng)網(wǎng)絡(luò)通過機(jī)器感知系統(tǒng)解釋傳感器數(shù)據(jù)，能夠?qū)υ驾斎脒M(jìn)行標(biāo)記或聚類等操作。神經(jīng)網(wǎng)絡(luò)所能識(shí)別的模式是數(shù)值形式，因此圖像、聲音、文本、時(shí)間序列等一切現(xiàn)實(shí)世界的數(shù)據(jù)必須轉(zhuǎn)換為數(shù)值。

在深度學(xué)習(xí)網(wǎng)絡(luò)中，每一個(gè)節(jié)點(diǎn)層在前一層輸出的基礎(chǔ)上學(xué)習(xí)識(shí)別一組特定的特征。隨著神經(jīng)網(wǎng)絡(luò)深度增加，節(jié)點(diǎn)所能識(shí)別的特征也就越來越復(fù)雜，因?yàn)槊恳粚訒?huì)整合并重組前一層的特征。

（http://fortune.com/ai-artificial-intelligence-deep-machine-learning/）

上圖顯示了一個(gè)神經(jīng)網(wǎng)絡(luò)用于判定一個(gè)圖片是不是一條狗的過程，輸入是圖片，通過深層神經(jīng)網(wǎng)絡(luò)對(duì)狗的低層特征進(jìn)行抽象，最后輸出是圖片是狗的概率。

深度學(xué)習(xí)的過程同樣是分為訓(xùn)練和推理（既“評(píng)估”）兩個(gè)過程，通過訓(xùn)練過程來獲得數(shù)據(jù)模型，然后用于評(píng)估新的數(shù)據(jù)。

數(shù)據(jù)模型分為兩種，一種是所謂判別模型(Discriminative Model)，也就是說模型可以直接用來判別事物的。這里所說的判別事物，最典型的就是做分類。既然直接可以用來分類，也就是說我們可以在已知屬性的條件下，對(duì)該記錄進(jìn)行判斷。所以，判別模型是對(duì)條件概率進(jìn)行的建模，也就是p(Y|X)。這里X就是屬性集合，實(shí)際上就是一個(gè)向量；而Y則可能是一個(gè)值（此時(shí)對(duì)應(yīng)分類問題）， 可能是一個(gè)向量（此時(shí)對(duì)應(yīng)序列標(biāo)注問題）。判別模型常用于處理分類問題（比如鑒定垃圾郵件）、圖像識(shí)別等等。

再說一說生成模型(Generative Model)。生成模型可以描述數(shù)據(jù)的生成過程。換句話說，已知了這個(gè)模型，我們就可以產(chǎn)生該模型描述的數(shù)據(jù)。而數(shù)據(jù)由兩部分組成，也就是(X,Y)，前者是特征，后者則是類別(Y是標(biāo)量)或者序列類別(Y是向量)。要描述整個(gè)數(shù)據(jù)，也就是要對(duì)p(X,Y)進(jìn)行建模，所以是對(duì)聯(lián)合概率進(jìn)行建模。生成模型本身不是做分類或者序列標(biāo)注的，但是可以用來解決這些問題，也可以用于生成式問題，比如聊天機(jī)器人、比如AI譜曲等問題。

而機(jī)器學(xué)習(xí)可以分成下面幾種類別：

監(jiān)督學(xué)習(xí)從給定的訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)出一個(gè)函數(shù)，當(dāng)新的數(shù)據(jù)到來時(shí)，可以根據(jù)這個(gè)函數(shù)預(yù)測(cè)結(jié)果。監(jiān)督學(xué)習(xí)的訓(xùn)練集要求是包括輸入和輸出，也可以說是特征和目標(biāo)。訓(xùn)練數(shù)據(jù)中的目標(biāo)是由人標(biāo)注的。常見的監(jiān)督學(xué)習(xí)算法包括回歸分析和統(tǒng)計(jì)分類。

無監(jiān)督學(xué)習(xí)與監(jiān)督學(xué)習(xí)相比，訓(xùn)練集沒有人為標(biāo)注的結(jié)果。常見的無監(jiān)督學(xué)習(xí)算法有聚類。

半監(jiān)督學(xué)習(xí)介于監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)之間。它主要考慮如何利用少量的標(biāo)注樣本和大量的未標(biāo)注樣本進(jìn)行訓(xùn)練和分類的問題。。

增強(qiáng)學(xué)習(xí)通過觀察來學(xué)習(xí)做成如何的動(dòng)作。每個(gè)動(dòng)作都會(huì)對(duì)環(huán)境有所影響，學(xué)習(xí)對(duì)象根據(jù)觀察到的周圍環(huán)境的反饋來做出判斷。

在傳統(tǒng)的機(jī)器學(xué)習(xí)領(lǐng)域，監(jiān)督學(xué)習(xí)最大的問題是訓(xùn)練數(shù)據(jù)標(biāo)注成本比較高，而無監(jiān)督學(xué)習(xí)應(yīng)用范圍有限。利用少量的訓(xùn)練樣本和大量無標(biāo)注數(shù)據(jù)的半監(jiān)督學(xué)習(xí)一直是機(jī)器學(xué)習(xí)的研究重點(diǎn)。

當(dāng)前非常流行的深度學(xué)習(xí)GAN模型和半監(jiān)督學(xué)習(xí)的思路有相通之處，GAN是“生成對(duì)抗網(wǎng)絡(luò)”（Generative Adversarial Networks）的簡(jiǎn)稱，包括了一個(gè)生成模型G和一個(gè)判別模型D，GAN的目標(biāo)函數(shù)是關(guān)于D與G的一個(gè)零和游戲，也是一個(gè)最小-最大化問題。

GAN實(shí)際上就是生成模型和判別模型之間的一個(gè)模仿游戲。生成模型的目的，就是要盡量去模仿、建模和學(xué)習(xí)真實(shí)數(shù)據(jù)的分布規(guī)律；而判別模型則是要判別自己所得到的一個(gè)輸入數(shù)據(jù)，究竟是來自于真實(shí)的數(shù)據(jù)分布還是來自于一個(gè)生成模型。通過這兩個(gè)內(nèi)部模型之間不斷的競(jìng)爭(zhēng)，從而提高兩個(gè)模型的生成能力和判別能力。