由 joycha 于 星期二, 2018-09-18 13:42 發(fā)表

1. 簡(jiǎn)單介紹

在機(jī)器學(xué)習(xí)和認(rèn)知科學(xué)領(lǐng)域，人工神經(jīng)網(wǎng)絡(luò)（artificial neural network，縮寫ANN），簡(jiǎn)稱神經(jīng)網(wǎng)絡(luò)（neural network，縮寫NN）或類神經(jīng)網(wǎng)絡(luò)，是一種模仿生物神經(jīng)網(wǎng)絡(luò)(動(dòng)物的中樞神經(jīng)系統(tǒng)，特別是大腦)的結(jié)構(gòu)和功能的數(shù)學(xué)模型或計(jì)算模型，用于對(duì)函數(shù)進(jìn)行估計(jì)或近似。神經(jīng)網(wǎng)絡(luò)由大量的人工神經(jīng)元聯(lián)結(jié)進(jìn)行計(jì)算。大多數(shù)情況下人工神經(jīng)網(wǎng)絡(luò)能在外界信息的基礎(chǔ)上改變內(nèi)部結(jié)構(gòu)，是一種自適應(yīng)系統(tǒng)。現(xiàn)代神經(jīng)網(wǎng)絡(luò)是一種非線性統(tǒng)計(jì)性數(shù)據(jù)建模工具。典型的神經(jīng)網(wǎng)絡(luò)具有以下三個(gè)部分：

結(jié)構(gòu) （Architecture） 結(jié)構(gòu)指定了網(wǎng)絡(luò)中的變量和它們的拓?fù)潢P(guān)系。例如，神經(jīng)網(wǎng)絡(luò)中的變量可以是神經(jīng)元連接的權(quán)重（weights）和神經(jīng)元的激勵(lì)值（activities of the neurons）。

激勵(lì)函數(shù)（Activity Rule） 大部分神經(jīng)網(wǎng)絡(luò)模型具有一個(gè)短時(shí)間尺度的動(dòng)力學(xué)規(guī)則，來(lái)定義神經(jīng)元如何根據(jù)其他神經(jīng)元的活動(dòng)來(lái)改變自己的激勵(lì)值。一般激勵(lì)函數(shù)依賴于網(wǎng)絡(luò)中的權(quán)重（即該網(wǎng)絡(luò)的參數(shù)）。

學(xué)習(xí)規(guī)則（Learning Rule）學(xué)習(xí)規(guī)則指定了網(wǎng)絡(luò)中的權(quán)重如何隨著時(shí)間推進(jìn)而調(diào)整。這一般被看做是一種長(zhǎng)時(shí)間尺度的動(dòng)力學(xué)規(guī)則。一般情況下，學(xué)習(xí)規(guī)則依賴于神經(jīng)元的激勵(lì)值。它也可能依賴于監(jiān)督者提供的目標(biāo)值和當(dāng)前權(quán)重的值。

2. 初識(shí)神經(jīng)網(wǎng)絡(luò)

如上文所說(shuō)，神經(jīng)網(wǎng)絡(luò)主要包括三個(gè)部分：結(jié)構(gòu)、激勵(lì)函數(shù)、學(xué)習(xí)規(guī)則。圖1是一個(gè)三層的神經(jīng)網(wǎng)絡(luò)，輸入層有d個(gè)節(jié)點(diǎn)，隱層有q個(gè)節(jié)點(diǎn)，輸出層有l(wèi)個(gè)節(jié)點(diǎn)。除了輸入層，每一層的節(jié)點(diǎn)都包含一個(gè)非線性變換。

圖1

那么為什么要進(jìn)行非線性變換呢？

（1）如果只進(jìn)行線性變換，那么即使是多層的神經(jīng)網(wǎng)絡(luò)，依然只有一層的效果。類似于0.6*(0.2x1+0.3x2)=0.12x1+0.18x2。
（2）進(jìn)行非線性變化，可以使得神經(jīng)網(wǎng)絡(luò)可以擬合任意一個(gè)函數(shù),圖2是一個(gè)四層網(wǎng)絡(luò)的圖。

圖2

下面使用數(shù)學(xué)公式描述每一個(gè)神經(jīng)元工作的方式
（1）輸出x
（2）計(jì)算z=w*x
（3）輸出new_x = f(z)，這里的f是一個(gè)函數(shù)，可以是sigmoid、tanh、relu等，f就是上文所說(shuō)到的激勵(lì)函數(shù)。

3. 反向傳播(bp)算法

有了上面的網(wǎng)絡(luò)結(jié)構(gòu)和激勵(lì)函數(shù)之后，這個(gè)網(wǎng)絡(luò)是如何學(xué)習(xí)參數(shù)（學(xué)習(xí)規(guī)則）的呢？

首先我們先定義下本文使用的激活函數(shù)、目標(biāo)函數(shù)

（1）激活函數(shù)（sigmoid）：

def sigmoid(z): return 1.0/(1.0+np.exp(-z))

sigmoid函數(shù)有一個(gè)十分重要的性質(zhì)：，即計(jì)算導(dǎo)數(shù)十分方便。

def sigmoid_prime(z): return sigmoid(z)*(1-sigmoid(z))

下面給出一個(gè)簡(jiǎn)單的證明：

（2）目標(biāo)函數(shù)（差的平方和），公式中的1/2是為了計(jì)算導(dǎo)數(shù)方便。

然后，這個(gè)網(wǎng)絡(luò)是如何運(yùn)作的

（1）數(shù)據(jù)從輸入層到輸出層，經(jīng)過(guò)各種非線性變換的過(guò)程即前向傳播。

def feedforward(self, a): for b, w in zip(self.biases, self.weights): a = sigmoid(np.dot(w, a)+b) return a

其中，初始的權(quán)重（w）和偏置（b）是隨機(jī)賦值的

biases = [np.random.randn(y, 1) for y in sizes[1:]] weights = [np.random.randn(y, x) for x, y in zip(sizes[:-1], sizes[1:])]

2）參數(shù)更新，即反向傳播

在寫代碼之前，先進(jìn)行推導(dǎo)，即利用梯度下降更新參數(shù)，以上面的網(wǎng)絡(luò)結(jié)構(gòu)（圖1）為例

（1）輸出層與隱層之間的參數(shù)更新

（2）隱層與輸入層之間的參數(shù)更新