[ch02-02] 非線性反向傳播
系列博客，原文在筆者所維護的github上：，
點擊star加星不要吝嗇，星越多筆者越努力。
2.2 非線性反向傳播
2.2.1 提出問題
在上面的線性例子中，我們可以發現，誤差一次性地傳遞給了初始值w和b，即，只經過一步，直接修改w和b的值，就能做到誤差校正。因為從它的計算圖看，無論中間計算過程有多麼複雜，它都是線性的，所以可以一次傳到底。缺點是這種線性的組合最多只能解決線性問題，不能解決更複雜的問題。這個我們在神經網絡基本原理中已經闡述過了，需要有激活函數連接兩個線性單元。
下面我們看一個非線性的例子，如圖2-8所示。
圖2-8 非線性的反向傳播
其中\(1<x<=10，0<y<2.15\)。假設有5個人分別代表x、a、b、c、y：
正向過程
- 第1個人，輸入層，隨機輸入第一個x值，x取值範圍(1,10]，假設第一個數是2
- 第2個人，第一層網絡計算，接收第1個人傳入x的值，計算：\(a=x^2\)
- 第3個人，第二層網絡計算，接收第2個人傳入a的值，計算b：\(b=\ln (a)\)
- 第4個人，第三層網絡計算，接收第3個人傳入b的值，計算c：\(c=\sqrt{b}\)
- 第5個人，輸出層，接收第4個人傳入c的值
反向過程
- 第5個人，計算y與c的差值：\(\Delta c = c – y\)，傳回給第4個人
- 第4個人，接收第5個人傳回\(\Delta c，計算\Delta b：\Delta b = \Delta c \cdot 2\sqrt{b}\)
- 第3個人，接收第4個人傳回\(\Delta b，計算\Delta a：\Delta a = \Delta b \cdot a\)
- 第2個人，接收第3個人傳回\(\Delta a，計算\Delta x：\Delta x = \Delta a / 2x\)
- 第1個人，接收第2個人傳回\(\Delta x，更新x：x = x – \Delta x\)，回到第1步
提出問題：假設我們想最後得到c=2.13的值，x應該是多少？（誤差小於0.001即可）
2.2.2 數學解析解
\[c=\sqrt{b}=\sqrt{\ln(a)}=\sqrt{\ln(x^2)}=2.13\]
\[x = 9.6653\]
2.2.3 梯度迭代解
\[ \frac{da}{dx}=\frac{d(x^2)}{dx}=2x=\frac{\Delta a}{\Delta x} \tag{1} \]
\[ \frac{db}{da} =\frac{d(\ln{a})}{da} =\frac{1}{a} = \frac{\Delta b}{\Delta a} \tag{2} \]
\[ \frac{dc}{db}=\frac{d(\sqrt{b})}{db}=\frac{1}{2\sqrt{b}}=\frac{\Delta c}{\Delta b} \tag{3} \]
因此得到如下一組公式，可以把最後一層\(\Delta c\)的誤差一直反向傳播給最前面的\(\Delta x\)，從而更新x值：
\[ \Delta c = c – y \tag{4} \]
\[ \Delta b = \Delta c \cdot 2\sqrt{b} \tag{根據式3} \]
\[ \Delta a = \Delta b \cdot a \tag{根據式2} \]
\[ \Delta x = \Delta a / 2x \tag{根據式1} \]
我們給定初始值\(x=2，\Delta x=0\)，依次計算結果如表2-2。
表2-2 正向與反向的迭代計算
| 方向 | 公式 | 迭代1 | 迭代2 | 迭代3 | 迭代4 | 迭代5 |
|---|---|---|---|---|---|---|
| 正向 | \(x=x-\Delta x\) | 2 | 4.243 | 7.344 | 9.295 | 9.665 |
| 正向 | \(a=x^2\) | 4 | 18.005 | 53.934 | 86.404 | 93.233 |
| 正向 | \(b=\ln(a)\) | 1.386 | 2.891 | 3.988 | 4.459 | 4.535 |
| 正向 | \(c=\sqrt{b}\) | 1.177 | 1.700 | 1.997 | 2.112 | 2.129 |
| 標籤值y | 2.13 | 2.13 | 2.13 | 2.13 | 2.13 | |
| 反向 | \(\Delta c = c – y\) | -0.953 | -0.430 | -0.133 | -0.018 | |
| 反向 | \(\Delta b = \Delta c \cdot 2\sqrt{b}\) | -2.243 | -1.462 | -0.531 | -0.078 | |
| 反向 | \(\Delta a = \Delta b \cdot a\) | -8.973 | -26.317 | -28.662 | -6.698 | |
| 反向 | \(\Delta x = \Delta a / 2x\) | -2.243 | -3.101 | -1.951 | -0.360 |
表2-2，先看“迭代-1”列，從上到下是一個完整的正向+反向的過程，最後一行是-2.243，回到“迭代-2”列的第一行，2-(-2.243)=4.243，然後繼續向下。到第5輪時，正向計算得到的c=2.129，非常接近2.13了，迭代結束。
運行示例代碼的話，可以得到如下結果：
how to play: 1) input x, 2) calculate c, 3) input target number but not faraway from c
input x as initial number(1.2,10), you can try 1.3:
2
c=1.177410
input y as target number(0.5,2), you can try 1.8:
2.13
forward...
x=2.000000,a=4.000000,b=1.386294,c=1.177410
backward...
delta_c=-0.952590, delta_b=-2.243178, delta_a=-8.972712, delta_x=-2.243178
......
forward...
x=9.655706,a=93.232666,b=4.535098,c=2.129577
backward...
done!為節省篇幅只列出了第一步和最後一步（第5步）的結果，第一步時c=1.177410，最後一步時c=2.129577，停止迭代。
代碼位置
ch02, Level2
本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】
※帶您來了解什麼是 USB CONNECTOR ?
※平板收購,iphone手機收購,二手筆電回收,二手iphone收購-全台皆可收購
※自行創業 缺乏曝光? 下一步"網站設計"幫您第一時間規劃公司的門面形象
※如何讓商品強力曝光呢? 網頁設計公司幫您建置最吸引人的網站，提高曝光率!!
※綠能、環保無空污,成為電動車最新代名詞，目前市場使用率逐漸普及化
※廣告預算用在刀口上，網站設計公司幫您達到更多曝光效益