From fc98eec15d35c1561c7201f436b0f5a16f7d3db7 Mon Sep 17 00:00:00 2001 From: u <595770995@qq.com> Date: Sat, 26 Oct 2024 16:41:30 +0800 Subject: [PATCH] =?UTF-8?q?Update=2002Fundamentals.md=20=E6=B1=82=E5=AF=BC?= =?UTF-8?q?=E9=94=99=E8=AF=AF?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- 05Framework/01Foundation/02Fundamentals.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/05Framework/01Foundation/02Fundamentals.md b/05Framework/01Foundation/02Fundamentals.md index a34dc0db..6d584d3d 100644 --- a/05Framework/01Foundation/02Fundamentals.md +++ b/05Framework/01Foundation/02Fundamentals.md @@ -78,7 +78,7 @@ $$ loss(w)=f(w)-g $$ 按照高中数学的基本概念,假设神经网络是一个复合函数(高维函数),那么对这个复合函数求导,用的是链式法则。举个简单的例子,考虑函数 $z=f(x,y)$,其中 $x=g(t),t=h(t)$ ,其中 $g(t), h(t)$ 是可微函数,那么对函数 $z$ 关于 $t$ 求导,函数会顺着链式向外逐层进行求导。 -$$ \frac{\mathrm{d} x}{\mathrm{d} t} = \frac{\partial z}{\partial x} \frac{\mathrm{d} x}{\mathrm{d} t} + \frac{\partial z}{\partial y} \frac{\mathrm{d} y}{\mathrm{d} t} $$ +$$ \frac{\mathrm{d} z}{\mathrm{d} t} = \frac{\partial z}{\partial x} \frac{\mathrm{d} x}{\mathrm{d} t} + \frac{\partial z}{\partial y} \frac{\mathrm{d} y}{\mathrm{d} t} $$ 既然有了链式求导法则,而神经网络其实就是个庞大的复合函数,直接求导不就解决问题了吗?反向到底起了什么作用?下面来看几组公式。