1.1 考虑以多项式形式给出的特征函数(1),我们有公式(2)给出的损失函数,对于系数向量W=\({w_i}\)来说,证明W的解由下式(3)给出.

\[y(x,w)=w_0+w_1 x+w_2 x^2+w_2 x^3+\text{…}+w_M x^M=\sum _{j=0}^M w_j x^j\]

\[E[w]=\frac{1}{2}\sum _{n=1}^N \left\{y\left(x_n,w\right)-t_n\right\}{}^2\]

\[\sum _{j=0}^M A_{\text{ij}} w_j=T_i\]

且\(A_{\text{ij}}=\sum _{n=1}^N x_n^{i+j}\),\(T_i=\sum _{n=1}^N t_n x_n^i\)

解:
首先将式1代入式2,得:

\[E[w]=\frac{1}{2} \sum _{n=1}^N \left\{\sum _{j=0}^M w_j x_n^j-t_n\right\}{}^2\]

我们现在且只考虑\(w_i\),将上式对于\(w_i\)求偏导,得:

\[\frac{\partial ew}{\partial w_i}=\frac{1}{2} \sum _{n=1}^N 2 x_n^i \left\{\sum _{j=0}^M w_j x_n^j-t_n\right\}=\sum _{n=1}^N \left\{\sum _{j=0}^M w_j x_n^i x_n^j-t_n x_n^i\right\}\]

将上式写开写,并令其偏导数为零,得:

\[\sum _{n=1}^N \sum _{j=0}^M w_j x_n^{i+j}-\sum _{n=1}^N t_n x_n^i=0\]

变形后即可得所求值.