4.7

考虑一个两层的前瞻 ANN，它具有两个输入 a 和 b，一个隐藏单元 c，和一个输出单元 d。这个网络有五个权值（w_ca，w_cb，w_c0，w_dc，w_d0），其中 w_x0 表示单元 x 的阈值权。先把这些权的值初始化为（0.1，0.1，0.1，0.1，0.1），然后给出使用反向传播算法训练这个网络的前两次迭代中每一次这些权值的值。假定学习速率 $\eta = 0.3$，冲量$\alpha = 0.9$，采用增量的权值更新和以下训练样例：

    a    b    d
    1    0    1
    0    1    0

其中，第三个权值 0.1 和第五个权值 0.1 是阈值权，不在迭代更新范围内。其属于超参数，由人为指定，在迭代过程中保持不变。在某些其他语境中，其被称为偏置值。

在线运行这道题：

在线可视化查看这个 ANN：