华为胡厚崑:中国算力网络标准需统一,硬件、应用接口、数据共享应相互兼容
480 2022-09-26
这个推导可以参考neuralnetworkanddeeplearning.com,上面的过程很详细,甚至有些啰嗦;要注意使用不同误差评估函数,公式的不同,交叉熵可能更方便些,加入正则化因子也是常用手段;如果最后输出使用softmax,也需注意误差的反向传播和一般的sigmoid的不同;另外训练是一个极其耗时的工作,如果自己实现还是需考虑并行或分布式,当然如果只是练练手就简单点。