超参数

学习率(参数更新)

lr学习率

ωt:t时刻网络的参数

wt+1=wtlrlosswtw_{t+1}=w_{t}-lr*\frac{\partial loss}{\partial w_{t}}