Hebbian规则和Oja's规则有什么区别

Hebbian规则和Oja's规则都是基于赫布理论的学习方法，但它们在实现上有所不同。

Hebbian规则是一种基本的神经元学习规则，它基于神经元之间的相关性来更新它们之间的连接权重。如果神经元i和神经元j在同一时刻活跃，那么它们之间的连接权重将会增加。具体来说，Hebb学习规则可以表示为：Δw_ {ij} = η \cdot x_i \cdot x_j，其中Δw_ {ij}表示权重的变化量，η是学习率，x_i和x_j是神经元i和神经元j的输出。"Hebbian Learning的定义，也即：Hebb学习规则是一种基本的神经元学习规则，它指出了神经元之间的连接强度如何随时间变化。"7

Oja's规则是Hebb规则的一种改进，它通过引入归一化过程来防止过拟合，提高模型的泛化能力。Oja规则对Hebb规则进行了调整，简单来说就是对Hebb规则做normalization，这个想法也比较容易想，因为L2范数通常会被用来做优化目标函数的正则化项。"oja 就提出了自己对于Hebb rule的调整：这个调整简单来说就是对Hebb rule做normalization"1。Oja's rule还使用了基于权重平方之和的方法，称为"multiplicative normalization"，其更新规则为ωi = (∑j=1m [ωj +ηyxj]p)1/pωi + ηyxi，其中p=2。"Oja’s rule. 除了基于权重之和的归一化方法，还有一种方法就是基于权重平方之和的方法，称为"multiplicative normalization""5。

总的来说，Hebbian规则侧重于通过增强同时活跃的神经元之间的连接来学习，而Oja's规则在此基础上引入了归一化机制，以提高学习过程的稳定性和模型的泛化能力。