1. 权重值衰减系数（weight decay）
L2正则表达式化的目地便是以便让权重值衰减系数到更小的值，在一定水平上降低实体模型过拟合的难题，因此权重值衰减系数也叫L2正则表达式化。
1.1 L2正则表达式化与权重值衰减系数系数
L2正则表达式化便是在成本涵数后边加上上一个正则表达式化项：
在其中C0意味着初始的成本涵数，后边那一项便是L2正则表达式化项，它是那样来的：全部主要参数w的平方的和，除以训炼集的样版尺寸n。λ便是正则表达式项系数，衡量正则表达式项与C0项的比例。此外也有一个系数1/2，1/2 1/211常常会见到，关键是以便后边求导的結果便捷，后边那一项求导会造成一个2，与1/2相乘恰好凑整为1。系数λ便是权重值衰减系数系数。
1.2 为何能够对权重值开展衰减系数
大家对添加L2正则表达式化后的成本涵数开展推导，先求导：
能够发觉L2正则表达式化项对b的升级沒有危害，可是针对w的升级有危害：
不在应用L2正则表达式化时，求导結果中w前系数为1，如今w前边系数为1-ηλ/n，由于η、λ、n全是正的，因此1-ηλ/n低于1，它的实际效果是减少w，这也便是权重值衰减系数（weight decay）的来历。自然考虑到到后边的导数项，w最后的值将会扩大也将会减少。
此外，必须提一下，针对根据Mini-BATch的任意梯度降低，w和b升级的公式计算紧跟面得出的有点儿不一样：
比照上边w的升级公式计算，能够发觉后边那一项发生变化，变为全部导数加和，乘以η再除以m，m是一个mini-batch中样版的数量。
1.3 权重值衰减系数（L2正则表达式化）的功效
功效：权重值衰减系数（L2正则表达式化）能够防止实体模型过拟合难题。
思索：L2正则表达式化项有让w缩小的实际效果，可是为何w缩小能够避免过拟合呢？
基本原理：（1）从实体模型的繁杂度上表述：更小的权值w，从某类实际意义上说，表明互联网的繁杂度更低，多数据的拟合更强（这一规律也称为奥卡姆剃刀），而在具体运用中，也认证了这一点，L2正则表达式化的实际效果通常好过没经正则表达式化的实际效果。（2）从数学课层面的表述：过拟合的情况下，拟合涵数的系数通常十分大，为何？以下图所显示，过拟合，便是拟合涵数必须顾虑每个点，最后产生的拟合涵数起伏非常大。在一些不大的区段里，涵数值的转变很强烈。这就寓意着涵数在一些住宅小区间里的导标值（肯定值）十分大，因为变量值不大不小，因此仅有系数充足大，才可以确保导标值非常大。而正则表达式化是根据管束主要参数的范数使其不必很大，因此能够在一定水平上降低过拟合状况。
2. 学习培训率衰减系数（learning rate decay）
在训炼实体模型的情况下，一般会碰到这类状况：大家均衡实体模型的训炼速率和损害（loss）后挑选了相对性适合的学习培训率（learning rate），可是训炼集的损害降低到一定的水平后也不在降低了，例如training loss一直在0.7和0.9中间往返波动，不可以进一步降低。以下图所显示：
碰到这类状况一般能够根据适度减少学习培训率（learning rate）来完成。可是，减少学习培训率又会增加训炼需要的時间。
学习培训率衰减系数（learning rate decay）便是一种能够均衡这二者中间分歧的处理计划方案。学习培训率衰减系数的基本观念是：学习培训率伴随着训炼的开展慢慢衰减系数。
学习培训率衰减系数基本有二种完成方式：
线形衰减系数。比如：每过五个epochs学习培训率递减。
指数值衰减系数。比如：伴随着迭代更新轮数的提升学习培训率全自动产生衰减系数，每过五个epochs将学习培训率乘以0.9998。实际优化算法以下：
decayed_learning_rate=learning_rate*decay_rate^(global_step/decay_steps)
在其中decayed_learning_rate为每一轮提升时应用的学习培训率，learning_rate为事前设置的原始学习培训率，decay_rate为衰减系数系数，decay_steps为衰减系数速率。
Reference：
（1）学习培训率衰减系数一部分內容和照片（learning rate decay）
（2）神经系统互联网学习培训率（learning rate）的衰减系数
有关阅读文章
用做生意参谋长看店面权重值和提高权重值的方式
针对一个淘宝网初学者来讲，在学习培训的全过程中“权重值”这一词毫无疑问不容易觉得生疏，权重值能给一款商品产生很多的总流量，同时也是完全免费的。他既关键又
淘宝网长图加权重值吗？有哪些用？
危害淘宝网权重值的要素十分之多，想提高权重值十分艰难，许多朋友都会资询淘宝网长图是不是能够提升权重值，以便尽早的回应大伙儿的难题，网编搜集了很
权重值传送与网站表明的关联。怎样跟百度搜索表明网站是特性
在绿萝优化算法出去以前，许多做SEO的朋友都了解在发外链的情况下发觉多做重要词锚点链接是能够把网站这一个词句排行提升上去，因此那时候候流
手淘拍立淘有权利重吗？怎样运用拍立淘？
拍立淘是手机上淘宝网上放照片检索产品的一个作用，简易点来讲便是照相买东西，拍入你所感要的相片或是插进你要要的相片便可以检索产品，例如
amazon归类文件目录递交网站实例教程 提高百度权重
amazon归类文件目录是国际性高权重值的归类文件目录网站，全人力编写的技术专业归类文件目录网站,百度收录中国外,各制造行业出色网站。因此大家在amazon归类文件目录
赞() 共享到: