基于卷积神经网络的正则化方法

计算机研究与发展ＤＯＩ：１０．７５４４／ｉｓｓｎｌ０００

ＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＲｅｓｅａｒｃｈａｎｄＤｅｖｅｌｏｐｍｅｎｔ

１２３９．２０１４．２０１４０２６６

１９００，２０１４

５１（９）：１８９１

基于卷积神经网络的正则化方法

吕国豪

罗四维

黄雅平蒋欣兰

北京

１０００４４）

（北京交通大学交通数据分析与挖掘北京市重点实验室（１ｖｇｕｏｈａｏ＠ｂｊｔｕ．ｅｄｕ．ｃｎ）

ＡＮｏｖｅｌＲｅｇｕｌａｒｉｚａｔｉｏｎ

Ｍｅｔｈｏｄ

ａ

ａ

Ｂａｓｅｄ

ｏｎ

ＣｏｎｖｏｌｕｔｉｏｎＮｅｕｒａｌＮｅｔｗｏｒｋ

ＬｎＧｕｏｈａｏ，ＬｕｏＳｉｗｅｉ。ＨｕａｎｇＹ耐

Ｘ．¨ｄａｍ

诧ｇ

，

（ＢｅｉｊｉｎｇＫｅｙ

Ｌａｂｏｒａｔｏｒｙ

ｏｆＴｒａｆｆｉｃ

Ｄ以

嗜ｍ，以≯｜Ⅲｎ㈨盯ｄ曙Ｍ

ｉｓ

●Ｂｅ

ｇ

∞＿宝

ｇ

Ｕｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ１０００４４）

ｉｎｖｅｒｓｅ

Ａｂｓｔｒａｃｔ

Ｒｅｇｕｌａｒｉｚａｔｉｏｎ

ｍｅｔｈｏｄ

ｗｉｄｅｌｙ

ｕｓｅｄｉｎ

ｓｏｌｖｉｎｇ

ｔｈｅ

ｐｒｏｂｌｅｍ．Ａｎ

ａｃｃｕｒａｔｅ

ｒｅｇｕｌａｒｉｚａｔｉｏｎｍｏｄｅｌ

ｐｌａｙｓｔｈｅｍｏｓｔ

ｉｍｐｏｒｔａｎｔｐａｒｔｉｎｓｏｌｖｉｎｇｔｈｅｉｎｖｅｒｓｅ

ｐｒｏｂｌｅｍ．Ｔｈｅｅｎｅｒｇｙ

ｃｏｎｓｔｒａｉｎｔｓｓｈｏｕｌｄｂｅｄｉｆｆｅｒｅｎｔｆｏｒｔｈｅｄｉｆｆｅｒｅｎｔｔｙｐｅｓｏｆｉｍａｇｅｓａｎｄｄｉｆｆｅｒｅｎｔｐａｒｔｓｏｆｔｈｅｓａｍｅｉｍａｇｅ，

ｂｕｔｔｈｅｔｒａｄｉｔｉｏｎａｌＬ１ａｎｄＬ２ｍｏｄｅｌｓｕｓｅｄｉｎｔｈｅｆｉｅｌｄｏｆｉｍａｇｅｒｅｓｔｏｒａｔｉｏｎ

ｐｒｉｏｒａｓｓｕｍｐｔｉｏｎ．Ｉｎｔｈｉｓｐａｐｅｒ，ａｃｃｏｒｄｉｎｇｔｏｔｈｅｄｅｆｅｃｔｓｏｆｔｈｅｓｉｎｇｌｅ

ａｒｅ

ｂｏｔｈｂａｓｅｄ

ｏｎ

ａ

ｓｉｎ９１ｅ

ｐｒｉｏｒｉａｓｓｕｍｐｔｉｏｎｉｎｔｒａｄｉｔｉｏｎａｌ

ｒｅｇｕｌａｒｉｚａｔｉｏｎｍｏｄｅｌ，ａｎｏｖｅｌｒｅｇｕｌａｒｉｚａｔｉｏｎｍｅｔｈｏｄｂａｓｅｄａｎｄａｐｐｌｉｅｄ

ｔｏ

ｏｎ

ｃｏｎｖｏｌｕｔｉｏｎｎｅｕｒａｌｎｅｔｗｏｒｋｉｓｐｒｏｐｏｓｅｄ

ｃａｎ

ｉｍａｇｅｒｅｓｔｏｒａｔｉｏｎ，ｔｈｅｒｅｆｏｒｅ，ｔｈｅｉｍａｇｅｒｅｓｔｏｒａｔｉｏｎｂｅｒｅｇａｒｄｅｄ

ａｓａ

ｃｌａｓｓｉｆｉｃａｔｉｏｎ

ｉｓｓｕｅ．Ｉｎｔｈｉｓｍｅｔｈｏｄ，ｔｈｅｉｍａｇｅｉｓｐａｒｔｉｔｉｏｎｅｄｉｎｔｏｓｅｖｅｒａｌｂｌｏｃｋｓ，ａｎｄｔｈｅｃｏｎｖｏｌｕｔｉｏｎｎｅｕｒａｌｎｅｔｗｏｒｋｉｓｕｓｅｄｔｏ

ｅｘｔｒａｃｔ

ａｎｄｃｌａｓｓｉｆｙｔｈｅｆｅａｔｕｒｅｓｏｆｓｕｂｂｌｏｃｋｉｍａｇｅｓ；ｔｈｅｎｔｈｅｄｉｆｆｅｒｅｎｔｆｏｒｍｓｏｆｔｈｅｐｒｉｏｒｉ

ａｒｅ

ｒｅｇｕｌａｒｉｚａｔｉｏｎｃｏｎｓｔｒａｉｎｔｓ

ａｄｏｐｔｅｄｃｏｎｓｉｄｅｒｉｎｇｔｈｅｄｉｆｆｅｒｅｎｔｆｅａｔｕｒｅｓｏｆ

ｎｏ

ｔｈｅｓｕｂｂｌｏｃｋｉｍａｇｅｓ，

ｔｈｅｒｅｆｏｒｅｔｈｅｒｅｇｕｌａｒｉｚａｔｉｏｎｍｅｔｈｏｄｉｓｓｈｏｗｔｈａｔｔｈｅｉｍａｇｅｒｅｓｔｏｒａｔｉｏｎｎｅｔｗｏｒｋ

ａｒｅ

ｌｏｎｇｅｒｌｉｍｉｔｅｄ

ｔｏａ

ｓｉｎｇｌｅｐｒｉｏｒｉａｓｓｕｍｐｔｉｏｎ．Ｅｘｐｅｒｉｍｅｎｔｓ

ｏｎ

ｒｅｓｕｌｔｓｂｙｔｈｅｒｅｇｕｌａｒｉｚａｔｉｏｎｍｅｔｈｏｄｂａｓｅｄ

ａ

ｃｏｎｖｏｌｕｔｉｏｎｎｅｕｒａｌ

ｓｕｐｅｒｉｏｒｔｏ

ｔｈｏｓｅｂｙｔｈｅｔｒａｄｉｔｉｏｎａｌｒｅｇｕｌａｒｉｚａｔｉｏｎｍｏｄｅｌｗｉｔｈ

ｏｎ

ｓｉｎｇｌｅｐｒｉｏｒｉａｓｓｕｍｐｔｉｏｎ．

ｃａｎ

ＴｈｅｒｅｆｏｒｅｔｈｅｒｅｇｕｌａｒｉｚａｔｉｏｎｍｅｔｈｏｄｂａｓｅｄｍａｉｎｔａｉｎｔｈｅｅｄｇｅＫｅｙｗｏｒｄｓ

Ｌ１

ｔｅｘｔｕｒｅ

ｃｏｎｖｏｌｕｔｉｏｎｎｅｕｒａｌｎｅｔｗｏｒｋｂｅｔｔｅｒ

ｒｅｓｔｏｒｅ

ｃｏｓｔ．

ｉｍａｇｅ，

ｃｈａｒａｃｔｅｒｉｓｔｉｃｏｆｔｈｅｉｍａｇｅｎｉｃｅｌｙ，ａｎｄｈａｓｌｏｗｅｒｃｏｍｐｕｔａｔｉｏｎａｌ

ｎｏｒｍｃｏｎｓｔｒａｉｎｔ；ｒｅｇｕｌａｒｉｚａｔｉｏｎ

ｎｏｒｍｃｏｎｓｔｒａｉｎｔ；Ｌ２

ｍｅｔｈｏｄ：ｃｏｎｖｏｌｕｔｉｏｎｎｅｕｒａｌ

ｎｅｔｗｏｒｋ；ｉｍａｇｅｒｅｓｔｏｒａｔｉｏｎ

摘要正则化方法是逆问题求解中经常使用的方法．准确的正则化模型在逆问题求解中具有重要作用．对于不同类型的图像和图像的不同区域，正则化方法的能量约束形式应当不同，但传统的Ｌ、，Ｌ，正则化方法均基于单一先验假设，对所有图像使用同一能量约束形式．针对传统正则化模型ｑ－单一先验假设的缺陷，提出了基于卷积神经网络的正则化方法，并将其应用于图像复原问题．该方法的创新之处在于将图像复原看作一个分类问题，利用卷积神经网络对图像子块的特征进行提取和分类，然后针对不同特征区域采用不同的先验形式进行正则化约束，使正则化方法不再局限于单一的先验假设．实验表明基于卷积神经网络的正则化方法的图像复原结果优于传统的单一先验假设模型．关键词Ｌ－范数约束；Ｌ。范数约束；正则化方法；卷积神经网络；图像复原

中图法分类号ＴＰｌ８

收稿日期基金项目

２０１４０３

２６；修回日期：２０１４

０６

０４

国家自然科学基金项目（６１２７３３６４，６１２７２３５４，６１１０５１１９，６１３００１７６）；北京市自然科学基金项目（４１４２０４３）；中央高校基本科研业务费专项资金项目（２０１１ＪＢＭ０２７，２０１２ＪＢＭ０２７，２０１３ＪＢＭ０１９，２０１４ＪＢＭ０３７）；教育部科技发展中心网络时代科技论文快速共享专项研究资助课题项目（２０１３１１３）

通信作者

黄雅平（ｙｐｈｕａｎｇ＠ｂｊｔｕ．ｅｄｕ．ｃｎ）

计算机研究与发展２０１４，５１（９）

由于逆问题的病态特性，对逆问题的直接求解一般被认为是不适定的，正则化方法是处理逆问题中经常使用的一种方法．在图像复原中，由于图像在成像、传输等过程中都存在着退化（模糊、噪声等），因此，如何从接收到的退化图像中尽可能恢复出原始的清晰图像具有重要的实用价值和研究意义．

对于图像复原，即使是最简单的图像退化模型，其复原过程仍然是一个病态问题．一种解决办法是通过对解空问加以约束，寻求满足一定先验条件的适定解，这一过程称为正则化方法．通过加入约束条件以实现稳定求解的方法最早是由Ｉｖａｎｏｖ＿１０在１９６２年提出的，其基本思想是约束复原图像的能量．同年Ｐｈｉｌｌｉｐｓ。２０提出了类似的方法以及最平滑解的模型．１９６３年，Ｔｉｋｈｏｎｏｖ＿。ｏ提出了求解病态问题的理论并应用于图像复原，即正则化方法，其基本思想是将对复原图像的能量进行约束改为对复原图像中高频成分的能量进行约束，例如，可以选用最简单

的一阶高通滤波器——梯度算子（Ｔｉｋｈｏｎｏｖ方法），

也可使用多阶高通滤波器的滤波结果的组合（Ｐｈｉｌｌｉｐｓ方法）［２］．此后，人们不断对正则化方法进行改进，以提高复原图像的质量，例如，自适应正则化方法。４。５Ｊ、使用Ｌ。范数约束的方法ＴＶ（ｔｏｔａｌｖａｒｉａｔｉｏｎ）模型。６Ｊ、ＴＶ模型的改进算法。７Ｊ、进一步的超稀疏约束（采用０．５～ｏ．８范数）。８Ｊ、统计特性的约束凹。１“、Ｌ。范数和Ｌ。范数的组合口２１等等．此外，一些用于图像复原的滤波器，例如，Ｗｉｅｎｅｒ滤波器［１…、Ｔｉｋｈｏｎｏｖ滤波器［。１等，可以看作是不同正则化方法所对应的能量泛函优化问题的解析解．

上述正则化方法对整幅图像往往采用同一种能量泛函形式．在图１中，图１（ａ）采用Ｌ。范数得到较好的复原效果（即图１（ｄ）优于图１（ｃ）），而图１（ｅ）采用Ｌ。范数得到结果却较差（即图１（ｇ）优于图１（ｈ）），这说明能量泛函的合理形式因图像类型的不同而不同．进一步考虑，对于一个复杂图像中的不同部分也需要使用不同的能量泛函形式，以取得理想的结果．

基于这种想法，本文希望通过对图像内部不同子块的特征进行提取，进而利用提取的特征判断图像子块为纹理区域或平坦区域．针对不同特征区域采用不同的先验形式进行正则化约束，正则化方法不再局限于单一的先验假设．然而，目前广泛使用的特征提取算法（例如Ｈａｒｒｉｓ角点检测Ｅ１４］、ＳＩＦＴ特征［１印）很难完成上述工作，这是因为：

阿罔—◆

ＩＩ

ＬＩ

Ｔ‘ｍｃｍ＇ⅢＩＴｌｌｌｍ：

ＩｈＩ

ｔ

ｒ目ｃｍｃＤｆＨ橱】ｎｔＺ

Ｆｉｇ．１

Ｒｅｓｕｌｔｓｏｆｔｗｏｔｙｐｅｏｆｉｍａｇｅｓｕｓｉｎｇｄｉｆｆｅｒｅｎｔ

ｈｏｒｎ］ｃｏｎｓｔｒａｉｎｔｓ．

图１２类图像使用不同能量泛函形式的复原结果

１）上述特征提取方法所指定的特征点是人为按照一定的规则指定的，所以在图像子块中是否存在满足要求的特征点具有不确定性；

２）即便在图像子块内存在满足要求的特征点，但这些特征点是否能够准确地反映出图像纹理区域和平坦区域的区别还存在不确定性，即根据人为指定的规则提取的特征点是否具有区分图像纹理区域和平坦区域的能力还需要进一步研究．

近年来卷积神经网络（ｃｏｎｖ０１ｕｔｉｏｎａｌ

ｎｅｕｒａｌ

ｎｅｔ—

ｗｏｒｋ，ＣＮＮ）在计算机视觉、图像处理领域得到了广泛的应用．卷积神经网络模型是一种多层神经网络，它起源于共享权值网络（ｓｈａｒｉｎｇ

ｎｅｔｗｏｒｋ）Ｅｌ

ｓｌ

ｗｅｉｇｈｔｓｎｅｕｒａｌ

ｒ］，该模型由于最初主要应用在语音识

ｄｅｌａｙｎｅｕｒａｌ

别中，因此也称时延神经网络（ｔｉｍｅ

吕国豪等：基于卷积神经网络的正则化方法

ｎｅｔｗｏｒｋｓ，ＴＤＮＮｓ）。１…．在图像分析方面，由于时序关系不明显，因此称共享权值网络更为确切．卷积神经网络由两种类型层次组成：卷积层和子采样层，主要特点是位于同一层的所有单元共享相同的权值，检测的特征也相同．这样，这些检测到的特征送人高层时就能够实现平移不变性的特征检测，同时，通过子采样策略保证对畸变不敏感．

卷积神经网络已经成功地应用在人脸检测口”２…、手写体识别‘”１、语音检测‘２“、文本分析‘２…、视频分析‘２。Ｉ、车牌识别‘２４１等领域．另外，Ｌｅｃｕｎ等人‘２５１加入稀疏编码约束改进模型，在多个视觉任务中取得了很好的结果．

基于上述讨论，本文提出了基于卷积神经网络的正则化方法，其基本思想是更改传统正则化方法中对于图像中各个部分服从统一分布的简单假设，寻找出依据图像局部先验的更精确的描述方法．

Ｊｒ

ａｒｇ

Ｊ

Ｊｒ—ａｒｇ

』ｔ０

ｍｉｎ｛¨＿』ｇ

－

ｋ＊Ｊｒ

０。２，

（３）

其中，砂表示某一函数空问，即人们根据先验知识对求解结果进行约束，从而使得复原图像Ｊｒ具有某些特殊的性质，例如Ｊｒ中不可以含有剧烈的大幅度的震荡等．

式（３）是一个有约束（Ｊｒ∈砂）的优化问题，在求解过程中，通过Ｌａｇｒａｎｇｅ乘子法，将其转化为一个无约束的优化问题，即

ｒａｉｎ｛｛；｜｜ｇ

【＿

ｋ＊Ｊｒ

０。２＋告｛Ｊｒ∈妒）｝，（４）

＿

其中，Ａ称为正则化参数，其作用是在解的先验约束和解经过退化后与模糊图像的相似程度之问寻求一种平衡．对于式（４）这样的无约束的优化问题，一般采用Ｌｚ范数约束和Ｌ。范数约束两种方法，也就是本文所称的传统正则化方法．

１．１

Ｌ：范数约束

Ｌｚ范数约束下的正则化方法是基于核空问的

１

图像模糊与复原

图像退化的因素有很多，最简单的退化模型（即

元素（尼是低通滤波器）以高频分量的假设，将对复原图像的能量进行约束改为对复原图像中高频成分的能量进行约束，即

Ｊｒ—ａｒｇ

』

线性移不变模型）可以描述为一个卷积过程，即

ｇ（ｚ，ｙ）一（尼＊Ｊｒ）（ｚ，ｙ）＋８（ｚ，ｙ），

（１）

ｒａｉｎ｛会０９

【＿

ｋ＊Ｊｒ牦＋÷ｌｌ町…．（５）

＿

其中，Ｊｒ表示原始的清晰图像；ｇ表示退化后的图像；卷积核尼也称为点扩散函数，描述图像的模糊过程；８（ｚ，ｙ）表示噪声．

对于式（１）描述的最简单的退化模型（假设８（ｚ，ｙ）一８为独立同分布的高斯加性噪声），图像复原（即由ｇ求得Ｊｒ或Ｊｒ的近似解Ｊｒ）的基本思想是寻找一个复原图像Ｊｒ，使得Ｊｒ经过退化后最接近Ｊｒ，即

１

式（５）可以转化为求解极小化能量泛函的变分问题，进一步利用变分法求解，得到相应的Ｅｕｌａｒ—Ｌａｒａｎｇｅ方程为

Ｆ（Ｗ）＋Ａ（ｇ尼＊Ｊｒ）一０，

（６）

其中，Ｆ（ ）一导＋芸表示散度算子．Ｌ。范数约束模。上Ｕ）

型是一种各向同性的扩散模型，且其扩散系数均为１．这种扩散模型没有反映出沿边缘方向和梯度方向

Ｊｒ—ａｒｇ

ｊ

ｍｉｎ｛｝０９

＿

ｋ＊Ｊｒ

０ｉ．

（２）

扩散的差别，因此在图像复原的同时也使得图像的边缘发生了模糊，但也正是由于Ｌ。范数约束的扩散系数相同，对于图像内部的平坦区域往往能取得较好的复原效果．

１．２

在式（２）中采用了Ｌ。范数的平方（即常用的能量定义方式）来度量Ｊｒ经过退化后与Ｊｒ的接近程度．

但是，如果存在函数Ｌ经过卷积核尼作用后变为０（即（尼＊Ｌ）（ｚ，ｙ）一ｏ），那么Ｊｒ与Ｊｒ＋ｃ Ｌ经过退化后与Ｊｒ的接近程度相同，即式（２）无法对Ｊｒ与卜卜ｃ Ｌ进行区分，即解的不唯一，从而难以得到理想的图像复原结果．为了解决解不唯一的问题，需要对解Ｊｒ加以（先验的）约束，从而对Ｊｒ与Ｊｒ＋ｃ Ｌ进行区分，即正则化方法．例如，从式（２）的解空问中除去Ｌ所在空间，然后进行求解，即

Ｌ，范数约束

采用Ｌ。范数约束的形式对图像进行复原即

ＴＶ模型［…：

Ｊｒ—ａｒｇ

』

ｒａｉｎ｛会０ｇｋ＊Ｊｒ牦＋÷０订忆｝．（７）

【＿

＿

Ｌ。范数约束对复原图像中高频成分能量的约束采用Ｌ。范数的形式．式（７）也可以转化为求解极小化能量泛函的变分问题，进一步利用变分法求解，得到相应的ＥｕｌａｒＬａｒａｎｇｅ方程为

计算机研究与发展２０１４，５１（９）

Ｆ （Ｔ；三■ｖＩ）ｑ－Ａ（ｇ／＼ｌＦＩ

ｋ＊Ｊｒ）一０．～

‘

ｆ８）～。

积神经网络正则化方法通过对不同区域图像块特征的分类，将图像中彼此相邻部分之问的位置关系打破，利用图像块内部的特征进行分类和重组．卷积神经网络正则化方法实质上是对于一副图像中的图像子块寻找有效的特征并对其进行分类，进而根据图像块的有效特征采用不同的正则化约束方式．图２描述了传统正则化方法和卷积神经网络正则化方法的区别：

Ｌ－范数约束仅沿图像梯度ＦＪｒ的正交方向扩散，而朝梯度方向无扩散．对于图像中的每一个像素点Ｌ。范数约束始终存在一个边缘方向和一个梯度方向，这在图像的纹理、边缘区域可以取得很好的复原结果，但在图像的平坦区域得到的边缘方向并不真实存在，此时仍沿边缘方向扩散会导致在平坦区域的噪声抑制不充分，甚至出现虚假边缘，产生阶梯

效应．

２Ｄ

２卷积神经网络正则化方法

（ａ）Ｔｒａｄｉｔｉｏｎａｌｒｅｇｕｌａｒｉｚｅｄｖｉｅｗ

０１１

ｉｍａｇｅｓ

图像复原正则化的本质是人们对于图像性质的一种先验认识．各种不同正则化方法的提出可以看作人们不断地修改或提高先验认识，从而使得其更加逼近图像真实特性的过程．为了寻求对图像先验的更好描述，提高图像复原结果，对于传统的正则化方法，可以从以下２个方面进一步分析和思考：

１）优化传统正则化方法中高通滤波器，更好地区分复原图像中的纹理区域和平坦区域；

２）改进对传统正则化方法中能量泛函形式，使得由该能量泛函形式约束形成的子空问和复原图像所在的子空问尽可能匹配．

已有许多文献对于滤波器的设计进行了研究，提出了多种基于统计或学习的改进滤波器口。１…．本文主要针对２）进行研究，将传统的图像复原问题转化为一个分类问题，利用卷积神经网络对图像的不同子块的特征进行提取和分类，进而针对不同特征区域采用不同的先验形式进行正则化约束．本文采用梯度算子作为滤波器进行分析和实验，理论和实验结果可以方便地推广到其他高阶或复杂的滤波器．

２．１

Ｌ－盼

ｈ●－’一

（ｂ）ＣｏｎｖｏｌｕｔｉｏｎｎｅｕｒａｌｎｅＢｖｏｒｋｒｅｇｕｌａｒｉｚｅｄ

ｖｌｅｖ，ｏｎ

Ｉｍａｇｅｓ

Ｆｉｇ．２

Ｄｉｆｆｅｒｅｎｔｖｉｅｗｓ

ｏｎ

ｉｍａｇｅｓ．

图２不同正则化方法对图像空间的看法

在图２中，传统的正则化方法对图像中的任何图像子块并不加以区分，因此对整张图像使用同一个先验假设，即某一种能量泛函定义方式．而基于卷积神经网络正则化方法认为图像中不同的区域具有不同的特征，同一张图像中相邻的部分可能在卷积神经网络正则化方法上属于不同的范数优化集合，而图像中相距较远的部分也可能在卷积神经网络正则化方法上属于相同的范数优化集合．因此基于卷积神经网络正则化方法根据图像中不同部分的不同特征采用不同的正则约束方法．２．２基于卷积神经网络的正则化模型

基于卷积神经网络正则化的基本思想是将一幅图像视为由若干子块组成，根据子块的局部特征对其采用不同的先验约束形式进行正则化．因此，该方法需要解决２个问题：

１）寻找一种度量方式对图像中不同部分的特征进行度量，进而准确反映图像的纹理和平坦区域

的区别；

卷积神经网络正则化方法的基本思想

传统的正则化方法基于图像各部分服从同一分

布的简单假设，利用式ｆ５）、式（８）将图像各部分不加区别地加以处理限制了图像复原效果．本文提出的基于卷积神经网络正则化方法就是尝试着突破这一假设．卷积神经网络正则化方法不再拘泥于单一的范数约束形式，而是寻求如何更加准确地描述图像中不同区域的特征，并对其采用不同的范数约束形式．在将一幅图像划分成若干子块之后，传统的正则化方法所处理的图像块可以看作被嵌入到根据真实物体的形态结构、位置关系决定的二维平面中，而卷

２）寻找与图像块特征相对应的正则化约束方式进行约束求解，得到复原图像．

吕国豪等：基于卷积神经网络的正则化方法

对于问题１），本文采用卷积神经网络作为特征提取方法，通过使用样本图像对卷积神经网络进行训练，寻找合适的滤波器组合对图像中的不同子块图像特征进行提取并分类．对于问题２），本文采用Ｌ１范数、Ｌ。范数及其线性组合作为正则化约束的泛函定义形式，则卷积神经网络正则化模型可以表示为

本文将卷积神经网络分为特征提取与表达以及特征分类两部分．特征提取与表达部分用来提取适合的特征以助于图像块的分类；特征分类部分对特征提取与表达部分给出的特征进行准确分类．两者相互配合完成对图像内部不同子块的特征分类，指导正则化方法选取适合的先验假设约束形式，具体

介绍如下：

Ｉ—ａｒｇ，ｍ、ｉｎ｛告∑ｌＩｇ。豇＊Ｉ。ｌｌ。２＋

、Ｊ『

ｉ）特征的提取与表达

我们将卷积神经网络中输入层，ｃ１，ｓ２，ｃ３，ｓ４，

（９）

、。

ｉ

∑ｄ。可１０ｖＩ。ｌｌ。２＋ｆ１

ｄ：）０

Ｌ

—

ｖＩ。…｝，

Ｊ

ｃ５层合称为图像子块的特征提取部分，共有５层结构（不包含输入层）．

对于特征提取阶段的卷积神经网络可以看作是由卷积层和子采样层２种结构交替组成的．

卷积和子采样过程如图４所示，包括用一个可训练的滤波器厂。（权值系数叫。的组合）去卷积一个输入的图像（第１阶段为输入的图像，其他阶段为特征图），然后加一个偏置ｂ。，得到卷积层Ｃ。．子采样过程包括将邻域４个像素通过权值系数叫。＋－求加权和变为１个像素，再加上偏置６。＋－，然后通过一个ｓｉｇｍｏｉｄ激活函数，产生特征图ｓ。的１／４大小的特征图Ｓ。＋。．Ｃ层可看作是模糊滤波器，用于提取特征，ｓ层的空间分辨率逐层递减，而每层所含的平面数递增，用于压缩数据并产生更多的信息．

厂。

其中，Ｉ。，ｇ。分别表示图像Ｉ，ｇ的子块，参数ｄ。由图像块ｇ：确定，即ｄ。一瞰（受）（在本文中，ｄ：根据图像块ｇ：的特征（纹理或平坦区域）选取０或ｉ）．２．２．ｉ卷积神经网络

本文采用卷积神经网络对图像复原进行约束，即对于图像中的纹理区域和平坦区域进行分类．图３给出具体的例子：

Ｆｉｇ．３

Ｄｉ｛｛ｅｒｅｎｔ｛ｅａｔｕｒｅｓｏ｛ｄｉ｛｛ｅｒｅｎｔｉｍａｇｅｂｌｏｃｋｓ．

图３同一图像中不同区域的图像特征

在图３中，Ｓｕｒｆ．工对应的图像块包含大量平坦区域，利用Ｌ。范数作为先验约束有助于消除图像的模糊和噪声；而Ｓｕｒｆ．Ⅱ对应的图像块振荡特性明显，使用Ｌ１范数作为先验约束较为合适．因此如何准确地对图像内部不同子块的特征进行分类成为必须解决的问题．

Ｃｌ：８×２８×２８ＦｅａｔｕｒｅＭａｐｓ

Ｓ２：８×１４ｘ１４ＦｅａｔｕｒｅＭａｐｓ

ＩｎｐｕｔＩｍａｇｅＦｉｇ．４

№赫

卜》文自分，

Ｃｏｎｖｏｌｕｔｉｏｎａｎｄｓｕｂｓａｍｐｌｉｎｇｐｒｏｃｅｓｓｉｎｇ

图４卷积和子采样过程

对于一幅图像中的每一个子块图像（３２×３２像素），其处理方式如图５所示：

Ｃ３：２９×ｌＯ×１０ＦｅａｔｕｒｅＭａｐｓ

Ｓ４：２９ｘ５×５

矗螭≯难

Ｆｉｇ．５

Ｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎ

ｏｆｃｏｎｖｏｌｕｔｉｏｎｎｅｕｒａｌｎｅｔｗｏｒｋｒｅｇｕｌａｒｉｚａｔｉｏｎ．

图５卷积神经网络正则化的特征提取

计算机研究与发展２０１４，５１（９）

我们将子块图像中的每一个像素看作神经元，Ｃ１层是一个卷积层，由８个特征图构成，每个特征图是通过一种卷积滤波器提取输入图像的一种特征（８个特征图分别对应８个卷积滤波器）．特征图中每个神经元与输入图像的５×５的区域相连，如图５的Ｃ１部分．这８个５×５的卷积滤波器的权值由训练样本训练得到，且对于一个特征图权值共享．由于不考虑子图的边缘点的滤波结果，特征图的大小为

２８Ｘ２８．

上一个可训练偏置参数，最后通过ｓｉｇｍｏｉｄ函数计算得到，如图５的ｓ２部分．每个神经元的２×２区域互不重叠，因此，Ｓ２中每个特征图为Ｃ１中特征图大小的１／４．

Ｃ３层也是卷积层，它同样通过５×５的卷积核卷积ｓ２层，只是在这里为了简化实验我们使用了一

种５ｘ５的卷积核，得到的特征图只有１０×１０个神经

元，共计由３０个１０ｘ１０大小的特征图构成．值得注意的是，Ｃ３层中的每个特征图连接Ｓ２层中的所有８个或者部分特征图组合，即表示本层的特征图是由上一层提取到的特征图的不同组合通过卷积得到，其组合原则如图６所示．采用组合的原因是为了模拟人眼视觉中底层结构构成的上层更抽象的结构．…一～…‘～……～‘…一‘ｒ～

Ｉ

Ｉ

ｌ

ｌ７

ｌ

土

２

２ＩＨ

一

Ｘ＾置Ｘ

置＾

ｘ

Ｘ

＾＿

■

Ｉ一’’

Ｓ２层是子采样层，有８个１４ｘ１４的特征图．特征图中的每个神经元与Ｃ１中相对应特征图的２ｘ

２

区域相连．Ｓ２层每个神经元的结果由Ｃ１层相邻的４个神经元相加后乘以一个可训练权值参数，再加

ｕ…ｒ，一

口

…

ｉ

』一１．Ｈ１｝ｌ‘！。３。

～’‘ＪＹ●

＿

，

Ｊｕ４●

土１

■

ｌＩ＇一１

口

～‘ｎｊ●一

１１

ｌ王

－』ｌ

ｌ，

ｘ

土２Ｉ冀

Ｚ

—冀

ＺＳ

Ｉ－

ｆ一

２■

ｘｔ

Ｌｒｕ‘Ｌ，。’＿

童

７

童■

ｘ

一

ｉ，

ＸＩ

４ｘ重

，Ｘ

ＩＸ

■

ＸＩ

●量ＤＨ

２

Ｏｌ】丑

●，

ｘｔ

置Ｘ置

Ｘ

量

＿Ｈ冀

Ｘ

葺一

Ｘ

舅★ｔ

置ｘｔＸ

■ｌＸ置一

ｔＸ譬Ｘ

Ｘ置ｘ

ｔ＿Ｈ

舅＾

■

■

ＩＸ

ＩＩ

，【

ｔ

ｔ

ＩＩ

ＸＩ

＾

譬Ｘ

－Ｘ

Ｈ

一

ｘ

ｔ

ｘ

Ｉ

ＸＩＸ

Ｘ＊

６，

曩ＨＨ

＿ｘ虬

——

托

１——－——

一■Ｉ

皇Ｉ

■

—Ｈ爿ＨＨＨ

Ｆｉｇ．６

Ｆｅａｔｕｒｅｃｏｍｂｉｎａｔｉｏｎｏｒｄｅｒ

ＯＦｔ

ｌａｙｅｒＣ３

图６Ｃ３层特征组合方式

Ｓ４层是一个子采样层，与Ｓ２层类似由３０个

５ｘ

５大小的特征图构成．特征图中的每个单元与

Ｃ３层中相应特征图的２ｘ２区域相连接．

Ｃ５层是一个卷积层，有２００个特征图．在这里我们使用了全连接，每个单元与ｓ４层的全部３０个单元的５ｘ５区域相连．Ｃ５层特征图的大小为１×１．

至此原始的３２×３２的图像子块转变为２００维的特征向量，即３２ｘ３２的图像子块用一个２００维的特征向量表示．这样我们就完成了图像的特征提取阶段，应当指出的是特征提取阶段所需的卷积矩阵权值、偏置值均通过训练得到，其依据的算法为扩展的反向传导算法口…，保证了特征提取的客观性．

２）特征的分类

我们将卷积神经网络中隐含层和输出层合称为图像子块的特征分类部分，共有两层结构，如图７所示．

卷积神经网路的特征分类部分使用了成熟的３层结构神经网络模型（这部分很容易用其他分类算法替换）．输出层设计为一个神经元，以完成对Ｌ：范数约束和Ｌ。范数约束的选取．对于这部分权值的学习算法直接利用了经典的ＢＰ学习算法口…．

２．２．２变分梯度流模型

根据卷积神经网络确定图像块ｇ。对应的参数ｄ。后，即可对卷积神经网络正则化模型ｆ如式ｆ９）所示）进行求解，利用变分法可以得到卷积神经网络正则化模型对应的变分梯度下降流：

…‘。ｉ＋掣一芸｛冬∑ＩＩ（ｇ。觅＊Ｊｒ。）ＩＩｕ…

ａｆ

ａ疗【２

吕国豪等：基于卷积神经网络的正则化方法

∑卜圳Ｗ。㈣（１～）ＩＩ％ＩＩ－］）一

军杀｛钏（ｇ。尼乩）㈣

『ｄ。引守Ｌ牦＋（卜ｄ。）ＩＩＷ。ＩＩ。¨

（１０）

可得到相应的数值算法，从而通过迭代对卷积神经网络正则化模型进行近似求解．

３实验及结果分析

在本文的实验中，我们在常用的测试图像（Ｂｏａｔ，Ｌｅｎａ等）和实验室手工拍摄的自然图像中选取４００张基本图像，将图像按３２×３２大小分块，构成７万张原始的清晰图像库；使用上述４００张清晰图像加入模糊核为５×５的高斯模糊和标准差为０．０５的高

（１１）

由于一幅图像被划分为相互独立的图像子块，因此式（１０）可以转化为在彼此孤立的图像块上的扩散过程，即

瓦３Ｌ一杀｛鲁ｌｌ（ｇ。尼＊Ｊｒ。）雌＋

『％钏Ｆ圳＋（卜ｄ。）ＩＩ对。ＩＩ。¨

由变分法可得到式（１１）对应的偏微分方程形式：

斯白噪声构成模糊加噪图像，利用上述分块方法，获得模糊加噪图像库．采用峰值信噪比（ＰＳＮＲ）作为评价标准，对模糊加噪图像库中的每一个图像块分别使用Ｌ。范数约束和Ｌ。范数约束进行图像复原，进而与原始标准图像库中的图像块进行比较，计算其ＰＳＮＲ值，选择使得复原图像结果ＰＳＮＲ值较大的复原方法，作为分类的结果．实验样本库由模糊加噪图像库和对应的Ｌ。，Ｌ。范数分类结果两部分组成．使用Ｌ。范数约束的样本和Ｌ。范数约束的样本比例约为１：１．

在样本库中选择高斯模糊作为模糊形式的主要原因是高斯模糊是一类常见的图像模糊，常用于描

筹一［”州汁ｃ，劫Ｆ （羔）］＋旭，

（１２）

其中，Ａ一尼＋＋ｇ。尼＋＊尼＊Ｊｒ。表示扩散讨程中扩散

源的分布，函数尼＋（ｚ，ｙ）一尼（ｚ，ｙ）称为扩散核尼（ｚ，ｙ）的对偶；尼（ｚ，ｙ）表示函数尼（ｚ，ｙ）的共轭，如果函数尼（ｚ，ｙ）为实函数，那么尼（ｚ，ｙ）一尼（ｚ，ｙ），在本文中，ｄ。根据图像块ｇ。的特征（纹理或平坦区域）选取１或０．采用有限差分法求解偏微分方程（１２），

ＩＩ●：啊卫ＩＩｌＩＩＩ用丑■

５Ｉ№而ｌ疆＿叩

ＣｌＩ

ｔ叫『Ｉｎ

Ｌｎｎ‘ＴＴ口Ｉｎｌ

Ｃｅ》Ｃｕｍｂｉｎ衄ＤｒＬＩ置Ｌｌ

Ｆｉｇ．８

Ｉｆ

Ｉ‘．＂ｒ４Ｎ证譬由哪ｌ啪

Ｂｏａｔ

Ｃｏｍｐａｒｉｓｏｎｏｆｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓ

Ｏｉｌ

ａｎｄＬｅｎａ．

图８测试图像Ｂｏａｔ和Ｌｅｎａ上的实验结果比较

计算机研究与发展２０１４，５１（９）

述光学成像仪器设备所产生的模糊，也是视觉成像中金字塔模型的基础．高斯模糊具有指数阶频率衰减速度，相比其他模糊类型，例如运动模糊、聚焦不准等，高斯模糊更难进行复原．

选取ＰＳＮＲ的原因是ＰｓＮＲ计算简便，且可根据需要变更为信噪比（ＳＮＲ）、均方根误差（ＭＳＥ）或其组合形式．

从样本库中抽取６万张图像作为训练样本库，１万张图像作为测试样本库．为了简化泛函形式以便于计算，ｄ。只取０或１，即在不同的图像子块中只选择Ｌ１范数和Ｌ。范数约束之一．

３．１

对训练样本的拟合程度为９７．６４％．我们在常用的测试图像上进行实验，并同Ｌｚ范数约束。。ｏ、Ｌ－范数约束。６。和Ｌ－范数和Ｌｚ范数的组合。１２。进行了对比，结果如图８所示．

对测试图像库中的常用图像进行数值比较，采用ＭＳＥ，ＳＮＲ，ＰＳＮＲ评价图像复原的结果，如表１所示．

对于ＭＳＥ值越小表示复原图像和原始清晰图像差别越小；ＳＮＲ，ＰＳＮＲ刚好相反，即值越大越好．从图８和表１可以看出，卷积神经网络正则化方法取得了理想的复原结果．可见，相对于滤波器的优化，能量泛函形式的优化更为重要．

针对实验室采集的自然图像，卷积神经网络正则化和Ｌ－范数约束以及Ｌ。范数约束方法进行对比实验的实验结果如图９所示．

实验结果比较与分析

本文选取高斯模糊进行实验，即点扩散函数选

５，卷积神经网络步

为高斯函数，卷积核大小为５

ｘ

长为１，重复迭代１００次，经过训练后卷积神经网络

Ｔａｂｌｅ１

ＣｏｍｐａｒｉｓｏｎｏｆＤｉｆｆｅｒｅｎｔＲｅｓｔｏｒａｔｉｏｎＲｅｓｕｌｔｓ

表１不同复原方法的复原结果数值比较

【—Ｊｊ盛宣ｄ

＿，Ｉ＇ｊ＿Ｉｎ一哪掣

ｂ

ＢＩ州ｎＩＩｎｒ－－＿

ｌ銮蚕

ｊＩ衄二ｊ■

ＣｏｍｐａｒｉｓｏｎｏｆＣＮＮｒｅｇｕｌａｒｉｚａｔｉｏｎａｎｄｔｒａｄｉｔｉｏｎａｌｓｉｎｇｌｅｆｕｎｃｔｉｏｎａｌｃｏｎｓｔｒａｉｎｔ

Ｆｉｇ．９

图９卷积神经网络正则化方法和传统单一泛函约束方法的比较

吕国豪等：基于卷积神经网络的正则化方法

１８９９

从图９可以明显看出卷积神经网络正则化方法的优势，图中不同特征的图像块都得到了有效的复原，使得复原图像更加自然，从而克服了传统正则化方法“顾此失彼”的缺陷．３．２计算代价分析

使用Ｌ１约束或Ｌ。约束进行图像复原时时间复

杂度为Ｏ（ｎ３），其中咒表示图像子块像素数大小．本

［５］

Ｌｉｕ

Ｐｅｎｇ，Ｚｈａｎｇ

ｉｍａｇｅｓ

Ｙａｎ，Ｍａｏ

Ｚｈｉｇａｎｇ．ｂｙ

Ａｒｅｓｔｏｒａｔｉｏｎ

ａｌｇｏｒｉｔｈｍｆｏｒＪｏｕｒｎａｌｏｆ

ｃｏｎｔａｍｉｎａｔｅｄ

ｉｍｐｕｌｓｅ

ｎｏｉｓｅ口］．

ＣｏｍｐｕｔｅｒＲｅｓｅａｒｃｈａｎｄＤｅｖｅｌｏｐｍｅｎｔ，２００６，４３

（１１）：１９３９１９４６（ｉｎＣｈｉｎｅｓｅ）

（刘鹏，张岩，毛志刚．一种脉冲噪声图像复原算法［Ｊ］．计算机研究与发展，２００６，４３（１１）：１９３９

Ｆ６］

１９４６）

ＲｕｄｉｎＬ，ＯｓｈｅｒＳ，ＦａｔｅｍｉＥ．Ｎｏｎｌｉｎｅａｒｔｏｔａｌｖａｒｉａｔｉｏｎｂａｓｅｄｎｏｉｓｅ

ｒｅｍｏｖａｌ

ａｌｇｏｒｉｔｈｍｓ［Ｊ］．Ｐｈｙｓｉｃａ

９

Ｄ：

Ｎｏｎｌｉｎｅａｒ

Ｐｈｅｎｏｍｅｎａ，１９９２，６０（１）：２５

２６８

ａ

文提出的方法可以对独立的图像块分别进行操作，且图像子块像素数远小于一幅图像的像素数，为此，其计算复杂度和迭代稳定性均远优于不分块图像的时问复杂度．另外，考虑到在图像分块后，图像子块的复原可以并行处理，其计算代价可进一步降低．不足之处主要表现在卷积神经网络需要预先学习，学习是需要消耗时问的，但是这些学习过程可以离线训练，对于真正在线的复原过程没有影响．

［７］

ＭａｒｑｕｉｎａＡ，ＯｓｈｅｒＳ．Ｅｘｐｌｉｃｉｔａｌｇｏｒｉｔｈｍｓｆｏｒ

ｄｅｐｅｎｄｅｎｔｍｏｄｅｌｂａｓｅｄｄｅｂｌｕｒｒｉｎｇａｎｄｎｏｉｓｅ

ｏｎ

ｎｅｗｔｉｍｅｎｏｎｌｉｎｅａｒ

ｌｅｖｅｌ

ｓｅｔ

ｍｏｔｉｏｎｆｏｒ

ｒｅｍｏｖａｌ口］．ＳＩＡＭＪｏｕｒｎａｌｏｆＳｃｉｅｎｔｉｆｉｃ

４０５

ａ

Ｃｏｍｐｕｔｉｎｇ，２０００，２（２２）：３８７

Ｉｓ］

ＬｅｖｉｎＡ，ＦｅｒｇｕｓＲ，ＤｕｒａｎｄＦ，ｅｔａ１．ｈｎａｇｅａｎｄｄｅｐｔｈｆｒｏｍｃｏｎｖｅｎｔｉｏｎａｌｃａｍｅｒａｗｉｔｈ

ｏｎ

ａ

ｃｏｄｅｄ

ａｐｅｒｔｕｒｅ［Ｊ］．ＡＣＭＴｒａｎｓ

Ｇｒａｐｈｉｃｓ，２００７，２６（３）：７０１

７０９

ｕｓｉｎｇｉｍａｇｅｓｔａｔｉｓｔｉｃｓ

ｏｎ

［９］ＬｅｖｉｎＡ．ＢｌｉｎｄｍｏｔｉｏｎｄｅｂｌｕｒｒｉｎｇＬＣＪ

／／Ｐｒｏｃ

ｏｆｔｈｅ２０ｔｈＡｎｎｕａｌＣｏｎｆ

Ｎｅｕｒａｌ

Ｉｎｆｏｒｍａｔｉｏｎ

Ｐｒｏｃｅｓｓｉｎｇ

Ｓｙｓｔｅｍｓ．Ｃａｍｂｒｉｄｇｅ，ＣＭ：ＭＩＴ，２００６：８４１８４８

４

结论

［１０］ＳｈａｎＱ，］ｉａＪ，ＡｇａｒｗａｌａＡ．Ｈｉｇｈｑｕａｌｉｔｙｍｏｔｉｏｎｄｅｂｌｕｒｒｉｎｇｆｒｏｍ

ａ

ｓｉｎｇｌｅ８３

ｉｍａｇｅ口］．ＡＣＭＴｔａｎｓ

ｏｎ

Ｇｒａｐｈｉｃｓ，２００８，２７

（３）：７３

本文通过应用卷积神经网络对自然图像中不同区域（一般为图像子块）特征进行有效标识，并建立该特征与（合理的）能量泛函形式之问的一种对应关系，以构建一种以图像局部特征为基础的正则化方法．

寻找能合理标识图像块特征的方法是卷积神经网络正则化方法取得好的复原效果的关键．除了使用卷积神经网络方法之外，我们将尝试一些以图像分割为特征的指标，例如分形维数等．如何寻找更加有效的特征，标识不同图像区域的类型，建立特征与能量泛函形式之问的合理关系，从而改进和提高已有方法，这些是我们继续研究的目标．

［１１］

ＺｈｕＳ

Ｃ，Ｍｕｍｆｏｒｄ

Ｄ．Ｐｒｉｏｒ

ｏｎ

ｌｅａｒｎｉｎｇ

ａｎｄｇｉｂｂｓｒｅａｃｔｉｏｎ

ａｎｄ

ｄｉｆｆｕｓｉｏｎ［Ｊ］．１ＥＥＥＴｒａｎｓＰａｔｔｅｒｎＡｎａｌｙｓｉｓＭａｃｈｉｎｅ

Ｉｎｔｅｌｌｉｇｅｎｃｅ，１９９７，１９（１１）：１２３６１２５０

［１２］ＬｕＣｈｅｎｇｗｕ，ＨｕａｎｇＨｕａ．ＴＶ＋ＴＶ２ｒｅｇｕｌａｒｉｚａｔｉｏｎｗｉｔｈ

ｎｏｎｃｏｎｖｅｘ

ｓｐａｒｓｅｎｅｓｓ

ｉｎｄｕｃｉｎｇｐｅｎａｌｔｙｆｏｒｉｍａｇｅｒｅｓｔｏｒａｔｉｏｎ

口］．ＭａｔｈｅｍａｔｉｃａｌＰｒｏｂｌｅｍｓｉｎＥｎｇｉｎｅｅｒｉｎｇ，２０１４，３（１１）：

』』０

［１３］Ｈｏｎｉｇ

Ｍ

Ｌ，

Ｇｏｌｄｓｔｅｉｎ

Ｊ

Ｓ．

ｏｎ

Ａｄａｐｔｉｖｅ

ｒｅｄｕｃｅｄｒａｎｋ

ｉｎｔｅｒｆｅｒｅｎｃｅｓｕｐｐｒｅｓｓｉｏｎｂａｓｅｄ

ｔｈｅｍｕｈｉｓｔａｇｅ

Ｗｉｅｎｅｒｆｉｌｔｅｒ

＿Ｊ］．１ＥＥＥＴｒａｎｓ

９９４

ｏｎ

Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，２００２，５０（６）：９８６

［１４］

ＭｉｋｏｌａｊｃｚｙｋＫ，ＳｃｈｍｉｄＣ．Ｓｃａｌｅ＆ａｆｆｉｎｅｉｎｖａｒｉａｎｔｉｎｔｅｒｅｓｔ

ｐｏｉｎｔ

ｄｅｔｅｃｔｏｒｓ口］．Ｉｎｔｅｒｎａｔｉｏｎａｌ

Ｊｏｕｒｎａｌ

ｏｆ

Ｃｏｍｐｕｔｅｒ

Ｖｉｓｉｏｎ，２００４，６０（１）：６３８６

［１５］ＬｏｗｅＤＧ．Ｄｉｓｔｉｎｃｔｉｖｅｉｍａｇｅｆｅａｔｕｒｅｓ

ｆｒｏｍｓｃａｌｅｉｎｖａｒｉａｎｔ

Ｖｉｓｉｏｎ，

参考文献

［１６］

ｋｅｙｐｏｉｎｔｓ［Ｊ］．ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆ

２００４，６０（２）：９１１１０ＬｅＣｕｎ

Ｙ，Ｂｏｔｔｏｕ

ｔｏ

Ｃｏｍｐｕｔｅｒ

Ｌ，Ｂｅｎｇｉｏｄｏｃｕｍｅｎｔ

Ｙ，ｅｔ

ａ１．Ｇｒａｄｉｅｎｔｂａｓｅｄ

［１］

ｌｖａｎｏｖＶＫ．Ｏｎｌｉｎｅａｒ

ｉｌｌｐｏｓｅｄ

ｐｒｏｂｌｅｍｓ［Ｊ］．Ｄｏｋｌ

２７２ｔｈｅ

ｎｍｎｅｒｉｃａｌ

Ａｋａｄ

ｌｅａｒｎｉｎｇａｐｐｌｉｅｄ

ｒｅｃｏｇｎｉｔｉｏｎ口］．Ｐｒｏｃｅｅｄｉｎｇｓｏｆ

２３２４Ｓ，

ｅｔ

ＮａｕｋＳＳＳＲ，１９６２，１４（１４５）：２７０

ｔｈｅ１ＥＥＥ，１９９８，８６（１１）：２２７８

ｓｏｌｕｔｉｏｎ

ｏｆ

［２］

Ｐｈｉｌｌｉｐｓ

ＤＬ．Ａ

ｔｅｃｈｎｉｑｕｅ

ｆｏｒ

［１７］

ＬｅＣｕｎＹ，ａｐｐｌｉｅｄ

ｔｏ

Ｂｏｓｅｒ

Ｂ，ＤｅｎｋｅｒＪ

ｚｉｐ

ａ１．

Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ

ｃｅｒｔａｉｎｉｎｔｅｇｒａｌｅｑｕａｔｉｏｎｓｏｆｔｈｅｆｉｒｓｔｋｉｎｄ［Ｊ］．Ｊｏｕｒｎａｌｏｆｔｈｅ

ｈａｎｄｗｒｉｔｔｅｎ

ｃｏｄｅ

５５１

ｒｅｃｏｇｎｉｔｉｏｎ［Ｊ］．Ｎｅｕｒａｌ

ＡＣＭ，１９６２，９（１）：８４９７

［３］

ＴｉｋｈｏｎｏｖＡＮ．ＯｎｔｈｅＳｏｌｕｔｉｏｎｏｆ１１１ｐｏｓｅｄＰｒｏｂｌｅｍｓａｎｄｔｈｅ

Ｃｏｍｐｕｔａｔｉｏｎ，１９８９，１（４）：５４１

［１８］

ＳｅｊｎｏｗｓｋｉＴ，ＲｏｓｅｎｂｅｒｇＣＲ．Ｐａｒａｌｌｅｌｎｅｔｗｏｒｋｓｔｈａｔｌｅａｒｎ

ｐｒｏｎｏｕｎｃｅ

ｔｏ

Ｍｅｔｈｏｄｏｆ

Ｒｅｇｕｌａｒｉｚａｔｉｏｎ［Ｍ］．Ｐｒｏｖｉｄｅｎｃｅ：Ａｍｅｒｉｃａｎ

Ｅｎｇｌｉｓｈ

ｔｅｘｔ［Ｊ］．ＣｏｍｐｌｅｘＳｙｓｔｅｍｓ，１９８７，１（１）：

ＭａｔｈｅｍａｔｉｃａｌＳｏｃｉｅｔｙＰｒｅｓｓ，１９６３：１０３５１０３８

［４］

Ｐａｃｅ

Ｄ，ＡｙｌｗａｒｄＳ，Ｎｉｅｔｈａｍｍｅｒ

ｏｎ

１４５

ａｄａｐｔｉｖｅ

ｉ６８

Ｍ．Ａ

ｌｏｃａｌｌｙ［１９］

ＴｉｖｉｖｅＦＨＣ，ＢｏｕｚｅｒｄｏｕｍＡ．Ａｎｅｗｃｌａｓｓｏｆｃｏｎｖ０１ｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓ（ＳＩＣｏＮＮｅｔｓ）ａｎｄｔｈｅｉｒａｐｐｌｉｃａｔｉｏｎｏｆ

ｆａｃｅ

ｒｅｇｕｌａｒｉｚａｔｉｏｎｂａｓｅｄｉｍａｇｅｒｅｇｉｓｔｒａｔｉｏｎ

ｏｆ

ａｎｉｓｏｔｒｏｐｉｃ

ｄｉｆｆｕｓｉｏｎｆｏｒｄｅｆｏｒｍａｂｌｅ

Ｔｒａｎｓ

ｏｎ

ｓｌｉｄｉｎｇｏｒｇａｎｓ［Ｊ］．１ＥＥＥｄｅｔｅｃｔｉｏｎ［ｃ］／／Ｐｒｏｃ

ｏｆｔｈｅＩｎｔ

Ｊｏｉｎｔ

Ｃｏｎｆ

ｏｎ

Ｎｅｕｒａｌ

ＭｅｄｉｃａｌＩｍａｇｉｎｇ，２０１３，３２（１１）：２１１４２１２６

Ｎｅｔｗｏｒｋｓ．Ｐｉｓｃａｔａｗａｙ，ＮＪ：１ＥＥＥ，２００３：２１５７

２１６２

１９００

Ｅ２０］ＣｈｅｎＹｉｎｇｎｉｎｇ，ＨａｎＣｈｉｎｃｈｕａｎ，ＷａｎｇＣｈｅｎｇｔｚｕ，ｅｔａ１．Ｔｈｅ

ａｐｐｌｉｃａｔｉｏｎｏｆａ

ｃｏｎｖｏｌｕｔｉｏｎｎｅｕｒａｌ

ｎｅｔｗｏｒｋｏｎ

ｆａｃｅａｎｄ

ｌｉｃｅｎｓｅｐｌａｔｅ

ｄｅｔｅｃｔｉｏｎ［ｃ］／／Ｐｒｏｃｏｆ

ｔｈｅ１８ｔｈ

ＩｎｔＣｏｎｆ

ｏｎ

ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥ，２００６：５５２

５５５

Ｅ２１］

ＳｕｋｉｔｔａｎｏｎＳ，ＳｕｒｅｎｄｒａｎＡＣ，ＰｌａｔｔＪＣ，ｅｔａ１．Ｃｏｎｖ０１ｕｔｉｏｎａｌｎｅｔｗｏｒｋｓｆｏｒｓｐｅｅｃｈ

ｄｅｔｅｃｔｉｏｎ［ｃ］／／Ｐｒｏｃｏｆｔｈｅ８ｔｈＩｎｔＣｏｎｆ

ｏｎ

ＳｐｏｋｅｎＬａｎｇｕａｇｅ．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥ，２００４：１０７７

１０８０

［２２］

Ｓｉｍａｒｄ

Ｐ，ＳｔｅｉｎｋｒａｕｓＤ，ＰｌａｔｔＪ

Ｃ．Ｂｅｓｔ

ｐｒａｃｔｉｃｅｓ

ｆｏｒ

ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌ

ｎｅｔｗｏｒｋｓ

ａｐｐｌｉｅｄ

ｔｏ

ｖｉｓｕａｌｄｏｃｕｍｅｎｔ

ａｎａｌｙｓｉｓ［ｃ］／／Ｐｒｏｃｏｆｔｈｅ７ｔｈＩｎｔＣｏｎｆｏｎ

ＤｏｃｕｍｅｎｔＡｎａｌｙｓｉｓ

ａｎｄＲｅｃｏｇｎｉｔｉｏｎ．Ｐｉｓｃａｔａｗａｙ，ＮＪ：１ＥＥＥ，２００３：９５８

９６２

［２３］

ＭｏｂａｈｉＨＨ，ＣｏｌｌｏｂｅｒｔＲ，ＷｅｓｔｏｎＪ．Ｄｅｅｐｌｅａｒｎｉｎｇｆｒｏｍ

ｔｅｍｐｏｒａｌｃｏｈｅｒｅｎｃｅｉｎ

ｖｉｄｅｏ［ｃ］／／Ｐｒｏｃｏｆｔｈｅ２６ｔｈＡｎｎｕａｌ

ＩｎｔＣｏｎｆｏｎ

ＭａｃｈｉｎｅＬｅａｒｎｉｎｇ．Ｎｅｗ＂Ｙｏｒｋ：ＡＣＭ，２００９：

７３７７４４

［２４］ＺｈａｏＺｈｉｈｏｎｇ，ＹａｎｇＳｈａｏｐｕ，ＭａＺｅｎｇｑｉａｎｇ．Ｌｉｃｅｎｓｅｐｌａｔｅ

ｃｈａｒａｃｔｅｒｒｅｃｏｇｎｉｔｉｏｎｂａｓｅｄｏｎ

ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ

ＬｅＮｅｔ５口］．ＪｏｕｒｎａｌｏｆＳｙｓｔｅｍＳｉｍｕｌａｔｉｏｎ，２０１０，２２（３）：

６３８

６４１（ｉｎＣｈｉｎｅｓｅ）

（赵志宏，杨绍普，马增强．基于卷积神经网络ＬｅＮｅｔ＿５的车牌字符识别研究［Ｊ］．系统仿真学报，２０１０，２２（３）：６３８

６４１）

［２５］

ＲａｎｚａｔｏＹ

Ｍ，ＢｏｕｒｅａｕＬ，ＬｅＣｕｎＹ．Ｓｐａｒｓｅｆｅａｔｕｒｅｌｅａｒｎｉｎｇ

ｆｏｒｄｅｅｐｂｅｌｉｅｆ

ｎｅｔｗｏｒｋｓ［Ｊ］．ＡｄｖａｎｃｅｓｉｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎ

ＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ，２００７，２０：１１８５

１１９２

［２６］ｊｉＳｈｕｉｗａｎｇ，ＸｕＷｅｉ，ＹａｎｇＭｉｎｇ，ｅｔａ１．３Ｄｃｏｎｖｏｌｕｔｉｏｎａｌ

ｎｅｕｒａｌｎｅｔｗｏｒｋｓ

ｆｏｒ

ｈｕｍａｎ

ａｃｔｉｏｎｒｅｃｏｇｎｉｔｉｏｎ

ＬＪＪ．ＩＥＥＥ

Ｔｒａｎｓ

ｏｎ

ＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄ

ＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，２０１３，

３５（１）：２２１

２３１

［２７］ＳａｄｅｇｈｉＢＨＭ．ＡＢＰｎｅｕｒａｌｎｅｔｗｏｒｋｐｒｅｄｉｃｔｏｒｍｏｄｅｌｆｏｒ

ｐｌａｓｔｉｃ

ｉｎｊｅｃｔｉｏｎｍｏｌｄｉｎｇｐｒｏｃｅｓｓ［Ｊ］．Ｊｏｕｒｎａｌ

ｏｆ

Ｍａｔｅｒｉａｌｓ

ＰｒｏｃｅｓｓｉｎｇＴｅｃｈｎｏｌｏｇｙ，２０００，１０３（３）：４１１４１６

计算机研究与发展２０１４，５１（９）

基于卷积神经网络的正则化方法

作者：作者单位：刊名：英文刊名：年，卷(期)：

吕国豪， 罗四维， 黄雅平， 蒋欣兰， Lü Guohao， Luo Siwei， Huang Yaping， Jiang Xinlan北京交通大学交通数据分析与挖掘北京市重点实验室 北京 100044计算机研究与发展

Journal of Computer Research and Development2014,51(9)

引用本文格式：吕国豪.罗四维.黄雅平.蒋欣兰.Lü Guohao.Luo Siwei.Huang Yaping.Jiang Xinlan 基于卷积神经网络的正则化方法[期刊论文]-计算机研究与发展 2014(9)

本文来源：https://www.bwwdw.com/article/11o1.html