欢迎访问一起赢论文辅导网
本站动态
联系我们

手机:15327302358
邮箱:peter.lyz@163.com

Q Q:
910330594  
微信paperwinner
工作时间:9:00-24:00

SCI期刊论文
当前位置:首页 > SCI期刊论文
基于渐进式双网络模型的低曝光图像增强方法
来源:一起赢论文网     日期:2021-10-01     浏览数:508     【 字体:

 第44 第2期2021 年2 月计 算机 学 报CHINESEJOURNALOFCOMPUTERSVol .44No.2Feb. 2021基于渐进式双网络模型的低曝光图像增强方法黄淑英1 5胡 威2 )杨 勇2 )李红霞3 )汪 斌3 )1 :)(天津工业大学计算机科学与技术学院 天津 300 38 7)2 )( 江西财经大学信息管理学院 南昌 3300 32)3 )( 江西财经大学软件与物联网工程学院 南昌 330 03 2)摘 要 传统的图像增强方法对低曝光图像进行增强时, 通常只考虑到了亮度的提升, 忽略了增强过程中带来的噪声放大问题.而当前基于深度学习的方法利用端到端的网络直接学习低曝光图像到正常图像的映射关系, 忽略了低曝光图像形成的物理原理, 也没有考虑解决噪声放大的问题. 针对上述问题, 本文通过对图像降质的本质原因进行分析, 提出一种基于渐进式双网络模型的低曝光图像增强方法, 该方法包含图像增强模块以及图像去噪模块两个部分. 对每个模块的构建也采用了渐进式的思想, 考虑了图像由暗到亮的亮度变化, 以及从粗到细的图像恢复过程, 使增强后的结果更接近真实图像. 为了更好地训练网络, 本文构建了一种双向约束损失函数, 从图像降质模型的正反两个方向使网络学习结果逼近真实数据, 达到动态平衡.为了验证本文方法的有效性, 本文与一些主流的方法从主观和客观两方面进行了实验对比, 实验结果证明了本文方法得到的结果更接近真实图像, 获得了更优的性能指标.关键词 低曝光图像增强; 渐进式; 双网络; 双向约束损失函数中图法分类号TP391DOI号10. 1 189 7/SP.J. 101 6. 2021 .00384ALow-ExposureImageEnhancementBasedonProgressiveDualNetworkModelHUANGShu Yi ng15HUWei2)YANGYong2)LIHongXia3 )WANGBi n3 )1:){SchoolofComputerScienceandTechnologyTiangongUniversi ty?Tianjin300387)2){ SchoolofInformat ionManagement?JiangxiUni versi tyofFinanceandEconomi cs^Nanchang330032)3 ){SchoolofSoft wareandInierneiofThi ngsEngineering?JiangxiUni versi tyofFi nanceandEconomi cs?Nanchang330032)AbstractWhenthetraditi onali mageenhancementmethodsenhancedthelowexposurei mage,theyusual l yj ustconsi deredtheenhancementofbrightnessandignoredtheprobl emofnoiseamplification.Besi des,thecurrentdeepl earni ngmethodsusedtheendtoendnetworktodirectl yl earnthemappi ngrel ati onshipbetweenthel owexposurei mageandthenormali mage,ignori ngthephysicalpri ncipleoftheformati onofthel owexposureimage,anddi dnotconsi dersol vi ngtheprobl emofnoiseampli ficati on.Inordertosol vetheseprobl ems,thispaperpresentsal owexposurei mageenhancementmethodbasedonprogressivedualnetworkmodelbyanal yzi ngtheessentialcausesofimagedegradati on.Theproposedmethodincl udestwoparts :i mageenhancementmodul eandi magedenoisi ngmodul e.Theconstructi onofeachmodul eal soadoptstheprogressi vei deabyconsi deri ngthei magebrightnesschangefromdarktolightandthei magerestorati onfromcoarsetofine,sothattheenhancedresulti sclosertotherealimage.Furthermore,totrai nthenetworkbetter,abidirecti onal constrai ntl ossfuncti onisdesigned,whichmakesthel earni ngresul tofnetworkapproachtherealdatafrompositi veandnegati vedirecti onsofthe收稿日期:201 9 11 27; 在线发布日期:2020 05 18.本课题得到国家自然科学基金(61862030, 61662026) 、 江西省自然科学基金( 20182BCB2200 6, 20181BAB202010 , 20192ACB20002 , 2 0192ACBL2 1008) 资助. 黄淑英, 博士, 副教授, 主要研究方向为图像处理与机器学习. Email: shuyinghuang2010@126.com. 胡 威, 硕士研究生, 主要研究方向为图像去雾与图像复原. 杨 勇( 通信作者) , 博士, 教授, 中国计算机学会(CCF) 髙级会员, 主要研究领域为图像处理与机器学习. Email: greatyangy@12 6.com. 李红霞, 硕士研究生, 主要研究方向为深度学习与图像复原. 汪 斌, 硕士研究生, 主要研究方向为深度学习与图像复原.2 期黄淑英等: 基于渐进式双网络模型的低曝光图像增强方法385imagedegradationmodel,andfi nal lyachievesdynamicbalance.Experi mentalresul tsshowthattheproposedmethodismoreeffecti vethansomestate-of-the-artenhancementmethodsfrombothsubjecti veandobjecti veeval uations.Keywordslow-exposureimageenhancement;progressive;dualnetwork;bidirectionalconstrai ntlossfunctioni 引 言在夜间筹顏明不良的情况下获取到的?傳因为曝光不足. 往往导致圈像存在可见慶低、 细节. 不可见、噪声干扰大x 光照本均匀等问題?. 低鹿度的圈"像不仅在视觉上给观察者带来较差的感受, 而且会严重齋响基于图像倩息的计算机视觉系统的正常工作. 随着各种工业相机设备技术的发, 提■? 其奇辨率、曝光时间等性能都有了较大的改参? 但是刺用硬件提: 高分書率的方渎成本翁播化_力差,礙难做爾1:普及. 属此, 许多研究者开始运用图像增强的技术, 对图像进'行;后翁处理, 提高賀像的赓量《面1 为图像增强示例, 其中第一行为低曝光的图像* 第二行为采用.本文方法迸行亮度增强后的图像. 从结果可以着出,围像增强算法使低曝光图像在翕食、 细节等方面都得到了很大的提升, M此, 低曝光圈像增强技术布目标检测、智能骞驶、文通监控、遥感图像等领域具有十聋重荽的价ai 献曝光猶像(集一ter和本t方蠢磁强后的闺《(潷二管;) 示曹闺在过去的几十年间. 西像增强技术发展迅速4艮多方法栩继被提出用以解决低曝光倒像增强的问题. 巨前\针对图'像增强的方法主要分为三种T 分别是基于直方画均衡化的增强方法 、基于Reti nex理论的增强方法£69]以及近年来, 兴起的基于深度学习的增强方法3° 1 3 ]_基于直方两均衡化的增强方法主栗思想是將图像直方图统计的像素动态范围进行拉伸, 通过增加图像的对比度来达到提升视觉效果时目的. 这类增强算法主要包含基于爵部和基于全局的直方圈均衡化. 该类方法在处理前景和背景都过暗的匣像时能取得较好的效果, 同时由于计算量小, 该类方法在处理时间上也具有优势, 恒其往往因为对某些区域增强过度而会出现细节丢失和偏色等问题>针对直方1图均衡化增強方法存在的问蘧,一些改选算法又相继被提出来, Li 等人M提出了一种用于对低曝光图像进行对比度增強和去矂的新型虜像增强框架. 该框架利甩基于趙像素的局部自适, 座方抜进行去噪.在保待纹理细节的同时也可侧除噪声*同时采'用基于暗通道先验去雾方法的亮度#息自适应增强'参数, 尭服了图像过增强或欠增强的问M.Li n等入M提出了一种包括颜色通道拉伸、、 直方_平均和重映射的流水线方法, 能够取得较:好的结果, Sujee 等人&]利甩金宇搽M直方_四面的方法来増强图像对比度? 从而最大限度地提取圈像的債息^ 基于直方图均衡化的增强耸法虽然在时间上具有象大优势, 但由于在亮度增强的过程中考虑的是图像整体的统计特性, . 因此在处理复杂场;*图像时并不能取#狼好的效果.Rfttine: x理论是由Lairf14]?20世纪60 年:代雷次提出. 该連论的主要思想是人眼所感知到的物体雄顧色和鑫虞:由物体衰爾翁玟射特挫_: 人射特性(或光照特性) 共周作用决定. 其数学模型可表示为=El)在低曝光?像琅成过程中, s代表莸取到的低曝光图像.i?是正常曝光图像, L是照度圈像, 符号代表遂元素点乘?基于Keti nex理论的图像亮度增强算法的核心思想是首先估计照度: 西像L, 然后从低曝光_像S中去餘L奢量, 得到正常曝光的图像尺,其数学表达式为i?=?L1(23雜Land: 提出关于人纖视觉系统的Re¥in物理论 塞: TReti nex理论的_像增强方法被广泛研麗*基于尊 ■度Retinex理 , Jobson.A[ 1 ?:提:386 计導机攀报: _1苹进了一种多, R度的Retmex颜色恢复算法, 在迸行图像增强的同时保持颜色的一致性^Fu等人?结合Retmex理论提出了一种暴〒*融合的低曝光图像增:强方法>既保护了细节又提升了对比度, .受人类视觉系统的启 Ymg等人》7]设计了一种用于图像增強的多曝光融合框架,来握供准确的对比度和翕度増强?Guo等人[■提if)丁结构感知先验细化照度图, 并分孤在红、绿、1 蓝三个通道上计算以增强图像.尽營这些方法在某些情况下能取傳较好的结華, 但它们在对Reti nex模型中的反射孝和光照分解时仍然存在鳥暇性, 菌为设计一种适用于各种场景fit图像分解约束是图像增强中的主赛难点? 此外>, 由于求解反射率图是一个病态问題, 粗略的估计値容晷?导致图像增强的结果出现过曝光或欠曝光规象-随着人工智能的发廣及神经网祭赛爾像处理领域的优异表现. 基于深度学习的方法在图像增强颔域得到了迅速发展?Lore 等人1>]提出了一种基于.深度自编码的方法对低_光阁輟进行增强和去噪, 既提高了图像的亮度, 又避免了图像过曝光的情况.Chen等人 创建了一个根据相机曝光对间而产电的低曝光图像数据集, 并设计了一神全畚积的端到端两络来卖现图像的増强?Wd等人[竭将人类视觉理论和卷积神经.网絡结合, 把低曝光图像分解为反射率?和光照囹,-并利用增强网络实现菌像S度的增強?Jiang等人[ 2 1 ]曾次裘出利用非配对的低/正常亮度的图像来训练图像堯度增强网络, 这种训练策略消除了对成对训练数据的依赖. Wang等人[ 2 3]没有直, 接学习低亮度图像和m常亮度图像之间的映射, 而?晕估计菌像到光照菌之间的映射来增强曝光不足的图像, 该方法增強了网络学习对复杂图像的调整能力- 虽然上述方法都館获得较好的效果 是这些基于深度學习的方法都是端到端的直接:孿习低曝光 像到芷繪图像的映射关系, 忽略了低曝光图像形成的物理原理.同时没有显式地包含*噪过程或仅仅依赖予传统的去噪方法, 因而在图像增强后眘在细节丢失,和噪声放大等问题.基于J:述分析, 本文针对现有低曝光图像增强方■奪在凿 振性, 握:出:一稀藝手Retinex理论的渐迸式双网络低曝光图像增强■型(如图2i? 该网络以低曝光廚像作为输人. 和用不同尺度的卷积核进行特征提取, 最终学万到Reti nex獏塑中的照度菌, 接着將该照度图代人Retmex隹型中计算#到S度谱辑辰的顧像. 然辰针对增强过程中出现的噪声放大问题, 将增强后的图像再■经过一十图像去嵊网络s 得到最终的增强结果? 论文的创. 新工作如下j( 1) 提报一种渐进式时双网络低曝光图像增:强模型, 整个模型针对低曝光图像增強中的低S度和噪声放大问题, 利用惭进式的思想设计了图偉增强模块和图像去噪模块.(2:) 在图像增强樓望的两个模块内部, 分别采用渐迸式的思想构建其网络框架, 对靡像实现从粗到细的修复过程,以取得更好的增嬅结果-( 3> 考虑到图像降质理论的可逆性, 提出了一[ 低曝光醜『LF方IP照麵1 亮度初步重建醜IPIP照度图2亮度重_图像0: 除操作?: 拼接?: 减操作:32*384*384的卷积块:64*192*192的卷积块:128*96*96的卷积块图2 渐进式双网络低曝光图像增强模型黄淑英等: 基于渐进式双网络模型的低曝光图像增强方法 3872 期种双向约束损失函数用于网络学习, 从图像降质模型的正反两个方向进行损失计算, 使学习到的信息更完整.本文第2 节重点介绍本文所提出的方法; 第3节将实验方法与对比实验进行详细说明; 第4 节总结全文工作及对未来研究展望.2 渐进式图像增强方法2. 1 网络框架针对现有的方法在图像增强后存在细节丢失和噪声放大的问题, 本文提出一种渐进式的双网络低曝光图像增强模型, 该模型包括图像亮度增强模块和图像去噪模块两个子网络, 构建的整体框架如图2 所示. 我们将网络设计与图像增强的物理模型相结合, 首先采用渐进式的思想对低曝光图像实现亮度的增强, 然后针对增强后图像出现的噪声被加强的问题, 对亮度增强结果加人图像去噪过程. 值得一提的是, 为了取得更好的图像增强结果, 本文在图像增强和图像去噪两个模块内部都引人了渐进式的思想, 实现从粗到细的亮度增强和噪声的去除.图像去噪模块和增强模块不同的是, 图像噪声通常被认为一种加性噪声, 因此在图像去噪模块的最后采用了减法操作, 通过将输人图像直接减去学习到的噪声得到最终的输出结果. 为了更好地训练网络, 本文根据图像降质理论的可逆性, 构建了一种正反双向约束的损失函数来训练网络, 其具体内容将在2.2节进行详细介绍.2.1.1 图像亮度增强模块考虑到真实场景下亮度提升是一个由暗到亮的过程, 本文提出一种渐进式的图像增强模块, 对低曝光图像先后两次从粗到细地实现图像的亮度和色彩的提升, 来完成图像亮度增强的过程. 该网络模块的实现过程如下描述.如图2 的图像增强模块( 上端虚线框) 所示, 该模块的输人为低曝光图像, 模块中的两个子框架输出均为照度图L, 输人输出均为红、绿、蓝三个通道.该模块包含亮度初步重建和亮度加强两步, 第一步的框架中包含六个卷积层, 网络前两层利用卷积操作实现特征图的下采样, 该操作既可以保证下采样的效果, 同时也避免了下采样造成的信息丢失. 通过下采样减小特征图的尺寸, 可以扩大卷积核的感受野, 使原本只能学习到3*3 范围信息的卷积核在两次尺寸下降后可以学习到7*7 范围的信息. 此外,为了保证最后得到的照度图与输人图像的尺寸一样, 在网络中使用了2 次反卷积操作, 来实现尺寸增大的目的, 同时也方便梯度下降的计算. 第二步的亮度加强的网络框架与第一步类似, 这一步的目的是精细化增强后的图像. 该部分网络中只设置了四个卷积层, 通过以较少的网络训练参数, 来提高网络性能. 本文在3.3 节也给出了实验, 证明了使用四个卷积层比直接使用六个卷积层得到了更好的结果. 该模块为了保证网络的有效性及更好地利用原图信息, 首先将初步增强的结果与原图采用一次拼接操作, 然后再采用两次卷积和反卷积操作, 实现图像进一步增强. 在这些卷积层中, 每层都包含权重和偏差两类参数, 其计算方式如下式:Fix)=(〇*x ̄\ ̄b( 3)式中, F是卷积之后得到的特征图, 分别是权重和偏差, :r 是输人, 符号“”代表卷积计算.在整个框架中, 每个卷积层的后面都有一层激活函数ReLU, 其定义如下:R{x)=max( 0, F(x) )( 4)其中, _F(:r) 为卷积得到的结果,i?( :r) 是ReLU函数得到的结果. ReLU激活函数的目的是将有效信息保存的同时去除无效信息, 从而加快训练速度.2.1.2 图像去噪模块低曝光图像在成像过程中除了光照不足以外,还会受多种噪声影响. 在低亮度情况下由于图像的对比度比较低, 噪声难以被发现. 但经过对低曝光图像增强后, 噪声同样也会出现被增强的问题.因此,为了去除噪声, 本文在图像增强模块之后增加了一个噪声去除模块.如图2 的图像去噪模块(下端虚线框) 所示, 该模块的网络设计思想与增强模块类似, 采用渐进式的思想先后两次从粗到细来学习噪声图像, 实现对亮度重建图像的噪声去除. 在模块内部通过对多个尺寸的特征图卷积的方式来扩大感受视野, 学习更丰富的特征. 该网络模块的目的是学习图像中存在的噪声成分, 而通常图像中噪声被认为是一种加性噪声, 因此在两个子块后端采用了减法操作, 将增强后的图像与网络学习到的噪声成分相减, 得到去噪后的图像.由于该网络模块学习噪声成分并不需要考虑图像特征信息复用的问题, 因此在去噪网络模块中并没有采用类似于增强模块中的拼接操作.388 计 算机 学 报 2021年2. 2 损失函数网络模型的执行功能主要取决于损失函数的定义. 在图像复原的网络模型学习中, 通常使用均方误差MSE( MeanSquaredError) 或平均绝对误差MAE( MeanAbsol uteError) 之类的误差指标来定义损失函数. 但是, 由于低曝光图像亮度较低, 仅使用诸如MSE或MAE之类误差指标可能导致结构失真, 例如模糊效应或伪影. 所以为了提高视觉质量, 本文设计由结构损失和双向约束损失构建新损失函数来训练网络. 其中, 图像亮度增强模块的损失函数定义如下:Le ̄LgL/(5)式中, Ls为结构相似度损失函数, &为双向约束损失函数.图像去噪模块的损失函数定义为Ln=Lsp+Lsn(6)其中, 是正向结构损失函数, LS?是反向结构损失函数. 双向约束损失函数是从图像降质模型正反两个方向, 通过分别向真实数据逼近来定义的. 结构相似度损失函数是用来保证图像结构信息的完整性,具体定义将在下面给出.2.2.1 结构相似度损失函数在获取全局信息的同时, 网络还通过对多个尺寸的特征图卷积来学习结构细节信息, 因此我们用多尺度结构相似性MSSSJM( Mul ti ScaleStructualSmnl anty)[2 3]质量评价方法作为损失函数, 以保持图像结构, 避免模糊. 其获取方式为MS(ai , a2)=l (a1, az)?JJc(ai, a2) f , a2 Y- (7)其中, A、 ?为对应的图像输人, / (A,A) 为亮度信息,c 为对比度信息y为结构相似性,z 为像素坐标,?为像素总数, 《、/?、 7 为调整重要性的参数, ¥5的值越大, 则结构信息越完整, 结构相似度损失函数定义为Lms(aj, a2 )= l MS(ai ,a2)(8)因此, 基于上述式( 8) , 图像亮度增强模块的结构相似度损失函数Ls可以定义为Ls=LMS (yt , fc sy)(9)其中,_y 代表真实正常曝光图像, S为低曝光图像,/( S) 为网络输出结果.2.2.2 双向约束损失函数增强模块学习的目的是得到精确的照度图L=/( S), 再根据成像模型( 2) 计算得到增强后的图像i?=s*/(sr1. 传统的深度学习定义损失函数的方法, 主要是通过将网络输出与真实数据之间的差异最小化来训练网络, 这样可以让输出结果向真实数据快速接近. 因此, 本文也将考虑利用将图像增强结果与正常曝光图像之间差的绝对值最小化来训练增强网络模块, 其计算方法为l ^ ( S*/1(S) )!| (10)其中, 〃指的是样本的数量,z 指的是第z 个样本.根据式(1) , 我们也可以通过反推的方法来验证增强网络输出的照度图/(S) 的精确性, 即将/( S)代人到式⑴中, 用真实的图像与厂HS) 相乘, 得到的降质图像与网络输人的低曝光图像进行比较, 如果越接近网络的输人图像S, 则说明网络模型输出结果越精确. 基于该思想, 本文将反推过程引人到网络训练中, 我们将上述式( 10) 定义为正向推进损失,将反推过程定义为反向推进损失, 使网络不仅能正向逼近真实结果, 还能反向逼近输人, 达到动态平衡, 提尚网络准确率. 基于上述分析, 本论文提出一■种双向约束的损失函数, 其定义如下:Lf—LpLn(11)其中,L?=X\St (y^f(SY)t\ (12)表示反向推进损失.双向约束损失的思想不仅在图像增强模块中有效, 在去噪模块中也能起到同样的作用. 同样基于双向约束的思想, 本文定义正向与反向结构损失函数来训练图像的去噪模块, 其分别表示为Lsp=LMS(y, y?f( y?)')( 13)Ls?=LMS (y? , y+ f(y? ) )(14)其中, 是加噪的数据集,/(A) 为去噪网络学习得到的噪声.2.3网络训练2.3.1 训练方法由于增强模块和去噪模块是分开训练的, 所以在最小化损失函数的时候, 两个模块的损失函数也是不同的. 我们采用式( 5) 来训练图像增强模块, 用式(6) 训练图像去噪模块, 优化方式为Adam梯度下降方法. 整个网络的训练过程如算法1 所示.算法1.网络训练过程.输人: 单次训练样本数n输出: 照度图/(S), 去噪后图像步骤:fornum=1; numdterati onsdo低曝光图像集黄淑英等: 基于渐进式双网络模型的低曝光图像增强方法 3892 期输出增强图: 只―/(S) ;梯度下降法更新图像增强损失函数;endfornum=1;num么i t erat i onsdo加噪图像输出去噪图: 只'—/(A) ;梯度下降法更新图像去噪损失函数;end2.3.2网络设置整个网络共有20 个卷积层, 包含增强和去噪两个部分. 其中每个模块有三个采用步长为2 的卷积层以及3 个反卷积层, 在所有卷积层中, 除了3*3大小卷积核以外, 还采用了1*1 大小的卷积核, 来增强模型的非线性, 减少参数量, 提高计算速度. 其具体参数设置如表1 所示.网络部分图像亮度增强模块图像去噪模块卷积层输人123456输出输人1234输出表1 网络参数表输出尺寸卷积核数量 卷积核尺寸步长12212213 实验结果与分析我们将在合成图像数据集和真实场景图像数据集上验证本文提出方法的有效性, 并与其它六种图像增强方法进行比对, 这六种方法分别是:BIMEF[1 7]、Reti nexnet[20]、 UME[1 8]、MSRCR[1 5]、MF[ 1 6 ]、DONG[ 2 4]_此外, 对低曝光图像只经过第一个亮度增强模块后的结果与对亮度增强后图像进行去噪的结果也分别进行了展示, 来验证只对图像进行增强会产生噪声放大的问题, 进一步说明了本论文提出的渐进式的双网络模型的有效性. 相关的实验在3.3 节进行了说明.3. 1实验设置用于图像增强模块训练的数据库包括两个,一是低曝光图像对数据库( L0L)[2°], 其中包含了500 张低曝光图像和对应的正常曝光图像, 每张图像的大小为400*600.L0L的大部分图像都是在自然场景下通过调整曝光时间来获得的, 场景包括房屋、 郊区、 街道等, 本文方法将使用该数据库485 个图像对用于训练, 余下15 个图像对用于测试.另一个数据库为合成数据库, 该数据库从RAISE?数据库挑选1000 张原始图像, 用AdobeUghtroom提供的接口, 调整图像亮度通道Y的值,将这些图像合成低曝光图像, 得到1〇〇〇 对相应图像对. 最后, 将这些图像对调整为400*600 大小. 在对网络训练时, 为了方便计算, 所有输人都将调整为384*384大小.对于去噪网络, 由于现有带噪声的低曝光图像数据库缺乏, 所以我们结合低曝光图像噪声的特征,在增强模块训练集的正常曝光图像上进行了泊松噪声添加的处理, 以此作为去噪模块的训练数据, 图3为部分原始数据及对应加噪数据展示.在训练时, 上述LOL数据库及合成数据库所有图像都会作为训练数据, 出于方便计算, 输人与输出的像素值都会经过归一化操作变换到〇 至1 之间.为了避免在计算正常曝光图像时出现分母为零的现象, 我们将照度图的值设定在0.0039(1/255) 到1之间.网络学习率设置为〇.00001.所有实验都在Wi ndows10 系统、PyTorch 框架以及英伟达2080TiGPU上运行的.390 计 算机 学 报 2021年mmm,■■■■■■D_MD低曝光数据集正常曝光数据集(a) 部分低曝光数据集及对应的正常曝光数据集加噪数据集无噪数据集(b) 部分加噪数据集及对应的无噪清晰数据集, 第二、四列为局部放大示例图3 数据库实例3. 2 客观指标为了证明本文方法的性能优势, 我们采用峰值信噪比(PSiV^R) 、 结构相似度(SSJM)[26]&及色差值(CJ£:D£:2000)[27]H种指标来对各种方法进行客观评价.PSiVi? 是一种全参的图像质量评价指标, 计算每个像素点之间的差异, 其计算方法为p-10l<mk)個其中. 指的是图像中像素点的最大.僮,一般取25&MSE指的是.均方误#,MSE计算如下:IIWMSE=-^22)2(16)ijS中, 是图輟长宽,X、Y对应?像中的像素氇, W*j>綦闺像中修翥点的坐:_?PSIVi?_值越高^则图像质量越好.SSZM也是全参的图像质黧评价指标, 其值?分布在: 0 到1 之间准越大说明差异越小JJT面像赓璧越好? 其计算方法为SS—Z( %*jtCh. if*sicii )(17)其中,/xy分别表示两张廚片的盡犯、对比度、结构三If面的相似度,CJEDE2000 能够测试增强图像与真实数据之间的色差_ 霄先. 将RGB圈像转换到Lab 颜色會间, 参照CJEDE2000 计算色羞; 的方法得到两幅图像y和L对应的每个像素点之间的色齡AE 并按如下定义计箕两幅图像的色差:1Nc=j^XAE<yi上)<i?)其中, N是为像素数■, AE表示Lab 空间中w个圓镩之间的每个像素的色差 为网络输出图傳,L为真实数据? 色差值越低. 表示颜色越接近真实菌像.3. 3 实验结果在这一部分, 我们将展示本文方法对LOL数据集以及/合成数据库中部分菌像进行增强的着终结果? 主观效果好坏是人眼嚴直接的感. 受< 如?4 所示, 为本文方法与其它六种方:法在不同场景下搏到的结果■ 从图中可以奢出, BIMEF得到了较为猜晰的细节, 并且控制了噪声的扩张, 但暴其结某整体亮度偏低. DON:G在:亮度増强方面比较有效, 但其在围像增强后出现了嗓舞放大的问题, 如在第二列和第三列中的西像,白色框中的平滑废域s 可以着出噪声故大非常严重: ; 苘徉在第五列的图像中也出现了偏色问题: LIME和MSRCR方法在得到丰富细节信惠的同时, 产生T过曝的现象, 并且也出现了噪声放大的何题, 如白色柩:中区域可以观察勤明遽的过曝光情况*所有顧像的堯度都高于真实图像*同祥在:第五列中可以着到较严重的偏色问題. MF实现3*较.为6然的结杲, 但也伴M了轻徵的嗓声与偏色效果;R^tinex部&t 出现了较严重的色彩.失真和噪声敗大问题, 如平滑区域W以观察到'较产重的噪_拿,在白色框区域也可以看到明显的色彩失真. 与这些方法相比r我们的方法既实现了盡度增强,图像的色彩更自然, 也没有产生多佘的噪F, 其结果也最接近离实虜像.黄淑英等: 基于渐进式双网络模型的低曝光图像增强方法 39 1 2 期DONG本文真实图像图4 图像增强结果除了主观效果以外, 本文也利用了3.2 节中介绍的客观指标来对各方法进轩了比较. B5绐出了本文方法着其它六种方法. 对15 幅图像进行増强得到餘客.观搢标和eiEDF20: 00的、警均偉*: Qurs隹狄数据是本文方法的靖擧. 灌过比较可以看街. 本文方法的结某锝到的 、 SSJM及CIEDE2000值与其它六种方法相比都是最优的, 说明了本文方法的有效性.39 2 计導机攀报: _1苹0.50最逅* 为了验证本文方法所提出的浙进式双网络模型及双向约東损失函数的有效性, 我们对本文构建的两络做了太量前实验进行对比? 图S 给出f双浙进网络框架的几种变形网祭所得结桌的客观指标PSMR和SSfM的变化趋势? 其中, 纵坐标为客观指标懷,. 横坐标为网讚训练的迭代次数. 图中黑色粗线条显: 示的是本文渐进式双网络模型的M果值;黑色虚线条显示的是没有舉用'欢向绮束损朱得到的结粜值; M色点划幾条为本文方法塞础上加深网络深度〖 精细部分采用6 个卷视层结构 到的结果值; 黑色细线条是只有第一部分的增强模块得到的结果眞? 从?(a) 和(b)中指标曲线的走勢可以看出s只有第一部分增強模块得到的结果计算的PSM?和怒JM值都比较低; 其它三种网络结构包含去躁0.850.800. 75§0.70泛0.650.600.55模块的渐进式增强网络得到的增强结果的PSNJ?和SSIM值都有了明, 显的提高|但从黑色点划线条的走势来看, 增加精细化部分网络的深度相比釆用四个卷积层降低了客观指标值j从黑色虛钱条和黑色粗线条的走勢可以看迅, 采用本文提出的双向约束损失函数对两络的训. 练进一歩提高了两络的锖确性, 得封了吏高的揩标. 由此可以说明, 本文提:出的网络结构是有效的,具有较强鲁棒性-4 总结与展望本文提出了一种渐进式双网络结构的低曝光?像增强方法针对低曝光图像的亮. 度降质和噪声降质的坷题* 采: 用渐进式的思想先对图像进行堯废和色彩的增强, 然后再去除被放大的噪声, 针对这两: 步f喿作?举文输纖了菌个渐翁式 模: 輿: 来拟合现实场景亮度*暗到盡傭亮度变化. 及从粗到细的图僳恢复过. 隹, 使绾皋更自. 然? 为了更圩地训练网络^本文提出一种双向约束的损失函数, 不仅能疋向逼近真实结果, 还能反向迤近输入, 达到动态平衡, 提高网_确象为了验证所提出的方法的有效性, 本文做了大薰前实验,并与多个方法从主观和客观苘方面迸行比较r实验结果也验证了本文方法具宥更优, 的性能.未来我们计划将视频监控斑趙与图#增莪箅法研究相结合f 提窗实时视频监控在夜间或者光照不足等情况下的监控能力?图6[1]RaoY,ChenL.Asurveyofvideoenhancementtechniques.JournalofInformationHidingandMultimediaSignalProcessing,2012,13(1):71-9921参考 文 献30r25■20-15■10-PSNR\ll(a) 各方法的PSNR指标比较SSIMtCIEDE20Q0i(b) 各方法的SSIM指标比较 (c) 各方法的CIEDE2000指标比较图5 本文方法与其它方法的PSM?、SSJM以及CJEDE2000 指标比较(其中, PSM?和SSJM的值越大图像质量越好, CJEDE2000 越小图像质量越好)?M-L-DM-M-N15913172125293337414549535761656973778185899397epoch(a)SSIM指标结果图M-- -DMM-L-^MN(159131721252933374145 49535761656973778185899397epoch(b)PSNR指标结果图对比实验结果(M为本文方法, DM为在本文方法基础上加深网络深度, M-L为本文方法不使用双向约束损失函数, M-N为本文方只含增强模块)65432222225ATCOQH黄淑英等: 基于渐进式双网络模型的低曝光图像增强方法 39 32 期[2]LiL, WangL, WangW, GaoW. Alowlight imageenhancement met hodforbot hdenoisingandcont rastenlargi ng//ProceedingsoftheIEEEInternat ionalConferenceonImageProcessing. QuebecCity, Canada,2015: 37303734[3]LinS, WongC, RahmanM, etal. Image enhancement usi ngtheaveraginghi stogramequalizati on( AVI IEQ)approachf orcont rast improvementandbright nesspreservat ion. Computers&-Elect ricalEngineeri ng,2015 , 46: 356 370[4]SujeeR?Padmavat hiS. Image enhancement t hrough pyramidhistogrammat chi ng//Proceedingsof theIEEEInt ernat ionalConf erenceonComput erCommunicat ionandInformat ics.Coimbat ore, India,2017 : 1 5[5]SunSY,WangLP,ZhangBM,JingZL. Lowlightlevelimageenhancementbasedondual ist icsubimageandt wodimensionalhistogramanalysis. JournalofInfraredandMilli meterWaves,2003 ,22( 3) : 220224[6]JobsonDJ? RahmanZU, Woodel lGA. Propert iesandperf ormanceofacenter/surroundRet inex. IEEETransact ionsonImageProcessi ng,1997,6( 3) : 451 462[7]ZhangQing,YuanGan Zhao, XiaoChunXia,et al. Highqualityexposurecorrect ionofunderexposedphot os//Proceedingsof the ACMMult imediaConferenceonMultimediaConference.Seoul, Korea, 2018: 582 590[8]FuXue Yang, LiaoYingI Iao , ZengDe Lu, et al. Aprobabilist icmethodforimageenhancementwithsi mult aneousilluminationandref lect anceest imation. IEEETransactionsonImageProcessi ng, 2015 , 24( 12): 4 965 4977[9]LiMa Ding, LiuJi a Ying, YangWen I I an, GuoZongMing. Jointdenoisi ngandenhancementforlowlight imagesviaRet inexmodel. Int ernat ionalForumonDigit alTVandWirelessMultimediaCommunicat ions? 2017: 9199[10]LoreKG, Akint ayoA, SarkarS. LLNet: Adeepautoencoderapproachtonat urallowlightimageenhancement .Pat t ernRecognition,2017 , 61: 650 662[11]ZhangYongI I ua,ZhangJia Wan, GuoXi ao Jie. Kindli ngt hedarkness: Apracti callowlightI mageEnhancer//Proceedingsoft heACMInternat ionalConferenceonMul timedia. Nice,France,2019: 1632 1640[12]TaoL, ZhuC, XiangGQ, etal. LLCNN: Aconvol ut ionalneuralnetworkforlowlightimageenhancement/ /ProceedingsoftheIEEEVisualCommunicationsandImageProcessing.Florida , USA, 20 17: 1 4[13]ShenL, YueZI I , FangF, etal. MSRnet: Lowlight imageenhancement usingdeepconvolut ionalnet work. arXivpreprintarXiv: 1711. 0 248 8,2017[14]LandEI I . TheRet inext heoryofcolorvision. Scient ifi cAmerican,1977,237(6) : 108 129[15]JobsonDJ, RahmanZU, WoodellGA. AmultiscaleRetinexforbridgi ngt hegapbet weencolorimagesandt hehumanobservat ionof scenes. IEEETransact ionsonI mageProcessing,1997, 6(7) ; 965 976[16]FuX, ZengD, I l uangY, etal. Afusionbasedenhancingmet hodforweaklyilluminatedimages. SignalProcess, 201 6,12 9: 82 96[17]YingZ, LiG, GaoW. Abioinspiredmult i exposurefusionframeworkforlowlightimageenhancement . arXivpreprintarXiv: 1711. 00591 , 2017[18]GuoX, LiY, LingI I. LI ME: Lo wlightimageenhancementviail luminat ionmapest imation. IEEETransactionsonI mageProcessing,2017 ,26( 2) : 98 2 993[19]ChenChen,ChenQi Feng? Kolt unV. Learningtoseeinthedark//Proceedingsoft heIEEEConf erenceonComput erVi sionandPat ternRecognit ion. Salt LakeCity, Utah,2018:329133 00[20]WeiC, WangWJ, YangWI I , LiuJY. DeepRetinexdecomposi tio nf orlowl ight enhancement//Proceedingsof t heBri tishMachineVisionConference. Newcastle,UK,2018:1 10[21]JiangY, GongX, Li uD, etal. Enlight enGAN: Deeplightenhancementwithoutpairedsupervision. arXivpreprintarXiv: 1906. 06972 ,2019[22]WangR, ZhangQ, FuC, etal. Underexposedphotoenhancementusingdeepilluminationestimation//Proceedingsof theIEEEConferenceonComputerVisionandPat ternRecognit ion,LongBeach,USA,20 19: 6849 68 57[23]WangZ, Simoncel liEP, BovikAC. Multiscalest ruct uralsimilarityforimagequalityassessment//Proceedi ngsof the37 t hAsilomarConferenceonSignals?Syst emsandComputers.Pacifi cGrove,USA,2003 : 1398 1402[24]DongX, WangG,PangY,etal. Fastef fici ent algorithmforenhancementof lowlightingvideo//Proceedi ngsof theIEEEInt ernationalConferenceonMultimediaandExpo. Barcelona?Spain,2011: 1 6[25]DangNguyenDT, Pasqui niC, Conot t erV, BoatoG.RAISE: Arawimagesdatasetf ordigitalimagef orensics//ProceedingsoftheACMMultimediaSyst emsConference.Oregon, USA, 2015: 219 224[26]WangZ, BovikAC, SheikhI IR, Si moncelliEP. I magequalityassessment: Fromerrorvisibilitytost ruct uralsimilarity. IEEETransactionsonI mageProcessi ng, 2014 ,13 ( 4) : 600 612[27]SharmaG, WuWC, DalaiEN. TheCIEDE2000col ordifferenceformula : I mplement at ionnotes? supplementarytestdat a, andmat hemati calobservat ions. ColorResearchandApplicat ions,2005, 30 (1) : 213 039 4 计 算机 学 报 2021年HUANGShu-Ying,Ph.D.,associateprofessor.Hermainresearchinterestsincl udeimageprocessingandmachinel earning.HUWei,M.S.candidate.Hi sresearchinterestsincludeimagedehazingandimagerestoration.YANGYong, Ph.D. ,professor.Hismainresearchi nterestsi ncl udeimageprocessi ngandmachinel earning.LIHong-Xia, M.S.candi date.Herresearchinterestsincludedeeplearningandimagerestoration.WANGBi n,M.S.candidate.Hisresearchinterestsi ncl udedeeplearni ngandimagerestoration.BackgroundWiththedevelopmentofartificialintel ligenceandtheexcell entperformanceofneuralnetworki nthefieldofimageprocessing,themethodbasedondeeplearninghasbeenappl iedtovariousfieldsofimageprocessing.Suchasimagefusion,imagedefogging,imageenhancement,imagesuper?resol utionandimagequal ityevaluation.Experi mental resul tsshowthatdeeplearningiseffectiveforfeatureextractionandanalysisofdigitalimages.Withtherapidincreaseofthenumberandtypesofi magedata,thegeneralizationabilityofdeeplearningmethodhasbeengreatlychall enged.Therearethreekindsofimageenhancementmethods ,whicharebasedonhistogramequalization,Retinextheoryanddeepl earning.Histogrambasedmethodsmainlyenhancethevisualeffectbyenhancingtheimagecontrast.Suchmethodshavelowcomputationalcompl exity,butarepronetodetaillossandcolordeviationprobl ems.Retinexbasedmethodscangetthebettervisualeffect ,buttheystil lhavel imitationsinmodelsolving.Deeplearningbasedmethodscanavoidthel imitationsofmodelsolving,buttheyalsoignoretheimagingprincipl eofimages.Inthispaper ,wecombinetheadvantagesofdeeplearningandphysicalmodel ,andproposealowexposurei mageenhancementmethodbasedontheprogressivedualnetworkmodel,whichisdividedintotwomodules:imageenhancementandimagedenoi sing.Wealsoproposeabidirectionalconstraintlossfunctiontomakethel earningresultofnetworkapproachtherealdatafromthepositiveandnegativedirections.Theexperimentalresultsshowthatthemethodproposedinthispapercanachi eveexcell entresul ts.

[返回]
上一篇:计算机核心和SCI期刊论文发表经验
下一篇:基于混合频谱信号编码的网格纹理平滑