基于神经网络的数据融合技术的新进展

基于神经网络的数据融合技术的进展

第23卷　第4期北京理工大学学报

Vol.23　No.4　　文章编号:100120645(2003)0420503206

基于神经网络的数据融合技术的新进展

倪国强,　李勇量,　牛丽红

(北京理工大学信息科学技术学院光电工程系,北京　100081)

摘　要:为了使系统自适应、并行、高速地融合多源数据,近代融合方法越来越多地将人工神经网络应用其中Ζ详细论述了几种近10多年来出现的新的神经网络算法在数据级、特征级、决策级的应用,提出了部分改进算法,给出了融合结构及对算法的评价结果,,展趋势Ζ

关键词:人工神经网络;视觉神经网络;数据融合中图分类号:TN911173　　　文献标识码:entsinDataFusionTechnologyBased

onNeuralNetwork

NIGuo2qiang,　LIYong2liang,　NIULi2hong

(DepartmentofOpticalEngineering,SchoolofInformationScienceandTechnology,BeijingInstituteof

Technology,Beijing100081,China)

Abstract:Inordertoachieveadaptivity,parallelismandhigh2speed,neuralnetworkhasbeenappliedanddevelopedrapidlyinthefieldofdatafusionrecently.Manynewalgorithmsbasedonneuralnetworkhavebeenproposed.

Someofthemproposedafterthe1980sandtheir

The

.applicationsinthedata2level,feature2levelanddecision2levelfusionsaredescribedinsomedetailSomemodifiedmethodsandemulationresultstothesealgorithmsarealsoproposed.developmentofneuralnetworkindatapretreatmentfordatafusionisintroduced.prospectsofneuralnetworkaredescribed.

Keywords:artificialneuralnetwork;visionneuralnetwork;datafusion

Finally,

随着科学的发展和社会的进步,人们获取和处理信息的数量日益增加,信息利用和处理的复杂程

度不断增长Λ一门新的学科——多源信息 数据融合技术应运而生Λ运用多源信息 数据融合技术可以更准确、更及时地处理数据Λ多源数据融合是人类和其它生物系统中普遍存在的一种基本功能Λ人类本能地具有将身体上的各种功能器官(眼、耳、鼻、四肢等)所探测的信息(景物、声音、气味和触觉等)与先

验知识进行综合的能力,以便对周围环境和正在发生的事件做出估计Λ由于人类的感官具有不同的度

量特征,因而可测出不同空间范围内发生的各种物理现象Λ这一处理过程是复杂的,也是自适应的,它将各种信息(图像、声音、气味和物理形状或描述)转化成对环境的有价值的解释Λ模拟生物的这种功能,用以指导数据融合工作有着非常广阔的前景Λ

人工神经网络(ANN)是模拟人脑的信息处理

收稿日期:20030404

基金项目:国家部委基金资助项目(031500A003);国防重点实验室开放基金(51476020101BQ0101)作者简介:倪国强(1946-),男,教授,博士生导师,E2mail:Nigq01@Ζ

基于神经网络的数据融合技术的进展

504北京理工大学学报第23卷　

机制而构造出来的一种并行信息处理模型Λ它有分布式存储和联想记忆功能,具有较强的自适应性和自组织性,可以抗噪声、抗损坏,容错性与鲁棒性好Λ由于这些突出特点,人工神经网络能实时地完成复杂运算和海量数据库检索,对图像理解、模式识别以及含噪和不完全信息的处理表现出其优越性Λ

视觉神经网络是模拟人或动物的视觉系统的信息处理与传输机制而构造出来的另一种并行信息处理模型Λ它同样具有快速并行处理、分布式传输、实时完成复杂信息获取与处理等功能,对图像理解、模式识别表现出重要的辅助作用,同时又不需要大型数据库与复杂的学习训练过程,对于图像处理具有重要意义Λ

号的微小变换将使小波系数表示的能量分布变化很大Λ为了解决此问题,又出现了GP(Gaussianpyramid),ELP(enhancedLaplacianpyramid)和GLP(generalizedLP)方法Λ但GP和ELP分解尺度

级数的局限性和GLP方法计算量随分解层次的增加而迅速扩大的问题都制约了它们在数据级融合上的应用Λ而将神经网络方法引入数据级融合可以解决这些问题Λ神经网络高容错性能使其对数据丢失、混淆和噪声数据变得不敏感,从而解决了小波算法不具有平移不变性的问题,Λ,高并Λ同时、非线性问题的能力以及在处理分类问题时具有最优或者近似最优的优点Λ众多学者利用神经网络的优点提出了许多基于神经网络的数据级融合方法Λ

随着神经生理学研究的进展,对神经细胞数理模型的研究已经从单纯的大脑皮质神经元细胞扩展到包括视觉神经元细胞在内的感官细胞Λ1994年基于视觉系统研究而出现的脉冲耦合神经网络(pulsecoupledneuralnetwork,PCNN)模型便是一个较

1上进行处理,Λ这一级的处理带有浓厚的图像处理色彩,主要目的是图像增强、图像分割和图像分类,为人工判读图像或更进一步的特征层融合提供更佳的输入信息Λ通常数据级融合方法分为[1]:色彩变换法类,例如HIS(hue,intensityandsaturation)方法;调制法类;以PCA(principalcomponentanalysis)及PCS(principalcomponentsubstitution)方法为代表的统计和代数法类;多分辨分析法类,包括HPF(high2passfilter)

好的新结构[2,3]ΛPCNN具有很强的神经生理学基

础Λ它是通过长时间实验观察猫神经元集合的同步特征活动(synchronousfeature2dependentactivity)而得到的模型Λ其基于脉冲的关联机制使用暂态同步化可以完成对图像的分割,同时PCNN还具备对图像旋转、平移以及缩放等仿射变换的不变性Λ图1给出PCNN神经元的拓扑结构Λ

方法,Laplacian金字塔、对比度金字塔、同态金字塔等多种金字塔方法以及小波变换融合方法Λ迄今使用较多的是多分辨分析方法,特别是基于小波变换的方法Λ但由于小波变换不具有平移不变性,输入信

基于神经网络的数据融合技术的进展

　第4期倪国强等:基于神经网络的数据融合技术的新进展505

PCNN网络可以分为3个组成部分:神经树(dendritictree)、连接(linking)、脉冲发生器(pulsegenerator)Λ神经树用以模拟神经元的突触,由摄取输入(feedinginput)和连接输入(linkinginput)两

个分叉组成Λ在PCNN的连接部分中,连接输入对摄取输入进行调制Λ其生理原理来源于对目标注视时,视觉神经元对注视目标产生的响应将被产生该响应(状态依赖信号)的刺激调制Λ这一过程称为状态依赖调制(statedependentmodulation)Λ状态依赖调制目前被认为是视觉神经元对目标进行注视时,去除不需要信息而加强感兴趣信息的生理过程Λ图中的脉冲发生器模拟了生物视觉神经元一点的感知同全局感知相关联的特性,这种关联在视觉系统中是通过神经元之间的振动完成的[2]Λ、纹理、边缘、,或最有利于目标特征的有效表征、Λ因此本课题组提出了基于脉冲耦合神经网络的融合结构,如图2所示

Λ

性判决,获得目标的类型和类别Λ神经网络具有记忆、选择、抽象和识别功能,通过对神经网络的训练可自动找到数据融合识别的方法,而且神经网络具有相当的稳健性与容错性Λ神经网络的工作原理和结构特点决定了它非常适于进行特征层的融合识别Λ在这个方面,应用较广泛的是基于误差后向传播学习算法的多层前馈网络(BPN)Λ其结构简单、识别精度高,然而对于高维的数据融合应用,BPN往往需要较长的训练时间,有时甚至不能收敛Λ而基于不(SOM),,一般不单Λ,并且这类网络,鲁棒性更好Λ对向传播网络(counter2propagationnetwork,CPN)就是其中的一种[4,5]Λ

映射能力强、对噪声的CPN网络学习速度快、

敏感性低,即鲁棒性能好,它是美国神经计算机专家RobertHecht2Nielsen于1987年提出的一种混合型网络Λ图3是原始CPN网络的拓扑结构Λ网络共5层,层3为Kohonen竞争层,采用无监督学习规则,该层与其它各层神经元采用全互连结构Λ层2、层4为Grossberg外星结构,采用Widrow2Hoff或Grossberg规则学习

Λ

图2　基于PCNN的融合结构

Fig.2　PCNNbasedfusionstructure

PCNN3的加入是为了表示PCNN亦可应用于

特征级融合Λ采用合适的特征提取滤波器,分别对两路图像进行特征提取,然后将特征图像输入PCNN进行相应的状态依赖调制,以达到融合的目的Λ大脑皮层对视觉的感知简化可分为两部分:颜色处理和状态依赖调制及运动感知(motiondetection)Λ通过特征提取,并将其馈入融合结构中,可实现用状态依赖调制模拟人眼的注视(attention)功能,以此实现对感兴趣信息的增强Λ

本课题组对传统的对向传播神经网络做了改进,以使之更适用于数据特征层的融合Λ改进包括两个方面:一是将CPN中的Kohonen层改变为模糊Kohonen层,则网络的硬聚类规则变为软聚类规则,使Grossberg层的计算成为一种插值过程,从而改善学习精度;二是学习过程中Kohonen层中的神

2　神经网络在特征级融合上的应用

目标的特征层融合识别是对多个传感器所观测目标进行统一的特征提取,形成特征向量,再经数据关联获得同一目标的分组,从而进行特征向量的属

基于神经网络的数据融合技术的进展

506北京理工大学学报第23卷　

经元数量自适应地增加,这样可以避免死节点和对不同类别的近似向量的误分类Λ基于改进后的CPN网络的特征层数据融合目标识别系统如图4所示Λ应用CPN的目的:一是进行多传感器数据特征层的融合;二是将其作为目标的模式识别器

Λ

同标准差的数据用以模拟3个传感器的数据样本Λ另一类数据是由航天二院的目标与环境光学特征国防重点实验室提供的外场目标数据Λ图5与表1给出了利用300组仿真数据和240幅外场图像对CPN的特征层融合效果的比较

Λ

课题组利用两类数据对CPN特征层融合效果进行了实验研究Λ器仿真数据Λ首先产生具有机数据点,一个特征向量样本,形成若干个类域,类域的数目代表多传感器目标的类别数Λ分别产生若干组具有不同标准差的数据,其中数据组的数目代表多传感器的数目,而不同的标准差代表各个传感器的不同噪声Λ这里产生3组不　　

网络类型

CPNSCPNBPN

图5　CPN的特征层融合识别和单传感器的识别性能比较

Fig.5　Contrastofidentificationcapabilityof

CPNbasedfusionandsinglesensor

图中横坐标为实验次数,纵坐标为识别率Λ实验中使用的3个传感器标准差的范围分别为0101～0120,0101～0130,0101～0160Λ

表1　三类神经网络的实验比较

Tab.1　Experimentresultofthreedifferentneuralnetworks

训练数据

正确分类 %

981391179715

测试数据

拒分 %

117510117

训练次数

拒分 %

018510215

Kohonen40080012000

Outstar33016012000

误分 %

0313018

正确分类 %

961789129313

误分 %

215518412

训练时间 s

7186165412

CPN为改进的CPN网络,SCPN为标准的CPN网络,BPN为后向传播神经网络

仿真实验结果表明,改进后的CPN融合识别性能比标准的CPN和BPN有改善,其学习速度和抗

噪能力都明显好于BPNΛ可见,利用基于CPN的多传感器数据融合目标识别方法是一种更加有效的融合识别途径Λ

由于神经网络的工作原理和结构特点决定了它特别适合于进行特征层的数据融合,故大多数的研究和应用都是针对特征层的数据融合进行的Λ相对于神经网络在特征层融合上的应用,在决策层融合上的应用则刚开始ΛChair和Varahney提出过一种感知型的神经网络结构用来融合统计独立的多信源判决结果[6]ΛThomopoulos等人应用神经网络解决传感器信息融合检测问题[7]ΛRobertJ.提出了一种基于LMS准则且性能接近最优参数检测器的神经网络模型,用来融合二值假设判决[8]Λ

融合识别问题中,往往无法获得数据类别的先验知识,因此必须利用非监督学习算法和自组织聚类网络解决此类问题Λ由Carpenter和Grossberg提

3　神经网络在决策级融合上的应用

决策级融合是一种高层次融合,它直接融合各个传感器由观测数据所得出的判断,其结果可为检测、控制和决策提供依据Λ决策层融合的优点是对传感器的依赖性小,能有效地反映环境或目标各个侧面的不同类型的信息;抗干扰能力强、容错性好、具有很高的灵活性,且系统对信息传输带宽要求较低Λ

基于神经网络的数据融合技术的进展

　第4期倪国强等:基于神经网络的数据融合技术的新进展507

出的二代ART(ART2)网络因具有好的网络性能而受到广泛的关注Λ它是具有实质意义的自组织网络,可以在未知数据类别和类别数的情况下实现自组织聚类Λ但是,ART2网络的神经动力学过程复杂,收敛速度慢,并且其中一系列工作参数需要根据经验人为设定ΛDIGNET网络是Thompoulos等人于1991年提出的一种新的自组织聚类网络[9]Λ同上述网络比较,其特点是无需数据类别和类别数的先验知识,并具有比较简单的神经动力学过程和较高的抗噪声干扰能力Λ文献[10]中对ART2网络和DIGNET网络做了详细的对比Λ

,因此系,ΛnP1,P2,…,PnP=[d1P1,d2P2,…,dnPn],这里d1,

d2,…,dn为各个分类器的输出模式对应的井深值Λ

由于DIGNET网络概念较复杂,请读者参见文献[9]Λ本课题组提出的基于DIGNET网络决策层融合的结构如图6所示Λ

取,然后应用多个这些DIGNET网络是系统的分类器Λ与一般的网络不同,DIGNET网

最后将综合向量输入到DIGNET网络进行决策层数据融合Λ该DIGNET网络既作为系统的融合中心又是一个综合分类器Λ图7给出了DIGNET

的仿真

(a)融合分类和单传感器的分类结果(b)融合系统的容错性能

图7　DIGNET网络仿真实验结果

Fig.7　ExperimenalresultsofDIGNET

实验结果Λ

实验中用的3个传感器的标准差分别为0101～0115,0101～0125,0101～3100Λ从图7b仿真结果可以看出,基于DIGNET网络的决策层数据融合系统是可行的,融合系统的目标正确识别率较单传感器的目标正确识别率均有所提高,并且系统表现出良好的容错性Λ

路图像会发生平移、扭曲、旋转等差异,甚至各图像的视场也不尽相同,因此需对融合数据进行必要的前期处理Λ多维数据的并行处理为神经网络并行性能的发挥提供了舞台Λ

1988年美国加州大学伯克利分校的Chua与Yang提出了细胞神经网络CNN(cellularneural

[11]

network)Λ由于其在二维图像的初级加工等领域的重要作用,现已形成了一个新的学科分支ΛCNN网络是一种局部连接网络,拓扑结构比其它互连模型简单得多Λ此网络是正反馈系统,可保证良好的输出特性,提高网络的误差容限,降低硬件实现时对元件精度的要求,而且还具有空间不变性Λ正是由于这

4　神经网络在融合前级处理上的应用

从各传感器获得的信息,由于传感器自身误差、环境变化、大气扰动以及传感器规格不同等因素会造成信息畸变和失配Λ对于图像融合来说,两路或多

基于神经网络的数据融合技术的进展

508北京理工大学学报第23卷　

些优点,CNN网络特别适合于硬件实现,为融合算法的实时化提供了基础[12,13]Λ

不同尺寸影响区域的CNN状态方程可由不同大小的由阈值、控制系数、反馈系数构成的CNN基因模板表示Λ目前已知的CNN基因模板约有数百个,其中用于图像处理的CNN基因包括阈值、点提取、点消除、逻辑非、逻辑与、边缘检测、拐角检测、腐蚀等,几乎包括了关于图像分析的各种操作ΛCNN网络处理对象的广适性及适于硬件实现的优点使之非常适用于数据的前级处理Λ

IEEETransactiononNeuralNetworks,1999,10(3):554-563.[3]　InguvaR,

Multifeature[4]　RobertHN.[5]　RobertHN.

139.

[6]　ChairZ,VarshneyPK.

multipsensor

timaldatafusioninsystems[J].

IEEE

JohnsonJL,fusion

using

SchamschulaMpulse

coupled

P.neural

networks[J].SPIE,1999,3719:342-351.

Counter2propagationnetworks[J].Applicationsofcounter2propagation

AppliedOptics,1987,26(12):works[J].NeuralNetworks,1988,1(1):131-

5　结论和展望

应用于数据层融合的基于猫视觉模型研究的脉

冲耦合神经网络,融合的DIGNET年代以Λ年提出的几乎包含了图像分析各种操作的细胞神经网络,可应用于融合前的数据处理,其适合用硬件实现的优点,可以提高系统工程化的可能性和实时化能力Λ神经网络以其泛化能力强、稳定性高、容错性好、快速有效的优势,在信息融合中的应用日益受到重视Λ目前,将模糊数学、神经网络、进化计算、粗集理论、小波变换、专家系统等智能技术有机地结合起来,是一个重要的发展趋势Λ钱学森教授在1990年提出了研究复杂巨系统的方法论:将专家群体、数据和各种信息与计算机仿真有机地结合起来,把各种学科的科学理论和人的经验与知识结合起来,发挥综合系统的整体优势去解决问题Λ这就是数据融合技术,也是今后的发展方向Λ

参考文献:

[1]　瞿继双,王　超,王正志.基于数据融合的遥感图像处

TonsA,98-101.

7　s,isIN,SahinoglouH,et

anddistributedhypothesistestingwithadaptivenetworksandperceptron2typeneuralnetworks[J].SPIE,1992,1611:35-51.[8]　RobertJP.Anewneuralnetworkarchitecturefor

thefusionofindependentsensordecision[J].SPIE,1994,2232:521-525.

[9]　ThomopoulosSC,BougouliasDK.DIGNET:A

self2organizingneuralnetworkforautomaticpatternrecognitionandclassification[J].SPIE,1991,1470:253-262.

[10]　WannCD,ThomopoulosSC.Acomparativestudy

ofself2organizingclusteringalgorithmsdignetandATR2[J].NeuralNetworks,1997,10(4):737-738.

[11]　ChuaLO,YangL.Cellularneuralnetworks:theory

[J].1272.

[12]　高胜保,奚柏清.细胞神经网络——模型与实现[J].

IEEETransCircuitsSyst,1988,35:1257-

南京邮电学院学报,1994,14(3):1-2.

GaoShengbao,XiBaiqing.Cellularneuralnetwork:Modelandimplementation[J].JournalofNanjingInstituteofPostsandTelecommunications,1994,14(3):1-2.(inChinese)

[13]　刘常澍,刘　峰,谢学智等.可编程细胞神经网络

理技术[J].中国图像图形学报,2002,7(10):986-991.

.DataQuJishuang,WangChao,WangZhengzhifusionbasedtechnologyforremotesensingimageprocessing[J].JournalofImageandGraphics,2002,7(10):986-991.(inChinese)

[2]　BroussardRP,RogersSK,OxleyME,etal.

Physiologicallymotivatedimagefusionforobjectdetectionusingapulsecoupledneuralnetwork[J].

硬件实现及应用研究[J].电子学报,2000,28(4):1

-2.

LiuChangshu,LiuFeng,Research

on

hardware

XieXuezhi,implementation

.etaland

applicationofprogrammablecellularneuralnetwork[J].ActaElectronicaSinica,2000,28(4):1-2.(inChinese)

本文来源：https://www.bwwdw.com/article/uz5j.html