基于特征融合的實(shí)時(shí)語(yǔ)義分割方法探討

本文是一篇計(jì)算機(jī)論文，本文從特征融合角度出發(fā)，結(jié)合注意力機(jī)制、深度可分離卷積、上下文語(yǔ)義信息、多尺度特征圖等提出了兩個(gè)不同的實(shí)時(shí)語(yǔ)義分割方法。
第1章 緒論
1.1  課題背景及研究的目的和意義
圖像語(yǔ)義分割是機(jī)器視覺(jué)方向的一項(xiàng)基礎(chǔ)性技術(shù)，通過(guò)分割后的圖像可以推斷出圖像中的對(duì)象、對(duì)象間的關(guān)系以及對(duì)象所處環(huán)境等關(guān)鍵信息。語(yǔ)義分割任務(wù)目標(biāo)在于把圖像中的每個(gè)像素分類，分類后像素點(diǎn)將圖像分割成不同的且互相之間不連通的區(qū)域，每一類像素點(diǎn)代表一類物體。語(yǔ)義分割應(yīng)用在生產(chǎn)生活中的方方面面，如遙感圖像的分割、醫(yī)學(xué)影像分割、虛擬現(xiàn)實(shí)、人機(jī)交互等。在傳統(tǒng)圖像處理先設(shè)計(jì)特征提取器對(duì)圖像的特征進(jìn)行提取，再通過(guò)機(jī)器學(xué)習(xí)算法對(duì)特征計(jì)算并分類，這種算法不是端到端的算法，針對(duì)不同的圖像場(chǎng)景要設(shè)計(jì)不同的算法操作復(fù)雜且不易推廣。與傳統(tǒng)圖像處理方法不同，卷積神經(jīng)網(wǎng)絡(luò)可以從大量的原始圖像中學(xué)到相應(yīng)的特征，通過(guò)端到端的方式對(duì)輸入的圖像進(jìn)行處理，有效簡(jiǎn)化了特征提取過(guò)程。
圖像數(shù)據(jù)的日益增多和計(jì)算機(jī)計(jì)算能力的增強(qiáng)，為基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)發(fā)展提供了條件。隨著卷積神經(jīng)網(wǎng)絡(luò)發(fā)展，圖像語(yǔ)義分割已應(yīng)用在工業(yè)自動(dòng)化、智能質(zhì)檢、醫(yī)學(xué)檢測(cè)等領(lǐng)域。例如，在質(zhì)檢領(lǐng)域，產(chǎn)品生產(chǎn)時(shí)不可避免地會(huì)有一些缺陷，人工質(zhì)檢費(fèi)時(shí)費(fèi)力還不一定能取得較好的效果，基于傳統(tǒng)方法的質(zhì)檢研發(fā)周期長(zhǎng)，后期調(diào)試比較麻煩，基于卷積神經(jīng)網(wǎng)絡(luò)的質(zhì)檢研發(fā)周期短、結(jié)果可靠，真正實(shí)現(xiàn)了降本增效。在醫(yī)學(xué)影像領(lǐng)域，可以通過(guò)對(duì)醫(yī)學(xué)影像進(jìn)行分割，其結(jié)果可以為臨床醫(yī)生篩查和預(yù)診斷患者病情提供有力的判斷依據(jù)，這種方法不僅能夠降低醫(yī)生的工作強(qiáng)度，還可以提升醫(yī)生診斷和評(píng)估效率。
圖像語(yǔ)義分割可以應(yīng)用在生產(chǎn)生活當(dāng)中，但是在一些對(duì)實(shí)時(shí)性有要求的場(chǎng)景中，分割方法的推理速度還需要縮短。準(zhǔn)確性較高的分割方法中通常伴隨著大量的計(jì)算和參數(shù)，由此也導(dǎo)致了語(yǔ)義分割推理速度慢。隨著智能手機(jī)等輕便的圖像采集設(shè)備的推廣，圖像信息更容易采集且數(shù)量迅速增長(zhǎng)，此時(shí)如何快速處理圖像成為了主要問(wèn)題。實(shí)時(shí)語(yǔ)義分割在自動(dòng)駕駛、虛擬現(xiàn)實(shí)、現(xiàn)代農(nóng)業(yè)等領(lǐng)域具有現(xiàn)實(shí)意義。通過(guò)實(shí)時(shí)語(yǔ)義分割可以對(duì)自動(dòng)駕駛場(chǎng)景中的行人、汽車、車道線、紅綠燈等物體的識(shí)別都需要以語(yǔ)義分割為基礎(chǔ)，在虛擬現(xiàn)實(shí)場(chǎng)景中通過(guò)語(yǔ)義分割對(duì)場(chǎng)景分割為場(chǎng)景理解和程序判斷奠定基礎(chǔ)。
....................................
1.2  國(guó)內(nèi)外研究現(xiàn)狀
語(yǔ)義分割是由基于傳統(tǒng)方法的圖像分割發(fā)展而來(lái)的，之后卷積神經(jīng)網(wǎng)絡(luò)以其獨(dú)特的優(yōu)勢(shì)，成為了語(yǔ)義分割的主流方法，但在一定程度上會(huì)導(dǎo)致方法計(jì)算更加復(fù)雜，耗費(fèi)時(shí)間更長(zhǎng)。
1.2.1  基于傳統(tǒng)的圖像分割方法
基于傳統(tǒng)的圖像分割方法以圖像本身的相關(guān)屬性作為評(píng)判標(biāo)準(zhǔn)對(duì)圖像進(jìn)行預(yù)處理，再結(jié)合機(jī)器學(xué)習(xí)中的最近鄰算法等對(duì)分割結(jié)果進(jìn)行處理。主要方法有以下三類：
第一，基于閾值的分割方法。其特點(diǎn)是效果直觀、易于理解且結(jié)果可靠。其基本原理是不同的物體對(duì)光的反射程度不相同，通過(guò)設(shè)定多個(gè)閾值將對(duì)圖像的像素分類，具體操作方法是根據(jù)設(shè)定的多個(gè)閾值，把處理后的灰度圖像劃分為不同的區(qū)域。其主要應(yīng)用于目標(biāo)對(duì)象和所處環(huán)境之間灰度值差別較大的情況，它可以降低操作復(fù)雜度，壓縮閾值之間的數(shù)據(jù)，減少圖像的數(shù)據(jù)量。這是一種基礎(chǔ)的且利用率較高的分割方法。
第二，基于區(qū)域的分割方法。該方法是通過(guò)對(duì)圖像的顏色、紋理等信息來(lái)分析判斷不同的區(qū)域，并可分為區(qū)域生長(zhǎng)、區(qū)域合并和區(qū)域分裂合并三種基本提取方式。區(qū)域生長(zhǎng)以隨機(jī)的單個(gè)像素作為種子像素，之后檢索周圍的未被標(biāo)記的像素點(diǎn)將具有相似特性的像素點(diǎn)合并到一起形成一個(gè)區(qū)域直到區(qū)域停止擴(kuò)張，之后再隨機(jī)選取種子像素重復(fù)上述步驟。區(qū)域合并與上述過(guò)程相反，根據(jù)分割順序?qū)D像進(jìn)行整體分割，但其分割結(jié)果取決于分割順序，結(jié)果具有不可控性，因此又有了將兩者相結(jié)合的區(qū)域分裂合并方式。區(qū)域分裂合并以圖像本身為起點(diǎn)，經(jīng)過(guò)像素之間的分裂劃分出多個(gè)子區(qū)域。
第三，基于邊緣的分割方法，該方法的特點(diǎn)是搜索檢測(cè)速度快、對(duì)邊緣檢測(cè)效果好且性能穩(wěn)定，其基本原理為物體的邊緣會(huì)導(dǎo)致圖像灰度等變換較大，通過(guò)圖像中邊緣像素的連接，對(duì)圖像進(jìn)行分割[8]。方法的具體操作為通過(guò)對(duì)圖像的灰度圖求導(dǎo)得到圖像的邊緣，最終得到分割結(jié)果。該方法適用于噪聲低，邊緣變化大的圖像。
..............................
第2章 理論基礎(chǔ)介紹
2.1  卷積神經(jīng)網(wǎng)絡(luò)
2.1.1  卷積神經(jīng)網(wǎng)絡(luò)及特點(diǎn)
卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，cnn）產(chǎn)生的靈感來(lái)源于仿生學(xué)原理中生物的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。1998年由lecun等人首次提出了len et。2012年，alexnet被提出。同時(shí)隨著圖像數(shù)據(jù)的日益增多和以gpu為主的計(jì)算能力的增強(qiáng)，卷積神經(jīng)網(wǎng)絡(luò)的類型不斷更新，之后又有采用1?1和3?3的卷積核的vggnet，基于并聯(lián)卷積的googlelenet，基于殘差結(jié)構(gòu)的resnet。卷積神經(jīng)網(wǎng)絡(luò)的特點(diǎn)有：
（1）局部連接性即提取局部特征，優(yōu)于卷積中卷積核大小的限制導(dǎo)致每個(gè)卷積核只能提取有限信息，隨著卷積的層層疊加，在高層的卷積中將感受到的局部區(qū)域進(jìn)行合并得到全局信息。
（2）權(quán)值共享，在卷積神經(jīng)網(wǎng)絡(luò)中一個(gè)卷積核可以得到一種特征信息，將這一個(gè)卷積核作用于整個(gè)網(wǎng)絡(luò)，即可得到一張具有某種特征的特征圖。在這一過(guò)程中僅使用一個(gè)卷積核進(jìn)行權(quán)值共享，能有效的減少參數(shù)量，并降低訓(xùn)練復(fù)雜度。
（3）自動(dòng)特征提取，對(duì)圖像進(jìn)行卷積操作得到的矩陣即是特征圖，即自動(dòng)特征提取。多次卷積可以得到多種不同的結(jié)果，即高維特征圖，高維特征圖中包含較多的特征信息。
（4）平移不變性，即目標(biāo)對(duì)象變換到其他位置，卷積神經(jīng)網(wǎng)絡(luò)仍能識(shí)別目標(biāo)，卷積后的結(jié)果與變換之前相同，這一特性使得可以對(duì)原圖使用反轉(zhuǎn)等圖像增強(qiáng)方法。
...................................
2.2  殘差網(wǎng)絡(luò)
2.2.1  殘差網(wǎng)絡(luò)的產(chǎn)生
隨著卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，模型復(fù)雜度更高，得到的結(jié)果也更符合預(yù)期。但是隨著卷積層數(shù)不斷的增加會(huì)出現(xiàn)“退化”的情況，其具體表現(xiàn)是網(wǎng)絡(luò)性能快速下降，預(yù)測(cè)效果越來(lái)越差。
解決上述問(wèn)題的方法有兩種，第一種可以通過(guò)調(diào)整初始化的參數(shù)和梯度下降方法，第二種方法可以通過(guò)調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)，使其更易于優(yōu)化。殘差網(wǎng)絡(luò)即是通過(guò)提出了殘差結(jié)構(gòu)來(lái)解決，通過(guò)提出的殘差結(jié)構(gòu)弱化每層之間的強(qiáng)聯(lián)系，使得網(wǎng)絡(luò)結(jié)構(gòu)可以有多層，并且提出使用批歸一化（batch normalization，bn）來(lái)解決梯度消失和梯度爆炸的現(xiàn)象。
2.2.2  殘差結(jié)構(gòu)
殘差結(jié)構(gòu)（residual block）模型的構(gòu)造如圖所示，殘差模塊中包含著兩個(gè)不同的分支，其中f(x)由x通過(guò)多個(gè)連續(xù)的權(quán)重層和relu函數(shù)計(jì)算得到，將得到的特征圖f(x)和原特征圖x通過(guò)旁支（shortcut）結(jié)構(gòu)連接并使對(duì)應(yīng)元素相加，這里要求特征圖f(x)和x大小相同并且通道數(shù)相同，最終得到殘差結(jié)構(gòu)的結(jié)果。

計(jì)算機(jī)論文怎么寫

文中提出了兩個(gè)具體的殘差模塊為基礎(chǔ)模塊，其輸入通道數(shù)為64的特征圖，通過(guò)兩層的網(wǎng)絡(luò)處理得到通道數(shù)仍為64的特征圖，之后將其與原圖對(duì)應(yīng)元素相加并輸入relu函數(shù)中得到最終結(jié)果。為瓶頸模塊，其輸入的矩陣的通道數(shù)為256，先降低通道數(shù)再進(jìn)行之后的操作，以此減少參數(shù)量和計(jì)算量，之后通過(guò)3?3卷積最后使用1?1升維卷積將通道數(shù)恢復(fù)至256，并將兩者的對(duì)應(yīng)元素相加。
...............................
第3章 基于雙通道特征融合的實(shí)時(shí)語(yǔ)義分割網(wǎng)絡(luò)
3.1 網(wǎng)絡(luò)整體結(jié)構(gòu) 

.................................... 
3.2 網(wǎng)絡(luò)詳細(xì)結(jié)構(gòu)

................................. 



第4章 基于多尺度特征融合的實(shí)時(shí)語(yǔ)義分割網(wǎng)絡(luò)
4.1  網(wǎng)絡(luò)整體結(jié)構(gòu)
網(wǎng)絡(luò)整體結(jié)構(gòu)其中包含骨干網(wǎng)絡(luò)resnet-18、改進(jìn)的空間金字塔池化ds-aspp模塊和改進(jìn)的自適應(yīng)空間特征融合ca-asff模塊。

計(jì)算機(jī)論文參考

網(wǎng)絡(luò)首先通過(guò)骨干網(wǎng)絡(luò)獲得不同階段特征信息，骨干網(wǎng)絡(luò)仍采用輕量化殘差網(wǎng)絡(luò)resnet-18，保證實(shí)時(shí)性和準(zhǔn)確性。之后通過(guò)改良的空間金字塔池化ds-aspp模塊，模塊采用計(jì)算量更小的卷積來(lái)獲取多尺度特征圖，并使用獲得的多尺度特征圖解決輪廓模糊問(wèn)題。最后通過(guò)改進(jìn)的自適應(yīng)空間特征融合ca-asff模塊，將上述模塊中得到的多尺度特征圖有效的自適應(yīng)融合，得到預(yù)測(cè)結(jié)果。

4.2 網(wǎng)絡(luò)詳細(xì)結(jié)構(gòu) 

........................
結(jié)論
圖像語(yǔ)義分割的使用遍及生產(chǎn)生活中，但在具體應(yīng)用過(guò)程中由于生產(chǎn)環(huán)境的設(shè)備等其他條件限制，實(shí)時(shí)語(yǔ)義分割還需要向著精度高速度快的方向發(fā)展。本文深入研究分析基于特征融合的語(yǔ)義分割方法，對(duì)實(shí)時(shí)語(yǔ)義分割方法中的不足，通過(guò)對(duì)現(xiàn)有方法中利弊的分析提出改進(jìn)方向，并結(jié)合具體的實(shí)驗(yàn)對(duì)基于特征融合的實(shí)時(shí)語(yǔ)義分割方法進(jìn)行了詳細(xì)的研究。具體的，本文從特征融合角度出發(fā)，結(jié)合注意力機(jī)制、深度可分離卷積、上下文語(yǔ)義信息、多尺度特征圖等提出了兩個(gè)不同的實(shí)時(shí)語(yǔ)義分割方法，主要得出以下兩個(gè)結(jié)論：
（1）構(gòu)建了基于雙通道特征融合的實(shí)時(shí)語(yǔ)義分割方法。本文對(duì)當(dāng)前的特征融合方式進(jìn)行深入的研究和分析，設(shè)計(jì)了一個(gè)高效的雙通道特征融合模塊。為了提高模型的感受野并且加快模型推理速度，設(shè)計(jì)了一個(gè)輕量化注意力模塊。骨干網(wǎng)絡(luò)采用輕量化的殘差網(wǎng)絡(luò)resnet-18保證分割精度的同時(shí)也能有效提升分割速度。實(shí)驗(yàn)結(jié)果表明，提出的分割方法能夠達(dá)到分割應(yīng)用的要求，能夠適用于實(shí)時(shí)語(yǔ)義分割任務(wù)中。
（2）提出了基于多尺度特征融合的實(shí)時(shí)語(yǔ)義分割方法。本文對(duì)于當(dāng)前的多尺度特征圖融合方法進(jìn)行分析，結(jié)合注意力機(jī)制優(yōu)化每個(gè)分支的結(jié)構(gòu)，并細(xì)化每個(gè)分支的作用，強(qiáng)化主分支的作用，對(duì)于其他的輔助分支僅在訓(xùn)練階段提供損失函數(shù)，在預(yù)測(cè)階段不再計(jì)算輔助分支以減少計(jì)算量。之后研究了深度可分離卷積的計(jì)算優(yōu)勢(shì)，提出了基于深度可分離的金字塔池化模塊，該模塊可以通過(guò)較少的計(jì)算量提取多尺度特征圖。
參考文獻(xiàn)（略）

本文收集整理于網(wǎng)絡(luò)，如有侵權(quán)請(qǐng)聯(lián)系客服刪除！