基于混合多級(jí)深度神經(jīng)網(wǎng)絡(luò)系統(tǒng)的半導(dǎo)體制造過(guò)程自動(dòng)化視覺(jué)故障檢測(cè)系統(tǒng)

2022-02-15 5423

在半導(dǎo)體領(lǐng)域，自動(dòng)化視覺(jué)檢測(cè)旨在通過(guò)利用人工智能和計(jì)算機(jī)視覺(jué)系統(tǒng)改進(jìn)對(duì)制造缺陷的檢測(cè)和識(shí)別，使制造商能夠提高產(chǎn)量和降低制造成本。以往研究通常使用經(jīng)典的計(jì)算機(jī)視覺(jué)方法，而近些年基于深度學(xué)習(xí)的方法應(yīng)用的更加廣泛。然而，基于深度學(xué)習(xí)的方法對(duì)小尺寸缺陷圖案的識(shí)別較為困難，這些缺陷圖案的尺寸通常只有幾微米或者幾像素，隱藏在大量高分辨率圖像中。當(dāng)這些缺陷模式發(fā)生在明顯更大的晶圓表面上，經(jīng)典的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)解決方案難以解決小尺寸缺陷圖案識(shí)別的問(wèn)題。本文引入了一種新穎的混合多級(jí)疊加深度神經(jīng)網(wǎng)絡(luò)系統(tǒng)（SH-DNN）混合多級(jí)系統(tǒng)，該系統(tǒng)允許通過(guò)經(jīng)典的計(jì)算機(jī)視覺(jué)管道在像素大小內(nèi)定位最精細(xì)的結(jié)構(gòu)，而分類(lèi)過(guò)程由深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)。所提系統(tǒng)將重點(diǎn)從其結(jié)構(gòu)的詳細(xì)程度轉(zhuǎn)移到與任務(wù)相關(guān)的更感興趣的領(lǐng)域。正如創(chuàng)建的測(cè)試環(huán)境所示，基于 SH-DNN 的多級(jí)系統(tǒng)超越了當(dāng)前基于學(xué)習(xí)的自動(dòng)視覺(jué)檢測(cè)方法。該系統(tǒng)的性能（F1分?jǐn)?shù)）高達(dá) 99.5%，對(duì)應(yīng)于系統(tǒng)的故障檢測(cè)能力相對(duì)提高了 8.6 倍。此外，通過(guò)專門(mén)為給定的制造鏈選擇模型，可以滿足運(yùn)行時(shí)限制，同時(shí)提高當(dāng)前部署方法的檢測(cè)能力。


關(guān)鍵詞：計(jì)算機(jī)視覺(jué)；模式和圖像識(shí)別；深度學(xué)習(xí)；半導(dǎo)體制造；工廠自動(dòng)化；故障檢測(cè)

1. 研究背景

自動(dòng)化視覺(jué)故障檢測(cè)過(guò)程涉及系統(tǒng)的開(kāi)發(fā)和集成，用于捕獲和監(jiān)控制造結(jié)果。質(zhì)量控制的自動(dòng)化使制造商能夠受益于產(chǎn)量的提高和制造成本的降低。雖然半導(dǎo)體制造過(guò)程的數(shù)據(jù)采集通常會(huì)產(chǎn)生大量的圖像數(shù)據(jù)，但缺陷圖案通常為像素大小出現(xiàn)在高達(dá)105×105圖像分辨率范圍內(nèi)。對(duì)基于深度學(xué)習(xí)的方法，這種小尺寸缺陷模式的檢測(cè)和分類(lèi)為常見(jiàn)難題。因此，本文通過(guò)心理學(xué)和視覺(jué)注意領(lǐng)域的概念來(lái)克服上述問(wèn)題。

本文的貢獻(xiàn)總結(jié)如下:本文提出一種新型的混合多級(jí)疊加深度神經(jīng)網(wǎng)絡(luò)系統(tǒng)（SH-DNN）的設(shè)計(jì)，該系統(tǒng)結(jié)合了經(jīng)典圖像處理方法和基于人工神經(jīng)網(wǎng)絡(luò)的方法的優(yōu)點(diǎn)。將重點(diǎn)放在檢查過(guò)程中每一步的詳細(xì)程度上，以關(guān)注更多與任務(wù)相關(guān)的領(lǐng)域。它通過(guò)經(jīng)典的計(jì)算機(jī)視覺(jué)管道對(duì)像素大小內(nèi)的最精細(xì)結(jié)構(gòu)進(jìn)行定位，而分類(lèi)過(guò)程則通過(guò)深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)。深層神經(jīng)網(wǎng)絡(luò)能夠以更高的分辨率處理給定的輸入。從而更有效地檢測(cè)通常僅在幾μm大小范圍內(nèi)的最精細(xì)結(jié)構(gòu)和大量高分辨率圖像中的像素。

2. 研究?jī)?nèi)容

實(shí)驗(yàn)數(shù)據(jù)集由各種類(lèi)型的晶圓組成，它們都具有不同結(jié)構(gòu)和圖像分辨率，每個(gè)芯片的像素從 224×224 到高達(dá) 960×1024 不等。最重要的是，這也意味著完美和有缺陷的芯片、street和street段的不同特征和子類(lèi)的出現(xiàn)。表 1 描述了數(shù)據(jù)集的組成，共計(jì)六種不同的晶圓類(lèi)型以及多達(dá) 5000 個(gè)芯片和 13500 個(gè)street。對(duì)于street段，每條street被分成多個(gè)重疊的平方street段區(qū)域。

表1 每個(gè)晶圓類(lèi)型的芯片（包括內(nèi)部和邊界以及完美和有缺陷的芯片）和street（包括完美和有缺陷的street）的數(shù)據(jù)集概述

圖片

表2和表3顯示了一些典型的代表性芯片和街道樣本。

表2 數(shù)據(jù)集芯片類(lèi)八個(gè)代表性示例概述

圖片

表3 數(shù)據(jù)集street分類(lèi)概述

圖片

圖1顯示了所提基于SH-DNN的系統(tǒng)及其處理步驟。在以下章節(jié)中，系統(tǒng)處理整個(gè)晶圓，以檢測(cè)有故障和無(wú)故障的芯片。在處理晶圓圖像之前，通過(guò)不同的顯微鏡記錄它們，獲取未拼接的子圖像，或者預(yù)處理的圖像，這些圖像由顯微鏡軟件拼接成單個(gè)圖像。

圖片

圖1所提視覺(jué)故障檢查系統(tǒng)

Street分類(lèi)網(wǎng)絡(luò)包括芯片分類(lèi)網(wǎng)絡(luò)與Street分類(lèi)網(wǎng)絡(luò)，都是基于VGG網(wǎng)絡(luò)進(jìn)行的改進(jìn)。網(wǎng)絡(luò)結(jié)構(gòu)如表4和表5所示。

表4 用于芯片分類(lèi)的自定義CNN層配置

圖片

表5 用于street分類(lèi)的自定義CNN層配置

圖片

表6顯示了常規(guī)基線、半導(dǎo)體和基于DL的方法的測(cè)試結(jié)果。這些方法目前分為半導(dǎo)體視覺(jué)檢測(cè)領(lǐng)域中部署的基于單個(gè)DNN的解決方案，以及該領(lǐng)域中大多數(shù)未經(jīng)DL研究的方法。

表6 基于SH-DNN的分類(lèi)測(cè)試結(jié)果，采用常規(guī)基線方法和基于DL的芯片和street分類(lèi)方法

圖片
圖片

此外，我們還評(píng)估了相關(guān)的常規(guī)基線和基于DL的內(nèi)部和邊界芯片分類(lèi)方法，如表7所示。

表7 基于SH-DNN的分類(lèi)測(cè)試結(jié)果，以及用于內(nèi)部和邊界芯片分類(lèi)的常規(guī)基線方法和基于DL的方法

圖片


3. 結(jié)論

所提自動(dòng)視覺(jué)故障檢測(cè)系統(tǒng)將經(jīng)典圖像處理方法的優(yōu)點(diǎn)與基于深度學(xué)習(xí)的方法相結(jié)合，形成了一個(gè)混合多級(jí)疊加深度神經(jīng)網(wǎng)絡(luò)系統(tǒng)（SH-DNN）。該系統(tǒng)的優(yōu)勢(shì)在于能夠檢測(cè)到通常只有幾微米大小的最精細(xì)結(jié)構(gòu)，以及大量高分辨率圖像中的像素。為此，多級(jí)系統(tǒng)有助于將處理集中在感興趣的區(qū)域，因此允許后續(xù)的深層神經(jīng)網(wǎng)絡(luò)以更高的精度進(jìn)行分類(lèi)。根據(jù)詳細(xì)程度進(jìn)行區(qū)分，可以在更大的母區(qū)內(nèi)檢測(cè)缺陷模式，同時(shí)可以在自動(dòng)化目視檢查過(guò)程的早期階段將其排除在進(jìn)一步評(píng)估之外。遵循這一原則，每個(gè)處理步驟的結(jié)果都會(huì)根據(jù)所提尋址方案進(jìn)行可視化，進(jìn)而允許生成自己的晶圓圖。雖然這些晶圓圖在視覺(jué)上與晶圓探針測(cè)試創(chuàng)建的晶圓圖相似，但它們是無(wú)風(fēng)險(xiǎn)獲取的，因?yàn)闄z查過(guò)程是非侵入性的，進(jìn)一步簡(jiǎn)化了檢查員的評(píng)估過(guò)程。

使用多種基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的方法進(jìn)行對(duì)比評(píng)估，同時(shí)將其與更常用的自動(dòng)化視覺(jué)檢查方法進(jìn)行比較。正如測(cè)試結(jié)果所示，所提基于SH-DNN的系統(tǒng)超過(guò)了當(dāng)前最先進(jìn)的自動(dòng)視覺(jué)檢查。這些改進(jìn)突出表現(xiàn)在系統(tǒng)性能（F1分?jǐn)?shù)）從95%提高到98.9%（對(duì)于常規(guī)基線方法為+3.9%），以及從95.7提高到99.5%（對(duì)于基于單DNN的方法為+3.8%）。這相當(dāng)于系統(tǒng)的故障檢測(cè)能力分別提高了4.6倍和8.6倍。




最新文章排行榜