本發(fā)明屬于增材制造質(zhì)量檢測，具體涉及基于三維移位窗多頭自注意的雙光子光刻零件質(zhì)檢方法。

背景技術(shù)：

1、雙光子光刻（two-photon?lithography,?tpl）是一種基于非線性光學效應的先進增材制造技術(shù)，能夠在微米甚至納米尺度上加工復雜三維結(jié)構(gòu)，廣泛應用于生物醫(yī)療器件、微光學元件及柔性電子等領域。然而，tpl工藝的工業(yè)化應用面臨核心瓶頸：零件質(zhì)量（如固化、未固化、損壞狀態(tài)）的實時檢測高度依賴人工經(jīng)驗，且激光劑量參數(shù)的動態(tài)調(diào)整缺乏高效自動化手段。由于tpl加工過程中光敏樹脂的固化效果受激光強度、掃描速度等多參數(shù)耦合影響，傳統(tǒng)離線檢測方法效率低下，難以滿足大規(guī)模生產(chǎn)需求。因此，開發(fā)一種高精度、低延遲的在線質(zhì)量檢測技術(shù)，成為推動tpl產(chǎn)業(yè)化落地的關鍵。

2、當前，基于計算機視覺的深度學習算法被廣泛用于工業(yè)質(zhì)量檢測，但在tpl場景中仍存在顯著局限：1）傳統(tǒng)3d-cnn模型因固定尺寸卷積核限制，難以建模長程時空依賴，導致微小缺陷漏檢；2）cnn-lstm等混合架構(gòu)因串行計算特性，無法并行處理高幀率視頻，推理延遲顯著；3）vivit等transformer架構(gòu)的全局自注意力機制計算復雜度呈平方級增長，難以部署至資源受限的工業(yè)設備；4）現(xiàn)有生成模型（如gan、vae）在缺乏故障樣本時，對未固化、微損傷等狀態(tài)的分類準確率大幅下降。

技術(shù)實現(xiàn)思路

1、為解決上述技術(shù)問題，本發(fā)明提供基于三維移位窗多頭自注意的雙光子光刻零件質(zhì)檢方法，以解決現(xiàn)有技術(shù)中的問題，本發(fā)明所采用的技術(shù)方案是：

2、基于三維移位窗多頭自注意的雙光子光刻零件質(zhì)檢方法，包括以下步驟：

3、步驟一，通過攝像頭實時采集雙光子光刻工藝加工過程的視頻數(shù)據(jù)，并按時間軸采樣生成等長的10幀序列，構(gòu)建包括已固化、未固化及損壞零件狀態(tài)的訓練集、驗證集和測試集；

4、步驟二，將視頻劃分為非重疊的3d塊，通過3d卷積提取初始特征并線性映射至高維嵌入空間，添加可學習的類別標記和3d位置編碼，保留時空結(jié)構(gòu)信息；

5、步驟三，設計包括3d窗口自注意力與3d移位窗口自注意力的transformer子模塊；

6、步驟四，構(gòu)建video-swtrans層次化transformer架構(gòu)，包括四個階段的層次化transformer結(jié)構(gòu)；

7、步驟五，將多層次時空特征提取的全局信息映射到具體的質(zhì)量分類標簽，并通過交叉熵損失函數(shù)實現(xiàn)端到端的優(yōu)化；

8、步驟六，將模型部署至邊緣計算平臺，通過tensorrt引擎進行推理優(yōu)化，通過多線程流水線處理實現(xiàn)并行推理，同步記錄缺陷時空坐標。

9、進一步的，步驟一中，視頻分辨率為110×110像素，單通道灰度；在x-y平面上分割出25個獨立零件的加工區(qū)域，每個零件對應一段子視頻，對各子視頻按時間軸采樣生成等長的10幀序列，相鄰窗口重疊5幀；序列的標簽根據(jù)物理不可逆性規(guī)則確定：若序列中存在至少一幀標記為“損壞”，則整體標記為“損壞”；若存在“已固化”幀且無損壞，則標記為“已固化”；否則標記為“未固化”。

10、進一步的，步驟二中，將預處理后的視頻序列，劃分為非重疊的3d塊，每個塊的時間跨度為2幀，空間尺寸為4×4像素；其中，為時間，為高度，為寬帶，為通道數(shù)；

11、通過3d卷積操作對每個塊提取塊特征，再經(jīng)過線性變換將通道數(shù)從16提升至96，經(jīng)過處理后得到初始標記的維度為；

12、其中，3d卷積核尺寸為，，為嵌入通道數(shù),公式表示為：

13、；

14、在將初始標記輸入transformer網(wǎng)絡之前，將類別標記與其拼接并添加位置編碼，形成最終的嵌入表示，以實現(xiàn)將視頻數(shù)據(jù)轉(zhuǎn)換為適合transformer子模塊處理的輸入標記，表示為：

15、；

16、其中，為可學習的三維位置編碼張量初始值，且服從均勻分布。

17、進一步的，步驟三包括：

18、步驟3.1，設計3d窗口多頭自注意力用于捕捉局部時空特征，將輸入標記劃分為多個非重疊的尺寸為的3d窗口，其中為空間區(qū)域大小，為連續(xù)幀數(shù)；

19、在各3d窗口內(nèi)使用多頭自注意力機制計算注意力權(quán)重：使用具有可學習參數(shù)的權(quán)重矩陣，，對輸入標記進行線性變換，以生成查詢、鍵和值向量，單個注意力頭的計算方式為：

20、；

21、其中，計算與的點積，得到注意力分數(shù)，使用softmax函數(shù)對注意力分數(shù)進行歸一化，得到注意力權(quán)重，是鍵向量的維度；

22、將步驟3.1應用于多個不同的、、向量，然后將結(jié)果拼接并線性變換，獲得最終融合的標記b，計算公式為：

23、；

24、其中，是注意力頭的數(shù)量，是最終的輸出權(quán)重矩陣；

25、在計算自注意力時將該偏置添加到注意力權(quán)重中，公式如下：

26、；

27、其中，是3d相對位置偏置，根據(jù)標記之間在空間和時間上的相對位置進行調(diào)整；

28、步驟3.2，在3d窗口多頭自注意力的基礎上，將窗口進行移位操作，移位后窗口之間的邊界被打破，引入掩碼機制，對于非相鄰的窗口，使用掩碼將注意力權(quán)重設置為零；

29、步驟3.3，將3d窗口多頭自注意力與3d移位窗口多頭自注意力整合到transformer子模塊中，數(shù)據(jù)在單個transformer子模塊中的計算表示為：

30、；

31、；

32、；

33、；

34、其中， w-msa3d為3d窗口多頭自注意力， w-msa3d為3d移位窗口多頭自注意力；表示輸入及輸出標記，和分別表示當前標記的數(shù)量和維度；為層歸一化操作；表示將變換后的標記與原始標記通過殘差連接相加形成的中間標記；mlp為多層感知機。

35、進一步的，步驟四包括：

36、步驟4.1，階段一中構(gòu)建2個transformer子模塊，對步驟二中得到的標記序列依次執(zhí)行兩次transformer子模塊操作后，保持分辨率為；

37、步驟4.2，階段二中構(gòu)建2個transformer子模塊，注意力頭數(shù)增至，引入塊合并模塊將輸入標記按空間塊拼接并沿通道維度擴展至，經(jīng)層歸一化與線性投影壓縮通道至，輸出分辨率降至，依次執(zhí)行兩次transformer子模塊操作；

38、步驟4.3，階段三中構(gòu)建18個transformer子模塊，注意力頭數(shù)增至，再次應用塊合并模塊，通道擴展至，輸出分辨率降至，依次執(zhí)行18次transformer子模塊操作；

39、步驟4.4，在階段四中構(gòu)建2個transformer子模塊，注意力頭數(shù)增至，最后一次應用塊合并模塊，通道達到最大值,輸出分辨率降至，依次執(zhí)行兩次transformer子模塊操作。

40、進一步的，步驟五中，通過video-swtrans模型的最終分類階段，模型通過transformer架構(gòu)第四個階段的類別標記提取全局時空特征，該標記經(jīng)過全局平均池化沿時間與空間維度聚合為高維向量，隨后通過一個包含兩線性層與gelu激活函數(shù)的多層感知機將其映射至3維分類空間；最終通過softmax函數(shù)將輸出值轉(zhuǎn)換為歸一化概率分布，并采用交叉熵損失函數(shù)：

41、;

42、其中為真實標簽的one-hot編碼，為預測概率，結(jié)合adam優(yōu)化器端到端優(yōu)化模型參數(shù)，實現(xiàn)從原始視頻輸入到質(zhì)量分類的全自動推理。

43、進一步的，步驟六中，將訓練完成的video-swtrans模型部署至計算平臺進行推理優(yōu)化，實時接收四路視頻流輸入，通過多線程流水線處理實現(xiàn)并行推理；檢測到“損壞”類別時，立即降低激光強度10%-20%并觸發(fā)聲光報警，同時記錄缺陷時空坐標；檢測到“未固化”時，通過pid控制器以固定步長動態(tài)調(diào)整掃描速度。

44、進一步的，video-swtrans模型的檢測性能采用準確度accuracy、精確率precision、召回率recall和f1-score四個指標進行定量評估：

45、；

46、；

47、；

48、；

49、其中，tn、tp、fn、fp分別代表真陰性、真陽性、假陰性、假陽性樣本的數(shù)量。

50、本發(fā)明具有以下有益效果：

51、本發(fā)明構(gòu)建的video-swtrans為基于三維移位窗口多頭自注意力（sw-msa(3d)）與分層特征融合的視頻transformer框架，通過局部窗口計算與周期性位移機制，在僅需正常零件視頻數(shù)據(jù)訓練的條件下，高效學習時空分布特征；針對雙光子光刻工藝中不同光敏樹脂、光刻模式及零件幾何結(jié)構(gòu)，顯著降低了質(zhì)檢成本與工藝調(diào)試周期；本方法的應用實現(xiàn)了零件質(zhì)量的實時自動化檢測，為雙光子光刻技術(shù)的大規(guī)模工業(yè)化提供了技術(shù)支撐。