目的 基于深度學習的腦電圖-功能性近紅外光譜技術(electroencephalogram-functional near-infrared spectroscopy, EEG-fNIRS)多模態(tài)腦機接口在康復工程中具有廣泛的應用前景,但存在數(shù)據(jù)量不足的問題。為此,本文提出一種基于改進條件生成式對抗網(wǎng)絡(conditional generative adversarial network, CGAN)的EEG-fNIRS多模態(tài)信號數(shù)據(jù)增廣方法,以解決EEG-fNIRS多模態(tài)腦機接口與深度學習結合時面臨的數(shù)據(jù)量匱乏的問題。方法 首先,對EEG和fNIRS數(shù)據(jù)進行濾波、歸一化和下采樣等預處理。然后,針對EEG的非平穩(wěn)特點,在CGAN生成器和判別器中增加自注意力機制,獲得EEG數(shù)據(jù)增廣模型CGANE,加強捕捉和學習時變關鍵信息的能力。同時,針對fNIRS采樣率低、信息量不充分問題,在CGAN生成器和判別器中增加上采樣卷積層,獲得fNIRS數(shù)據(jù)增廣模型CGANf,加強模型的信息挖掘能力,并將CGANE和CGANf
|