生醫工學院李遠寧課題組開發新的基于AI集成學習的視覺神經編碼模型

ON2024-03-26CATEGORY科研進展

近日,上??萍即髮W生物醫學工程學院李遠寧課題組與合作者在Science Bulletin上發表標題為“Enhancing neural encoding models for naturalistic perception with a multi-level integration of deep neural networks and cortical networks”的研究論文,介紹了一種新的基于深度神經網絡(DNN)與腦網絡融合的大腦視覺響應編碼預測模型。

  

基于深度學習與腦網絡融合的大腦視覺響應編碼預測模型示意圖


視覺感知對于生物智能和人工智能的研究都具有重要意義。建立能夠準確預測神經反應和相關感知行為的模型,揭示潛在神經過程原理和機制是認知計算神經科學的重要問題。在此項工作中,研究人員設計了DNN模型特征層面和大腦網絡層面的雙重整合的新型神經編碼模型算法:一方面通過集成學習框架整合利用神經網絡不同訓練階段各層特征表征的多樣性信息,另一方面通過單體素模型構建和劃分功能網絡,實現大腦圖譜級別的編碼模型整合來融合腦網絡結構信息。通過功能磁共振記錄人類被試在觀看大量自然場景視頻時全腦神經活動,研究人員在大數據集上驗證了該模型比以往基于DNN的編碼模型具有更優越的預測準確性,并展示了該模型在表示復雜視覺概念(如類別和運動信息)方面的改進提升。該工作展示了如何利用多層次的深度神經網絡信息以及大腦功能連接組信息促進全腦神經編碼預測,將腦網絡研究與單體素預測模型結合,有助于深入理解大腦的高級皮層功能。

上??萍即髮W生醫工學院李遠寧教授和賓夕法尼亞大學博士研究生楊虎錚為論文的共同第一作者,李遠寧教授和電子科技大學顧實教授為論文的共同通訊作者,上??萍即髮W為第一完成單位。

論文鏈接:https://doi.org/10.1016/j.scib.2024.02.035