비지도 스파이킹 컨벌루션 신경망을 사용한 신경 인코딩

Dec 10, 2023

커뮤니케이션 생물학 6권, 기사 번호: 880(2023) 이 기사 인용

2 알트메트릭

측정항목 세부정보

다양한 자극에 대한 뇌 반응을 정확하게 예측하는 것은 신경과학에서 중요한 과제입니다. fMRI 연구에서 CNN(컨볼루션 신경망)을 사용한 신경 인코딩의 최근 획기적인 발전에도 불구하고 전통적인 인공 뉴런과 실제 생물학적 뉴런의 계산 규칙 사이에는 여전히 중요한 격차가 남아 있습니다. 이 문제를 해결하기 위해 이 연구에서는 SCNN(스파이킹 CNN) 기반 프레임워크를 제시하여 보다 생물학적으로 그럴듯한 방식으로 신경 인코딩을 달성합니다. 프레임워크는 감독되지 않은 SCNN을 활용하여 이미지 자극의 시각적 특징을 추출하고 수용 필드 기반 회귀 알고리즘을 사용하여 SCNN 특징에서 fMRI 응답을 예측합니다. 손으로 쓴 문자, 손으로 쓴 숫자 및 자연 이미지에 대한 실험 결과는 제안된 접근 방식이 매우 우수한 인코딩 성능을 달성할 수 있고 이미지 재구성 및 식별과 같은 "뇌 읽기" 작업에 활용될 수 있음을 보여줍니다. 이 연구는 SNN이 신경 인코딩을 위한 유망한 도구 역할을 할 수 있음을 시사합니다.

신경 인코딩의 목적은 외부 자극에 대한 뇌의 반응을 예측하여 감각 정보를 처리하는 뇌의 메커니즘을 탐구하고 뇌-컴퓨터 인터페이스(BCI) 시스템의 기초 역할을 하는 효과적인 수단을 제공하는 것입니다. 우리가 외부 정보를 수신하는 주요 방법 중 하나인 시각적 인식은 신경 인코딩 연구의 주요 초점이었습니다. 기능적 자기공명영상(fMRI)과 같은 비침습적 뇌 영상 기술의 발전으로 과학자들은 지난 20년 동안 시각 기반 신경 인코딩1,2,3,4에서 눈부신 발전을 이루었고 이는 업계에서 뜨거운 주제가 되었습니다. 신경 과학.

비전 기반 인코딩 프로세스에는 일반적으로 특징 추출과 응답 예측5이라는 두 가지 주요 단계가 포함됩니다. 특징 추출은 시각 피질을 자극하여 자극의 시각적 특징을 생성하는 것을 목표로 합니다. 성공적인 인코딩을 위해서는 실제 시각적 메커니즘에 가까운 정확한 특징 추출기가 중요합니다. 반응 예측은 추출된 시각적 특징을 기반으로 복셀별 fMRI 반응을 예측하는 것을 목표로 합니다. 특징과 응답 간의 관계는 최대한 단순해야 하므로 선형 회귀6가 이 단계에 일반적으로 사용됩니다. 이전 연구에서는 초기 시각 피질이 Gabor 웨이블릿과 유사한 방식으로 정보를 처리하는 것으로 나타났습니다. 이 결과를 바탕으로 Gabor 필터 기반 인코딩 모델이 제안되었으며 이미지 식별 및 영화 재구성과 같은 작업에 성공적으로 적용되었습니다1,3. 최근 몇 년간 CNN(Convolutional Neural Network)은 컴퓨터 비전 분야에서 인상적인 성과로 인해 큰 주목을 받아왔습니다. 여러 연구10,11에서는 표현 유사성 분석12을 활용하여 CNN과 fMRI 표현의 비유사성 패턴을 비교했으며, 이는 인간의 시각 피질이 CNN과 유사한 계층적 표현을 공유한다는 사실을 보여줍니다. 결과적으로 CNN 기반 인코딩 모델이 널리 사용되고 있으며 뛰어난 성능을 입증했습니다2,4,13,14. 그러나 인코딩 응용 분야에서 CNN의 성공에도 불구하고 시각적 정보 처리에 있어서 CNN과 뇌 사이의 차이점을 간과할 수 없다는 점에 유의하는 것이 중요합니다15.

계산 메커니즘 측면에서 CNN의 인공 뉴런과 생물학적 뉴런 사이에는 근본적인 차이가 존재합니다. 즉, 전자는 연속적인 디지털 값을 전파하고 후자는 활동 전위(스파이크)를 전파합니다. 3세대 신경망16으로 간주되는 스파이킹 신경망(SNN)의 도입으로 이러한 차이가 크게 줄어들었습니다. 기존 인공 신경망(ANN)과 달리 SNN은 스파이크 타이밍을 통해 정보를 전송합니다. SNN에서 각 뉴런은 이전 계층의 스파이크를 통합하고 내부 전압이 임계값을 초과하면 다음 계층으로 스파이크를 방출합니다. 체중 업데이트를 위한 비지도 방식이며 포유류의 시각 피질에서 발견된 스파이크 타이밍 종속 가소성(STDP) 알고리즘은 SNN에 가장 일반적으로 사용되는 학습 알고리즘입니다. 최근 연구에서는 STDP 기반 SNN을 객체 인식에 적용하여 상당한 성능을 달성했습니다22,23,24. SNN의 생물학적 타당성은 신경 인코딩에 이점을 제공합니다.