8년 전, 어느 환자가 진행성 마비를 일으키는 근위축성 측색 경화증(ALS, 루게릭병)으로 인해 더 이상 말을 할 수 없게 되었다. 그녀는 여전히 소리를 낼 수 있지만, 정확히 어떤 단어를 말하려는 것인지는 알아들을 수 없기 때문에 의사소통을 위해서는 종이나 아이패드(iPad)를 사용해야 한다.

그녀는 자발적 의사에 따라 뇌 임플란트 수술을 받았다. 현재 그녀는 “나는 내 소유의 집이 없어(I don’t own my home)”, “그냥 힘들어(It’s just tough)”와 같은 문구를 일반인과 비슷한 속도로 빠르게 표현할 수 있게 되었다.

미국 스탠퍼드 대학교(Stanford University)의 한 연구팀은 지난 1월 출판 전 논문을 게시하는 웹사이트인 바이오 리시브(bioRxiv)에 공개한 논문에서 이러한 결과를 얻었다고 주장했다. 이 연구는 아직 다른 연구자들의 공식 검토를 거치지 않았다. 이 연구팀은 ‘피험자 T12’라고만 밝힌 지원자가 뇌 판독 임플란트 기술을 사용하여 분당 62단어의 속도로 소통하는 데 성공했으며, 이는 기존 최고 기록에 비해 3배나 더 빠른 수준이라고 말한다.

이 프로젝트에 참여하지 않은 캘리포니아 대학교 샌프란시스코 캠퍼스(이하 UCSF)의 연구원인 필립 사브스(Philip Sabes)는 이러한 결과를 “획기적인 발전”이라고 표현하며 실험 단계의 뇌 판독 기술이 곧 연구실을 벗어나 유용한 제품으로 상용화될 수 있다고 말했다.

사브스는 “이 논문에서 소개한 정도의 성능은 말을 할 수 없는 사람들이 장치만 준비되어 있다면 구입하려 할 정도로 이미 높은 수준에 도달했다”라고 평가하며 “앞으로 사람들은 이러한 장치를 사용하고 싶어 할 것”이라고 말했다.

언어 장애가 없는 사람들은 일반적으로 분당 약 160단어를 말한다. 키보드, 모바일 타이핑, 이모티콘 및 인터넷 약어가 보편화된 시대에도 음성은 여전히 사람들 간에 가장 빠르게 공유할 수 있는 의사소통 형태이다.

이 새로운 연구는 스탠퍼드 대학교에서 수행되었다. 1월 21일에 발표된 출판 전 논문은 발표 당일 공동 저자인 크리슈나 셰노이(Krishna Shenoy)가 췌장암으로 사망하면서 트위터 및 다른 소셜 미디어에서 많은 주목을 받기 시작했다.

셰노이는 뇌신경 세포와 컴퓨터, 또는 기계를 연결하여 생각을 문장으로 바꿔주는 ‘뇌 인터페이스’ 시스템의 통신 속도를 개선하는 데 인생을 바쳤다. 그는 자신의 연구실 웹사이트에 경신된 연구 성과들을 세심하게 기록해놓았다. 2019년 셰노이의 연구에 참여한 또 다른 지원자는 뇌 인터페이스를 사용하여 자신의 생각을 분당 18단어의 속도로 타이핑하는 데 성공한 바 있으며, MIT 테크놀로지 리뷰에서도 관련 내용을 다룬 바 있다.

셰노이 팀이 연구하는 뇌-컴퓨터 인터페이스(BCI)를 사용하기 위해서는 인체의 움직임을 담당하는 주된 두뇌 영역인 운동 피질에 날카로운 소형 전극 패드를 삽입해야 한다. 연구원은 이 패드를 사용하여 한 번에 수십 개의 뉴런 활동을 기록하고, 신체가 마비된 경우에도 사람이 어떤 동작을 생각하고 있는지를 나타내는 패턴을 찾을 수 있다.

이전 연구에서 신체가 마비된 지원자들은 손을 움직이는 상상을 해보라는 요청을 받았다. 이들은 신경 신호를 실시간으로 ‘해독’하는 뇌 임플란트 기술을 통해 화면 주위에서 커서를 움직이고 가상 키보드에서 글자를 선택했으며, 비디오 게임을 하고, 로봇 팔을 제어하기도 했다.

새로운 연구에서 스탠퍼드 팀은 운동 피질의 뉴런에도 발화 관련 움직임에 대한 유용한 정보가 포함되어 있는지 밝혀하고자 했다. 즉, ‘피험자 T12’가 말하려고 할 때, 뇌 인터페이스 기술을 통해 피험자가 입, 혀, 성대를 어떻게 움직이려고 하는지 감지할 수 있는지를 알아보려 한 것이다.

발화 과정에서 나타나는 신체의 움직임은 미세하고 섬세하다. 사브스에 따르면 새로 밝혀진 중요한 사실은 단 몇 개의 뉴런 안에 컴퓨터 프로그램을 통해 환자가 말하려는 단어를 매우 정확하게 예측할 수 있는 충분한 정보가 포함되어 있다는 점이다. 셰노이 팀은 해당 발화 관련 정보를 컴퓨터 화면으로 옮겼고 이 화면에는 지원자가 컴퓨터를 통해 표현하는 단어들이 표시되었다.

이 새로운 연구 결과는 발화에는 가장 복잡한 인체 움직임이 수반된다고 밝힌 UCSF의 에드워드 창(Edward Chang)의 기존 연구에서 한 걸음 더 나아간 것이다. 우리는 공기를 밀어내고 진동을 더해 소리를 만들어내며 우리의 입과 입술, 혀를 이용하여 이러한 소리가 특정 단어로 들리도록 다듬는다. ‘f’ 소리를 내기 위해서는 윗니를 아랫입술에 대고 공기를 밀어내야 하며, 이는 말을 하는 데 필요한 수십 가지 구강 운동 중 하나에 불과하다.

향후 발전 방향

창 역시 과거에 뇌 윗부분에 삽입한 전극을 사용하여 지원자가 컴퓨터를 통해 의사를 표현하도록 하는데 성공했다. 하지만 스탠퍼드 연구원들은 자신들의 시스템이 더 정확하고 속도도 3-4배 더 빠르다고 주장한다.

셰노이와 신경외과 의사인 제이미 헨더슨(Jaimie Henderson)이 포함된 연구진은 “우리의 연구 결과는 마비가 있는 사람들이 일상적인 대화와 유사한 속도로 자신의 의사를 표현할 수 있는 능력을 되찾을 수 있는 실현 가능한 방향을 제시한다”고 평가했다.

UCSF에서 에드워드 창의 팀과 함께 일하는 데이비드 모지스(David Moses)는 현재 연구가 “놀라운 수준의 새로운 성능 기준”을 수립했다고 말한다. 그러나 그는 기록이 계속 경신되더라도 “다년간에 걸쳐 안정적이고 신뢰할 수 있는 성능을 입증하는 것이 점점 더 중요해질 것”이라고 예상한다. 특히 상업적인 뇌 임플란트가 시간이 지나면서 성능이 저하되거나 기록의 정확도가 떨어지는 경우 규제당국을 승인을 받는 데 어려움을 겪을 수 있다.

앞으로 관련 연구들은 더욱 정교한 임플란트 기술과 인공지능(AI)을 긴밀하게 통합하는 방향으로 진행될 가능성이 높다.

현재 시스템에는 이미 몇 가지 머신러닝 프로그램이 사용되고 있다. 스탠퍼드 팀은 정확도 향상을 위해 일반적으로 문장에서 특정 알파벳 뒤에 오는 단어들을 예측하는 소프트웨어를 사용했다. 예를 들어 보통 ‘I’ 뒤에는 ‘ham’보다 ‘am’이 오는 경우가 더 많다. 그래서 ‘ham’과 ‘am’의 소리가 비슷하고 누군가의 뇌에서 두 단어의 패턴이 비슷하게 나타나더라도 시스템에서 피험자가 생각하는 단어를 올바르게 파악할 수 있다.

단어 예측 시스템을 추가한 결과, 피험자가 실수 없이 말하는 속도가 더 빨라졌다.

언어 모델

한편 GPT-3와 같이 새로운 ‘대형’ 언어 모델은 에세이 전문을 작성하고 질문에 답할 수 있다. 이 언어 모델을 뇌 인터페이스에 연결한다면 시스템이 부분적인 정보만으로도 사용자가 말하려는 내용을 더욱 효과적으로 추측할 수 있기 때문에 사용자들의 의사소통 속도가 더욱 빨라질 것이다. 사브스는 “지난 몇 년 동안 대형 언어 모델들이 발전하는 모습을 보며 인공 음성 보조 장치가 개발될 날이 멀지 않았다는 생각이 들었다. 지금처럼 엄청난 노력을 들이지 않고도 음성 출력이 가능해질 수 있기 때문”이라고 말했다.

셰노이 연구진은 수십 명의 지원자의 뇌에 전극을 삽입하여 뇌 임플란트 기술을 적용하는 브레인게이트(BrainGate) 프로젝트에 참여하고 있다. 그들은 약 100개의 바늘 모양 전극이 들어 있는 단단한 금속 사각형인 유타 어레이(Utah Array)라는 임플란트를 사용한다.

일론 머스크(Elon Musk)가 설립한 뇌 인터페이스 회사인 뉴럴링크(Neuralink)와 또 다른 스타트업인 파라드로믹스(Paradromics)를 포함한 몇몇 기업들은 한 번에 수천, 심지어 수만 개의 뉴런(뇌신경 세포)을 기록하여 외부에 있는 컴퓨터나 기기에 연결할 수 있는 더욱 현대적인 방식의 인터페이스를 개발했다고 주장한다.

일부 회의론자들은 한 번에 더 많은 뉴런에서 정보를 측정하는 것이 어떤 의미가 있는지 반문했지만, 새로운 보고서에 따르면 두뇌에서 특히 발화처럼 복잡한 움직임을 읽어내야 하는 경우에는 이러한 기술이 시스템의 성능을 높일 수 있다.

스탠퍼드 과학자들은 한 번에 읽을 수 있는 뉴런의 수가 더 많을수록 지원자 ‘T12’가 말하려는 내용을 이해하는 과정에서 발생하는 오류가 줄어든다는 사실을 발견했다.

뉴럴링크에서 수석 과학자로 근무했던 사브스는 “이러한 연구 결과는 중요한 의미를 갖는다. 어느 정도 복잡한 움직임을 수반하는 작업의 경우, 뉴럴링크와 같은 회사들이 전극 1,000개를 뇌에 삽입함으로써 시스템의 성능을 향상시킬 수 있다는 점을 시사하기 때문”이라고 평가했다.