공상과학 영화에서 나올 듯한 소리지만 마음을 읽는 장비는 대부분의 사람들이 상상할 수 있는 것보다 훨씬 더 현실에 가까워져 있다. 디오르 연구 교육원(D'Or Institute for Research and Education)은 자기공명(MR) 장치를 사용한 새로운 연구에서 실험 참가자의 마음을 읽고 듣고 있는 음악을 식별했다고 밝혔다. 2월 2일 사이언티픽 리포츠(Scientific Reports)에 에 발표된 이 연구는 청각적 상상력과 내적 언어의 재구성에 대한 새로운 연구를 열어주고 기술을 개선할 기회를 제공하고 있다. 임상 영역에서는 움직임이 제한된 증상을 가진 환자들과 의사소통을 가능하게 하기 위한 뇌-컴퓨터 인터페이스를 향상시켜줄 수 있다.

실험에 참가한 6명의 지원자는 클래식 음악, 락, 팝, 재즈를 비롯한 40곡의 음악을 들었다. MR 장비를 이용해 참가자의 뇌에서 각 음악의 신경적 지문을 채취하고 컴퓨터를 이용하여 각 음악에 따라 나타나는 뇌 패턴을 식별하도록 훈련했다. 컴퓨터는 음조, 역동성, 리듬, 음성 등의 음악의 특성을 고려하여 식별에 사용했다.

학습을 수행한 후 과학자들은 컴퓨터가 반대로 작동할 수 있을 것으로 예측했는데, 참가자들의 뇌 활동을 기반으로 듣고 있는 음악을 식별하는 뇌 해독(brain decoding)이라고도 알려진 기술이다. 두 가지 선택을 두고 컴퓨터는 85% 정확도로 맞는 음악을 식별할 수 있었는데, 기존 연구와 비교할 때 매우 뛰어난 성능을 보였다.

실험을 더 어렵게 만들기 위한 방법으로 2가지 선택이 아니라 10개의 선택(정확한 1곡과 틀린 9곡을 제시)을 컴퓨터에 적용했다. 이 경우 컴퓨터는 74%의 정확도로 맞는 음악을 식별할 수 있었다.

미래에는 뇌 해독과 머신러닝 연구를 통해 어떤 형태의 문자 혹은 음성 언어가 없어도 의사소통의 가능성을 현실로 만들어줄 것이다. 디오르 연구소 연구원이자 연방 리오데자네이로 대학의 박사과정 학생인 세바스찬 호플(Sebastian Hoefle)은 “기계가 우리의 생각을 노래로 번역해줄 수 있을 것"이라고 말했다. 이 연구는 브라질, 독일, 핀란드, 인도의 과학자들이 협력을 통해 거둔 성과다.

호플은 뇌 해독 연구는 신경세포의 기능과 상호작용을 이해하는 대안을 제공해주고 인공지능에 사용할 수 있는 가능성을 제공해준다고 말하면서, 미래에는 음악의 요소 중 무엇이 어떤 사람들은 노래를 좋아하도록 만들어주고 다른 사람들은 그렇지 않게 하는지와 우리의 뇌가 특정 종류의 음악을 좋아하도록 적응하는지에 대한 질문에 답을 찾을 수 있게 될 것이라고 덧붙였다.