Надувные рождественские украшения для дворика дома в супермаркете Хом Дипо Бруклин Нью-Йорк октябрь 2011
Процесс представления визуальной информации в коре головного мозга, как хорошо известно, опосредован изменением состояния огромного количества (миллиардов) нейронов. Эти клетки образуют сложную разветвленную сеть, которая и обрабатывает визуальную информацию. Их можно представить, как фильтр визуального сигнала.
Измерить (химическую и электрическую) реакцию каждого нейрона в живом организме пока невозможно, но существуют опосредованные методы исследования. fMRI – функциональный ядерно-магнитный резонанс – позволяет регистрировать изменения в кровотоке, питающем нейроны. Это дает информацию не об отдельных нейронах, а о т.н. вокселях (voxels) – небольших объемах нейронной ткани, включающей в себя сотни тысяч нейронов. В этой серии экспериментов были выбраны воксели размером 2 на 2 на 2,5 мм. Измерялись поток крови, ее объем и степень насыщения кислородом. Этот метод называется BOLD.
Добровольцы (в роли которых выступали сами авторы работы) помещались в гигантский магнит (основную часть установки fMRI), и в течение нескольких часов каждому из них показывали случайным образом выбранные ролики из YouTube. Активность мозга при этом фиксировалась и затем сопоставлялась с просматриваемыми образами. Компьютерный анализ данных строился на двухступенчатой модели, которая позволила найти соответствия между образами на экране и активностью мозга, или точнее – изменениями в кровообращении.
Сложность такого сопоставления заключалась в том, что у исследователей были только данные о сравнительно крупных участках коры, но не об отдельных нейронах. Другая сложность заключалась в низком временном разрешении данных о кровотоке. Они изменяются в течение нескольких секунды, в то время как визуальная информация обрабатывается за доли секунды. Обе этих (и другие) сложности оказались преодолимы благодаря новой математической модели, использованной исследователями.
После «обучения» программы участники эксперимента снова забирались в гигантский магнит, но на этот раз им демонстрировались ролики из другого набора, который никак не пересекался с первым. Активность мозга снова записывалась, и далее происходило самое интересное.
По этой, записанной во втором эксперименте активности, «обученная» программа восстанавливала ролики, которые просматривали подопытные. О качестве реконструкции можно судить по сопоставлению оригинала и прочитанной из коры головного мозга картинки.
Оно далеко от идеального, но явно превосходит случайные величины. Иными словами, исследователям удалось получить информацию, пусть и ограниченную, о движущихся образах, которые наблюдает человек, по активности нейронов. До этого ученым удавалось реконструировать только статическую картинку. Более подробно можно узнать об экспериментах здесь.
Если эта технология разовьется в более точную и простую – а это, видимо, вскоре и произойдет, – она сделает возможным качественно новые интерфейсы между компьютером и человеком. В частности, станет возможным прямое считывание визуальной информации из коры головного мозга в компьютер и, таким образом, управление компьютером без участия рук и даже сознания как такового: обработка визуальной информации происходит до собственно мыслительного процесса.
Кроме того, эта технология открывает новые возможности исследования процессов в коре мозга. Она же потенциально позволяет исследовать воздействие лекарственных препаратов на кору и, возможно, послужит первым шагом для создания «нейронных протезов» для пострадавших от инсульта.
Все это не означает, что данная технология как-либо помогает «проецировать» изображения в мозг человека. Ее другие ограничения таковы: качество реконструкции образов зависит от данного человека и требует длительного лабораторного исследования. В текущем состоянии она непригодна ни для клинического, ни тем более массового потребительского применения. Но это только начало подобных технологий, и их развитие, скорее всего, будет стремительным.
Компания Ambient из Иллинойса продает за две тысячи долларов набор для «чтения мыслей». Так, по крайней мере, выглядит на видео работа прототипа этого устройства. Человек надевает на шею небольшой датчик, произносит про себя фразы, которые затем воспроизводит синтезированный компьютером голос. На самом деле система читает не мысли. Эта задача чрезвычайно сложна и, возможно, вообще неразрешима. Предлагаемая система лишь регистрирует и декодирует сигналы, которые мозг посылает по нейронам на голосовые связки. Этих сигналов оказывается достаточно, чтобы расшифровать слова, которые человек собирался произнести (но не произнес).
Компания была создана с целью помочь инвалидам, страдающим полным параличом или немым по некоторым другим причинам. Идея основывалась на том, что даже в случае повреждения позвоночника и нарушений работы моторных нейронов и мышц голосовых связок сигналы головного мозга все равно формируют импульсы, несущие достаточную информацию о речи. На практике это означало разработку и создание устройства, которое смогло бы надежно улавливать изменение потенциала нейронов в гортани. Именно такое устройство и создала компания Ambient. Датчик устройства накладывается на шею в области адамова яблока. Важно подчеркнуть, что устройство не нарушает кожного покрова. Его можно легко надеть и снять. Данные с датчика собираются контроллером CompactRIO производства National Instruments.
Регистрируемые изменения в разнице потенциалов передаются в программу распознавания речи (voice recognition). Такие системы обычно снимают сигнал с микрофона, т.е. распознают речь. Их потребительские версии работают далеко не с абсолютной точностью и требуют обучения. В процессе обучения такая система распознавания учится различать слова и звуки речи данного конкретного человека.
Происходит это путем сопоставления звуков и словарных записей. Аналогичным образом работает система распознавания речи в разработке Ambient. Она устанавливает соответствие между нейронными потенциалами и словами. В этом, стоит заметить, ее ограниченность. Она не может распознавать любую речь, а только лишь те слова и звуки, которые есть в ее «словаре». Реализована система распознавания на программном пакете LabVIEW.
В качестве одного из применений Ambient продвигает систему управления инвалидной коляской. Человеку достаточно лишь произнести про себя команды «вперед», «налево», «стоп» и т.п., чтобы заставить коляску маневрировать. Это даст возможность инвалидам с полным параличом более активно участвовать в жизни.
Этим сфера применения данной технологии не ограничивается. Компания выдвигает также беззвучные сотовые телефоны. С помощью этой технологии можно общаться по мобильному, не произнося слов, что очень удобно в ряде ситуаций. При этом пользователь сможет общаться и голосом, например, когда система не узнает некоторые слова во фразах. Ограничением пока является задержка при работе системы, которая заметна при ее демонстрации. Это ограничение, скорее всего, удастся преодолеть, а вот с ограничением словаря, который распознает система, будет сложнее. С другой стороны, большая часть разговоров по мобильному уже сегодня укладывается в две-три сотни слов, и активный словарь новых поколений продолжается сокращаться.
В заключение прогноз на эту технологию. Она обладает большим потенциалом. Все, что связано со считыванием нейронной активности, сейчас находится в фазе активного роста. Тенденция опосредовать коммуникацию между людьми и между человеком и машиной идет по нарастающей. Данная технология – еще один, хотя и пока относительно небольшой, шаг в этом процессе. В нем заинтересованы скорее технократы, чем гуманисты: характерно, что Ambient, изначально задавшись целью помочь инвалидам, в данный момент продает свой продукт корпоративным клиентам.
Дмитрий Крылов, PhD, независимый эксперт по инновационным технологиям. Голос Америки