Усовершенствование существующего декодера мозга на базе искусственного интеллекта позволяет переводить мысли человека в текст без многочасового обучения. Ученые внесли новые усовершенствования в «мозговой декодер», который использует искусственный интеллект (ИИ) для преобразования мыслей в текст. Модель искусственного интеллекта может сканировать мозг человека с помощью неинвазивного оборудования и преобразовывать мысли в печатные предложения — без необходимости установки имплантов.
В одном исследовании учёные разработали модель искусственного интеллекта, которая декодировала сигналы мозга для воспроизведения предложений, напечатанных добровольцами. Во втором исследовании те же исследователи использовали искусственный интеллект для картирования того, как мозг на самом деле производит язык, превращая мысли в напечатанные предложения.
Команда исследователей сообщила в новом исследовании, что их новый алгоритм-конвертер может быстро обучить существующий декодер на мозге другого человека. По словам учёных, эти результаты могут в будущем помочь людям с афазией — заболеванием мозга, которое влияет на способность человека к общению. В новом исследовании, опубликованном 6 февраля 2025 года в журнале Current Biology, Хут и его соавтор Джерри Танг, аспирант Техасского университета в Остине, исследовали, как можно преодолеть ограничение в общении.
«Люди с афазией часто испытывают трудности как с пониманием, так и с воспроизведением речи», — сообщил в интервью Live Science соавтор исследования Александр Хут, специалист по вычислительной нейробиологии из Техасского университета в Остине (UT Austin). «Если это так, то мы, возможно, вообще не сможем построить модели их мозга, наблюдая за реакцией мозга на услышанные истории».
Декодер мозга использует машинное обучение для перевода мыслей человека в текст, основываясь на реакциях его мозга на прослушанные истории. Однако предыдущие версии декодера требовали, чтобы участники прослушивали истории в аппарате МРТ в течение многих часов, и эти декодеры работали только с теми людьми, на которых были обучены.
Группа исследователей разработала алгоритм, который позволяет «мозговому декодеру» на базе искусственного интеллекта, обученному на одном человеке, переводить мысли другого с минимальной подготовкой. Джерри Танг/Техасский университет в Остине
Сначала исследователи обучили декодер мозга на нескольких контрольных участниках долгим способом — собирая функциональные данные МРТ, пока участники слушали 10 часов радиорепортажей.
Затем они обучили два алгоритма конвертации на контрольных участниках и на другом наборе «целевых» участников: один с использованием данных, собранных, когда участники 70 минут слушали радиоистории, а другой — когда они 70 минут смотрели немые короткометражные фильмы Pixar, не связанные с радиоисториями.
Используя метод, называемый «функциональным выравниванием», команда составила карту реакции мозга контрольных и целевых участников на одни и те же аудио- или видеоистории. Эта информация была использована для обучения декодера работе с мозгом целевых участников, без необходимости сбора многочасовых данных для обучения.
Затем команда протестировала декодеры, используя короткий рассказ, который никто из участников ранее не слышал. Хотя предсказания декодера были немного точнее для участников, которые использовали исходную контрольную информацию, чем для тех, кто использовал конвертеры, слова, предсказанные декодером на основе сканирования мозга каждого участника, всё ещё были семантически связаны со словами, использованными в тестовом рассказе.
Например, в одном из фрагментов тестового рассказа кто-то рассказывал о работе, которая ему не нравилась: «Я официантка в кафе-мороженом. Так что, э-э, это не… Я не знаю, где хочу быть, но знаю, что это не то». Декодер, использующий алгоритм конвертера, обученный на данных видеозаписи, предсказал: «Я работала на работе, которая казалась мне скучной. Мне приходилось принимать заказы, и они мне не нравились, поэтому я работала над ними каждый день». Совпадение не точное — декодер не считывает точные звуки, которые слышали люди, но идеи связаны.
Ученые могут собирать данные, пока кто-то смотрит беззвучное видео, а затем использовать их для создания языкового декодера для его мозга.
Исследователи утверждают, что использование видеоконвертеров для передачи существующих декодеров людям с афазией может помочь им выражать свои мысли. Исследование также выявило некоторое совпадение между способами, которыми люди представляют идеи из языка и из визуальных образов в мозге.
Это исследование предполагает, что существует некое семантическое представление, которому неважно, из какой модальности оно исходит. Другими словами, это исследование помогает понять, как мозг представляет определённые концепции одинаково, даже если они представлены в разных форматах.
Смотрите также... Немного о кошках: история одомашнивания и интересные факты о поведении домашних питомцев |
Ученые из Meta использовали искусственный интеллект (ИИ) и неинвазивное сканирование мозга, чтобы понять, как мысли переводятся в печатные предложения.
По словам ученых, результаты исследования могут в будущем послужить основой для создания неинвазивного интерфейса «мозг-компьютер», который поможет людям с повреждениями или травмами головного мозга общаться.
Интерфейсы «мозг-компьютер», использующие схожие методы декодирования, были имплантированы в мозг людей, утративших способность общаться, но новые исследования могут подтвердить потенциальный путь к созданию носимых устройств.
В исследовании учёные использовали метод магнитоэнцефалографии (МЭГ), который измеряет магнитное поле, создаваемое электрическими импульсами в мозге, для отслеживания нейронной активности во время набора предложений участниками. Затем они обучили языковую модель ИИ декодировать сигналы мозга и воспроизводить предложения на основе данных МЭГ.
Два новых исследования проливают свет на то, как мы можем преобразовывать мысли в письменные предложения с помощью цифрового интерфейса. Meta
Модель декодировала буквы, набранные участниками, с точностью 68%. Часто встречающиеся буквы декодировались правильно чаще, в то время как менее распространённые, такие как Z и K, имели более высокий уровень ошибок. Когда модель допускала ошибки, она имела тенденцию заменять символы, расположенные физически близко к целевой букве на QWERTY-клавиатуре, что позволяет предположить, что модель использует двигательные сигналы мозга для предсказания того, какую букву набрал участник.
Было обнаружено, что мозг сначала генерирует информацию о контексте и значении предложения, а затем создает все более детальные представления каждого слова, слога и буквы по мере того, как участник печатает.
«Эти результаты подтверждают давние прогнозы о том, что порождение языка требует иерархического разложения смысла предложения на все более мелкие единицы, которые в конечном итоге контролируют двигательные действия», — пишут авторы исследования.
Чтобы предотвратить интерференцию одного слова или буквы с другим, мозг использует «динамический нейронный код», разделяющий их, как выяснила команда. Этот код постоянно меняет место представления каждого фрагмента информации в областях мозга, отвечающих за формирование языка.
Это позволяет мозгу связывать последовательные буквы, слоги и слова, сохраняя информацию о каждом из них в течение более длительного времени. Однако эксперименты с МЭГ не смогли точно определить, в каких областях мозга возникает каждое из этих представлений языка.
Исследователи пишут, что, хотя существующая установка слишком громоздка и чувствительна для корректной работы за пределами контролируемой лабораторной среды, достижения в технологии МЭГ могут открыть двери для будущих носимых устройств.
Смотрите также... HTML, CSS-шпаргалка с примерами - тег IMG, figure и picture. Адаптирование, форматирование, эффекты Полный список обработчиков событий HTML / Javascript с примерами |
