Неокрепшие нейроморфные умы
ТЕХНОЛОГИИ / #4-5_2022
Текст: Ирина ДОРОХОВА / Фото: Fortiss.org
Росатом совместно с учеными и разработчиками чипов участвует в создании и обучении нейроморфных систем искусственного интеллекта. У них несколько преимуществ, главное из которых -гораздо более низкое потребление электроэнергии по сравнению с обычными системами, построенными на базе классических нейронных сетей. Для нейроморфных систем необходимы специальные чипы и методики обучения.
Работа над концептом проекта самообучающейся нейроморфной системы искусственного интеллекта началась в IV квартале 2020 года. Участники проекта — «Цифрум» со стороны госкорпорации, лаборатория Михаила Киселева в Чувашском государственном университете (ЧГУ), новосибирская компания «Мотив — нейроморфные технологии» и «Лаборатория Касперского».
Шесть свойств нейроморфных систем
Нейроморфные системы искусственного интеллекта, как следует из названия, построены на принципах работы биологического мозга.
Первое свойство таких систем — обучение не на статических данных, а на потоках. Обычные системы искусственного интеллекта лучше справляются с обработкой статической дискретной информации и распознаванием образов. Для этого в систему загружается, например, большое количество изображений кошек и собак, и система учится определять, где кошка, а где собака. По этому принципу действуют обученные нейросети, распознающие «своих» сотрудников, и система Face Pay, с ноября 2021 года работающая в Московском метрополитене.
Нейроморфные системы нацелены на работу не с фрагментами информации, а с ее потоками — как в обычной жизни. «Если мы хотим, чтобы интеллектуальные устройства — те же роботы — действовали в реальной среде, метод с использованием дискретных фреймов нерелевантен, потому что обучение происходит перманентно, в потоке. Сначала получается плохо, потом — всё лучше и лучше. Нет такого — сначала учимся, потом применяем, всё смешано», — объясняет глава лаборатории нейроморфных вычислений, доцент ЧГУ Михаил Киселев.
Второе свойство — параллелизм обработки информации. В обычных искусственных нейронных сетях действует закон Амдала, ограничивающий степень параллелизма, если в задаче присутствует синхронизация. «Например, выполняя классические нейронные сети, мы должны гарантировать, что нейроны прошлого слоя выполнятся до того, как мы начнем выполнять следующий слой», — привел пример начальник отдела искусственного интеллекта Денис Ларионов, выступая на конференции OpenTalks AI — 2022. В живом мозге такого требования нет, процессы могут протекать параллельно без ограничений, обусловленных требованием синхронизации.
Третье свойство, одно из самых важных, — импульсный характер передачи сигнала. Именно это свойство дало русское название нейроморфным сетям — их также называют импульсными (английский вариант — спайковые, от spike — шип), которые используются в нейроморфных системах. Суть этого свойства в том, что информация передается через сам факт наличия импульса, а его амплитуда и длительность неважны. Обычные нейросети обмениваются величинами с различными значениями. Импульсный характер передачи сигнала в сети обуславливает два других, крайне важных преимущества импульсных сетей.
Во-первых, такой способ передачи информации гораздо менее энергозатратен, так как энергия тратится только во время передачи импульса. Для передачи информации в обычных нейросетях энергия тратится постоянно, поэтому электроэнергия — одна из главных статей расходов при работе с большими сетями. Так, для обучения модели GPT‑3, специализирующейся на обработке естественного языка, на электроэнергию потребовалось истратить несколько миллионов долларов. Человеческому мозгу требуется около 164 тыс. ккал в год — это всего 191 кВт·ч. Конечно, нейроморфные системы не так экономичны, как человеческий мозг (по крайней мере пока), но их энергоэффективность позволяет увеличить размер сети с десятков и сотен миллионов нейронов до миллиардов. Для сравнения, в человеческом мозге 86−95 млрд нейронов.
Во-вторых, импульсные сети гораздо более устойчивы к шумам, то есть неточностям в передаче информации.
Четвертое свойство импульсных систем заключается в следующем: импульс передается от нейрона к нейрону не мгновенно, а с некоторой временной задержкой, причем задержка эта разная: одни сигналы приходят быстрее, другие — медленнее. При обработке сигналов они встают в очередь. А в итоге после обработки учитывается состояние объекта с течением времени. Моделирование с обработкой разных по скорости сигналов позволяет сети обрабатывать динамические сигналы, например жесты. Если кисть перемещается в жесте «иди сюда», то значение приобретает не то или иное ее положение, а вся сумма движений от начального к конечному положению.
Нейроморфные системы искусственного интеллекта, как следует из названия, построены на принципах работы биологического мозга.
Первое свойство таких систем — обучение не на статических данных, а на потоках. Обычные системы искусственного интеллекта лучше справляются с обработкой статической дискретной информации и распознаванием образов. Для этого в систему загружается, например, большое количество изображений кошек и собак, и система учится определять, где кошка, а где собака. По этому принципу действуют обученные нейросети, распознающие «своих» сотрудников, и система Face Pay, с ноября 2021 года работающая в Московском метрополитене.
Нейроморфные системы нацелены на работу не с фрагментами информации, а с ее потоками — как в обычной жизни. «Если мы хотим, чтобы интеллектуальные устройства — те же роботы — действовали в реальной среде, метод с использованием дискретных фреймов нерелевантен, потому что обучение происходит перманентно, в потоке. Сначала получается плохо, потом — всё лучше и лучше. Нет такого — сначала учимся, потом применяем, всё смешано», — объясняет глава лаборатории нейроморфных вычислений, доцент ЧГУ Михаил Киселев.
Второе свойство — параллелизм обработки информации. В обычных искусственных нейронных сетях действует закон Амдала, ограничивающий степень параллелизма, если в задаче присутствует синхронизация. «Например, выполняя классические нейронные сети, мы должны гарантировать, что нейроны прошлого слоя выполнятся до того, как мы начнем выполнять следующий слой», — привел пример начальник отдела искусственного интеллекта Денис Ларионов, выступая на конференции OpenTalks AI — 2022. В живом мозге такого требования нет, процессы могут протекать параллельно без ограничений, обусловленных требованием синхронизации.
Третье свойство, одно из самых важных, — импульсный характер передачи сигнала. Именно это свойство дало русское название нейроморфным сетям — их также называют импульсными (английский вариант — спайковые, от spike — шип), которые используются в нейроморфных системах. Суть этого свойства в том, что информация передается через сам факт наличия импульса, а его амплитуда и длительность неважны. Обычные нейросети обмениваются величинами с различными значениями. Импульсный характер передачи сигнала в сети обуславливает два других, крайне важных преимущества импульсных сетей.
Во-первых, такой способ передачи информации гораздо менее энергозатратен, так как энергия тратится только во время передачи импульса. Для передачи информации в обычных нейросетях энергия тратится постоянно, поэтому электроэнергия — одна из главных статей расходов при работе с большими сетями. Так, для обучения модели GPT‑3, специализирующейся на обработке естественного языка, на электроэнергию потребовалось истратить несколько миллионов долларов. Человеческому мозгу требуется около 164 тыс. ккал в год — это всего 191 кВт·ч. Конечно, нейроморфные системы не так экономичны, как человеческий мозг (по крайней мере пока), но их энергоэффективность позволяет увеличить размер сети с десятков и сотен миллионов нейронов до миллиардов. Для сравнения, в человеческом мозге 86−95 млрд нейронов.
Во-вторых, импульсные сети гораздо более устойчивы к шумам, то есть неточностям в передаче информации.
Четвертое свойство импульсных систем заключается в следующем: импульс передается от нейрона к нейрону не мгновенно, а с некоторой временной задержкой, причем задержка эта разная: одни сигналы приходят быстрее, другие — медленнее. При обработке сигналов они встают в очередь. А в итоге после обработки учитывается состояние объекта с течением времени. Моделирование с обработкой разных по скорости сигналов позволяет сети обрабатывать динамические сигналы, например жесты. Если кисть перемещается в жесте «иди сюда», то значение приобретает не то или иное ее положение, а вся сумма движений от начального к конечному положению.
Охота на солнечных зайчиков
Михаил Киселев признал, что до полной реализации обучения и самообучения нейроморфных систем пока «как до Луны». Однако первые шаги уже сделаны, и результаты есть. Например, М. Киселев и специалисты «Цифрума» решили модельную задачу: научили камеру держать в поле зрения световое пятно типа солнечного зайчика, мечущегося в замкнутом пространстве. Специального алгоритма — как поймать зайчика — у нейросети нет. Но есть алгоритм, выдающий в сеть сигнал, который она воспринимает как оценку — «хорошо» или «плохо», и сеть подстраивает свои алгоритмы под нужный результат сама.
Опыт вполне удался. «Конкретный элемент системы не знает, что надо ловить зайчика, но нам удалось построить локальные законы изменения связей так, чтобы весь ансамбль нейронов учился ловить зайчика. И он этому научился, есть даже видео. Мы готовим с „Цифрумом“ статью в журнале Frontiers in Computational Neuroscience — в ней будет ссылка, пройдя по которой, можно будет посмотреть на процесс», — радуется ученый.
Опыт вполне удался. «Конкретный элемент системы не знает, что надо ловить зайчика, но нам удалось построить локальные законы изменения связей так, чтобы весь ансамбль нейронов учился ловить зайчика. И он этому научился, есть даже видео. Мы готовим с „Цифрумом“ статью в журнале Frontiers in Computational Neuroscience — в ней будет ссылка, пройдя по которой, можно будет посмотреть на процесс», — радуется ученый.
Пятое свойство — живой мозг, обрабатывая информацию, не использует механизма, свойственного обычным нейросетям: сигнал, проходящий по сети в одну сторону, возвращается назад и корректируется таким образом, чтобы повысить успешность решаемой задачи. «Очевидно, в мозге работают какие-то другие механизмы», — признал Д. Ларионов. Объяснение предложил канадский исследователь Дональд Хебб. Он утверждает, что изменение синаптической активности нейронов зависит от активности соседних нейронов, а не всех. Коротко принцип звучит так: «Neurons that fire together wire together». Дело в том, что нейроны связаны не «все со всеми», а лишь некоторые с некоторыми, связей у одного нейрона меньше, чем всего нейронов.
Шестое свойство — отсутствие в нейроморфных сетях разделения на память и переработку информации. В традиционных системах это разные устройства. Основные издержки обучения в обычных нейросетях, по словам Д. Ларионова, приходятся на обмен между памятью и процессорами. У этой проблемы даже есть название — «бутылочное горлышко фон Неймана» — по имени венгро-американского физика, автора архитектуры современных компьютеров. Суть проблемы в том, что вычисления происходят быстрее, чем обращение процессора к памяти компьютера, поэтому работа системы замедляется. В нейроморфных системах этой проблемы нет, потому что память представляет собой не отдельное пространство — хранилище, а что-то вроде состояния всех нейронов.
Шестое свойство — отсутствие в нейроморфных сетях разделения на память и переработку информации. В традиционных системах это разные устройства. Основные издержки обучения в обычных нейросетях, по словам Д. Ларионова, приходятся на обмен между памятью и процессорами. У этой проблемы даже есть название — «бутылочное горлышко фон Неймана» — по имени венгро-американского физика, автора архитектуры современных компьютеров. Суть проблемы в том, что вычисления происходят быстрее, чем обращение процессора к памяти компьютера, поэтому работа системы замедляется. В нейроморфных системах этой проблемы нет, потому что память представляет собой не отдельное пространство — хранилище, а что-то вроде состояния всех нейронов.
Кремниевый мозг учится быстрее живого
По сравнению с людьми нейросети учатся гораздо быстрее. Обычный биологический мозг работает на диффузии ионов, а компьютерный процессор — на кремниевых микросхемах. Сигнал по ним распространяется со скоростью, близкой к скорости света. Если тактовая частота (максимальная частота генерации импульсов) человеческого мозга измеряется килогерцами, то тактовая частота процессора — гигагерцами, то есть в миллион раз выше. Поэтому информацию, которую ребенок освоит к пяти годам, компьютер может освоить в миллион раз быстрее — хотя бы потому, что у него более быстрая элементная база.
Еще одна причина более быстрой обучаемости компьютеров — более глубокая концентрация на конкретных прикладных задачах. Человек универсален: он может и стихи писать, и танцевать, и математические задачи решать. Задачи нейросетей гораздо уже, обучаться им надо гораздо меньшему, поэтому и процесс идет быстрее.
Еще одна причина более быстрой обучаемости компьютеров — более глубокая концентрация на конкретных прикладных задачах. Человек универсален: он может и стихи писать, и танцевать, и математические задачи решать. Задачи нейросетей гораздо уже, обучаться им надо гораздо меньшему, поэтому и процесс идет быстрее.
Воспитание нейроморфных систем
Главная проблема импульсных сетей — создание пригодных для них алгоритмов обучения. Пока во всем мире по этой теме идут фундаментальные исследования, это область большой науки. Традиционные нейросети обучать уже научились — как отмечалось выше, это происходит на основе обратного распространения корректирующего сигнала. Импульсные сети — пока не очень.
Один из методов обучения, подходящих для импульсных сетей, — обучение с подкреплением. Принцип его таков: в нейронную сеть поступает некая информация о внешнем мире — например, видеопоток. Сеть обрабатывает ее и выдает на выход команды, которые интерпретируются как действия. Затем в систему подается третий сигнал — оценка: «хорошо / правильно» или «плохо / неправильно».
Методика подсмотрена в реальной жизни: таким образом осваивают мир дети. Они получают какую-то информацию из внешнего мира — например, видят яблоко. Они выполняют действие — берут и едят это яблоко — и получают оценку — вкусовое удовольствие.
«Хотелось бы, чтобы интеллектуальные устройства будущего учились на собственном опыте, чтобы не приходилось программировать роботов на сложных языках, а можно было строить алгоритмы так, чтобы роботы сами „понимали“, правильно они действуют или нет», — говорит М. Киселев.
Важный вопрос: как сделать так, чтобы система «понимала», что тот или иной сигнал — это «хорошо» или «плохо». Ответ на этот вопрос тоже нашелся в человеческом мозге. Все, что приходит в него, — это сигналы, и они одинаковы. Но какие-то из них мозг воспринимает как «свет», другие — как «сладко», а третьи — как «больно». Семантику сигнала задает зона мозга, в которую приходит сигнал.
Ученые, пытаясь обучать импульсные сети, тоже структурируют их на зоны, попадая в которые, сигналы по-разному воздействуют на сеть — аналогично тому, как сигналы боли и света по-разному воздействуют на человеческий мозг. Если в ту часть сети, которая задана как «неправильно», попадает сигнал, то, в соответствии с механикой сети, действия, приведшие к появлению этого сигнала, не должны повторяться. Следуя этой механике, сеть на микроуровне изменяет соотношение весов связей: оно становится таким, что в итоге сигнал не попадает в зону «неправильно», а попадает в зону «правильно». Изменение весов связей — это изменение силы влияния импульса. Если вес связи маленький, то импульс незначительно меняет потенциал (напряжение) нейрона. Если большой — то потенциал изменяется сильно.
Главная проблема импульсных сетей — создание пригодных для них алгоритмов обучения. Пока во всем мире по этой теме идут фундаментальные исследования, это область большой науки. Традиционные нейросети обучать уже научились — как отмечалось выше, это происходит на основе обратного распространения корректирующего сигнала. Импульсные сети — пока не очень.
Один из методов обучения, подходящих для импульсных сетей, — обучение с подкреплением. Принцип его таков: в нейронную сеть поступает некая информация о внешнем мире — например, видеопоток. Сеть обрабатывает ее и выдает на выход команды, которые интерпретируются как действия. Затем в систему подается третий сигнал — оценка: «хорошо / правильно» или «плохо / неправильно».
Методика подсмотрена в реальной жизни: таким образом осваивают мир дети. Они получают какую-то информацию из внешнего мира — например, видят яблоко. Они выполняют действие — берут и едят это яблоко — и получают оценку — вкусовое удовольствие.
«Хотелось бы, чтобы интеллектуальные устройства будущего учились на собственном опыте, чтобы не приходилось программировать роботов на сложных языках, а можно было строить алгоритмы так, чтобы роботы сами „понимали“, правильно они действуют или нет», — говорит М. Киселев.
Важный вопрос: как сделать так, чтобы система «понимала», что тот или иной сигнал — это «хорошо» или «плохо». Ответ на этот вопрос тоже нашелся в человеческом мозге. Все, что приходит в него, — это сигналы, и они одинаковы. Но какие-то из них мозг воспринимает как «свет», другие — как «сладко», а третьи — как «больно». Семантику сигнала задает зона мозга, в которую приходит сигнал.
Ученые, пытаясь обучать импульсные сети, тоже структурируют их на зоны, попадая в которые, сигналы по-разному воздействуют на сеть — аналогично тому, как сигналы боли и света по-разному воздействуют на человеческий мозг. Если в ту часть сети, которая задана как «неправильно», попадает сигнал, то, в соответствии с механикой сети, действия, приведшие к появлению этого сигнала, не должны повторяться. Следуя этой механике, сеть на микроуровне изменяет соотношение весов связей: оно становится таким, что в итоге сигнал не попадает в зону «неправильно», а попадает в зону «правильно». Изменение весов связей — это изменение силы влияния импульса. Если вес связи маленький, то импульс незначительно меняет потенциал (напряжение) нейрона. Если большой — то потенциал изменяется сильно.
Цитата
“
«Нейрон — маленькая глупая клеточка, которая ничего не знает про „сладкое“ или „горькое“. Но законы связи этой клеточки с соседними устроены так, что в целом вся огромная система из 86 млрд нейронов учится избегать боли и достигать удовольствия. И мост между действиями маленькой клеточки и поведением всей системы в целом — самая волшебная вещь. Построить его — это задача номер один, и мы над ней работаем».
Нейрочипы с обучением
Чтобы проявить все свои полезные свойства, нейроморфным системам нужны специальные чипы, причем такие, которые позволяют обучать нейросеть. «Надо внести в чип, в само железо, логику, которая позволяла бы модифицировать веса связи. „Алгоритм в железе“ — схемы, которые эти алгоритмы выполняют. Но чип, в отличие от компьютера, нельзя перепрограммировать. Если что-то не заложено в железе, то оно уже не будет реализовано программно», — объясняет М. Киселев.
Нейроморфные чипы разрабатывают в разных странах.
SpiNNaker (Spiking Neural Network Architecture) — компьютерная архитектура, разработанная исследовательской группой по продвинутым процессорным технологиям (Advanced Processor Technologies) Университета Манчестера в Англии. В SpiNNaker нет синхронизации. Это значит, что каждый нейрон передает сигнал следующему в зависимости только от своего состояния. Платформу позиционируют как исследовательский инструмент для нейробиологов, компьютерных ученых и робототехников. На ней ведутся высокопроизводительные вычисления и моделирование структур биологического мозга.
Проект TrueNorth создан американской IBM. Чип сделан по заказу DARPA — Управления перспективных исследований Минобороны США. Впервые он был представлен в 2014 году. TrueNorth имеет самое большое число нейроядер по сравнению с другими проектами, однако есть существенное ограничение: на чипе не поддерживается обучение. «Если мы хотим на нем выполнить нейронную сеть, мы должны сначала обучить ее на GPU-кластере, потом специальным инструментом конвертации перенести на нейроморфный чип и только потом запускать» — объясняет Д. Ларионов.
TrueNorth уже пробуют использовать. Так, в 2017 году на основе чипа и событийной камеры была представлена первая в мире полностью событийная система, где отсутствовал этап перекодирования цифровой информации в импульсную форму. А самое большое достижение — решение задачи детекции и классификации объектов на видео в большом разрешении и большом потоке.
Чип Loihi создала американская Intel. Главное достоинство чипа — возможность обучать нейросеть прямо на нем. Она появилась благодаря конфигурации модели нейрона со множеством параметров, которые можно менять. В результате в зависимости от десятка факторов меняется вес связи. В отличии от TrueNorth, у которого один бит на вес, у Loihi девять бит на вес, шесть бит — на синаптическую задержку и еще восемь бит — на произвольную переменную, которую можно использовать в процессе обучения, — довольно богатый набор возможностей для создания правил локального обучения.
Чтобы проявить все свои полезные свойства, нейроморфным системам нужны специальные чипы, причем такие, которые позволяют обучать нейросеть. «Надо внести в чип, в само железо, логику, которая позволяла бы модифицировать веса связи. „Алгоритм в железе“ — схемы, которые эти алгоритмы выполняют. Но чип, в отличие от компьютера, нельзя перепрограммировать. Если что-то не заложено в железе, то оно уже не будет реализовано программно», — объясняет М. Киселев.
Нейроморфные чипы разрабатывают в разных странах.
SpiNNaker (Spiking Neural Network Architecture) — компьютерная архитектура, разработанная исследовательской группой по продвинутым процессорным технологиям (Advanced Processor Technologies) Университета Манчестера в Англии. В SpiNNaker нет синхронизации. Это значит, что каждый нейрон передает сигнал следующему в зависимости только от своего состояния. Платформу позиционируют как исследовательский инструмент для нейробиологов, компьютерных ученых и робототехников. На ней ведутся высокопроизводительные вычисления и моделирование структур биологического мозга.
Проект TrueNorth создан американской IBM. Чип сделан по заказу DARPA — Управления перспективных исследований Минобороны США. Впервые он был представлен в 2014 году. TrueNorth имеет самое большое число нейроядер по сравнению с другими проектами, однако есть существенное ограничение: на чипе не поддерживается обучение. «Если мы хотим на нем выполнить нейронную сеть, мы должны сначала обучить ее на GPU-кластере, потом специальным инструментом конвертации перенести на нейроморфный чип и только потом запускать» — объясняет Д. Ларионов.
TrueNorth уже пробуют использовать. Так, в 2017 году на основе чипа и событийной камеры была представлена первая в мире полностью событийная система, где отсутствовал этап перекодирования цифровой информации в импульсную форму. А самое большое достижение — решение задачи детекции и классификации объектов на видео в большом разрешении и большом потоке.
Чип Loihi создала американская Intel. Главное достоинство чипа — возможность обучать нейросеть прямо на нем. Она появилась благодаря конфигурации модели нейрона со множеством параметров, которые можно менять. В результате в зависимости от десятка факторов меняется вес связи. В отличии от TrueNorth, у которого один бит на вес, у Loihi девять бит на вес, шесть бит — на синаптическую задержку и еще восемь бит — на произвольную переменную, которую можно использовать в процессе обучения, — довольно богатый набор возможностей для создания правил локального обучения.
Благодаря организации международного консорциума ученых, которые могут пользоваться возможностями суперкомпьютера для своих экспериментов, на Loihi реализовано больше всего применений. В одном из проектов устройство способно увидеть новый жест, запомнить его и начать распознавать. В другом исследователи взяли визуальный и тактильный сенсоры и поставили перед ними задачу классификации бутылок с водой. Визуальный определяет тип бутылки, а тактильный — количество воды в ней (бутылки непрозрачные). Агрегирующая нейроморфная сеть обрабатывает информацию, и на выходе классификатор сообщает, что это за бутылка и сколько в ней воды. Третий пример — классификатор запахов. Исследователи смогли обучить нейросеть выделить запах с первого раза (one short learning) и впоследствии успешно определять его.
При сравнении с другими архитектурами Loihi выигрывает там, где надо работать с непрерывными последовательностями данных, не очень быстро меняющимися. При работе с фреймами и классификацией картинок нейроморфная архитектура Loihi уже не так эффективна и проигрывает классическим.
В 2021 году вышло второе поколение чипа — Loihi 2. Его особенность в том, что импульс может нести значения вплоть до 32 бит; это повышает информационную емкость вычислительной модели.
В новой версии Loihi исследователи могут сами придумать модель нейрона и заложить ее в чип. Еще одно новшество — 3D multi-chip scaling. Если раньше при объединении большого числа чипов в одну систему их надо было определять в двумерном пространстве, то теперь Intel предложил технологию объединения чипов в 3D-пространстве, обеспечивая наименьший маршрут между ними при коммуникации.
Также в Loihi 2 Intel представила новый опенсорсный фреймворк Lava. В нем Intel предлагает новую парадигму описания вычислений — в виде процессов: нейрон — это процесс, нейронная сеть — процесс, событийный сенсор — тоже процесс.
Проект на базе нейроморфного чипа BrainScaleS развивается в рамках Human Brain Project. Это европейский проект, над созданием нейроморфной системы работают шесть команд из пяти стран. Мощности и преимущества SpiNNaker в Human Brain Project также используются.
Особенность BrainScaleS — аналоговые, а не цифровые вычисления. Нейрон представляется парой «резистор+конденсатор», используемой для вычисления состояний нейрона. Однако коммуникация (шина) между нейронами по-прежнему цифровая. На основе этого чипа был создан, согласно заявлениям разработчиков в 2019 году, самый большой аналоговый вычислитель. Он также используется для моделирования различных биологических структур мозга, доступен через облачный сервис EBrains.
В 2020 году исследователи выпустили второе поколение этого чипа и работают над третьим. Благодаря добавлению цифровых процессоров во втором поколении появилась возможность обучения на чипе. Еще одна интересная идея, предложенная исследователями, — структурная пластичность. Каждый нейрон имеет весьма ограниченное число связей, строить большое их количество — сложно и дорого. На чипе можно убирать одни связи и создавать другие. Таким образом появляется возможность управлять топологией сети. Следующий шаг — придумать алгоритмы, позволяющие наиболее эффективно использовать этот подход.
Tianjic — китайский проект. Его особенность — платформа, на которой можно сочетать элементы классических и импульсных нейронных сетей. Самый известный пример применения Tianjic опубликован в журнале Nature — это система управления беспилотным велосипедом: на одном чипе реализована конфигурация из нескольких сетей, вполне эффективно работающих вместе.
Компания GrAI Matter Labs из Франции предложила архитектуру NeuronFlow и создала чип GrAI One. Он функционирует как событийная модель, в которой события могут иметь величину. Исследователи из GrAI Matter Labs предложили способ конвертации обычных сетей в свою вычислительную модель, которую они назвали SpArNet. Именно она выполняется на нейроморфном чипе.
Компания Brainchip с офисами в Австралии и США разработала первый коммерческий чип Akida (остальные — исследовательские); с 2021 года его можно купить. Он используется для работы с машинным зрением.
Швейцарская компания SynSense разработала семейство процессоров DYNAP (Dynamic Neuromorphic Asynchronous Processor). Два из них, DYNAP-SE2 и DYNAP-SEL, используют нейробиологи. DYNAP-SNN разработчики предлагают использовать в постоянно включенных сенсорных приложениях со сверхнизким энергопотреблением и сверхмалой задержкой. Потенциально речь идет об интеграции с организмом человека.
В России компания «Мотив — нейроморфные технологии» разработала нейроморфный процессор «Алтай». Компания изготовила несколько десятков образцов и передала их заказчику — «Лаборатории Касперского». Сейчас «Мотив» работает над новой моделью процессора, которую планирует создать в течение нескольких лет. Варианты изготовления рассматривает как за рубежом (компания работала с Тайванем), так и в России. «Мотив» готов поставлять процессоры для Росатома, когда в них возникнет необходимость.
При сравнении с другими архитектурами Loihi выигрывает там, где надо работать с непрерывными последовательностями данных, не очень быстро меняющимися. При работе с фреймами и классификацией картинок нейроморфная архитектура Loihi уже не так эффективна и проигрывает классическим.
В 2021 году вышло второе поколение чипа — Loihi 2. Его особенность в том, что импульс может нести значения вплоть до 32 бит; это повышает информационную емкость вычислительной модели.
В новой версии Loihi исследователи могут сами придумать модель нейрона и заложить ее в чип. Еще одно новшество — 3D multi-chip scaling. Если раньше при объединении большого числа чипов в одну систему их надо было определять в двумерном пространстве, то теперь Intel предложил технологию объединения чипов в 3D-пространстве, обеспечивая наименьший маршрут между ними при коммуникации.
Также в Loihi 2 Intel представила новый опенсорсный фреймворк Lava. В нем Intel предлагает новую парадигму описания вычислений — в виде процессов: нейрон — это процесс, нейронная сеть — процесс, событийный сенсор — тоже процесс.
Проект на базе нейроморфного чипа BrainScaleS развивается в рамках Human Brain Project. Это европейский проект, над созданием нейроморфной системы работают шесть команд из пяти стран. Мощности и преимущества SpiNNaker в Human Brain Project также используются.
Особенность BrainScaleS — аналоговые, а не цифровые вычисления. Нейрон представляется парой «резистор+конденсатор», используемой для вычисления состояний нейрона. Однако коммуникация (шина) между нейронами по-прежнему цифровая. На основе этого чипа был создан, согласно заявлениям разработчиков в 2019 году, самый большой аналоговый вычислитель. Он также используется для моделирования различных биологических структур мозга, доступен через облачный сервис EBrains.
В 2020 году исследователи выпустили второе поколение этого чипа и работают над третьим. Благодаря добавлению цифровых процессоров во втором поколении появилась возможность обучения на чипе. Еще одна интересная идея, предложенная исследователями, — структурная пластичность. Каждый нейрон имеет весьма ограниченное число связей, строить большое их количество — сложно и дорого. На чипе можно убирать одни связи и создавать другие. Таким образом появляется возможность управлять топологией сети. Следующий шаг — придумать алгоритмы, позволяющие наиболее эффективно использовать этот подход.
Tianjic — китайский проект. Его особенность — платформа, на которой можно сочетать элементы классических и импульсных нейронных сетей. Самый известный пример применения Tianjic опубликован в журнале Nature — это система управления беспилотным велосипедом: на одном чипе реализована конфигурация из нескольких сетей, вполне эффективно работающих вместе.
Компания GrAI Matter Labs из Франции предложила архитектуру NeuronFlow и создала чип GrAI One. Он функционирует как событийная модель, в которой события могут иметь величину. Исследователи из GrAI Matter Labs предложили способ конвертации обычных сетей в свою вычислительную модель, которую они назвали SpArNet. Именно она выполняется на нейроморфном чипе.
Компания Brainchip с офисами в Австралии и США разработала первый коммерческий чип Akida (остальные — исследовательские); с 2021 года его можно купить. Он используется для работы с машинным зрением.
Швейцарская компания SynSense разработала семейство процессоров DYNAP (Dynamic Neuromorphic Asynchronous Processor). Два из них, DYNAP-SE2 и DYNAP-SEL, используют нейробиологи. DYNAP-SNN разработчики предлагают использовать в постоянно включенных сенсорных приложениях со сверхнизким энергопотреблением и сверхмалой задержкой. Потенциально речь идет об интеграции с организмом человека.
В России компания «Мотив — нейроморфные технологии» разработала нейроморфный процессор «Алтай». Компания изготовила несколько десятков образцов и передала их заказчику — «Лаборатории Касперского». Сейчас «Мотив» работает над новой моделью процессора, которую планирует создать в течение нескольких лет. Варианты изготовления рассматривает как за рубежом (компания работала с Тайванем), так и в России. «Мотив» готов поставлять процессоры для Росатома, когда в них возникнет необходимость.
ДРУГИЕ МАТЕРИАЛЫ #4-5_2022