Синапсу подобный На что способны мемристоры?

Синапсу подобный…
 На что они способны, эти мемристоры 
                и Когда же наконец они станут для нас повседневностью?)
Электроника — основа основ любой современной индустрии. Где она задействована,  знает даже мой котёнок, который для отдыха всегда найдёт местечко потеплее (на крышке ноутбука, к примеру), а вот без чего нельзя представить наш электронный мир хотя бы через 10 лет?  Один из важнейших прорывов в мировой электронике последнего времени — это изобретение и создание мемристора.
Почему возникла необходимость разрабатывать новую электронную компонентную базу, разве так плоха была старая?
Нанослоевая композиция, практически совершенная сверхтонкая плёнка, эта уникальная структура великолепно сочетает в себе квантово-механические эффекты с электрическими свойствами. Их, эти чудесные структуры, уже привычно называют транзисторами с памятью, или мемристорами. Поначалу казалось, что структура мемристора идеально подходит для того, чтобы наблюдать в ней эффекты переключения сопротивления, когда более десяти лет назад учеными-теоретиками из Физтеха им. Иоффе, в содружестве с другими учеными удалось успешно заложить основы физических механизмов переключения сопротивления в сверхтонких сегнетоэлектрических плёнках. С этого момента всё пошло-поехало. Зарубежные коллеги говорили о гигантском эффекте переключения сопротивления в сверхтонких сегнетоэлектрических плёнках, о возможности реализации многоуровневых резистивных состояний в них, масштабируемости до нанометровых размеров и первых прототипах синапсов на их основе.
 
А что – почему бы не поработать транзисторам в качестве и образе нейронов? Развитие современной компьютерной техники ориентировано на повышение производительности обработки информации. Среди приоритетных направлений повышения производительности традиционных компьютерных систем выделяют увеличение числа ядер процессора при снижении их энергопотребления и увеличении производительности, переход к многопоточным вычислениям, а также использование инфраструктуры облачных вычислений. Но есть и ещё два подхода к организации высокопроизводительных систем нового поколения:
1. in-memory computing — вычисления в оперативной памяти;
2. near-memory computing — вычисления в окрестностях памяти.
Отдельно рассматриваются 1. (neuromorphic computing), или 2. нейроморфные вычисления, в основе которых лежит аппаратная реализация спайковых нейронных сетей. Однако, хотя идея нейроморфных вычислений была выдвинута сравнительно давно, реализовать ее как-то не удавалось.

Отправной точкой для зарождения нейроморфной инженерии можно считать обнаружение функционального сходства процессов, протекающих в транзисторах и нейронах. Так начались работы, направленные на создание нейроморфных датчиков, сенсоров, автономных электронных устройств и др., в которых обработка информации осуществлялась бы нейронными алгоритмами, воплощенными «в железе». Так, нейроморфные электронные модули есть исполненная аппаратно-импульсная нейронная сеть, весьма эффективно имитирующая работу биологической нейронной сети. Вот для того, чтобы обеспечить работу таких систем, и требуется новая элементная база, так как использование существующей базы слишком повышает сложность, что сводит на нет все преимущества нового подхода — увеличение производительности при снижении электропотребления. Начался поиск, и вот… так появилась мемристорная логика. Сегодня ведущие научные коллективы успешно разрабатывают прототипы нейровычислительных модулей на мемристорной логике, а также модули машинного зрения, акустико-речевых систем, тактильных ощущений, рецепции болевых ощущений и различные варианты гибких модулей для интеграции в системы биокогнитивного интерфейса, то есть, для непосредственного использования человеком в качества дополнительных или замещающих частей тела, или хотя бы некоторых его функций. Совсем недавно группа учёных из Массачусетского технологического института совместно с китайскими коллегами из университета Цинхуа на базе кроссбар-массивов, состоящих из 2048 мемристоров, разработала архитектуру пятислойной сверточной нейронной сети аналогового нейроморфного модуля, предназначенного для использования в системах динамического зрения — DVS-сенсорах. Мемристивные структуры с тонкими слоями оксидов гафния и тантала и аналоговой перестройкой между 256 резистивными состояниями использовались для создания нейроморфного модуля системы интеллектуального зрения на основе аппаратного исполнения архитектуры двухслойного перцептрона.
Так что же дает интеграция мемристоров в нейроморфные модули? Если архитектуру нейроморфного модуля реализовать на основе мемристорных технологий, это ускорит высокопараллельные вычисления при снижении потребляемой мощности за счёт интеграции в одном элементе вычислительных процессов и памяти.
Другие преимущества таких структур: хорошая масштабируемость, до 2 нм; более высокие скорости переключения между высокоомным и низкоомным состояниями — десятки пикосекунд; большая устойчивость к циклической деградации; простая интеграцию мемристорных модулей в СБИС.

Кроме того, при использовании матричных вычислений на базе мемристивной памяти со встроенной логикой можно повысить эффективность расчетов за счёт уменьшения числа операций, необходимых для аппаратного умножения матриц. В этом случае таких операций требуется меньше, чем, например, при использовании графических ускорителей или тензорных нейросетевых процессоров. И ещё: энергоНЕзависимость мемристивной памяти делает возможной реализацию асинхронного режима работы нейроморфных архитектур!!

Как видим, использование мемристорных структур обеспечивает простой способ аппаратной реализации матрично-векторных операций, которые являются основными при эмуляции работы нейронных сетей.

Как это работает?
Мемристорные блоки включают в себя кроссбар-массивы, состоящие из двух сеток взаимоортогональных тонкоплёночных электродов, между которыми расположен тонкий металлооксидный слой (толщиной до 50 нм) с мемристивными свойствами. Функциональные элементы массива формируются в точках пересечения верхних и нижних электродов, а сам кроссбар рассматривается как матрица значений, каждое из которых хранится в мемристоре на пересечении верхнего и нижнего электродов. Простой пример мемристора — двухуровневые, или двухбитные структуры (системы с двумя энергонезависимыми состояниями — высокоомным и низкоомным). Их используют чаще всего для реализации гиперразмерных вычислений, оперирующих многомерными векторами, что используется для кодирования информации. В этом случае при аппаратной реализации нейронной сети вес синапса кодируется вектором, который,  по сути, является столбцом мемристивного кроссбара, каждый элемент которого равен нулю (высокоомное состояние) или единице (низкоомное состояние мемристора), речь идет о цифровых нейроморфных модулях.

Примером использования такого подхода при создании нейроморфных архитектур является ускоритель вычислений общего назначения для задач машинного обучения на мемристивных кроссбарах (разработка корпорации HP в сотрудничестве с университетами Иллинойса и Пердью в 2019 году. В структуре этого ускорителя используются восемь кроссбар-массивов с двухбитными мемристивными ячейками на основе тантала, оксида гафния и палладия (Ta/HfO2/Pd), обеспечивающими шестнадцатибитный формат данных.

Также такие кроссбары применяются для многопоточной загрузки процессора, а использование их для аппаратной реализации операций матрично-векторного перемножения позволяет в 2446 раз повысить энергоэффективность и в 66 раз снизить латентность по сравнению с самыми современными графическими ускорителями. При переходе к узкоспециализированным архитектурам нейроморфных модулей на современной элементной базе часто используют аналоговые или гибридные аналогово-цифровые схемы. Иногда они существенно упрощают интегральную реализацию электронных устройств по сравнению с цифровым вариантом, когда вес синапса кодируется вектором мемристивного кроссбара.

Ограничение: использование при таком подходе двухбитных мемристоров требует дополнительных транзисторных элементов переключения. В результате теряется одно из основных преимуществ использования энергонезависимых элементов резистивной памяти — ожидаемое снижение потребляемой мощности. Один из способов решить эту проблему — использовать резистивные элементы с многоуровневым переключением сопротивления. Так, с позиций материаловедения в качестве основного тренда при аппаратной реализации узкоспециализированных архитектур нейроморфных сетей выступает разработка дизайна многоуровневых мемристивных систем с возможностью аналоговой перестройки между энергонезависимыми состояниями по сопротивлению при их использовании в архитектуре сети.

Так выглядит новая элементная база для нейроморфных вычислений.

Современные электронные устройства не всегда могут обеспечить нужные условия для реализации импульсных нейронных сетей, которые лежат в основе таких вычислений. Такая возможность обеспечивает градиентное изменение веса синаптической связи и позволяет имплементировать основные модели обучения и памяти в нейронную сеть на уровне аппаратной реализации. Это результат изменения веса связей между нейронами физически за счет аналоговой перестройки резистивного состояния мемристора, а не на программном уровне, что значительно повышает эффективность обработки асинхронных потоков входных данных.

NB!
Мышление нормального человека до недавнего времени было аналоговое, а не цифровое, но сейчас многие любители сидеть сутками в смартфонах уже начинают мыслить именно в цифровом режиме, причём бездумно, выбирая ответ по релевантyости, извините за оксюморон, когда мыслить = выбирать верхний в списке ответ из своей ;t оперативно2 памяти! )))

У нас исследования в сфере мемристорной логики уже начли или продолжают многие научные коллективы, и в этой области уже сформировалось некое комьюнити, куда входят ведущие научные центры, среди которых широко ИЗВЕСТНЫЙ исследовательский «Курчатовский институт», Нижегородский государственный университет им. Н. И. Лобачевского, Казанский федеральный университет, Владимирский государственный университет, Тюменский государственный университет. И это прекрасно.
СПбГЭТУ «ЛЭТИ» приступил к разработке и созданию нейроморфных мемристорных компьютерных платформ ещё в 2014 году в рамках совместного с Национальным институтом материаловедения Японии проекта:
 «Управляемый синтез мемристорных структур на основе наноразмерных композиций оксидов металлов путем осаждения атомных слоев».

Результаты реализации проекта использовались при разработке элемента резистивной памяти на основе тонких пленок оксида свинца. Более того, в рамках работ по проекту удалось получить инновационные мемристорные структуры на основе последовательности тонких слоев оксидов титана и алюминия, в которых наблюдалась градиентная перестройка резистивного состояния (многоуровневость) в диапазоне семи порядков по величине. Эти результаты вызвали интерес со стороны ведущих мировых коллективов и позволили объяснить появление эффектов многоуровневого переключения сопротивления в многослойных тонкопленочных металлооксидных структурах, которые наблюдались при определенном соотношении между структурными и электрофизическими свойствами используемых слоев.

А ещё в ЛЭТИ ведутся работы, направленные на физико-топологическое моделирование параметров структур с многоуровневым переключением сопротивления, решаются задачи проектирования нейроморфных систем на базе мемристивных элементов и разрабатываются схемотехнические модели, предполагающие представление реальной мемристивной структуры в виде эквивалентной схемы. В отличие от физико-топологических, схемотехнические модели обеспечивают возможность достаточно точной «подгонки» результатов моделирования под конкретные экспериментальные вольтамперные характеристики.
 ТАК ЧТО ВОТ: теперьдля работающих практически отключение интернета (на длительное время) не страшно: работать такой компьютер может и без интернета, т ак как всё, что нужно для работы, есть на месте, включая и место хранения информации.  Кроме того, работать такой компьютер начинает сразу, как  только включается в сеть - загрузка не нужна, работа откроется сразу, и как раз на том месте, где накануне вы её оставили. Ну и хакерам предложено отдыхать. Влезть в такой комп, чтобы занести вирусы или украсть информацию чужаку просто невозможно. И это очень важно - в смысле обеспечения условий конфиденциальности.
----------------
Самое приятно для меня в этом деле то, что, как мне кажется (хотя я могу и ошибаться, уж слишком обольщаясь на счет проницательности ума моих читателей, - что маловероятно, но всё же допустимо), мой роман «Машина тоже человек», написанный в 1982-86 гг., издан книгой на русском впервые только в 2007 г, а на английском под названием «Moscow sharm” вообще в 2022 г. всё же многими любознательными читателями не просто прочитан, но и считаны весьма точно многие подсказки как раз для тех, кто работает в этой теме, хотя многое осталось ещё в тени.
Мой книжный чудо-компьютер (он называется просто - Система Биола), описанный в романе, пока ещё современными учеными и инженерами в полном объеме не воссоздан. Герои этого произведения живут и работают в НИИ Минприбор, в Москве, в конце 70-х - начале 80-х гг. 20 века и занимаются разработкой и созданием биологически совместимых интеллектуальных нейросистем, или, в простоте, они впервые создают компьютер с интеллектуальным интерфейсом. И преуспели бы в полном объеме, если бы не фокусы-морокусы ельцинско-горбачёвской-перестройки, которая многое в стране разрушила походя, в том числе, выплеснула с грязной водой и самого чудо-ребёнка…