Thermodynamic computing
Сегодня хочу рассказать про https://www.nature.com/articles/s41467-025-59011-x компании https://www.normalcomputing.com/ о термодинамических вычислениях. Ребята делают ASIC(Application Specific Integrated Circuit), который может более быстро и энергоэффективно считать примитивы AI моделей. В статье представлен proof-of-concept такого чипа, демонстрируется выигрыш в скорости и энергоэффективности на порядок по сравнению с GPU Nvidia A6000. В будущем обещают улучшение энергоэффективности х1000
Авторы называют свою разработку https://arxiv.org/abs/2507.10463 так как отказываются от цифровой логики в пользу более энергоэффективной и быстрой аналоговой логики. По сути делают классический симулятор: берут физическую систему, запускают её динамику, измеряют состояние, а потом по измеренным состояниям делают инверсию матрицы, считают детерминант или сэмплируют точки из нужного распределения (по сути алгоритм Метрополиса-Гастингса в железе). С точки зрения физики в демонстрационном чипе всё устроено просто: есть набор rlc-контуров(элементарные ячейки) с ёмкостной связью между ними. На rlc-контуры подаются токи i с некоторым шумом(пока от цифрового генератора), и динамика связанной системы контуров описывается системой стохастических дифференциальных уравнений Ланжевена. После установления равновесия можно измерить напряжения v и получить сэмплы из нужного нам нормального распределения.
Контроллируя силу связей(ёмкость конденсаторов), можно задавать матрицу ковариации нормального распределения для сэмплирования или матрицу, от которой хочется посчитать детерминант/обратную матрицу. Есть даже отдельная https://www.nature.com/articles/s44335-024-00014-0?error=cookies_not_supported&code=076f1f8d-2ab7-4003-a0cb-4fc9d804a81c про термодинамическую линейную алгебру. В общем можно считать всё что душе угодно, что можно оценить как статистику от состояний системы
Things to consider
💡 В текущей работе источником случайности является цифровой генератор, но можно подумать про сценарий, в котором случайность появляется за счёт дальнейшей миниатюризации компонент чипа. Например, при уменьшении транзистора увеличивается вероятность туннелирования электронов через gate, а также нагрев, что может делать процесс недетерминированным и ломать цифровую логику. Возможно, этот же эффект получится использовать для масштабирования термодинамических вычислений
💡 Авторы отмечают, что использование нелинейности в виде транзистора может существенно расширить множество доступных задач. Например, появится возможность использовать методы оптимизации второго порядка вместо градиентного спуска https://arxiv.org/abs/2405.13817 для тренировки нейросеток
❗️ Неидеальность электронных компонент и полносвязность архитектуры ограничивают масштабируемость и точность. Также сложность алгоритмов зависит от необходимой точности решения и времени установления равновесия в системе, которая определяется спектром матрицы связей(числом обусловленности)
Interesting facts
📌 Co-founder/CEO https://scholar.google.com.ni/citations?user=8mnfsnYAAAAJ&hl=ru и chief scientist Normal Computing https://scholar.google.ru/citations?hl=en&user=jvz1G9EAAAAJ&view_op=list_works&sortby=pubdate также занимаются квантовыми вычислениями. У второго, например, есть https://www.nature.com/articles/s42254-021-00348-9 почти на 4к цитирований
📌Помимо Normal Computing термодинамические вычисления делают https://www.extropic.ai/ У Lex Fridman есть
https://www.youtube.com/watch?v=8fEEbKJoNbU основателем Extropic Guillaume Verdon, который тоже кстати из квантовых вычислений пришёл
📌Из чего-то похожего, но более зрелого есть стартап https://www.etched.com/announcing-etched Они делают ASIC под архитектуру трансформера(T в названии ChatGPT). Утверждают, что один их чип Sohu заменяет 20 видеокарт H100. Разработка ASIC и их интеграция в существующую инфраструктуру обычно очень дорогая, интересно что из этого выйдет. Пока им дали 120М$, что, как будто, не очень много по меркам инвестиций в ИИ. Как я понял, сейчас основное ограничение чипа Etched в memory bandwidth, что делает его хуже карточек от Nvidia (скорость обработки данных у Etched выше, но сами данные подгружаются медленно)
📌Оказывается, есть целый https://www.nature.com/npjunconvcomput/aims от Nature про unconventional computing
📌У Normal Computing есть библиотека https://github.com/normal-computing/thermox?ysclid=mezzy80xfm886363939 на JAX для моделирования термодинамического компьютера. Также они работают над https://www.normalcomputing.com/solutions для ускорения разработки кастомных чипов
