предел техпроцесса, часть 4
От: xma  
Дата: 07.07.24 02:38
Оценка:
предыдущая часть 3
Автор: xma
Дата: 13.03.23


  (2039 год) sub-A2


[2 июля 2024] ИИ нуждается в огромной вычислительной мощности. Могут ли помочь световые чипы?
https://habr.com/ru/companies/first/articles/826022/

В прошлом году его группа провела моделирование, показавшее, что в течение десятилетия достаточно большая оптическая система может сделать некоторые модели искусственного интеллекта более чем в 1000 раз эффективнее, чем будущие электронные системы.


читаем статью,

[20 Feb 2023] Optical Transformers
https://arxiv.org/pdf/2302.10360

  Скрытый текст


DAC/ADC costs and 4-bit inference would roughly double all of our energy advantage estimates. In Appendix F we combine this with the assumption that future memory access may be 5× cheaper to show that future optics-based systems might achieve energy advantages of >100, 000× running models the size of FUTURE-4q (over our 300-fJ/MAC state-of-theart GPU estimate).


тоже пишут про 10`5 преимуществе (потенциальном), так что хз :D (по крайней мере, для будущих нейросетей уровня FUTURE-4q, где q = 10`15 parameters)

ну и я так понял что фотоника это больше про инференс (т.е. не обучение с нуля нейросетей, а наоборот для вывода из готовой нейросети)
Re: предел техпроцесса, часть 4
От: xma  
Дата: 07.07.24 02:38
Оценка:
xma>тоже пишут про 10`5 преимуществе (потенциальном)

вот ещё схожее мнение,

[9 ноя 2022] Фотонный компьютер — шанс увеличить скорость обработки не квантовых задач в 100000 раз в ближайшее время
https://habr.com/ru/articles/698372/

В результате грубых, но качественных оценок, мы находим, что для мощности сотни ватт мы можем выполнять примерно 0,7 на 10`17 операций умножения в секунду 64-разрядных чисел. Это примерно 10`5 раз больше электронных аналогов.


но с другой стороны :

смотрим,

[March 22, 2022] H100 GPU accelerator (PCIe card)

Double precision (FMA) 25.6 TFlOPS

TDP (W) 350


итого, разница в FP64 всего в 2.7 на 10`3 раз — солидно, но всё же не в десятки и сотни тысяч раз ..

а тут ещё интел грозится к 2030+ году увеличить плотность десятикратно, итого возможное отставание сократится до нескольких сотен раз

а тут ещё sub-A2 тех процессы прогнозируют к 2039 году, что наверное сократит разницу ещё на порядок .. а там к 2040-2050'ым гг и 2D материалы и графеновые нанотрубки подоспеют :D

P.S.:

собственно, это не только моё мнение

[10 июня 2024] Фотоника для ИИ: вычисления должны быть экономными
https://3dnews.ru/1105468/fotonika-dlya-ii-1

Прогноз вполне реалистичный: по состоянию на 2020 г. энергия, затрачиваемая на перевод затвора транзистора из положения «закрыто» в «открыто» или обратно, всего лишь на три десятичных порядка превосходила этот предел, тогда как в 2000-м разрыв превышал шесть порядков.[/quote]

[quote]Фотоника же, опираясь в основном на обратимые логические вентили, позволяет производить хотя бы часть вычислений с энергозатратами на уровне ландауэрова предела, — причём часть довольно весомую.


P.S.2:

и опять же,

Ученые рассчитали абсолютный квантовый предел скорости электроники
https://hightech.plus/2022/03/28/uchenie-rasschitali-absolyutnii-kvantovii-predel-skorosti-elektroniki

Так исследователи вывели верхний предел скорости оптоэлектронных систем: один петагерц, то есть миллион ГГц. Это жесткое ограничение, его невозможно обойти инженерными методами, поскольку в его основе законы квантовой физики.


но это по видимому на единичный оптический транзистор, т.е. как раз по сравнению с современными кремниевыми — в те же несколько тысяч раз разница (если считать кремниевые в 100 ГГц, а оптические достигнутым максимумом в несколько сотен Thz)
Отредактировано 07.07.2024 2:39 xma . Предыдущая версия .
Re[2]: предел техпроцесса, часть 4
От: Эйнсток Файр Мухосранск Странный реагент
Дата: 01.08.24 00:54
Оценка: +1
Вот когда на рынке появится, тогда и приходите.
 
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.