Увидел данные, сколько энергии потребляет ИИ.
Результаты поиска, предоставляемые ИИ, требуют примерно в десять раз больше энергии, чем традиционный поиск Google. По данным Международного энергетического агентства, запрос ChatGPT потребляет 2,9 ватт-часа электроэнергии, а поиск в Google — 0,3 ватт-часа электроэнергии.
По данным технологического сайта The Verge, средний смартфон на зарядку потребляет 0,012 киловатт-часа электроэнергии. На генерирование всего лишь одного изображения с помощью ИИ уходит столько же электроэнергии, сколько и на зарядку телефона.
Как-то затратно, не находите? Не многие такое себе могут позволить. Либо гос-ва, либо очень крупные корпорации.
А уж если масштабировать на все население, а не только для дизайнеров и любопытных, которые это будут использовать
на регулярной основе, т.е. промышленно, то совсем швах получается.
S>Увидел данные, сколько энергии потребляет ИИ....
А нет ли у тебя эстонских корней?
Google заключила сделку со стартапом Kairos Power на использование малых модульных ядерных реакторов (SMR) для обеспечения низкоуглеродной электроэнергией своих энергоемких центров обработки данных. Об этом пишет издание Financial Times (FT).
Согласно сообщению FT, компания разместила заказ на SMR общей мощностью 500 МВт, что позволит ввести в эксплуатацию первый коммерческий реактор к 2030 году, а дополнительные реакторы – к 2035 году.
Amazon будет инвестировать в малые модульные реакторы (small modular reactors, SMR) в рамках программы по переходу на безуглеродную энергетику. Компания уже подписала несколько соглашений с производителями этих установок. Об этом сообщается на сайте компании.
Одним из ключевых проектов является сотрудничество с Energy Northwest. Компания планирует построить четыре малых модульных реактора, которые вначале будут производить 320 мегаватт (МВт) электроэнергии. В будущем мощность может быть увеличена до 960 МВт. Этого будет достаточно для энергоснабжения более 770 тыс. жилых домов.
Мне кажется вменяемым людям стало всё понятно уже давно: видеокарты потребляют много электричества, видеокарт нужно много.
Как дата-центр Яндекса город обогрел
14 января 2016, 13:09
В прошлом году Яндекс открыл новый дата-центр. Он находится в Финляндии, в небольшом городке Мянтсяля неподалёку от Хельсинки. Для нас это не совсем обычный проект. Многие дата-центры Яндекса размещаются в уже готовых строениях — например, в корпусах бывших заводов. Стройку в Мянтсяля мы вели с нуля и поэтому смогли спроектировать не только «содержимое» дата-центра, но и само здание и его инфраструктуру.
Одним из важнейших компонентов дата-центра является система охлаждения. В ходе работы серверы выделяют много тепла, которое необходимо отводить во избежание перегрева. Система охлаждения, которая применяется в нашем дата-центре в Мянтсяля, позволяет использовать тепло от серверов в полезных целях — для отопления жилых домов. Поставляя городу тепло, Яндекс получает возможность возместить часть трат на электроэнергию — одну из самых крупных для дата-центра статей расходов.
Как сообщает Datacenter Dynamics, новый дата-центр корпорации Microsoft, который сейчас строится в муниципалитете Хойе Таструп поблизости от столицы Дании Копенгагена, будет при помощи вырабатываемого при работе побочного тепла обогревать около 6000 домов.
Здравствуйте, Философ, Вы писали:
Ф>А нет ли у тебя эстонских корней?
Ну скажем так, про конкретные цифры я не знал, что сгенерировать 1 картинку = зарядить телефон.
Прям круто как-то. Вопрос -- а хватит ли этих ядерных усилий, если все это будет развиваться и развиваться?
Не тупик ли это?
Здравствуйте, Sharov, Вы писали:
S>Не тупик ли это?
Лично для меня тупик очевиден: на работу нейросетей нужно оч. много электричества, на анализ и обработку того, что они нагенерят может потребоваться ещё больше. Думаю, оптимизация будет весьма востребованной — то, что можно будет делать без нейросетей, будет перекладываться на обычные алгоритмы.
Всё сказанное выше — личное мнение, если не указано обратное.
Здравствуйте, Sharov, Вы писали:
S>Как-то затратно, не находите? Не многие такое себе могут позволить. Либо гос-ва, либо очень крупные корпорации. S>А уж если масштабировать на все население, а не только для дизайнеров и любопытных, которые это будут использовать S>на регулярной основе, т.е. промышленно, то совсем швах получается.
0.012kWh/4.4V = 2700mAh что-то какие-то слабые телефоны
2.9Wh*6.5р/kWh = 1.885коп на запрос
Если прикинуть то:
Если запускать на H200 4e15ops/700W = 1.75e-13 J/op gpt4 ~ 1.76e12 папаметров
пусть byte на параметр => надо 13карт H200 по 141Gb
1.76e12/4.8e12byte/13 = 28 ms/символ ~ 35Hz
1.76e12/4e15ops/13 = 0.034ms < 28ms (упираемся в скорость памяти)
Пусть ответ 2000 символов 2000/35Hz ~ 1мин
1мин*700W*13 = 152Wh
Если сматфон 5000mAh => 5Ah*4.4V=22Wh так что ответ как зарядить 152/22 почти 7 телефонов
И ответ будет стоить 700W*13*1min*6.5р/kWh ~ 1руб
И сами карты еще 41k$*13 = 0.533 M$ если прикинуть что срок службы у них 5 лет то еще + 0.2$ на запрос это при 100% нагрузке, а если нагрузка 10% то +2$ на запрос.
S>Как-то затратно, не находите? Не многие такое себе могут позволить. Либо гос-ва, либо очень крупные корпорации.
"Нет, это вы будете меньше есть"(c) S>А уж если масштабировать на все население, а не только для дизайнеров и любопытных, которые это будут использовать S>на регулярной основе, т.е. промышленно, то совсем швах получается.
Дизайнеры будут не нужны, ИИ всё сам нарисует. Нагрев планеты надо сокращать, потребление энергии населением прекращать, население будет переводиться в доставщики ногами, даже без электровелосипедов. Зато с электронным батюшкой в мечети.
Друга ищи не того, кто любезен с тобой, кто с тобой соглашается, а крепкого советника, кто полезного для тебя ищет и противится твоим необдуманным словам.
Здравствуйте, Философ, Вы писали:
Ф>Здравствуйте, kov_serg, Вы писали:
_>>Если прикинуть то: _>>Если запускать на H200 4e15ops/700W = 1.75e-13 W/op
Ф>W/op — странная единица измерения. Она наводит на мысли о том, что где-то тут ошибка. Надо в джоулях считать — там E должно быть.
там 4e15 operation/second
700W / 4e15op/s = J/op = W/ops
Ф>Объясни плз, почему ты считаешь в символах? Я про вот это: Ф>
Ф>28 ms/символ
Просто из расчета что он последующий символ генерирует на основе предыдущего состояния по одному.
Это оценка по порядку величины +- лапоть
S>Увидел данные, сколько энергии потребляет ИИ.
S>Результаты поиска, предоставляемые ИИ, требуют примерно в десять раз больше энергии, чем традиционный поиск Google. По данным Международного энергетического агентства, запрос ChatGPT потребляет 2,9 ватт-часа электроэнергии, а поиск в Google — 0,3 ватт-часа электроэнергии.
S>По данным технологического сайта The Verge, средний смартфон на зарядку потребляет 0,012 киловатт-часа электроэнергии. На генерирование всего лишь одного изображения с помощью ИИ уходит столько же электроэнергии, сколько и на зарядку телефона.
Логично. Гугл уже давно ничего не ищет, а только массово рекламу рассылает.
S>Ну скажем так, про конкретные цифры я не знал, что сгенерировать 1 картинку = зарядить телефон.
А дали хоть одну конкретную цифру? По-моему нет. А когда цифр не дают, но дают "шокирующую правду", я уже на автопилоте ухожу в отрицалово, и чес-слово, сто раз такая стратегия выручала
На одной 4090 картинка 1024x1024 во Flux (по качеству крутой генератор из домашних) делается секунд 7-9. А 4 таких же картинки делаются секунд 15 (типа параллельность). Телефон при 66Вт на зарядке висит час. ЧатГПТ говорит что за 15 секунд на пике в 450 Вт (заявленное потребление 4090), будет потрачено примерно 6750 Дж. При этом видеокарта на 100% не загружена (видимо нереально нагрузить её всю сразу, то одни, то другие блоки спят).
На телефон насчитал: 237600 Дж. Тут к телефону разумно применить поправочный кэф 0.5, так как потребление плавно уменьшается при приближении заряда к 100%.
Вот с конкретными цифрами не получается у меня 1 картинка = 1 телефон. Расчёт правда делал ChatGPT, но там всего пара умножений, не думаю что он ошибся.
Здравствуйте, Sharov, Вы писали:
S>Как-то затратно, не находите? Не многие такое себе могут позволить. Либо гос-ва, либо очень крупные корпорации.
Этот факт понятен, тут похожая история с майнингом, когда после видеокарт начали применять специализированные асики.
Le Chat теперь в 30 раз быстрее ChatGPT
ИИ чипы от Cerebras позволяют чату работать на скорости в 1100 токенов в секунду, с новой фичей Flash Answers. Сейчас это просто интересная демка, но когда французы из Mistral сделают свою reasoning модель, это будет серьёзным преимуществом их чата. Зачем ждать пока какая-то o3-mini-high или R1 думает несколько минут, если она может справиться за секунды?
Ну и в целом, современные нейросети размером меньше, чем первый ChatGPT работают уже качественнее и быстрее, чем он. Причём и заметно качественнее, и заметно быстрее даже на GPU. Прогресс идёт.
Здравствуйте, Философ, Вы писали:
Ф>Лично для меня тупик очевиден: на работу нейросетей нужно оч. много электричества, на анализ и обработку того, что они нагенерят может потребоваться ещё больше. Думаю, оптимизация будет весьма востребованной — то, что можно будет делать без нейросетей, будет перекладываться на обычные алгоритмы.
Кажется, что процесс идёт прямо в противоположную сторону: всё, что делалось обычными алгоритмами заменяют нейросетями, нейросети работают на GPU и NPU, потребляют при этом меньше и работают быстрее. Этому уже не приходится удивляться в том же компьютерном зрении, например. Пару лет назад Тесла презентовала новую нейросеть, которая заменила около 200 тысяч строк кода на С++. То есть в классических автопилотах есть perception, planning и другие штуки. А нейросеть получает картинки с камер и данные с датчиков и выплёвывает уже конечный результат — управляющее воздействие. Всё, алгоритмы убрали.
Но дело идёт дальше — в физику. Большие итерационные алгоритмы по сешению систем очень быстро решает нейросеть. Она аппроксимирует математическую модель, позволяя получать результат с определённой точностью за один проход. Часто такой точности хватает. Если не хватает, то буквально 1-2 итерации классическим алгоритмом и мы в точке минимума.
Например, я ощутил кайф этого когда заменил на нейросеть алгоритм учёта прозрачности атмосферы. Алгоритм ускорился с 11 секунд до 200 мс на том же железе.
Здравствуйте, Философ, Вы писали:
Ф>Лично для меня тупик очевиден: на работу нейросетей нужно оч. много электричества, на анализ и обработку того, что они нагенерят может потребоваться ещё больше. Думаю, оптимизация будет весьма востребованной — то, что можно будет делать без нейросетей, будет перекладываться на обычные алгоритмы.
Лично мне очевидно другое. Нейросети заставят писать код, который, в свою очередь, будет иметь энергоэффективность обычного софта.
Есть логика намерений и логика обстоятельств, последняя всегда сильнее.
Здравствуйте, VladD2, Вы писали:
VD>Лично мне очевидно другое. Нейросети заставят писать код, который, в свою очередь, будет иметь энергоэффективность обычного софта.
А мне тут ничего не очевидно и непонятно. Пояснишь?
Всё сказанное выше — личное мнение, если не указано обратное.
Здравствуйте, Философ, Вы писали:
Ф>А мне тут ничего не очевидно и непонятно. Пояснишь?
Так ты поделись. Что тебе не очевидно? Ты вот тоже нейросеть. И ты во многих случаях думаешь дико медленно. Но ты можешь воспользоваться калькулятором, Ёкселём или даже написать программу, которая что-то быстро посчитает. Вот так же и нейросеть. Чем грузить её прямыми вычислениями ты можешь попросить её написать код, вычисляющий то, что тебе надо.
Есть логика намерений и логика обстоятельств, последняя всегда сильнее.
Здравствуйте, VladD2, Вы писали:
VD>....Чем грузить её прямыми вычислениями ты можешь попросить её написать код, вычисляющий то, что тебе надо.
Понятно, что можно заставить нейросеть код писать, но заставят ли? Даже тут уже отметились те, кто обычные вычисления переложил на нейросеть и даже гордится возросшей скоростью — это вместо того, чтобы заставить нейросеть поработать над кодом. Похоже, тут проблема в том, что сейчас работа нейросетей с кодом не сильно быстрее человека. Это видно из опыта — по крайней мере сюда уже несколько раз выкладывали опыт написания кода нейросетями, да и я сам пробовал: чтобы добиться результата нужно много итераций по генерации, вычитке кода человеком и множественные правки "в тандеме". Сейчас даже при написании юнит-тестов вылезают косяки, самый частый из которых — потеря тест-кейсов (это мой опыт). Ты просишь нейросеть изменить код, а она теряет любо важный ньюанс тестирования кода, либо целиком тест-кейсы. Вывод простой: чтобы нейросет писала код, нужен человек — без него не поедет. В таких условиях велик соблаз онтказаться от кода вообще — всё равно потом тестировать.
Всё сказанное выше — личное мнение, если не указано обратное.
Здравствуйте, Философ, Вы писали:
Ф>Понятно, что можно заставить нейросеть код писать, но заставят ли?
В процессе. Про свою компанию не знаю можно ли говорить, но кое что в этом направлении делается. Другие компании во всю этим занимаются. Например, гугль создает специализированную ИИ для проектирования процессоров. Это тебе даже не софт.
Ф>Даже тут уже отметились те, кто обычные вычисления переложил на нейросеть и даже гордится возросшей скоростью — это вместо того, чтобы заставить нейросеть поработать над кодом.
А если серьезно, конкуренция заставит. Те кто будет писать софт руками вымрут через лет 10-20, как вымерли динозавры или те кто писал софт на ассемблере.
Ф>Похоже, тут проблема в том, что сейчас работа нейросетей с кодом не сильно быстрее человека.
Она не соизмеримо быстрее, но есть ряд ограничений и проблем. Они чисто технические и со временем будут устранены, ИМХО. Я до недавного времени был ИИ-скептиком. Еще мой отец бредил ИИ 30 лет назад. К сожалению, он не дожил, до момента когда мечта об ИИ воплотилась.
Я протестил несколько LLM-сеток и у меня никаких сомнений, что ИИ будет писать софт.
Лично я уже потихонечку использую ИИ в процессе продумывания кода и даже написания его кусков.
Что точно так это то, что современный ИИ не вывезет проверку на вирусы всех компов на планете в реализме, как это делает локально установленный антивирус.
Ф> Это видно из опыта — по крайней мере сюда уже несколько раз выкладывали опыт написания кода нейросетями, да и я сам пробовал: чтобы добиться результата нужно много итераций по генерации, вычитке кода человеком и множественные правки "в тандеме".
Во-первых, это зависит от нескольких факторов:
1. Опыта взаимодействия с ИИ конкретного человека. Даже термин (профессия) новая появилась — промт-инженер.
2. Владения логикой и умение грамотно формулировать свои мысли.
3. Качества понимания задачи.
4. Натасканности конкретной сетки на прикладные аспекты.
5. Возможности ИИ читать код из файлов (репозитория) и менять файлы.
6. Возможности ИИ напрямую производить сборку генерируемого им кода и получать выхлоп от компиляторов.
7. Возможность запускать тесты и получать информацию об их результатах.
Первые 3 пункта зависят от человека. Так что критерии предъявляемые к программисту ни разу не снижаются.
Остальные пункты относятся к техническим аспектам и, в ближайшее время, могут решаться только богатыми конторами которые смогут развертывать, тренировать и дорабатывать сетки у себя локально. Этот процесс уже идет во многих конторах.
Ф>Сейчас даже при написании юнит-тестов вылезают косяки, самый частый из которых — потеря тест-кейсов (это мой опыт). Ты просишь нейросеть изменить код, а она теряет любо важный ньюанс тестирования кода, либо целиком тест-кейсы. Вывод простой: чтобы нейросет писала код, нужен человек — без него не поедет. В таких условиях велик соблаз онтказаться от кода вообще — всё равно потом тестировать.
Это проблема размера окна контекста. И вообще с современным ИИ лучше не работать в интерактивном режиме. Лайфхак: Собери все свои запросы к ИИ в одной сессии, обдумай их и напиши один большой запрос учитывающий все, что ты хочешь. И будет тебе счастье. Ну и не загружай ИИ глобальными задачами. Сосредоточься на конкретных аспектах.
Есть логика намерений и логика обстоятельств, последняя всегда сильнее.
Здравствуйте, VladD2, Вы писали:
VD>Я протестил несколько LLM-сеток и у меня никаких сомнений, что ИИ будет писать софт. VD>... VD>... Собери все свои запросы к ИИ в одной сессии, обдумай их и напиши один большой запрос учитывающий все, что ты хочешь. И будет тебе счастье. Ну и не загружай ИИ глобальными задачами. Сосредоточься на конкретных аспектах.
Здравствуйте, Философ, Вы писали:
Ф>Понятно, что можно заставить нейросеть код писать, но заставят ли?
Ее заставлять не надо. И да в ближайшие несколько лет обучат и будет писать не хуже типичного мидла.
Советую не рефакторить руками, а понять, что не понял ИИ и добавить эту инфу в изначальное задание, а затем прогнать его еще раз.
Если используешь АПИ или локальную модель, лучше "температуру" вывернуть на ноль, чтобы не креативе от раза к разу.
Если замечаний мало, можно попробовать в интерактиве добавить ему инфы.
Ф>Получилось раза в 4 быстрее чем руками — использовал qwen. Однако, прежде чем давать задачи, пришлось немного в документации покопаться.
Ну так логично. ТЗ тоже надо не от фонаря.
Есть логика намерений и логика обстоятельств, последняя всегда сильнее.
