Здравствуйте.

Интересное исследование на тему потребления энергии генеративными сетками.

Исследователи из ИИ-стартапа Hugging Face и института Карнеги-Мэллон посчитали (https://www.technologyreview.com/2023/12/01/1084189/making-an-image-with-generative-ai-uses-as-much-energy-as-charging-your-phone/), сколько энергии уходит на разные действия этих наших ChatGPT, Midjourney и прочих нейросеток.

Ход исследования был следующий:

— Выявили 10 самых популярных операций на платформе Hugging Face: генерация текста, выдача текстовой информации из поиска, суммаризация, генерация изображений, классификация изображений, поиск и распознавание образов на картинках и еще несколько.

— Взяли 88 различных LLM и на них протестировали эти 10 типов операций. Для каждой вводили 1000 разных промптов.

— Измерили энергозатраты каждой операции с помощью Code Carbon. Это внутренняя вундервафля Hugging Face, анализирующая, сколько энергии тратит компьютер, пока модель работает. Далее затраты энергии конвертировались в выбросы CO2.

Вот самые значимые и интересные выводы на мой взгляд:

1. Генерация 1000 изображений на мощной ИИ-модели вроде Stable Diffusion XL — это столько же выбросов, как если проехать 6,6 км на авто с бензиновом двигателем (ну, на каком-то условном среднем авто). А одна картинка примерно соответствует энергии, чтобы зарядить смартфон. Довольно много, то есть.

2. Работа с текстом, что логично, требуют гораздо (ГОРАЗДО! в 6-7к раз) меньше энергии. Для сравнения, обработка 1000 текстовых запросов — это около 16% зарядки среднестатистического смартфона в вакууме.

3. Один средний текстовый запрос к нейросетке в два раза более энергоемкий, чем стандартный запрос в поисковике по данным Google. А если их соединить (что Гугл и делает, вкрапляя ИИ в поисковый движок), то прожорливость возрастает еще сильнее.

4. Еще интересно вот что. Ранее видел мнения, что ИИ тратит дофига энергии на этапе обучения. Но на самом деле не особо, если сравнивать с использованием. Например, ребята посчитали, что мультиязыковой модели BLOOM от Hugging Face потребуется обработать всего 590 млн запросов, чтобы потратить столько же энергии, сколько она скушала при обучении. 590 миллионов — это просто пшик для крупной модели.

Полностью тут -- https://t.me/c/1568222566/33007