Сообщение Re: fyi: потребление энергии на ИИ от 18.02.2025 14:39
Изменено 18.02.2025 15:21 kov_serg
Re: fyi: потребление энергии на ИИ
Здравствуйте, Sharov, Вы писали:
S>Как-то затратно, не находите? Не многие такое себе могут позволить. Либо гос-ва, либо очень крупные корпорации.
S>А уж если масштабировать на все население, а не только для дизайнеров и любопытных, которые это будут использовать
S>на регулярной основе, т.е. промышленно, то совсем швах получается.
0.012kWh/4.4V = 2700mAh что-то какие-то слабые телефоны
2.9Wh*6.5р/kWh = 1.885коп на запрос
Если прикинуть то:
Если запускать на H200 4e15ops/700W = 1.75e-13 W/op
gpt4 ~ 1.76e12 папаметров
пусть byte на параметр => надо 13карт H200 по 141Gb
1.76e12/4.8e12byte/13 = 28 ms/символ ~ 35Hz
1.76e12/4e15ops/13 = 0.034ms < 28ms (упираемся в скорость памяти)
Пусть ответ 2000 символов 2000/35Hz ~ 1мин
1мин*700W*13 = 152Wh
Если сматфон 5000mAh => 5Ah*4.4V=22Wh так что ответ как зарядить 152/22 почти 7 телефонов
И ответ будет стоить 700W*13*1min*6.5р/kWh ~ 1руб
И сами карты еще 41k$*13 = 0.533 M$ если прикинуть что срок службы у них 5 лет то еще + 0.2$ на запрос это при 100% нагрузке, а если нагрузка 10% то +2$ на запрос.
S>Как-то затратно, не находите? Не многие такое себе могут позволить. Либо гос-ва, либо очень крупные корпорации.
S>А уж если масштабировать на все население, а не только для дизайнеров и любопытных, которые это будут использовать
S>на регулярной основе, т.е. промышленно, то совсем швах получается.
0.012kWh/4.4V = 2700mAh что-то какие-то слабые телефоны
2.9Wh*6.5р/kWh = 1.885коп на запрос
Если прикинуть то:
Если запускать на H200 4e15ops/700W = 1.75e-13 W/op
gpt4 ~ 1.76e12 папаметров
пусть byte на параметр => надо 13карт H200 по 141Gb
1.76e12/4.8e12byte/13 = 28 ms/символ ~ 35Hz
1.76e12/4e15ops/13 = 0.034ms < 28ms (упираемся в скорость памяти)
Пусть ответ 2000 символов 2000/35Hz ~ 1мин
1мин*700W*13 = 152Wh
Если сматфон 5000mAh => 5Ah*4.4V=22Wh так что ответ как зарядить 152/22 почти 7 телефонов
И ответ будет стоить 700W*13*1min*6.5р/kWh ~ 1руб
И сами карты еще 41k$*13 = 0.533 M$ если прикинуть что срок службы у них 5 лет то еще + 0.2$ на запрос это при 100% нагрузке, а если нагрузка 10% то +2$ на запрос.
Re: fyi: потребление энергии на ИИ
Здравствуйте, Sharov, Вы писали:
S>Как-то затратно, не находите? Не многие такое себе могут позволить. Либо гос-ва, либо очень крупные корпорации.
S>А уж если масштабировать на все население, а не только для дизайнеров и любопытных, которые это будут использовать
S>на регулярной основе, т.е. промышленно, то совсем швах получается.
0.012kWh/4.4V = 2700mAh что-то какие-то слабые телефоны
2.9Wh*6.5р/kWh = 1.885коп на запрос
Если прикинуть то:
Если запускать на H200 4e15ops/700W = 1.75e-13 J/op
gpt4 ~ 1.76e12 папаметров
пусть byte на параметр => надо 13карт H200 по 141Gb
1.76e12/4.8e12byte/13 = 28 ms/символ ~ 35Hz
1.76e12/4e15ops/13 = 0.034ms < 28ms (упираемся в скорость памяти)
Пусть ответ 2000 символов 2000/35Hz ~ 1мин
1мин*700W*13 = 152Wh
Если сматфон 5000mAh => 5Ah*4.4V=22Wh так что ответ как зарядить 152/22 почти 7 телефонов
И ответ будет стоить 700W*13*1min*6.5р/kWh ~ 1руб
И сами карты еще 41k$*13 = 0.533 M$ если прикинуть что срок службы у них 5 лет то еще + 0.2$ на запрос это при 100% нагрузке, а если нагрузка 10% то +2$ на запрос.
S>Как-то затратно, не находите? Не многие такое себе могут позволить. Либо гос-ва, либо очень крупные корпорации.
S>А уж если масштабировать на все население, а не только для дизайнеров и любопытных, которые это будут использовать
S>на регулярной основе, т.е. промышленно, то совсем швах получается.
0.012kWh/4.4V = 2700mAh что-то какие-то слабые телефоны
2.9Wh*6.5р/kWh = 1.885коп на запрос
Если прикинуть то:
Если запускать на H200 4e15ops/700W = 1.75e-13 J/op
gpt4 ~ 1.76e12 папаметров
пусть byte на параметр => надо 13карт H200 по 141Gb
1.76e12/4.8e12byte/13 = 28 ms/символ ~ 35Hz
1.76e12/4e15ops/13 = 0.034ms < 28ms (упираемся в скорость памяти)
Пусть ответ 2000 символов 2000/35Hz ~ 1мин
1мин*700W*13 = 152Wh
Если сматфон 5000mAh => 5Ah*4.4V=22Wh так что ответ как зарядить 152/22 почти 7 телефонов
И ответ будет стоить 700W*13*1min*6.5р/kWh ~ 1руб
И сами карты еще 41k$*13 = 0.533 M$ если прикинуть что срок службы у них 5 лет то еще + 0.2$ на запрос это при 100% нагрузке, а если нагрузка 10% то +2$ на запрос.