Вот все в восхищении от успехов машинного обучения. А во сколько сотен тысяч (миллионов) долларов это обходится?
Сколько стоило создание и обучение ChatGPT?
Сколько стоил AlphaZero, который побил Стокфиш?
Сколько стоили другие известные нейросети?

Где можно почитать об этом?

Здравствуйте, Mihal9, Вы писали:

M>Вот все в восхищении от успехов машинного обучения. А во сколько сотен тысяч (миллионов) долларов это обходится?

Я ещё в восхищении от покорения космоса. А во сколько миллиардов долларов оно обходится?

M>Где можно почитать об этом?

В Гугле поищи, было неоднократно и сколько стоит обучение, и сколько обработка одного запроса. Было бы желание.

M>Вот все в восхищении от успехов машинного обучения. А во сколько сотен тысяч (миллионов) долларов это обходится?
Скорее всего, как с порохом/паровой машиной/электротелеграфом. Есть изобретатель, который знает как — стоит копейки. Нет изобретателя — не купишь ни за какие миллиарды.

Здравствуйте, Osaka, Вы писали:

M>>Вот все в восхищении от успехов машинного обучения. А во сколько сотен тысяч (миллионов) долларов это обходится?
O>Скорее всего, как с порохом/паровой машиной/электротелеграфом. Есть изобретатель, который знает как — стоит копейки. Нет изобретателя — не купишь ни за какие миллиарды.

Нет, я не про секреты технологии и не про ноу-хау.
Я тупо про железо

Здравствуйте, Osaka, Вы писали:

O>Есть изобретатель, который знает как — стоит копейки.

И копейки это стоить не может по определению. Будь ты хоть семи пядей во лбу, но если нет мощного дорогого железа, никогда не обучишь стоящую нейросеть с нуля.

M>Где можно почитать об этом?
Где читать не знаю. Немножко цифр просачивается на тематических конференциях и подкастах с топами современных нейросетей.

Слышал и от Мета с LLAMA и от OpenAI с GPT-4, что создание современной нейросети это огромная работа по разметке данных и alignment, которая качественно делается только людьми. Даже мелкие косяки в предварительном отборе того, что размечать, очень сильно ухудшают результат, так что совсем дешёвых людей на это не посадишь. В итоге любая современная нейросеть по деньгам начинается от миллиарда $ — это совокупные затраты: и железо, и программисты нейросети, и те, кто размечает данные, и сами данные.

Нейросеть от OpenAI, которая будет выпущена в середине или второй половине 2024-го, сейчас учится на суперкомпе из примерно 150 000 видеокарт A100. Только на работу всех этих видеокарт вроде как тратят 400к$ в сутки. Это без хранилищ данных и людей. По оценкам, их кластер обходит самый мощный суперкомп из Top-500 примерно в 80-100 раз. Или будет таким к концу обучения. Но в публичных рейтингах их нету.