Вот, чел. предположил что игры в будущем будут без рендера — нейросеть будет динамически создавать видеоряд, основываясь на твоих действиях. Т.е. не нужно будет просчитывать всю физику — нейросетка в достаточном качестве просто создаст видео.

Вопрос такой. Есть ли доказательства, что рендер и просчет физики на одном и том же железе будет быстрее, чем генерация видео с помощью нейросети?

S>Вопрос такой. Есть ли доказательства, что рендер и просчет физики на одном и том же железе будет быстрее, чем генерация видео с помощью нейросети?
Надо к Маску обращаться с его нейрошунтом, чтобы сразу на "железе" мозга генерить сновидения.

Здравствуйте, Shmj, Вы писали:

S>Вот, чел. предположил что игры в будущем будут без рендера — нейросеть будет динамически создавать видеоряд, основываясь на твоих действиях.

Нет.
1. Ресурсов нейросетка требует очень сильно больше
2. Удачи заставить её сгенерить то, что надо, а не то, что её хочется

Здравствуйте, CreatorCray, Вы писали:

CC>Нет.
CC>1. Ресурсов нейросетка требует очень сильно больше

Я бы не был столь однозначен.
Уже есть Imagine Flash — самая быстрая нейронка, которая работает на телефоне и генерирует картинки в процессе ввода текста. Это как контрпример.
Второе: та же Nvidia вполне может изменить архитектуру видеокарт так, чтобы типичные ьрансформенные операции (это уже есть), а также всё друго для генерации делалось максимально аппаратно. И получится так, что ресурсов, вроде, тратится и больше, но происходит всё это быстрее.

CC>2. Удачи заставить её сгенерить то, что надо, а не то, что её хочется

Тоже зависит от нейронки. Можно вполне добиться не bit exact, но вполне точной генерации контента. Как-то Sora умудряется генерировать связанное видео, даже с сюжетом? Если бы было так плохо, как ты говоришь, то между соседними кадрами был бы большой рассинхрон. Уменьшаем такой рассинхрон между текстом и картинкой и всё. Потихоньку учится индустрия, то что было 2 года назад и сейчас — небо и земля. Только за последний год тренд с агентами внутри сети опять всё поменял.
Короче, пока тренд в нейросетях, скорее, опровергает твою позицию, чем подкрепляет.

Здравствуйте, Shmj, Вы писали:

S>Вот, чел. предположил что игры в будущем будут без рендера — нейросеть будет динамически создавать видеоряд, основываясь на твоих действиях. Т.е. не нужно будет просчитывать всю физику — нейросетка в достаточном качестве просто создаст видео.
S>Вопрос такой. Есть ли доказательства, что рендер и просчет физики на одном и том же железе будет быстрее, чем генерация видео с помощью нейросети?

А, собственно, как?

Т.е. физика это, например, ты кинул камень он полетел, ударяясь о препятствия, рикошетя от них и потом попал или не попал в цель. Да, сложный расчет.

А нейросеть не считая физику сделает что? Просто прикинет и скажет "ну, пожалуй, ты не попал". Это да, можно сделать сильно быстрее. Но будет ли это то же самое? И, кстати, это можно делать и без нейросети — классически, генератором случайных чисел можно обеспечить неплохие результаты.


Рендер — это игра света и все такое. Нейросеть как тебе быстро нарисует правильные блики на предметах не просчитывая падения лучей? Опять же, она может нарисовать "освещенный солнцем объект", но не факт что это освещение будет правильно соответствовать тому что ты из своей позиции должен был видеть. А чем больше нужно соответсвие — тем больше нейросеть должна учитывать ту самую физику лучей
В теории можно, но не видно где тут будет выигрышь по сравнению с "просто посчитаем физику, без нейросети".

P.S.
По серии сообщений мне кажется, ты пытаешься наделить нейросети какими-то магическими свойствами. Не надо.

Здравствуйте, CreatorCray, Вы писали:

CC>Здравствуйте, Shmj, Вы писали:

S>>Вот, чел. предположил что игры в будущем будут без рендера — нейросеть будет динамически создавать видеоряд, основываясь на твоих действиях.

CC>Нет.
CC>1. Ресурсов нейросетка требует очень сильно больше
CC>2. Удачи заставить её сгенерить то, что надо, а не то, что её хочется

В промышленности уже несколько лет есть проекты такого формата:
Есть модель процесса с прописанной отцами физикой и математикой, бешено ресурсоемкая и медленная, работает на суперкомьютере.
На вход этой модели подают разные данные, получают выходные результаты и на этом обучают модель искусственного интеллекта.
Эта обученная модель имеет погрешность менее 1% от тяжелой физической, на которой училась и при этом работает быстро на любом ноутбуке.
Профит.

Здравствуйте, Nuzhny, Вы писали:

N>Уже есть Imagine Flash — самая быстрая нейронка, которая работает на телефоне и генерирует картинки в процессе ввода текста.

Что-то мне подсказывает, что на телефоне только тонкий клиент.

Здравствуйте, Nuzhny, Вы писали:

N>Уже есть Imagine Flash — самая быстрая нейронка, которая работает на телефоне и генерирует картинки в процессе ввода текста.
И? Сколько ресурсов оно жрёт? Больше чем игровой 3d renderer или меньше?

N>Можно вполне добиться не bit exact, но вполне точной генерации контента.
Каждый кадр будет шевелиться и бредить в свою сторону. Т.е. посмотрел на что то, развернулся на 180, потом назад и опа — там уже другое.

Здравствуйте, mtnl, Вы писали:

M>Эта обученная модель имеет погрешность менее 1% от тяжелой физической, на которой училась и при этом работает быстро на любом ноутбуке.
Удачи применить это к игре.

Здравствуйте, Maniacal, Вы писали:

N>>Уже есть Imagine Flash — самая быстрая нейронка, которая работает на телефоне и генерирует картинки в процессе ввода текста.
M>Что-то мне подсказывает, что на телефоне только тонкий клиент.

Нет, там очень-очень-очень много заоптимизировали — статья.

Здравствуйте, CreatorCray, Вы писали:

N>>Уже есть Imagine Flash — самая быстрая нейронка, которая работает на телефоне и генерирует картинки в процессе ввода текста.
CC>И? Сколько ресурсов оно жрёт? Больше чем игровой 3d renderer или меньше?

Не так важно. Суть в том, что год назад такое казалось ещё фантастикой, мало кто локально на дискретке у себя text2image модели заводил. А тут прямо на телефоне в реальном времени. То есть по мере вложения ресурсов в эту тему происходит стремительнный рост. Тут можно вставить картинку про любителя экстраполировать, но разве с 3D графикой не то же самое происходило? Появились сопроцессоры, потом простенькие видеокарты, а затем уже дискретные монстры на полкорпуса.

N>>Можно вполне добиться не bit exact, но вполне точной генерации контента.
CC>Каждый кадр будет шевелиться и бредить в свою сторону. Т.е. посмотрел на что то, развернулся на 180, потом назад и опа — там уже другое.

Что значит "будет"? Sora есть уже сейчас, такого не наблюдается.
Тут же суть в том, что игры могут быть без особого сценария, подстраиваясь под действия конкретного игрока (в single player уж точно). Графика будет генерироваться не потому, что тут триггер разработчики поставили, а потому, что игрок так сделал. Вполне вероятно, что физический движок будет старый, а рендер нейросетевой. Тут решающим фактором будет явно не железные ресурсы, а факт новизны: смогут ли нейросеети предложить такой новый геймпплей, для которого захочется купить новую видеокарту. Если они такое предложат, то пользователи пойдут покупать.

Здравствуйте, Nuzhny, Вы писали:

N>Нет, там очень-очень-очень много заоптимизировали — статья.

Могли и на сервере заоптимизировать. Данные обучения обычно занимают не один гигабайт. Мобильное приложение такого размера стрёмно.
И название Imagine Flash service неспроста.

конечно может
Как в анекдоте про секретаршу: «печатаю быстро, но такая херня получается»

Здравствуйте, Shmj, Вы писали:

S>Вопрос такой. Есть ли доказательства, что рендер и просчет физики на одном и том же железе будет быстрее, чем генерация видео с помощью нейросети?

А что ChatGPT (или как его там) говорит? В том есть сомнения?

Здравствуйте, Nuzhny, Вы писали:

N>Здравствуйте, CreatorCray, Вы писали:

CC>>2. Удачи заставить её сгенерить то, что надо, а не то, что её хочется

N>Тоже зависит от нейронки. Можно вполне добиться не bit exact, но вполне точной генерации контента. Как-то Sora умудряется генерировать связанное видео, даже с сюжетом? Если бы было так плохо, как ты говоришь, то между соседними кадрами был бы большой рассинхрон. Уменьшаем такой рассинхрон между текстом и картинкой и всё. Потихоньку учится индустрия, то что было 2 года назад и сейчас — небо и земля. Только за последний год тренд с агентами внутри сети опять всё поменял.
N>Короче, пока тренд в нейросетях, скорее, опровергает твою позицию, чем подкрепляет.

Я немного игрался с разными нейросетями — в основном Midjourney и StableDiffusion и я тоже в итоге пришел к некоторому скептицизму — несмотря на очевидный прогресс множество мелких и иногда совсем не мелких деталей выдает, что это сгенерированный ai контент. Особенно если композиция сцены становится более-менее сложной.

Вероятно лучшим подходом было бы генерация 3D объектов — есть некоторые попытки грести в эту сторону, но опять же, насколько я вижу все еще довольно далеко от полной или существенной замены 3d арта.

Здравствуйте, A13x, Вы писали:

A>Вероятно лучшим подходом было бы генерация 3D объектов — есть некоторые попытки грести в эту сторону, но опять же, насколько я вижу все еще довольно далеко от полной или существенной замены 3d арта.

Тоже мелькнула мысль про 3д, но замелькнула взад. Там же битвы вокруг вокселей и облаков точек. А мирам, играм нужны более управляемые и реагирующие объекты: чтобы у машинки крутились колеса, корова могла ходить и поворачивать голову (хотя бы), что-то могло строиться и разрушаться... Видимо, рукотворные 3д-объекты в той же игре останутся нужны, ИИ-шное и рукотворное должно быть взаимоувязано. Нужен единый подход от объекта, анимации, осмысленных свойств-параметров. Эти ребята, может, до чего-то доберутся, какие-то задачки решат, но до целевой реализации им как до Луны, как мне кажется.

Еще в ИИ и картинках смущает текстовый промпт. Идея понятная, но профессиональной управляемости графикой не дает даже близко.

Я не спец в ИИ, рассуждаю как юзер. Полагаю, сейчас для 99% дизайнеров тот максимум, который может дать ИИ, — это подсказки, идейки для их последующей ручной работы, не более того. Очень уж ИИ креативен (необычен) в некоторых частностях.

Здравствуйте, Shmj, Вы писали:

S>Вот, чел. предположил что игры в будущем будут без рендера — нейросеть будет динамически создавать видеоряд, основываясь на твоих действиях. Т.е. не нужно будет просчитывать всю физику — нейросетка в достаточном качестве просто создаст видео.

Пусть этот чел покажет нам прототип, игру с видео полностью генерируемым нейросеткой.

Разумеется, к прототипу требования ниже, например не 4kHD а хватит 640х480, не 60 кадров в секунду, а хватит и 25.

Все проблемы от жадности и глупости

Здравствуйте, Stanislaw K, Вы писали:

SK>Здравствуйте, Shmj, Вы писали:

S>>Вот, чел. предположил что игры в будущем будут без рендера — нейросеть будет динамически создавать видеоряд, основываясь на твоих действиях. Т.е. не нужно будет просчитывать всю физику — нейросетка в достаточном качестве просто создаст видео.

SK>Пусть этот чел покажет нам прототип, игру с видео полностью генерируемым нейросеткой.

по моему, даже тут на рсдн приводили пример такой игры. Зельду, чтоли? Выглядело пипец как плохо, даже с учетом того, что это 2d игра

Здравствуйте, Shmj, Вы писали:

S>Вот, чел. предположил что игры в будущем будут без рендера — нейросеть будет динамически создавать видеоряд, основываясь на твоих действиях. Т.е. не нужно будет просчитывать всю физику — нейросетка в достаточном качестве просто создаст видео.

S>Вопрос такой. Есть ли доказательства, что рендер и просчет физики на одном и том же железе будет быстрее, чем генерация видео с помощью нейросети?

Кстати, еще стоит добавить, что зависит от того, какой это рендер. Некоторые игры используют prerendered background, который собственно сделан не на игровом, а на ray tracing движке, работа которого может быть на несколько порядков медленнее, чем рендер игрового движка. Вот пример.
Я думаю, что качественно сделать такое на любой сетке сейчас невыполнимая задача, а конкретнее — множество мелких вещей и относительно небольших персонажей, возможность увидеть больше деталей при зуме, консистентная анимация.

Здравствуйте, fmiracle, Вы писали:

F>Рендер — это игра света и все такое. Нейросеть как тебе быстро нарисует правильные блики на предметах не просчитывая падения лучей? Опять же, она может нарисовать "освещенный солнцем объект", но не факт что это освещение будет правильно соответствовать тому что ты из своей позиции должен был видеть. А чем больше нужно соответсвие — тем больше нейросеть должна учитывать ту самую физику лучей
F>В теории можно, но не видно где тут будет выигрышь по сравнению с "просто посчитаем физику, без нейросети".

Если речь про игры, то игроку не нужно правильное освещение, правильные блики или сложные расчёты. Игроку нужны блики, которые он посчитает реалистичными. И, да, реальные блики совсем не факт, что будут казаться реалистичными. То бишь тут может понадобиться делать намеренно неправильный рендер, чтобы игроку картинка больше понравилась. И нейросеть, как штуковина, близкая мозгу, в отличие от всяких треугольников, вполне может выдать лучший результат.

Здравствуйте, vsb, Вы писали:

vsbИ нейросеть, как штуковина, близкая мозгу, в отличие от всяких треугольников, вполне может выдать лучший результат.

Не близко! Мозг в фоновом режиме может генерировать на 100% реалистичные сны, ИИ же может максимум высрать убогую картинку, по которой сразу ясно, что сделано с помощью ИИ

Здравствуйте, wl., Вы писали:

wl.>Не близко! Мозг в фоновом режиме может генерировать на 100% реалистичные сны, ИИ же может максимум высрать убогую картинку, по которой сразу ясно, что сделано с помощью ИИ

А вы пробовали во сне прочитать хотя бы 1 предложение текста из книги? Потом вернитесь в начало и перечитайте его еще раз

Способности мозга по генерации реалистичных снов сильно преувеличены. В игре можно спокойно читать и не одно предложение а сколько хочешь текста.

Здравствуйте, Shmj, Вы писали:

S>А вы пробовали во сне прочитать хотя бы 1 предложение текста из книги? Потом вернитесь в начало и перечитайте его еще раз
S>Способности мозга по генерации реалистичных снов сильно преувеличены. В игре можно спокойно читать и не одно предложение а сколько хочешь текста.

А почему текст должен быть один и тот же? Генерация как раз подразумевает, что каждый раз будет новый контент

Здравствуйте, wl., Вы писали:

wl.>А почему текст должен быть один и тот же? Генерация как раз подразумевает, что каждый раз будет новый контент

У многих людей мощностей мозга хватает только на 1-2 слова, дальше текст прыгает или размывается. Если вы сможете хотя бы дочитать предложение до конца — уже считайте что повезло.

Здравствуйте, vsb, Вы писали:


F>>В теории можно, но не видно где тут будет выигрышь по сравнению с "просто посчитаем физику, без нейросети".

vsb>Если речь про игры, то игроку не нужно правильное освещение, правильные блики или сложные расчёты. Игроку нужны блики, которые он посчитает реалистичными.

Это вообще решается не техническими средствами. создается полностью выдуманный мир. например пластилиновый neverhood.

Все проблемы от жадности и глупости

Здравствуйте, Shmj, Вы писали:

S>А вы пробовали во сне прочитать хотя бы 1 предложение текста из книги? Потом вернитесь в начало и перечитайте его еще раз

У меня когда-то долго не получалось сделать функцию в одной программе. Однажды ночью явился мне во сне лист бумаги, на котором эта функция была напечатана. Утром, придя на работу, я её вбил, и всё заработало.

Здравствуйте, fmiracle, Вы писали:

F>Т.е. физика это, например, ты кинул камень он полетел, ударяясь о препятствия, рикошетя от них и потом попал или не попал в цель. Да, сложный расчет.
F>А нейросеть не считая физику сделает что? Просто прикинет и скажет "ну, пожалуй, ты не попал". Это да, можно сделать сильно быстрее. Но будет ли это то же самое? И, кстати, это можно делать и без нейросети — классически, генератором случайных чисел можно обеспечить неплохие результаты.

Да, нейросеть как раз примерно и на порядок быстрее всё сделает. В науке есть такой тренд: брать очень тяжёлые расчёты, обучать на них нейронку, которая в 10-100-1000 раз даст ответ с точностью 1% от точных методов. И уже от него плясать.
Кромето того, нейросети сами по себе умеют задавать, хранить и участвовать в 3D рендеринге: Nerf, 3D Gaussian Splatting. Получаем нейросеть, которая в более компактной форме хранит в своих весах 3D представление о сцене и может, соответственно, рендерить её из любой точки.

Здравствуйте, Nuzhny, Вы писали:

N>Да, нейросеть как раз примерно и на порядок быстрее всё сделает. В науке есть такой тренд: брать очень тяжёлые расчёты, обучать на них нейронку, которая в 10-100-1000 раз даст ответ с точностью 1% от точных методов.

Ты, наверное, хотел сказать "с погрешностью 1%"

По теме — ну, я тут не Копенгаген. Смотрел эту тему 20+ лет назад и тогда такие попытки были, но получалось так себе — в пределах массива обучения результаты получались отличные, а при выходе за пределы области обучения все получалось весьма плохо. Вполне возможно, что сейчас все гораздо лучше.

А современные игровые движки тоже используют предпросчитанные данные, которые позволяют провести отрисовку в 10-100-1000 раз быстрее, чем честный просчет сцены с небольшим совсем процентом погрешности. Обходятся без нейросетей. Можно, наверное, сделать подобное и при помощи нейросетей, если очень прямо хочется. Вопрос нужно ли.

Здравствуйте, vsb, Вы писали:

vsb>Если речь про игры, то игроку не нужно правильное освещение, правильные блики или сложные расчёты. Игроку нужны блики, которые он посчитает реалистичными. И, да, реальные блики совсем не факт, что будут казаться реалистичными. То бишь тут может понадобиться делать намеренно неправильный рендер, чтобы игроку картинка больше понравилась. И нейросеть, как штуковина, близкая мозгу, в отличие от всяких треугольников, вполне может выдать лучший результат.

Сейчас в игровых движках, тоже не делается точный рендер света. Делается предварительный длительный просчет, а потом игроку весьма быстро показывают вполне неплохое приближение игры света из его позиции. Формально неточное, но вполне для человека достоверное. Полного расчета движения лучей в рантайме при этом и близко нет.

Собственно, это тормозит идею Ray Tracing в видеокартах — да, круто, они могут считать прямо на лету, но уже давно наработаны методики показать "достаточно хорошо", не требуя специальной видеокарты.

Здравствуйте, wl., Вы писали:

wl.>vsbИ нейросеть, как штуковина, близкая мозгу, в отличие от всяких треугольников, вполне может выдать лучший результат.

wl.>Не близко! Мозг в фоновом режиме может генерировать на 100% реалистичные сны, ИИ же может максимум высрать убогую картинку, по которой сразу ясно, что сделано с помощью ИИ

Когда сдампите картинку из мозга в png, тогда посмотрим. Пока это всё субъективно.

Здравствуйте, fmiracle, Вы писали:

F>Собственно, это тормозит идею Ray Tracing в видеокартах
Нет. Идею raytracing тормозит её чудовищная прожорливость.
Игроки предпочитают "достаточно хорошо" но с высоким FPS чем "очень точно" но с низким.

Здравствуйте, vsb, Вы писали:

vsb>Когда сдампите картинку из мозга в png, тогда посмотрим. Пока это всё субъективно.

Можно jpeg?

	Картинка из мозга

Отсюда

Можно ещё так.
В целом, получать картинки из мозга научились давно, первичная зрительная кора находится в затылочной области, не проблема воткнуть в мозг электроды и измерить активность. А подсветка, окрашивание и другие новые современные технологии делают задачу ещё проще.

Здравствуйте, Nuzhny, Вы писали:

N>Здравствуйте, vsb, Вы писали:

vsb>>Когда сдампите картинку из мозга в png, тогда посмотрим. Пока это всё субъективно.

N>Можно jpeg?

Это же не сновидения.

N>Можно ещё так.
N>В целом, получать картинки из мозга научились давно, первичная зрительная кора находится в затылочной области, не проблема воткнуть в мозг электроды и измерить активность. А подсветка, окрашивание и другие новые современные технологии делают задачу ещё проще.

Тут вопрос именно про сны. Хотя вроде у людей и двигаются глаза во сне, но я сомневаюсь, что симуляция реальности идёт на уровне картинки.

Здравствуйте, vsb, Вы писали:

vsb>Это же не сновидения.

Визуализация активности мозга. Во время сновидения не только картинки есть, но и множество других ощущений. Их в картинку не запихать, да.

vsb>Тут вопрос именно про сны. Хотя вроде у людей и двигаются глаза во сне, но я сомневаюсь, что симуляция реальности идёт на уровне картинки.

Тогда так.

Здравствуйте, Nuzhny, Вы писали:


N>Визуализация активности мозга. Во время сновидения не только картинки есть, но и множество других ощущений. Их в картинку не запихать, да.

Насчет картинки, это же фактически аналогично тому чтобы анализировать вывод компьютера на экран исследуя тепловые карты снятые с чипов видеоадаптера.

Здравствуйте, FR, Вы писали:

FR>Насчет картинки, это же фактически аналогично тому чтобы анализировать вывод компьютера на экран исследуя тепловые карты снятые с чипов видеоадаптера.

Если неинвазивно, то да. Какие-то частоты с помощью ЭЭГ ещё можно разделить, но слабо. фМРТ даёт картину получше. Если бы была возможность утыкать мозг тысячами электродов, то было бы ещё лучше

Здравствуйте, goto, Вы писали:
G>Тоже мелькнула мысль про 3д, но замелькнула взад. Там же битвы вокруг вокселей и облаков точек. А мирам, играм нужны более управляемые и реагирующие объекты: чтобы у машинки крутились колеса, корова могла ходить и поворачивать голову (хотя бы), что-то могло строиться и разрушаться... Видимо, рукотворные 3д-объекты в той же игре останутся нужны, ИИ-шное и рукотворное должно быть взаимоувязано. Нужен единый подход от объекта, анимации, осмысленных свойств-параметров. Эти ребята, может, до чего-то доберутся, какие-то задачки решат, но до целевой реализации им как до Луны, как мне кажется.
Тут, как мне кажется, надо копать в сторону именно что генерации 3d-модели.
Читал как-то статью про моделирование моделек для современных игр — так это же копец-копец. Чтобы намоделить какой-нибудь стул правдоподобной формы — уже нужно употеть.
Футуристический танк навелосипедить — вообще столько дней работы, что оживление физики этого танка потом кажется несложной задачей на фоне прорисовки всех этих лючков, рукояток, амбразур, навесной брони, катков, траков и т.п.
При этом 2d-шный арт сейчас генерируется довольно-таки убедительный.
Так что даже если в рантайме никакой нейросетки уже не будет, то в дизайн-тайме возможность заказать "футуристический танк розового цвета, ходящий на слоновьих ногах" и получить его модельку, да ещё и с готовой кинематикой, позволит сильно удешевить и ускорить выход игорей.

Здравствуйте, Sinclair, Вы писали:

S>Тут, как мне кажется, надо копать в сторону именно что генерации 3d-модели.
S>Читал как-то статью про моделирование моделек для современных игр — так это же копец-копец. Чтобы намоделить какой-нибудь стул правдоподобной формы — уже нужно употеть.

Вопрос в том, не придется ли еще больше употеть, доводя стул от ИИ до действительно нужной формы и свойств? Особенно, если это не стул, а что-то интереснее.

S>Футуристический танк навелосипедить — вообще столько дней работы, что оживление физики этого танка потом кажется несложной задачей на фоне прорисовки всех этих лючков, рукояток, амбразур, навесной брони, катков, траков и т.п.

Это не так сложно, как кажется. Когда-то нетривиальной была задачка анимации гусениц, особенно со следованием рельефу, но сейчас это должно решаться просто. На порядок-другой более трудоемко смоделить персонажа в одежде, подготовить все к анимации и заанимировать.

S>При этом 2d-шный арт сейчас генерируется довольно-таки убедительный.

Местами убедительный, но всегда не тот, который имелся в виду исходно. Это плюс для поиска идей и жирнейший минус для реальной работы.

S>Так что даже если в рантайме никакой нейросетки уже не будет, то в дизайн-тайме возможность заказать "футуристический танк розового цвета, ходящий на слоновьих ногах" и получить его модельку, да ещё и с готовой кинематикой, позволит сильно удешевить и ускорить выход игорей.

Картиночному промптовому ИИ принципиально не хватает управляемости. Допустим, в какой-то момент мы наконец получили примерно то, что хотели. Надо это довести до нужного вида уточнениями типа:
— слоновьи ноги у танка должны быть длиной 1.5, толщиной 0.5
— иметь по 2 колена
— ниже колен от 2/3 высоты до копыта ноги должны быть волосатыми с длиной волос 0.06-0.08, толщиной 0.001
— в этом месте у цвета насыщенность надо увеличить на 0.1, пятна сделать в 2 раза меньше, расположить в 3 раза чаще
— для этой детали использовать вот эту готовую текстуру
— весь танк должен соответствовать по стилю другому танку, сгенеренному раньше, модель номер АБВ2345, показывать ту же технологию изготовления, оружие, тактические знаки, материалы; танкисты должны быть того же роста и экипированы и вооружены аналогично.
...
примерно так выглядит управляемость в реальном продакшене.

Что получаем в итоге. Во-первых, выше мы фактически имеем готовое параметрическое описание. Многие вещи и сейчас хорошо делаются по параметрическому описанию. Например, в CAD. Или 3д человек в одежде может быть очень неплохо сгенерен, причем готовым к базовой анимации. Во-вторых, о промтовых картиночных ИИ мы судим как люди, не умеющие рисовать, отсюда наши безудержные восторги и надежды. А моделлер или художник владеют техникой, для них нарисовать как раз — совершенно не проблема, в отличие от нас. Им быстрее самим нарисовать, смоделить, чем мучаться с промптами и тупым ИИ, который категорически не хочет точно понимать, что задумал творец.

Производство игр, кино начинается не с моделей и не в них упирается. Сначала разрабатываются концепт арты, стиль. Вокруг этого могут ломаться копья, могут приглашаться звездные профи. А дальше все идет вниз — в производственный конвейер. Сейчас я даже близко не могу увидеть, где там место для промптового ИИ. Может, под конкретные фрагменты могут обучить сетку, там, где это уместно, затратив определенный ресурс, но как массовая технология... ну, разве что для восторженных пионеров сделать что-нибудь прикольненькое.

Могу сильно ошибаться, не спец. Возможно, ИИ проходит или прошел пик хайпа, но вложения в него огромные, может что-то внезапно выстрелить.

Здравствуйте, goto, Вы писали:

G>Производство игр, кино начинается не с моделей и не в них упирается. Сначала разрабатываются концепт арты, стиль. Вокруг этого могут ломаться копья, могут приглашаться звездные профи. А дальше все идет вниз — в производственный конвейер. Сейчас я даже близко не могу увидеть, где там место для промптового ИИ. Может, под конкретные фрагменты могут обучить сетку, там, где это уместно, затратив определенный ресурс, но как массовая технология... ну, разве что для восторженных пионеров сделать что-нибудь прикольненькое.

А вот этот т.н. ваш "производственный конвейер" — может ли быть заменен нейросетью?

По сути роль человека — высказать свое желание. Че ты хош, грубо говоря. Ведь нейросети нафиг ничего не уперлось — у нее нет феномена наслаждения, по этому и желаний быть не может.

А вот у чела с какого-то хрена есть желания и эти желания хрен поймешь — сам чел. не знает чего он хочет толком — но когда попробует — может сказать оно или нет.

Т.е. концепт, стиль — это желания. Нужно спрогнозировать чего хочет большинство, что вызовет феномен наслаждения в разумах большинства. Нейросеть пока не может — у нас нет понимания желаний (хотя, возможно, спрогнозировать уровень наслаждения можно будет и формально — но пока до этого далеко — только проверка на живце). А уже имея концепцию желаний — просто с помощью таких инструментов как нейросеть — преобразовать в бинарник или там скрипт.

Здравствуйте, goto, Вы писали:
G>Вопрос в том, не придется ли еще больше употеть, доводя стул от ИИ до действительно нужной формы и свойств? Особенно, если это не стул, а что-то интереснее.
Смотря какая ставится цель.

G>Это не так сложно, как кажется. Когда-то нетривиальной была задачка анимации гусениц, особенно со следованием рельефу, но сейчас это должно решаться просто. На порядок-другой более трудоемко смоделить персонажа в одежде, подготовить все к анимации и заанимировать.
Смотря что понимается под персонажем. Если человек — то модельки человека есть готовые, для анимации достаточно добавить к нему скин (2d-картинку) и поехали.
Причём модельки, естественно, параметрические — поэтому можно делать толстяков/дрищей/качков/сисястых дев, просто крутя ручки параметров.

S>>При этом 2d-шный арт сейчас генерируется довольно-таки убедительный.
G>Местами убедительный, но всегда не тот, который имелся в виду исходно. Это плюс для поиска идей и жирнейший минус для реальной работы.
Смотря какая ставится цель. Если у вас есть конкретная идея картинки — да, ИИ вам будет только мешать. Но в реале ставить ТЗ даже живому художнику — то ещё развлечение. Я такой опыт имел.
А если вам нужно что-то, не обязательно конкретное, но обязательно своё и уникальное — то ИИ работает прекрасно.
Ну, вот, надо вам иллюстрацию к статье. У вас есть некий набор ключевых слов. Вы можете по ним поискать в фотобанках, но велик шанс, что выбранное фото стоит ещё примерно над парой тысяч статей.
А можете по этим словам сгенерировать ворох картинок, каждая из которых будет заведомо уникальной.

G>Картиночному промптовому ИИ принципиально не хватает управляемости. Допустим, в какой-то момент мы наконец получили примерно то, что хотели. Надо это довести до нужного вида уточнениями типа:
G>- слоновьи ноги у танка должны быть длиной 1.5, толщиной 0.5
G>- иметь по 2 колена
G>- ниже колен от 2/3 высоты до копыта ноги должны быть волосатыми с длиной волос 0.06-0.08, толщиной 0.001
G>- в этом месте у цвета насыщенность надо увеличить на 0.1, пятна сделать в 2 раза меньше, расположить в 3 раза чаще
G>- для этой детали использовать вот эту готовую текстуру
Вот это — зачем? Если вы точно знаете толщину ног и длину волос, то генератор как бы и не нужен. Если вам нужно пятьсот видов "монстров" для игры, даже просто написать вот эти требования для каждого из них потребуют много труда.
G>- весь танк должен соответствовать по стилю другому танку, сгенеренному раньше, модель номер АБВ2345, показывать ту же технологию изготовления, оружие, тактические знаки, материалы; танкисты должны быть того же роста и экипированы и вооружены аналогично.
А вот это как раз лучше подходит для ИИ, т.к. он же и собирает всё из "готовых деталек". Можно сразу заказать пачку видов танков "в одном стиле".
Всякие номера и конретные тактические знаки можно дорисовать вручную. Или потребовать, чтобы у всех моделей автомобилей были места под номерную табличку, текст в которую будет ставиться уже при инстанцировании конкретного объекта.

G>Что получаем в итоге. Во-первых, выше мы фактически имеем готовое параметрическое описание. Многие вещи и сейчас хорошо делаются по параметрическому описанию. Например, в CAD. Или 3д человек в одежде может быть очень неплохо сгенерен, причем готовым к базовой анимации. Во-вторых, о промтовых картиночных ИИ мы судим как люди, не умеющие рисовать, отсюда наши безудержные восторги и надежды. А моделлер или художник владеют техникой, для них нарисовать как раз — совершенно не проблема, в отличие от нас. Им быстрее самим нарисовать, смоделить, чем мучаться с промптами и тупым ИИ, который категорически не хочет точно понимать, что задумал творец.
Я всё это прекрасно понимаю. Но вот про "совершенно не проблема" — это иллюзия. Никакой художник вам детализированную 2d-картинку за 20 секунд не нарисует. Вообще никакой, и вообще никакую картинку — ни с шестипалыми персонажами, ни с трёхпалыми. Вот музыку ещё можно сымпровизировать прямо на ходу, да и то с ограничениями. А картину — нет, увы. Часы кропотливого труда.
И с моделированием то же самое.
G>Производство игр, кино начинается не с моделей и не в них упирается. Сначала разрабатываются концепт арты, стиль. Вокруг этого могут ломаться копья, могут приглашаться звездные профи. А дальше все идет вниз — в производственный конвейер. Сейчас я даже близко не могу увидеть, где там место для промптового ИИ. Может, под конкретные фрагменты могут обучить сетку, там, где это уместно, затратив определенный ресурс, но как массовая технология... ну, разве что для восторженных пионеров сделать что-нибудь прикольненькое.
Именно. Но это же традиционный переход от кустарщины к массовому производству. Ютуб не убил телевидение, телевидение не убило кинотеатры, а кино не убило театр.
Но театр превратился в нишевой дорогостоящий продукт, интересный немногим ценителям.
Так и тут — топовые тайтлы, естественно, продолжат использовать человеческий труд на всех этапах продакшена. Но даже у них ИИ скорее всего будет массово использоваться для прототипирования. Какие-то несколько десятков лет назад идея заменить верстальщиков компьютером тоже казалась полубезумной. А потом оказалось, что никакой метранпаж не подготовит вам за смену больше двух вариантов вёрстки газетного листа, а компьютер выдаёт их по десятку в минуту. И то, что там кое-что неидеально, уже не так важно. И детали вёрстки можно довести руками — скажем, чтобы на передовице была именно нужная часть статьи, обрезанная в нужном месте.

Для инди-проектов это вообще будет идеальным решением — потому что ИИ за 10% от стоимости даст 80% результата, а остальные 90% стоимости можно просто не тратить вообще.

Я тоже далеко не специалист, и скорее фантазирую на тему, чем строю какой-то роадмап .
Но живём мы в интересное время.

Кстати, вот опять же — есть такой жанр, литРПГ. Там герои играют в какую-нибудь игру (в каждой книжке по-разному, где-то там прямо "реальная жизнь", только навыки героя измеряются в прокачиваемых цифрах, а где-то там прямо говорится о погружении в виртуальную реальньость), и общая черта — продвинутые NPC. Cпособные не только говорить одну из трёх фраз, заданных сценарием, а адаптивно реагировать на происходящие события.
И вот то, что я наблюдаю в современных языковых моделях, на удивление похоже на то, что происходит.
Возможно, игры станут немножко более интересными, чем сейчас.

Здравствуйте, Sinclair, Вы писали:

S>Смотря какая ставится цель.

Именно. Нет цели: просто сделай стул, затем еще 10.

S>Смотря что понимается под персонажем. Если человек — то модельки человека есть готовые, для анимации достаточно добавить к нему скин (2d-картинку) и поехали.
S>Причём модельки, естественно, параметрические — поэтому можно делать толстяков/дрищей/качков/сисястых дев, просто крутя ручки параметров.

Я и говорю, что для такой конкретной и уже решенной задачи ИИ не нужен. А для более сложных, где нужна мимика, грамотный риггинг, правильная конструкция и поведение одежды, требуется приличная ручная ручная работа, а в случае ИИ — непонятно что. ИИ хорошо справляется с дипфейками, но там нет 3д моделей, о которых мы пытаемся говорить, вопрос остается полностью открытым.

S>Смотря какая ставится цель. Если у вас есть конкретная идея картинки — да, ИИ вам будет только мешать. Но в реале ставить ТЗ даже живому художнику — то ещё развлечение. Я такой опыт имел.

Обычно, если сам хорошо знаешь, чего хочешь, то сможешь объяснить и живому человеку, итерациями прийти к взаимопониманию. С современным промптовым ИИ это невозможно, не существует такого средства. Заказчик обычно непрофессионал, а художник — профессионал. Непрофессионал должен оставить художнику нужное свободное пространство, в котором тот свой профессионализм реализует, и результат будет профессиональным. Здесь можно говорить о доверии. При этом бывают художники недоучки, дураки, просто раздолбаи или леницы, принципиально малоуправляемы личности без царя в голове, и пространство свободы и доверия может сжаться до нуля, придется послать или попытаться перейти на жесткое ручное управление. Нынешний ИИ ближе к этому типу, но без ручного управления. (и да, вместо художника можно подставить любую профессию.)

S>А если вам нужно что-то, не обязательно конкретное, но обязательно своё и уникальное — то ИИ работает прекрасно.
S>Ну, вот, надо вам иллюстрацию к статье. У вас есть некий набор ключевых слов. Вы можете по ним поискать в фотобанках, но велик шанс, что выбранное фото стоит ещё примерно над парой тысяч статей.
S>А можете по этим словам сгенерировать ворох картинок, каждая из которых будет заведомо уникальной.

Обязательно свое уникальное — это какой-то путь малолеток. Уникальность может быть важной, но без остального это пшик.

S>А вот это как раз лучше подходит для ИИ, т.к. он же и собирает всё из "готовых деталек". Можно сразу заказать пачку видов танков "в одном стиле".

Пока ИИ трудно объяснить, что пальцев должно быть 5, а на конце слоновьего хобота не должно быть ступни.

S>Всякие номера и конретные тактические знаки можно дорисовать вручную. Или потребовать, чтобы у всех моделей автомобилей были места под номерную табличку, текст в которую будет ставиться уже при инстанцировании конкретного объекта.

Это меньшая из проблем.

Я мало знаю по теме. Из пальца:
— для обучения на чистом 3д обучающих данных в мире мало;
— при обучении "на картинках" нам надо восстановить из результата облака точек, воксели, получить полигональную 3д, причесать ее, развести текстурные координаты, вменяемо сгенерить сами текстуры. Подобным активно занимаются с 90-х (сканеры, лидары). С моей колокольни выглядит решаемым, но требует огромного объема работ. Но главное, при этом проблема неуправляемости ИИ никуда не девается.

Я почти не знаю внутренней кухни ИИ. Было бы здорово, если бы кто-то из ИИ-шников прокомментировал мои стоны про неуправляемость:
— параметрические точные настройки
— возможность фиксировать часть результата, а часть переделывать. Например, "танк прекрасен, оставь его, но переделай только башню". Не затиранием части картинки, а именно "семантическими" ходами. Также "все прекрасно, но замени этот цвет на такой-то"
— сквозное сохранение, фиксация какого-то стиля, набора свойств в серии разных картинок
Понятно, что сейчас всего этого нет. Но возможно ли это, или существуют некие фундаментальные запреты?

S>Я всё это прекрасно понимаю. Но вот про "совершенно не проблема" — это иллюзия. Никакой художник вам детализированную 2d-картинку за 20 секунд не нарисует. Вообще никакой, и вообще никакую картинку — ни с шестипалыми персонажами, ни с трёхпалыми. Вот музыку ещё можно сымпровизировать прямо на ходу, да и то с ограничениями. А картину — нет, увы. Часы кропотливого труда.

Художник вложит часы кропотливого труда и получит результат. С ИИ это не гарантируется ни при каких трудозатратах, даже, возможно, бесконечных.

S>Именно. Но это же традиционный переход от кустарщины к массовому производству. Ютуб не убил телевидение, телевидение не убило кинотеатры, а кино не убило театр.

Пришел Тик-ток и убил всех.

S>Но театр превратился в нишевой дорогостоящий продукт, интересный немногим ценителям.
S>Так и тут — топовые тайтлы, естественно, продолжат использовать человеческий труд на всех этапах продакшена. Но даже у них ИИ скорее всего будет массово использоваться для прототипирования. Какие-то несколько десятков лет назад идея заменить верстальщиков компьютером тоже казалась полубезумной. А потом оказалось, что никакой метранпаж не подготовит вам за смену больше двух вариантов вёрстки газетного листа, а компьютер выдаёт их по десятку в минуту. И то, что там кое-что неидеально, уже не так важно. И детали вёрстки можно довести руками — скажем, чтобы на передовице была именно нужная часть статьи, обрезанная в нужном месте.

Компьютерная верстка никогда не казалась безумством. Фирма Адоб родилась и раздулась в середине 80-х, как только придумала свой чудесный постскрипт.

S>Для инди-проектов это вообще будет идеальным решением — потому что ИИ за 10% от стоимости даст 80% результата, а остальные 90% стоимости можно просто не тратить вообще.

Качество результата зависит от того, кто принимает решение по графике, дилетант или профи, будь это наемный художник или условный арт директор, угнетающий коллектив других художников. Без наличия в инди команде профессионала 99% за то, что получится хрень. Окружающие этого не заметят, т.к. хрени вокруг и так полно, все привыкли, а вот для инди проекта это может быть фатально.

S>Я тоже далеко не специалист, и скорее фантазирую на тему, чем строю какой-то роадмап .
S>Но живём мы в интересное время.

С одной стороны, все поколения так говорят, с другой — да, затронуто то, что всегда считалось признаком человека: творчество, принятие решений. Если ИИ окажется не пшиком, будет интересно посмотреть, особенно на рефлексию кожаных мешков.

Здравствуйте, goto, Вы писали:

G>Я и говорю, что для такой конкретной и уже решенной задачи ИИ не нужен. А для более сложных, где нужна мимика, грамотный риггинг, правильная конструкция и поведение одежды, требуется приличная ручная ручная работа, а в случае ИИ — непонятно что. ИИ хорошо справляется с дипфейками, но там нет 3д моделей, о которых мы пытаемся говорить, вопрос остается полностью открытым.

Их легион
Сейчас очень много топовых работ по 3D, поэтому можно ждать хороших результатов в ближайшие пару лет. Данные не проблема — их генерируют с помощью Nerf и/или splatting gaussians. Скелетная анимация — легко.

Здравствуйте, Nuzhny, Вы писали:

N>Их легион

Если честно, модели хреновые. Я просмотрел штук 10-15 персонажных, не статуй. Везде косяки, артефакты, корявости сетки (mesh). Если бы такое сделал человек, я бы от его услуг сразу отказался. Наверняка это можно где-то использовать, но исключительно из-за дешевизны, а не качества или интересности.

Возможно, это массовый сайт, на генерацию каждой модельки тратится ограниченный ресурс, без ограничений модельки могут получаться получше. Может, идет дообучение. Не знаю. Все пашут — ждем прогресса.

N>Сейчас очень много топовых работ по 3D, поэтому можно ждать хороших результатов в ближайшие пару лет. Данные не проблема — их генерируют с помощью Nerf и/или splatting gaussians. Скелетная анимация — легко.

Есть опасение, что Nerf нагенерит примерно таких же моделей. Обучим на хз чем — получим хз что на выходе.

В общем, по-прежнему по-дилетантски вижу 2 части проблемы:
— та самая неуправляемость промптового ИИ
— качество меша

Последнее, возможно, задача больше алгоритмическая (опять не знаю точно). В 90-х, до инета, попадались статейки, где из облака точек восстанавливали 3д-модель. На картинках красиво восстанавливали в nurbs solid даже сложную механическую железяку с острыми и скругленными гранями, со сквозными просверленными дырками, чуть ли не шестеренки восстанавливали, выглядело очень обнадеживающе. И где оно?

Здравствуйте, goto, Вы писали:

G>Здравствуйте, Nuzhny, Вы писали:

N>>Их легион

Подумалось. Там модельки монолитные, а во многих случаях нужны структурированные. Например, персонажа — переодевать, менять снаряжение, одежда может развеваться в движении; танк может терять части и т.п. Это может касаться 3д модели и текстур. И тут опять вылезает сквозная промптовая осмысленность и управляемость — чтобы все в проекте сочеталось, все объекты и их части соответствовали единому замыслу. Мне кажется, чисто промптовым ИИ это не решается, нужен подход от цельного проекта со сквозными стилями и смыслами, параметрическим управлениеи и всем таким. Может оказаться, что промпт в ряде областей — не более чем игрушка или очень серьезное ограничение.

Рано или поздно кто-то должен попытаться запилить серьезный проект на всей этой фигне и потом традиционно опубликовать его внутреннюю кухню. Посмотрим.

Здравствуйте, fmiracle, Вы писали:


F>Т.е. физика это, например, ты кинул камень он полетел, ударяясь о препятствия, рикошетя от них и потом попал или не попал в цель. Да, сложный расчет.

F>А нейросеть не считая физику сделает что?
нейросеть тебе просто нагенерит видеокадров по памяти, т.к. обучалась на видео, где камень полетел, ударяясь от препятствий (или не нагенерит, если не обучалась)


F>Рендер — это игра света и все такое. Нейросеть как тебе быстро нарисует правильные блики на предметах не просчитывая падения лучей? Опять же, она может нарисовать "освещенный солнцем объект", но не факт что это освещение будет правильно соответствовать тому что ты из своей позиции должен был видеть. А чем больше нужно соответсвие — тем больше нейросеть должна учитывать ту самую физику лучей

примерно так же как и человек "учитывает" физику лучей, рисуя картины. Вряд ли Репин, рисуя "Садко", просчитывал Фонга или Френеля.

F>По серии сообщений мне кажется, ты пытаешься наделить нейросети какими-то магическими свойствами. Не надо.

на самом деле у NVIDIA был ресёч проект на эту тему, GAN Theft Auto:

https://www.youtube.com/watch?v=udPY5rQVoW0

Здравствуйте, CreatorCray, Вы писали:

CC>Нет. Идею raytracing тормозит её чудовищная прожорливость.
CC>Игроки предпочитают "достаточно хорошо" но с высоким FPS чем "очень точно" но с низким.
Оно не только чудовищно прожорливо, но и конечный результат совсем не впечатляет. Можно взять Half Life 2, который релизнулся 20 лет назад- там освещение просчитанно заранее. Оно летало 20 лет назад на том железе и выглядело лучше, чем нынешние киберпуки.