Вот, чел. предположил что игры в будущем будут без рендера — нейросеть будет динамически создавать видеоряд, основываясь на твоих действиях. Т.е. не нужно будет просчитывать всю физику — нейросетка в достаточном качестве просто создаст видео.

Вопрос такой. Есть ли доказательства, что рендер и просчет физики на одном и том же железе будет быстрее, чем генерация видео с помощью нейросети?

S>Вопрос такой. Есть ли доказательства, что рендер и просчет физики на одном и том же железе будет быстрее, чем генерация видео с помощью нейросети?
Надо к Маску обращаться с его нейрошунтом, чтобы сразу на "железе" мозга генерить сновидения.

Здравствуйте, Shmj, Вы писали:

S>Вот, чел. предположил что игры в будущем будут без рендера — нейросеть будет динамически создавать видеоряд, основываясь на твоих действиях.

Нет.
1. Ресурсов нейросетка требует очень сильно больше
2. Удачи заставить её сгенерить то, что надо, а не то, что её хочется

Здравствуйте, CreatorCray, Вы писали:

CC>Нет.
CC>1. Ресурсов нейросетка требует очень сильно больше

Я бы не был столь однозначен.
Уже есть Imagine Flash — самая быстрая нейронка, которая работает на телефоне и генерирует картинки в процессе ввода текста. Это как контрпример.
Второе: та же Nvidia вполне может изменить архитектуру видеокарт так, чтобы типичные ьрансформенные операции (это уже есть), а также всё друго для генерации делалось максимально аппаратно. И получится так, что ресурсов, вроде, тратится и больше, но происходит всё это быстрее.

CC>2. Удачи заставить её сгенерить то, что надо, а не то, что её хочется

Тоже зависит от нейронки. Можно вполне добиться не bit exact, но вполне точной генерации контента. Как-то Sora умудряется генерировать связанное видео, даже с сюжетом? Если бы было так плохо, как ты говоришь, то между соседними кадрами был бы большой рассинхрон. Уменьшаем такой рассинхрон между текстом и картинкой и всё. Потихоньку учится индустрия, то что было 2 года назад и сейчас — небо и земля. Только за последний год тренд с агентами внутри сети опять всё поменял.
Короче, пока тренд в нейросетях, скорее, опровергает твою позицию, чем подкрепляет.

Здравствуйте, Shmj, Вы писали:

S>Вот, чел. предположил что игры в будущем будут без рендера — нейросеть будет динамически создавать видеоряд, основываясь на твоих действиях. Т.е. не нужно будет просчитывать всю физику — нейросетка в достаточном качестве просто создаст видео.
S>Вопрос такой. Есть ли доказательства, что рендер и просчет физики на одном и том же железе будет быстрее, чем генерация видео с помощью нейросети?

А, собственно, как?

Т.е. физика это, например, ты кинул камень он полетел, ударяясь о препятствия, рикошетя от них и потом попал или не попал в цель. Да, сложный расчет.

А нейросеть не считая физику сделает что? Просто прикинет и скажет "ну, пожалуй, ты не попал". Это да, можно сделать сильно быстрее. Но будет ли это то же самое? И, кстати, это можно делать и без нейросети — классически, генератором случайных чисел можно обеспечить неплохие результаты.


Рендер — это игра света и все такое. Нейросеть как тебе быстро нарисует правильные блики на предметах не просчитывая падения лучей? Опять же, она может нарисовать "освещенный солнцем объект", но не факт что это освещение будет правильно соответствовать тому что ты из своей позиции должен был видеть. А чем больше нужно соответсвие — тем больше нейросеть должна учитывать ту самую физику лучей
В теории можно, но не видно где тут будет выигрышь по сравнению с "просто посчитаем физику, без нейросети".

P.S.
По серии сообщений мне кажется, ты пытаешься наделить нейросети какими-то магическими свойствами. Не надо.

Здравствуйте, CreatorCray, Вы писали:

CC>Здравствуйте, Shmj, Вы писали:

S>>Вот, чел. предположил что игры в будущем будут без рендера — нейросеть будет динамически создавать видеоряд, основываясь на твоих действиях.

CC>Нет.
CC>1. Ресурсов нейросетка требует очень сильно больше
CC>2. Удачи заставить её сгенерить то, что надо, а не то, что её хочется

В промышленности уже несколько лет есть проекты такого формата:
Есть модель процесса с прописанной отцами физикой и математикой, бешено ресурсоемкая и медленная, работает на суперкомьютере.
На вход этой модели подают разные данные, получают выходные результаты и на этом обучают модель искусственного интеллекта.
Эта обученная модель имеет погрешность менее 1% от тяжелой физической, на которой училась и при этом работает быстро на любом ноутбуке.
Профит.

Здравствуйте, Nuzhny, Вы писали:

N>Уже есть Imagine Flash — самая быстрая нейронка, которая работает на телефоне и генерирует картинки в процессе ввода текста.

Что-то мне подсказывает, что на телефоне только тонкий клиент.

Здравствуйте, Nuzhny, Вы писали:

N>Уже есть Imagine Flash — самая быстрая нейронка, которая работает на телефоне и генерирует картинки в процессе ввода текста.
И? Сколько ресурсов оно жрёт? Больше чем игровой 3d renderer или меньше?

N>Можно вполне добиться не bit exact, но вполне точной генерации контента.
Каждый кадр будет шевелиться и бредить в свою сторону. Т.е. посмотрел на что то, развернулся на 180, потом назад и опа — там уже другое.

Здравствуйте, mtnl, Вы писали:

M>Эта обученная модель имеет погрешность менее 1% от тяжелой физической, на которой училась и при этом работает быстро на любом ноутбуке.
Удачи применить это к игре.

Здравствуйте, Maniacal, Вы писали:

N>>Уже есть Imagine Flash — самая быстрая нейронка, которая работает на телефоне и генерирует картинки в процессе ввода текста.
M>Что-то мне подсказывает, что на телефоне только тонкий клиент.

Нет, там очень-очень-очень много заоптимизировали — статья.

Здравствуйте, CreatorCray, Вы писали:

N>>Уже есть Imagine Flash — самая быстрая нейронка, которая работает на телефоне и генерирует картинки в процессе ввода текста.
CC>И? Сколько ресурсов оно жрёт? Больше чем игровой 3d renderer или меньше?

Не так важно. Суть в том, что год назад такое казалось ещё фантастикой, мало кто локально на дискретке у себя text2image модели заводил. А тут прямо на телефоне в реальном времени. То есть по мере вложения ресурсов в эту тему происходит стремительнный рост. Тут можно вставить картинку про любителя экстраполировать, но разве с 3D графикой не то же самое происходило? Появились сопроцессоры, потом простенькие видеокарты, а затем уже дискретные монстры на полкорпуса.

N>>Можно вполне добиться не bit exact, но вполне точной генерации контента.
CC>Каждый кадр будет шевелиться и бредить в свою сторону. Т.е. посмотрел на что то, развернулся на 180, потом назад и опа — там уже другое.

Что значит "будет"? Sora есть уже сейчас, такого не наблюдается.
Тут же суть в том, что игры могут быть без особого сценария, подстраиваясь под действия конкретного игрока (в single player уж точно). Графика будет генерироваться не потому, что тут триггер разработчики поставили, а потому, что игрок так сделал. Вполне вероятно, что физический движок будет старый, а рендер нейросетевой. Тут решающим фактором будет явно не железные ресурсы, а факт новизны: смогут ли нейросеети предложить такой новый геймпплей, для которого захочется купить новую видеокарту. Если они такое предложат, то пользователи пойдут покупать.

Здравствуйте, Nuzhny, Вы писали:

N>Нет, там очень-очень-очень много заоптимизировали — статья.

Могли и на сервере заоптимизировать. Данные обучения обычно занимают не один гигабайт. Мобильное приложение такого размера стрёмно.
И название Imagine Flash service неспроста.

конечно может
Как в анекдоте про секретаршу: «печатаю быстро, но такая херня получается»

Здравствуйте, Shmj, Вы писали:

S>Вопрос такой. Есть ли доказательства, что рендер и просчет физики на одном и том же железе будет быстрее, чем генерация видео с помощью нейросети?

А что ChatGPT (или как его там) говорит? В том есть сомнения?

Здравствуйте, Nuzhny, Вы писали:

N>Здравствуйте, CreatorCray, Вы писали:

CC>>2. Удачи заставить её сгенерить то, что надо, а не то, что её хочется

N>Тоже зависит от нейронки. Можно вполне добиться не bit exact, но вполне точной генерации контента. Как-то Sora умудряется генерировать связанное видео, даже с сюжетом? Если бы было так плохо, как ты говоришь, то между соседними кадрами был бы большой рассинхрон. Уменьшаем такой рассинхрон между текстом и картинкой и всё. Потихоньку учится индустрия, то что было 2 года назад и сейчас — небо и земля. Только за последний год тренд с агентами внутри сети опять всё поменял.
N>Короче, пока тренд в нейросетях, скорее, опровергает твою позицию, чем подкрепляет.

Я немного игрался с разными нейросетями — в основном Midjourney и StableDiffusion и я тоже в итоге пришел к некоторому скептицизму — несмотря на очевидный прогресс множество мелких и иногда совсем не мелких деталей выдает, что это сгенерированный ai контент. Особенно если композиция сцены становится более-менее сложной.

Вероятно лучшим подходом было бы генерация 3D объектов — есть некоторые попытки грести в эту сторону, но опять же, насколько я вижу все еще довольно далеко от полной или существенной замены 3d арта.

Здравствуйте, A13x, Вы писали:

A>Вероятно лучшим подходом было бы генерация 3D объектов — есть некоторые попытки грести в эту сторону, но опять же, насколько я вижу все еще довольно далеко от полной или существенной замены 3d арта.

Тоже мелькнула мысль про 3д, но замелькнула взад. Там же битвы вокруг вокселей и облаков точек. А мирам, играм нужны более управляемые и реагирующие объекты: чтобы у машинки крутились колеса, корова могла ходить и поворачивать голову (хотя бы), что-то могло строиться и разрушаться... Видимо, рукотворные 3д-объекты в той же игре останутся нужны, ИИ-шное и рукотворное должно быть взаимоувязано. Нужен единый подход от объекта, анимации, осмысленных свойств-параметров. Эти ребята, может, до чего-то доберутся, какие-то задачки решат, но до целевой реализации им как до Луны, как мне кажется.

Еще в ИИ и картинках смущает текстовый промпт. Идея понятная, но профессиональной управляемости графикой не дает даже близко.

Я не спец в ИИ, рассуждаю как юзер. Полагаю, сейчас для 99% дизайнеров тот максимум, который может дать ИИ, — это подсказки, идейки для их последующей ручной работы, не более того. Очень уж ИИ креативен (необычен) в некоторых частностях.

Здравствуйте, Shmj, Вы писали:

S>Вот, чел. предположил что игры в будущем будут без рендера — нейросеть будет динамически создавать видеоряд, основываясь на твоих действиях. Т.е. не нужно будет просчитывать всю физику — нейросетка в достаточном качестве просто создаст видео.

Пусть этот чел покажет нам прототип, игру с видео полностью генерируемым нейросеткой.

Разумеется, к прототипу требования ниже, например не 4kHD а хватит 640х480, не 60 кадров в секунду, а хватит и 25.

Все проблемы от жадности и глупости

Здравствуйте, Stanislaw K, Вы писали:

SK>Здравствуйте, Shmj, Вы писали:

S>>Вот, чел. предположил что игры в будущем будут без рендера — нейросеть будет динамически создавать видеоряд, основываясь на твоих действиях. Т.е. не нужно будет просчитывать всю физику — нейросетка в достаточном качестве просто создаст видео.

SK>Пусть этот чел покажет нам прототип, игру с видео полностью генерируемым нейросеткой.

по моему, даже тут на рсдн приводили пример такой игры. Зельду, чтоли? Выглядело пипец как плохо, даже с учетом того, что это 2d игра

Здравствуйте, Shmj, Вы писали:

S>Вот, чел. предположил что игры в будущем будут без рендера — нейросеть будет динамически создавать видеоряд, основываясь на твоих действиях. Т.е. не нужно будет просчитывать всю физику — нейросетка в достаточном качестве просто создаст видео.

S>Вопрос такой. Есть ли доказательства, что рендер и просчет физики на одном и том же железе будет быстрее, чем генерация видео с помощью нейросети?

Кстати, еще стоит добавить, что зависит от того, какой это рендер. Некоторые игры используют prerendered background, который собственно сделан не на игровом, а на ray tracing движке, работа которого может быть на несколько порядков медленнее, чем рендер игрового движка. Вот пример.
Я думаю, что качественно сделать такое на любой сетке сейчас невыполнимая задача, а конкретнее — множество мелких вещей и относительно небольших персонажей, возможность увидеть больше деталей при зуме, консистентная анимация.

Здравствуйте, fmiracle, Вы писали:

F>Рендер — это игра света и все такое. Нейросеть как тебе быстро нарисует правильные блики на предметах не просчитывая падения лучей? Опять же, она может нарисовать "освещенный солнцем объект", но не факт что это освещение будет правильно соответствовать тому что ты из своей позиции должен был видеть. А чем больше нужно соответсвие — тем больше нейросеть должна учитывать ту самую физику лучей
F>В теории можно, но не видно где тут будет выигрышь по сравнению с "просто посчитаем физику, без нейросети".

Если речь про игры, то игроку не нужно правильное освещение, правильные блики или сложные расчёты. Игроку нужны блики, которые он посчитает реалистичными. И, да, реальные блики совсем не факт, что будут казаться реалистичными. То бишь тут может понадобиться делать намеренно неправильный рендер, чтобы игроку картинка больше понравилась. И нейросеть, как штуковина, близкая мозгу, в отличие от всяких треугольников, вполне может выдать лучший результат.