Задача — по видео отследить координаты теннисных мячиков (их много в сцене)
Проблема — маркировка данных.
Да, в сети есть несколько подобных отмаркированных, но они немного не подходят к задаче, немного сложнее надо, чем в общедоступных примерах
Есть конечно вариант все делать руками. Но это убиться.

Пришла голову идея. Не думаю что открыл Америку и наверное это какой-то стандартный подход, просто он мне кажется настолько простым и естественным, что закрадываются сомнения, а так ли все просто, так как нигде не читал про него.

Итак — идея в том, что сделать 3D сцены приближенные к реальным и в физическом движке собтсвенно пулять эти мячики со всеми отскоками и прочее. И отрендерить это все в видосы. Только при этом подходе я могу автоматически сохранять маркеры и коорднаты для каждого кадра, так как они известны. Да, ясно, что реальные видосы будут не такими идеальными как 3D рендеры, поэтому на рендеры добавлять всякие шумы, моушнблюры, тени, размытости и прочее, что есть на реальных видео
И все это потом скормить обучению.

Сразу решаем две проблемы — маркировка данных, ну и вариативность в данных, так как таких видосов можно нагенерить бесконечно.

Что не так? Как-то слишком просто получается. Где ошибка в рассуждениях?