S>Как иначе?

Смотреть на метки времени фреймов (PTS/DTS).

S>Т.е. как вообще делать например, коллаж видео с разных камер, чтобы расхождение между соотв. фреймами были минимальны? Т.е. понятно,
S>что есть какой-то дрейф на стороне камеры, но как-то все это уменьшить и сделать максимально синхронным. Т.е. надо как-то хранить или
S>уметь получать физ. время фреймов. Вроде, по идее, стандартная задача.

Я с гстримером мало знаком. Может найду время накатать пример в течение недели. В целом, тут два варианта:
— писать свой элемент и в нем обрабатывать GstBuffer-а, беря из них метки времени. Но, не факт, что твой сорцовый элемент будет их отдавать (надо уточнять)
— писать на коллбэках для собранного пайплайна, типа как в примере https://gstreamer.freedesktop.org/documentation/tutorials/basic/time-management.html?gi-language=c