N>Эти измерения производятся камерой, установленной сверху и наблюдающей автомобили
Кстати я невнимательно тебе прочитал выше. Много текста, старенький уже.
Ты же делаешь просто треккер по видео.
В этом случае проще LSTM сетку натянуть на выход распознающей сетки, затем простейшего Калмана для сглаживания прилепить (простейших море в инете и сразу в питоне уже реализованных и под любое железо).
Идеальнее будет, если добавишь еще распознавание зданий, дорог с известными координатами (координаты у гугла есть) и по ним будешь корректировать выход сетки (ну чтобы в здание не въехать).