Здравствуйте, Артём, Вы писали:

Аё>Вопрос: какие есть формулы, возможно готовые функции OpenCV, которые из аккумулированного вектора ускорения и вращения просчитают transformation matrix 2d для прямоугольников захваченного текста для того, чтобы компенсировать смещение видео в пикселах или в % от dimension?

Готового нет, потому что оно не так всё просто, соглашусь с Вжиком. Решение проблемы — это visual SLAM, который на основании картинки и датчиков строит траекторию камеры и карту местности. Это сложно, у гугла был проект, извини за тавтологию, Project Tango, который как раз и позволял смартфону определять себя в пространстве. Его закрыли.
Почему нельзя просто так закладываться на датчики? Потому что ты не знаешь расстояние до объекта. Измеряя только угловое движение ты не получишь точности относительно объекта на неизвестном расстоянии.
Вопреки опасениям Вжика относительно точности телефонных IMU на них вполне можно полагаться на десятки миллисекунд. Но не зная расстояние до цели они никак тебе не помогут.

kov_serg советует делать трекинг по картинке — вот с этим соглашусь, метод работает. Тут уже зависит от разных вещей:
1. ECC alignment будет слишком медленным, как мне кажется. Хотя можно сделать downscale картинки, тогда будет полегче.
2. Можно взять лёгкий детектор точек — у тебя же там текст, точки гарантированно будут. И sparse pyramidal optical flow вполне осилит любой смартфон, оно намного быстрее детекции.
3. Можно брать также лёгкий детектор точек, искать их на соседних кадрах, соответствие между ними (cv::findHomography).
4. Если тебе не надо отслеживать текст на всём кадре, а надо одну небольшую область кадра с одной надписью, то можноо вообще отслеживать только её, это отдельная группа алгоритмов.

Если ты снимаешь плоскость, то находишь преобразование между кадрами, умножаешь предыдущие координаты областей текста на это преобразование и получаешь новые координаты на текущем кадре.

P.S. Решение для плоскости в принципе простое. Если же будет объект в 3D (надписи на разных плоскостях), то придётся помучаться, тут даже VR очки лажают