Вот с этой статьи можно и начинать. Есть она же, но на английском https://ottverse.com/low-latency-streaming-srt-webrtc-ll-hls-udp-tcp-rtmp/.

Вообще, задача стриминга с задержкой <100 мс весьма нетривиальная. По щелчку пальцев не решается, если не брать готовое решение. Тут может быть очень много подходов и нюансов на всех уровнях, начиная от настройки енкодера и заканчивая выбором протокола вещания. Сложно через форум подсказать. Тут скорее база знаний в компании, опыт и помощь коллег, а также набор утилит в компании могли бы помочь. Лучше к коллегам обратиться. Им будут доступны все нюансы и требования вашей задачи.

В качестве одного из возможных вариантов решения, чисто теоретически, надо посмотреть, какая у вас структура ГОПа. Можно попробовать с ней поиграться. Например, для начала выставить только I-фреймы, и посмотреть, что получится. Ну или просто выставить ее в минимальную длину. Потому как если у вас стандартный пирамидальный ГОП в 10-12 фреймов, то у вас элементарно енкодер будет своим буфером вносить задержку в 4-6 фреймов:


Учитывая ваш делей в 120 миликов, можно предположить, что она как раз берется из стандартных 4х фреймов@25fps плюс на сеть+енкодинг+декодирование+показ