Здравствуйте, BlackEric, Вы писали:
BE>Проект парсит различные источники и постит их в другие системы. BE>Парсер запускается по таймеру. И вот как дальше. Парсер что-то нашел. Как ему правильно отдать данные постеру? BE>Вызывать rest api предоставляемое постером? Или же публиковать в Rabbit или Kafka, ну а постер соответственно будет на них подписываться? BE>Нужно понимать, что N распарсенных источников могут постится в M других систем.
Парсер пишет в кафку. Вернее, само сообщение пишет в какое-то хранилище aka s3, а ссылку на него пишет в кафку.
Каждый постер сам читает кафку (и вытаскивает сообщение из s3).
Если постеры ленивые, и не умеют читать из кафки, то вместо него это может делать твой скрипт — по расписанию читать кафку и дергать API постера.
BE>Или же вообще, как предлагают, парсер формирует json поста и пишет в бд, а парсер тоже по таймеру забирает это из бд.
Не надо БД. Получится своя реализация кафки поверх БД.