Re: Rest vs Kafka
От: Буравчик Россия  
Дата: 04.07.21 18:09
Оценка: +1
Здравствуйте, BlackEric, Вы писали:

BE>Проект парсит различные источники и постит их в другие системы.

BE>Парсер запускается по таймеру. И вот как дальше. Парсер что-то нашел. Как ему правильно отдать данные постеру?
BE>Вызывать rest api предоставляемое постером? Или же публиковать в Rabbit или Kafka, ну а постер соответственно будет на них подписываться?
BE>Нужно понимать, что N распарсенных источников могут постится в M других систем.

Парсер пишет в кафку. Вернее, само сообщение пишет в какое-то хранилище aka s3, а ссылку на него пишет в кафку.

Каждый постер сам читает кафку (и вытаскивает сообщение из s3).
Если постеры ленивые, и не умеют читать из кафки, то вместо него это может делать твой скрипт — по расписанию читать кафку и дергать API постера.

BE>Или же вообще, как предлагают, парсер формирует json поста и пишет в бд, а парсер тоже по таймеру забирает это из бд.


Не надо БД. Получится своя реализация кафки поверх БД.
Best regards, Буравчик
 
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.