Здравствуйте, BlackEric, Вы писали:

Б>>Парсер пишет в кафку. Вернее, само сообщение пишет в какое-то хранилище aka s3, а ссылку на него пишет в кафку.
BE>S3 — это Amazon s3?
BE>Почему так, а не помещать все в кафку? Из-за объема? Ее хранилище же тоже можно чистить.
По дефолту у кафки размер сообщения ограничен 1мб. А желательно чтобы сообщения были порядка килобайт, иначе с перформансом нужно будет бороться.
Как вариант — данные разбивать на пачку мелких сообщений. Но тогда надо будет позаботиться о целостности.
Так что если твои данные помещаются — пиши в кафку. Если нет, то нет.

Здравствуйте, BlackEric, Вы писали:

Б>>Парсер пишет в кафку. Вернее, само сообщение пишет в какое-то хранилище aka s3, а ссылку на него пишет в кафку.
BE>S3 — это Amazon s3?
BE>Почему так, а не помещать все в кафку? Из-за объема? Ее хранилище же тоже можно чистить.
По дефолту у кафки размер сообщения ограничен 1мб. А желательно чтобы сообщения были порядка килобайт, иначе с перформансом нужно будет бороться.
Как вариант — данные разбивать на пачку мелких сообщений. Но тогда надо будет позаботиться о целостности.
Так что если твои данные помещаются — пиши в кафку. Если нет, то нет.

Up: чистить сообщения в кафке можно по времени (retention period), или по ключу (compacting topic). Т.е. тоже не не универсально. Если твои данные укладываются — хорошо, если нет, то плохо...