Здравствуйте, BlackEric, Вы писали:

BE>Здравствуйте, Буравчик, Вы писали:

Б>>Парсер пишет в кафку. Вернее, само сообщение пишет в какое-то хранилище aka s3, а ссылку на него пишет в кафку.
BE>S3 — это Amazon s3?

Не обязательно амазон. Можно и другие решения — похожие по api на амазон (s3-like) или даже не похожие. Просто s3-like — стандарт де-факто.

BE>Почему так, а не помещать все в кафку? Из-за объема? Ее хранилище же тоже можно чистить.

У кафки ограничен объем сообщения. Увеличить, конечно, можно, но кафка это в первую очередь все-таки брокер, и потом уже хранилище. Большие сообщения могут ухудщить характеристики кафки, в общем, не рекомендуется "производителем".