Есть сторонний push data сервис, который отправляет сообщения в формате csv или xml. Нужно их принимать и записывать в базу данных на другом, моем сервере. Как организовать архитектуру? Это может просто питон скрип на моем сервере, который работает 24/7 и просто записывает их в базу. Все? Это надежно?
Re: Как принимать push сообщения на сервере и сохранять в базу?
Здравствуйте, _VW_, Вы писали:
_VW>Есть сторонний push data сервис, который отправляет сообщения в формате csv или xml. Нужно их принимать и записывать в базу данных на другом, моем сервере. Как организовать архитектуру? Это может просто питон скрип на моем сервере, который работает 24/7 и просто записывает их в базу. Все? Это надежно?
С какой точки зрения надежно -- отказоустойчиво или безопасно? Если первое, то ничего не надежно в этом мире, поэтому спокойно используйте питон, или что душе угодно лишь бы веб-сокеты поддерживались. Если второе, то шифруйте канал.
Кодом людям нужно помогать!
Re[2]: Как принимать push сообщения на сервере и сохранять в базу?
Здравствуйте, Sharov, Вы писали:
S>Здравствуйте, _VW_, Вы писали:
_VW>>Есть сторонний push data сервис, который отправляет сообщения в формате csv или xml. Нужно их принимать и записывать в базу данных на другом, моем сервере. Как организовать архитектуру? Это может просто питон скрип на моем сервере, который работает 24/7 и просто записывает их в базу. Все? Это надежно?
S>С какой точки зрения надежно -- отказоустойчиво или безопасно? Если первое, то ничего не надежно в этом мире, поэтому спокойно используйте питон, или что душе угодно лишь бы веб-сокеты поддерживались. Если второе, то шифруйте канал.
отказоустойчиво
никакой брокер сообщений там (на моем сервере) не нужен будет для этой конкретной задачи, типа kafka или rabbitmq?
Re[3]: Как принимать push сообщения на сервере и сохранять в базу?
Здравствуйте, _VW_, Вы писали:
_VW>отказоустойчиво _VW>никакой брокер сообщений там (на моем сервере) не нужен будет для этой конкретной задачи, типа kafka или rabbitmq?
Зачем из пушки по воробьям?
Кодом людям нужно помогать!
Re[4]: Как принимать push сообщения на сервере и сохранять в базу?
_VW>>отказоустойчиво _VW>>никакой брокер сообщений там (на моем сервере) не нужен будет для этой конкретной задачи, типа kafka или rabbitmq?
S>Зачем из пушки по воробьям?
нужно, чтобы было как можно более отказоустойчиво
если так:
1) rabbitmq принимает сообщения от push сервера, а питон скрипт читает из rabbitmq и сохраняет в базу
2) питон скрипт сам принимает сообщения от push сервера и сохраняет в базу
разве 1ое не более надежно?
Re[5]: Как принимать push сообщения на сервере и сохранять в базу?
Здравствуйте, _VW_, Вы писали:
_VW>нужно, чтобы было как можно более отказоустойчиво
_VW>если так: _VW>1) rabbitmq принимает сообщения от push сервера, а питон скрипт читает из rabbitmq и сохраняет в базу _VW>2) питон скрипт сам принимает сообщения от push сервера и сохраняет в базу
_VW>разве 1ое не более надежно?
Первое надежнее в том плане, что вроде имеется (вроде бы, но точно не знаю) свое хранилище для сообщений, т.е. если упадет, то сообщения, которые уже получены не будут потеряны. Но для такой простой задачи я бы не стал связываться. Простой скрип, принимающий сообщения и пишущий их в базу ничем не хуже.
Кодом людям нужно помогать!
Re[6]: Как принимать push сообщения на сервере и сохранять в базу?
_VW>>разве 1ое не более надежно?
S>Первое надежнее в том плане, что вроде имеется (вроде бы, но точно не знаю) свое хранилище для сообщений, т.е. если упадет, то сообщения, которые уже получены не будут потеряны. Но для такой простой задачи я бы не стал связываться. Простой скрип, принимающий сообщения и пишущий их в базу ничем не хуже.
Так ведь в 1ом случае скрипт-то сразу в базу пишет. Так что разницы по логике нет.
Как отслеживают падения таких скриптов? Как их перезапускают? Возможно ли в автоматическом режиме
все это отслеживать и перезапустить? Желательно без использования сторонних веб сервисов, а простыми, штатными средствами.
Re[7]: Как принимать push сообщения на сервере и сохранять в базу?
Здравствуйте, _VW_, Вы писали:
_VW>Так ведь в 1ом случае скрипт-то сразу в базу пишет. Так что разницы по логике нет.
Брокеры обычно пишут в свою базу, со своей структурой. Вообще говоря, тип бд должен быть настраиваемым. Но сути это не меняет -- придется подстраиваться под чужую систему.
_VW>Как отслеживают падения таких скриптов? Как их перезапускают? Возможно ли в автоматическом режиме _VW> все это отслеживать и перезапустить? Желательно без использования сторонних веб сервисов, а простыми, штатными средствами.
Здравствуйте, _VW_, Вы писали:
_VW>Есть сторонний push data сервис, который отправляет сообщения в формате csv или xml. Нужно их принимать и записывать в базу данных на другом, моем сервере. Как организовать архитектуру? Это может просто питон скрип на моем сервере, который работает 24/7 и просто записывает их в базу. Все? Это надежно?
Протокол этого сервиса какой? HTTP POST на ваш адрес?
Уйдемте отсюда, Румата! У вас слишком богатые погреба.
Re[2]: Как принимать push сообщения на сервере и сохранять в базу?
Здравствуйте, Sinclair, Вы писали:
S>Здравствуйте, _VW_, Вы писали:
_VW>>Есть сторонний push data сервис, который отправляет сообщения в формате csv или xml. Нужно их принимать и записывать в базу данных на другом, моем сервере. Как организовать архитектуру? Это может просто питон скрип на моем сервере, который работает 24/7 и просто записывает их в базу. Все? Это надежно? S>Протокол этого сервиса какой? HTTP POST на ваш адрес?
