Есть куча кода С++ и немного С# — надо построить настройку над ним чтобы сделать возможными распределенные вычисления на множестве машин. В общих чертах у меня есть идеи что и как делать,
но вот откуда начать пока не знаю.
Наверно есть готовые Open Source и комерческие разработки продукты для решения таких задач — посоветуйте то чем сами пользовались.
Здравствуйте, Igor Sukhov, Вы писали:
IS>Есть куча кода С++ и немного С# — надо построить настройку над ним чтобы сделать возможными распределенные вычисления на множестве машин. В общих чертах у меня есть идеи что и как делать, IS>но вот откуда начать пока не знаю.
Странная постановка задачи. Далеко не каждый код можно заставить работать в распределенном режиме.
Для начала нужно попытаться сделать так, чтобы задача решалась на одном компьютере в несколько потоков. В результате вы будете знать, как запустить алгоритм для "кусочка" вычислений.
Затем подумать над тем, как отдельные "кусочки" запускать на нескольких компьютерах: как и какие параметры передавать и т.п.
IS>Наверно есть готовые Open Source и комерческие разработки продукты для решения таких задач — посоветуйте то чем сами пользовались.
... и только потом выбирать фреймворк, на основе которого можно будет реализовать управление запуском вычислительных потоков на нескольких компьютерах.
Здравствуйте, dfbag7, Вы писали:
IS>>Есть куча кода С++ и немного С# — надо построить настройку над ним чтобы сделать возможными распределенные вычисления на множестве машин. В общих чертах у меня есть идеи что и как делать, IS>>но вот откуда начать пока не знаю.
D>Странная постановка задачи. Далеко не каждый код можно заставить работать в распределенном режиме. D>Для начала нужно попытаться сделать так, чтобы задача решалась на одном компьютере в несколько потоков. В результате вы будете знать, как запустить алгоритм для "кусочка" вычислений. D>Затем подумать над тем, как отдельные "кусочки" запускать на нескольких компьютерах: как и какие параметры передавать и т.п.
я про это и спрашивал — какие есть готовые и проверенной практикой решения. если такие решения своими ограничениями навязывают ответы на вопросы — как сериализовать/десериализовать входные данные/результат, как запускать кусочки вычислений, как собирать результаты, как администроровать систему в работе итд — это хорошо, будет отчего плясать.
надо сначала узнать какие есть best practices & best avaiable tools и уже под них делать постановку задачи.
Здравствуйте, Igor Sukhov, Вы писали: IS>Наверно есть готовые Open Source и комерческие разработки продукты для решения таких задач — посоветуйте то чем сами пользовались.
первое что в голову приходит, да и почти последнее — MPI
Здравствуйте, Igor Sukhov, Вы писали:
IS>Есть куча кода С++ и немного С# — надо построить настройку над ним чтобы сделать возможными распределенные вычисления на множестве машин. В общих чертах у меня есть идеи что и как делать,
Без подробных требований сложно что-либо советовать, может подойти любое из: MPI, DCOM, SOAP, zeromq. А может и не подойти.
Здравствуйте, Хвост, Вы писали:
IS>>Есть куча кода С++ и немного С# — надо построить настройку над ним чтобы сделать возможными распределенные вычисления на множестве машин. В общих чертах у меня есть идеи что и как делать,
Х>Без подробных требований сложно что-либо советовать, может подойти любое из: MPI, DCOM, SOAP, zeromq. А может и не подойти.
подробные требования? самое главное требование такое — просто и быстро сделать из нераспределенной системы вычислений — распределенную.
сейчас все хозяйство это библиотека из C++ классов и фасад из С функций. Фасад используется чтобы вызывать библиотечные функции из других С++ & C# приложений.
первоначалная идея сделать над фасадом еще один уровень абстракции — например вместо входных значений использовать массив входных значений и если массив состоит из 20 элементов — паралельно просчитать на 20 slave машинах, собрать результаты вычислений и отдать их обратно клиенту. нужен какой-то фреймворк который позволяет регистрировать slave машины на gateway машине (та каторая распаралеливает вызовы), деплоить на них библиотечные бинарники, сериализовать входные параметры, вызывать библиотечные функции на slave машинах, ждать результатов вызова, собирать результаты и отдавать их обратно на клиента. ну и чтобы были встроенные средства мониторинга всей системы и автоматические средства обработки простых ситуаций как то отвалившаяся slave машина.
вот для всего вышеописанного ищется С++ фреймворк, такой чтобы был проверен временем и чтобы его можно было легко допилить напильником до нужного идеального состояния.
Посмотри http://gearman.org.
Для обмена, так сказать, "оперативными" данными между процессами находящимся на разных серверах можно использовать memcached.
IS>Есть куча кода С++ и немного С# — надо построить настройку над ним чтобы сделать возможными распределенные вычисления на множестве машин. В общих чертах у меня есть идеи что и как делать, IS>но вот откуда начать пока не знаю.
IS>Наверно есть готовые Open Source и комерческие разработки продукты для решения таких задач — посоветуйте то чем сами пользовались.
IS>Спасибо.
Здравствуйте, Аноним, Вы писали:
А>Посмотри http://gearman.org. А>Для обмена, так сказать, "оперативными" данными между процессами находящимся на разных серверах можно использовать memcached.
спасибо. memcached похоже на то что нужно, а gearman — видимо ориентирован на скриптовые языке, на главной странице почти все об php, perl, python клиентах.
AS>>Ice.Grid IS>спасибо. будем пробовать. и форум у них приличный — тысячи сообщений. значит рабочая штука.
Мы пробовали у себя в инфраструктуре. Как грид, так и сам ice. Впечатления крайне положительные, как от фреймворка, так и от поддержки. Ну и качество кода — очень впечатляет.
Подтверждаю вышесказанное. Авторы говорят, что съели собаку на КОРБА и решили сделать свой мидлваре... Получилось очень хорошо. А уж такой хорошей документации как у них идет в виде одного большого PDF, я давненько не видел: мне ни разу не потребовалось рыть форумы, ибо там все уже есть.
* thriving in a production environment *
