Добрый день.

Возникла определенная задача написания одной консольной утилиты. Не буду вдаваться в подробности, но суть примерно такова:

Есть некий логический блок, в который поступает команда. Например, скачать файл по FTP по этому адресу. Далее, после скачки и разбора содержимого, сделать следующие действия: либо записать содержимое в файл, лиюо модифицировать базу даных или ничего не делать. А также на основе содержимого этого файла запустить еще одно задание на скачивание. Ну и естественно, желательно чтобы это было распараллелино, чтобы скачивание было в несколько потоков, а запись в бд или в файлы тоже в отдельных потоках или как-то так.

Для простоты можно представить принцип работы гуглбота или качалки сайта на диск. То есть, подается команда на скачивание главной страницы, контент пишется на диск, потом находятся ссылки и запускаются опять команды на скачивание дочерних страниц и все повторяется, пока не будет скчано все или не достигнута нужная глубина вложенности.

Как бы это сделал я (тупо в лоб) для этой задачи:

Берем функцию, которая принимает параметр — url, качает страницу, потом пишет куда надо и рекурсивно запускает сама себя. Если нужно рапараллелить эти задачи, то функция запускается в отдельном треде и все.

Но я хотел бы идти ногу с модой Что хочется: асинхронную скачку, потому что не надо создавать треды на каждый коннект, плюс запиь в файлы и БД тоже отдельно в потоке сделать. Если файлы разные, то лучше каждый поток на отдельный файл. Обратил внимание на существование boost.asio. Никогда не программил ничего под бустом, тем более под его асинхронную библиотеку. Но смотрю все хвалят Для меня буст, а тем более asio выглядит как китайская грамота, но заоодно хочу изучить библиотеку.

Посоветуйте какая должна быть грамотная архитектура, чтобы все вышеперечисленные условия выполнялись. Если есть ссылки на конкретные примеры, то было бы вообще замечательно.