Допустим, временно стоит задача регулярно пересобирать огромные объемы исходного кода, например LibreOffice или Firefox, и чтобы это делалось побыстрее. Покупать топовое железо для такой временной задачи жалко. Но ждать сутки на домашнем оборудовании неприятно. Хочется попробовать это делать в облаке.
Кто-нибудь это пробовал? Амазон, гугл, майкрософт, яндекс, оракл, что-то еще?
Чье облако для этого оптимально в плане цены?
Нет ли в облаках лимитов на время работы под 100% загрузкой процессора, как на обычных хостингах?
Какие единицы времени используются для биллинга ресурсов (час? минута? день)?
Также хочется чтобы можно было убирать ресурсы (ядра CPU и память) у этих build servers когда собрал бинарник и занимаешься просто отладкой — какие облака позволяют менять их без перезагрузки облачного компа?
PS: речь идет именно о пересборке, а не о майнинге крипты.
Здравствуйте, vladrsdn, Вы писали:
V>Допустим, временно стоит задача регулярно пересобирать огромные объемы исходного кода, например LibreOffice или Firefox, и чтобы это делалось побыстрее. Покупать топовое железо для такой временной задачи жалко. Но ждать сутки на домашнем оборудовании неприятно. Хочется попробовать это делать в облаке.
Могу рассказать про AWS — лимитов на CPU нет, тарификация посекундная, убирать ресурсы нельзя, но можно хранить сборку на отдельном диске и при необходимости монтировать его скриптом на другую, дешевую машину. При останове/удалении дорогой машины её диск можно оставить нетронутым.
Re[2]: компиляция большого софта - в каком облаке лучше делать?
Здравствуйте, scf, Вы писали:
scf>Могу рассказать про AWS — лимитов на CPU нет, тарификация посекундная, убирать ресурсы нельзя, но можно хранить сборку на отдельном диске и при необходимости монтировать его скриптом на другую, дешевую машину. При останове/удалении дорогой машины её диск можно оставить нетронутым.
В AWS лимиты на проц зависят от инстанса. Для сборки можно попробовать поднять спот рой, но нужен "оркестратор", а то спот-ноды "внезапно смертны".
newbie
Re: компиляция большого софта - в каком облаке лучше делать?
Я пробовал в основном микрософт (azure)
V>Чье облако для этого оптимально в плане цены?
64 cpu 512 gb ram будет стоить около 4 долларов в час Калькулятор
V>Нет ли в облаках лимитов на время работы под 100% загрузкой процессора, как на обычных хостингах?
Нет
V>Какие единицы времени используются для биллинга ресурсов (час? минута? день)?
Посекундная тарификация
V>Также хочется чтобы можно было убирать ресурсы (ядра CPU и память) у этих build servers когда собрал бинарник и занимаешься просто отладкой — какие облака позволяют менять их без перезагрузки облачного компа?
Этого AFAIK в азуре нет, динамически изменять нельзя. Можно сделать отдельную виртуалку для отладки, а билд гасить после сборки.
На хостинге динамически можно, а чтобы вот прямо на работающей виртуалке — AFAIK так нет, ее придется перезагружать при изменении количества ядер или размера памяти.
Я не уверен, динамическое изменение числа процессоров какая-нибудь ОС вообще поддерживает?
Здравствуйте, bnk, Вы писали:
bnk>Можно сделать отдельную виртуалку для отладки, а билд гасить после сборки
Каюсь, в свое время не дошли руки изучать подробнее, а сейчас снова погружаться боюсь долго будет, поэтому спрошу, может быть вы в курсе...
А не было ли опыта (или просто изучали, на предмет "не использовать ли") использования специализированных решений. Я имею в виду Azure Pipelines и Azure DevTest Labs.
На сколько это дороже/дешевле, а также удобнее/функциональнее (или наоборот) в сравнении с арендой обычной виртуалки (а там уж — делай что хочешь)?
Re[3]: компиляция большого софта - в каком облаке лучше дела
Здравствуйте, Михаил Романов, Вы писали:
МР>А не было ли опыта (или просто изучали, на предмет "не использовать ли") использования специализированных решений. Я имею в виду Azure Pipelines и Azure DevTest Labs. МР>На сколько это дороже/дешевле, а также удобнее/функциональнее (или наоборот) в сравнении с арендой обычной виртуалки (а там уж — делай что хочешь)?
На Pipelines у меня, в том числе, свои продукты собираются, мне бесплатного лимита хватает, все отлично работает, я доволен.
Правда там довольно слабенькая машинка для сборки на фришном тарифе, в контексте данного топика (собирать Firefox / LibreOffice) — не вариант (впрочем, за деньги можно подключить любую машину в качестве "сборочной")
Для меня это по сути халявная CI/CD (которой для моих нужд хватает).
Примерно то же самое что GitHub Actions, только бесплатно, в том числе, и для и для закрытых репозиториев
Зачем самому настраивать виртуалку, поддерживать, да еще и плаить за нее.
В DevTest Labs смысл в том что можно для тестов быстро развернуть заданное окружение из шаблона и прогнать на нем тесты. В том числе из докер-файла, типа такого.
Но там бесплатного тарифа AFAIK нет, так что я сам не пользуюсь, могу быть не прав )
bnk>Здравствуйте, vladrsdn, Вы писали:
bnk>Я пробовал в основном микрософт (azure)
V>>Чье облако для этого оптимально в плане цены?
bnk>64 cpu 512 gb ram будет стоить около 4 долларов в час Калькулятор
а может порядок помните — у амазона такое во сколько раз дороже будет?
V>>Также хочется чтобы можно было убирать ресурсы (ядра CPU и память) у этих build servers когда собрал бинарник и занимаешься просто отладкой — какие облака позволяют менять их без перезагрузки облачного компа?
bnk>Этого AFAIK в азуре нет, динамически изменять нельзя. Можно сделать отдельную виртуалку для отладки, а билд гасить после сборки. bnk>На хостинге динамически можно, а чтобы вот прямо на работающей виртуалке — AFAIK так нет, ее придется перезагружать при изменении количества ядер или размера памяти. bnk>Я не уверен, динамическое изменение числа процессоров какая-нибудь ОС вообще поддерживает?
вроде внутри виртуалки можно добавлять cpu — vmware такое дает, а вот убирать — нет пруфлинк
а линукс на живом железе дает добавлять-убавлять процы пруфлинк
Здравствуйте, vladrsdn, Вы писали:
bnk>>64 cpu 512 gb ram будет стоить около 4 долларов в час Калькулятор
V>а может порядок помните — у амазона такое во сколько раз дороже будет?
У амазона, насколько я знаю, должно быть наоборот дешевле (особенно "спот"-инстансы про которые выше написали). Но вот насколько — х.з.
Я бы ожидал что-то в районе доллара-двух в час. Вообще у них прайс вроде бы выложен здесь
Re: компиляция большого софта - в каком облаке лучше делать?
Здравствуйте, vladrsdn, Вы писали:
V>Допустим, временно стоит задача регулярно пересобирать огромные объемы исходного кода, например LibreOffice или Firefox, и чтобы это делалось побыстрее. Покупать топовое железо для такой временной задачи жалко. Но ждать сутки на домашнем оборудовании неприятно. Хочется попробовать это делать в облаке.
У Hetzner есть хорошие машинки за адекватную цену.
Здравствуйте, Lonely Dog, Вы писали:
LD>Здравствуйте, vladrsdn, Вы писали:
V>>Допустим, временно стоит задача регулярно пересобирать огромные объемы исходного кода, например LibreOffice или Firefox, и чтобы это делалось побыстрее. Покупать топовое железо для такой временной задачи жалко. Но ждать сутки на домашнем оборудовании неприятно. Хочется попробовать это делать в облаке. LD>У Hetzner есть хорошие машинки за адекватную цену.
LD>Вот например такое: https://www.hetzner.com/de/dedicated-rootserver/ex52-nvme LD>За 54EUR в месяц получите Core i7-8700, 128GB памяти, 2*1TB SSD
LD>Может подойдет?
Спасибо за идею! Но было бы интереснее намного больше ядер иметь..
Здравствуйте, vladrsdn, Вы писали:
V>Допустим, временно стоит задача регулярно пересобирать огромные объемы исходного кода, например LibreOffice или Firefox, и чтобы это делалось побыстрее. Покупать топовое железо для такой временной задачи жалко. Но ждать сутки на домашнем оборудовании неприятно. Хочется попробовать это делать в облаке.
А почему не воспользоваться специализированными сервисами типа CirecleCI, Travis, hosted GitlabCI и т.п.?
Здравствуйте, sanyock, Вы писали:
S>Здравствуйте, vladrsdn, Вы писали:
V>>Допустим, временно стоит задача регулярно пересобирать огромные объемы исходного кода, например LibreOffice или Firefox, и чтобы это делалось побыстрее. Покупать топовое железо для такой временной задачи жалко. Но ждать сутки на домашнем оборудовании неприятно. Хочется попробовать это делать в облаке.
S>А почему не воспользоваться специализированными сервисами типа CirecleCI, Travis, hosted GitlabCI и т.п.?
S>https://circleci.com/
Если честно, понятия про эти сервисы не имею. Но ведь все сведется к виртуальному серверу, у которого какое-то количество CPU & RAM, верно?
Здравствуйте, vladrsdn, Вы писали:
V>Здравствуйте, sanyock, Вы писали:
S>>Здравствуйте, vladrsdn, Вы писали:
V>>>Допустим, временно стоит задача регулярно пересобирать огромные объемы исходного кода, например LibreOffice или Firefox, и чтобы это делалось побыстрее. Покупать топовое железо для такой временной задачи жалко. Но ждать сутки на домашнем оборудовании неприятно. Хочется попробовать это делать в облаке.
S>>А почему не воспользоваться специализированными сервисами типа CirecleCI, Travis, hosted GitlabCI и т.п.?
S>>https://circleci.com/
V>Если честно, понятия про эти сервисы не имею. Но ведь все сведется к виртуальному серверу, у которого какое-то количество CPU & RAM, верно?
Сервер будет предоставлен временно только на сколько-то минут или часов для сборки по вашим инструкциям в скрипте пайплайна. По окончании пайплайна, тот же сервер может использоваться уже другим разработчиком.
А вы сможете постепенно стать DevOps, может быть, но это неточно Впрочем зачем оно человекам-оркестрам.
Re[4]: компиляция большого софта - в каком облаке лучше делать?
Здравствуйте, sanyock, Вы писали:
S>Здравствуйте, vladrsdn, Вы писали:
V>>Здравствуйте, sanyock, Вы писали:
S>>>Здравствуйте, vladrsdn, Вы писали:
V>>>>Допустим, временно стоит задача регулярно пересобирать огромные объемы исходного кода, например LibreOffice или Firefox, и чтобы это делалось побыстрее. Покупать топовое железо для такой временной задачи жалко. Но ждать сутки на домашнем оборудовании неприятно. Хочется попробовать это делать в облаке.
S>>>А почему не воспользоваться специализированными сервисами типа CirecleCI, Travis, hosted GitlabCI и т.п.?
S>>>https://circleci.com/
V>>Если честно, понятия про эти сервисы не имею. Но ведь все сведется к виртуальному серверу, у которого какое-то количество CPU & RAM, верно?
S>Сервер будет предоставлен временно только на сколько-то минут или часов для сборки по вашим инструкциям в скрипте пайплайна. По окончании пайплайна, тот же сервер может использоваться уже другим разработчиком.
А что за производительность будет у этого сервера?
Хочется чтобы большой проект собрался за полчаса, а не за двое суток.
Такое впечатление, что эти сервисы не позволяют контролировать производительность сервера, или мощный сервер там будет стоить раз в 20 дороже, чем тупо арендовать в амазоне такой сервер на пару часов (который придется ручками выключить).
S>А вы сможете постепенно стать DevOps, может быть, но это неточно Впрочем зачем оно человекам-оркестрам.
мне ради одного проекта изучать целую вселенную CI — этих костылей и подпорок и тратить на это несколько месяцев — не хочется.
Здравствуйте, vladrsdn, Вы писали:
S>>Сервер будет предоставлен временно только на сколько-то минут или часов для сборки по вашим инструкциям в скрипте пайплайна. По окончании пайплайна, тот же сервер может использоваться уже другим разработчиком.
V>А что за производительность будет у этого сервера? V>Хочется чтобы большой проект собрался за полчаса, а не за двое суток. V>Такое впечатление, что эти сервисы не позволяют контролировать производительность сервера, или мощный сервер там будет стоить раз в 20 дороже, чем тупо арендовать в амазоне такой сервер на пару часов (который придется ручками выключить).
Все правильно говоришь. На таких облачных CI билд-сервер который дается по умолчанию, как правило, никакущий. О сборке на 64 cpu 512 gb AFAIK речи вообще не идет.
Re[5]: компиляция большого софта - в каком облаке лучше делать?
Здравствуйте, vladrsdn, Вы писали:
V>мне ради одного проекта изучать целую вселенную CI — этих костылей и подпорок и тратить на это несколько месяцев — не хочется.
Можете попробовать сначала найти спеца в чате https://t.me/devops_ru , кто согласится вам настроить начальный конфиг, а потом уж сами.
Они же вам вероятно расскажут и про прооизводительность серверов в CI хостинге.
Я пока нуб в этой области, только изучаю тему CI.
Re[2]: компиляция большого софта - в каком облаке лучше делать?
Здравствуйте, Lonely Dog, Вы писали:
LD>У Hetzner есть хорошие машинки за адекватную цену.
LD>Вот например такое: https://www.hetzner.com/de/dedicated-rootserver/ex52-nvme LD>За 54EUR в месяц получите Core i7-8700, 128GB памяти, 2*1TB SSD
Т.е. не серверный, не топовый, домашний процессор из 2017 года.
Такая цена — при условии что они вернут 19% VAT.
А вернут ли они его ? Это же не физический товар. С которого, кстати, при ввозе НДС всё равно надо заплатить, только уже в бюджет РФ
Считаем дальше.
Добавляем +59€ once-off setup fee. Итого 841EUR/y (или 707, если вернуть VAT)
И — ахтунг! Тариф со звёздочками!
In this special case, we will charge the usage over 20TB with 1.19 €/TB.
(Что показалось забавным — Setup Fee зависит от цены аренды. Т.е., условно, выбрали точно такую же машину, но где меньше RAM — платим setup fee поменьше. )
Аналог такой машины, даже чуть более мощный, без SSD, собирается дома за 4,5+5.5+20 = 30 тысяч рублей. Из которых 2/3 это цена 128GB памяти!
Или за 356 евро. Ещё за 118 берётся хороший SSD на террабайт. Т.к. для билд машины рейд-1 нафиг не нужен. Два диска тереть глупо, и слабовато железо, чтобы в чтение одного NVMe упереться.
Итого 474 евро. Которых хватит на оплату 7 месяцев дедика. С учётом возврата VAT. С 8го месяца самосбор окажется более выгодным. А если VAT не получится вернуть — то ещё раньше.
ЗЫ: А если потратить на сборку ~900EUR (годовой бюджет) — можно получить изначально втрое более мощное железо.
Аналог которого стоит у Hetzer ~250-300EUR/mo. Т.е. чем мощнее собираем — тем больше экономим.
kalsarikännit
Re[3]: компиляция большого софта - в каком облаке лучше дела
Здравствуйте, IID, Вы писали:
LD>>Вот например такое: https://www.hetzner.com/de/dedicated-rootserver/ex52-nvme LD>>За 54EUR в месяц получите Core i7-8700, 128GB памяти, 2*1TB SSD
IID>Т.е. не серверный, не топовый, домашний процессор из 2017 года.
Ну там же вообще о другом речь, это же машина для хостинга, а не для сборки тяжелых проектов.
Идея же была чтобы не всё время держать машину включенной, а запустить, собрать что там надо, и потушить.
Когда комп потушен, деньги не списываются. Тарификация посекундная.
Если машину в 64 CPU 512 GB на час раз в день запускать в облаке, по рабочим дням, это будет ~4€/час, ~80€/месяц.
Чтобы домой такую купить (на AMD 3990x допустим), нужно не меньше 5000€, насколько я понимаю.
Вот тут пишут, что Firefox на AMD 64 core / 128 GB собирается примерно за 4 минуты, linux kernel примерно за минуту.
)