Хочу поделится огорчающими находками работы с облаками для шаровароварения в течении последних 8 лет:
Все утверждения про распределенность — блеф. По факту ваш ресурс будет привязан к одному выбранному вами региону, например, East US.
Стоимость амортизации ресурсов перекладывается на ваши плечи. То есть, вы создали виртуальную машину в 2012. В 2020 году она будет работать на том же CPU, у нее будет столько же памяти, и платить вы за нее будете столько же. Никто и не подумает вам напомнить, что CPU за это время стали быстрее в 3 раза, и вы сейчас переплачиваете в 3 раза.
Хранилища данных, такие как buckets, blobs и прочее. Мало того, что они на самом деле привязаны к одному региону, они еще и неадекватно порезаны по скорости трафика. Мы вот наблюдаем картину в 200 килобайт в секунду. Т.е. 1 мегабайт скачивается за 5 секунд. На минуточку, сейчас 2020 год, у людей стомегабитные/гигабитные подключения к интернету. И тут на тебе, 10 мегабайтный файл скачивается 50 секунд. Это скорость на уровне 2006 года. И пощечина всем потенциальным клиентам со старта.
Вывод: облака, как таковые, это временное явление. Это просто, но не выгодно! Мало того, что они лимитированые и медленные, так еще и вся амортизация ложится на плечи клиентов. По прошествию лет разница в цифрах за то, что вы получаете и сколько вы платите достигает порядков, естественно не в вашу пользу.
А все дело в недостатке легко настраиваемого софта, и возможно распрелеленной платформы/ОС. Как только такой появится, возникнет процесс естественной децентрализации. У каждого будет свое "пространство" или "облако", которое он будет собирать из готового софта, работающего на таких хостерах как Digital Ocean, OVH, Linode, любой другой хостер, на машине под диваном, машине под столом.
У меня все. Возможно кому-то пригодится.
Re: 8 лет опыта с "облаком" для шаровароварения: холодные ци
Здравствуйте, Aquilaware, Вы писали:
A>Хранилища данных, такие как buckets, blobs и прочее. Мало того, что они на самом деле привязаны к одному региону, они еще и неадекватно порезаны по скорости трафика. Мы вот наблюдаем картину в 200 килобайт в секунду. Т.е. 1 мегабайт скачивается за 5 секунд. На минуточку, сейчас 2020 год, у людей стомегабитные/гигабитные подключения к интернету. И тут на тебе, 10 мегабайтный файл скачивается 50
Сколько должен скачиваться по времени дистрибутив в 1Мб? Хочется сравнить со своим хостером (проверяю wget'ом).
Пропускная способность это одно, но там же ещё время на резолв, соединение и всё такое.
На каком хостере можно получить желанные полсекунды?
Здравствуйте, Aquilaware, Вы писали:
A>Хочу поделится огорчающими находками работы с облаками для шаровароварения в течении последних 8 лет:
A>Все утверждения про распределенность — блеф. По факту ваш ресурс будет привязан к одному выбранному вами региону, например, East US.
Это не блеф, это стоит денег. Один EC2 инстанс какой-нибудь рабоает не то что в регионе а в availability zone. Хочешь распределенность — делай инстансы в разных регионах.
A>Стоимость амортизации ресурсов перекладывается на ваши плечи. То есть, вы создали виртуальную машину в 2012. В 2020 году она будет работать на том же CPU, у нее будет столько же памяти, и платить вы за нее будете столько же. Никто и не подумает вам напомнить, что CPU за это время стали быстрее в 3 раза, и вы сейчас переплачиваете в 3 раза.
Ну поменяй инстанс тайп на новый если появились дешевле.
A>Хранилища данных, такие как buckets, blobs и прочее. Мало того, что они на самом деле привязаны к одному региону, они еще и неадекватно порезаны по скорости трафика. Мы вот наблюдаем картину в 200 килобайт в секунду. Т.е. 1 мегабайт скачивается за 5 секунд. На минуточку, сейчас 2020 год, у людей стомегабитные/гигабитные подключения к интернету. И тут на тебе, 10 мегабайтный файл скачивается 50 секунд. Это скорость на уровне 2006 года. И пощечина всем потенциальным клиентам со старта.
Если речь о S3 бакетах то там нет привязки к региону.
A>Вывод: облака, как таковые, это временное явление. Это просто, но не выгодно! Мало того, что они лимитированые и медленные, так еще и вся амортизация ложится на плечи клиентов. По прошествию лет разница в цифрах за то, что вы получаете и сколько вы платите достигает порядков, естественно не в вашу пользу.
Облака не для экономии, это факт. К 2020 году разобрались 100 раз уже. Одно из "моих" приложений жрет сотни тысяч USD в год. И никуда мы не уйдем с облака все равно.
A>А все дело в недостатке легко настраиваемого софта, и возможно распрелеленной платформы/ОС. Как только такой появится, возникнет процесс естественной децентрализации. У каждого будет свое "пространство" или "облако", которое он будет собирать из готового софта, работающего на таких хостерах как Digital Ocean, OVH, Linode, любой другой хостер, на машине под диваном, машине под столом.
A>У меня все. Возможно кому-то пригодится.
Для сайта шаровары можно и подешевле конечно найти без потери качества.
Здравствуйте, sharez, Вы писали:
S>Сколько должен скачиваться по времени дистрибутив в 1Мб? Хочется сравнить со своим хостером (проверяю wget'ом).
В идеале — столько, сколько может дать ваше подключение по международному направлению. По субьективным ожиданиями сегодняшнего дня, файл 10 мегабайт должен скачиваться за 5 секунд или быстрее.
S>Пропускная способность это одно, но там же ещё время на резолв, соединение и всё такое. S>На каком хостере можно получить желанные полсекунды?
Даже самый простой дроплет Digital Ocean дает не менее 10 Mбит/с на практике.
А время на резолв бесконечно улучшаемо за счет широкого выбора поставщиков DNS, или за счет такой хитрости как dns-prefetch на странице загрузке.
Re[2]: 8 лет опыта с "облаком" для шаровароварения: холодные
Здравствуйте, GarryIV, Вы писали:
GIV>Это не блеф, это стоит денег. Один EC2 инстанс какой-нибудь рабоает не то что в регионе а в availability zone. Хочешь распределенность — делай инстансы в разных регионах.
Да, так и делаем. Но мы могли бы это делать и с обычными дроплетами / хостерами!
В облаках это обычный load balancing и локальное резервирование в регионе. Это я мог бы даже на коленке запилить если были бы решения без тучи настроек. Таких решений нет, поэтому есть облака. Но это пока.
GIV>Ну поменяй инстанс тайп на новый если появились дешевле.
В этом и подвох. Когда виртуалка работает, последнее что хочется это что-то ворошить. Они этим и берут.
ЗЫ. A что они еще делают, привязывают цены к вашей учетной записи. Т.е. не пересоздав учетную запись вы не увидите новых цен. Вот такие вот передовые ребята. От этой практики просто тошнит.
GIV>Если речь о S3 бакетах то там нет привязки к региону.
Не могу подтвердить данное утверждение по S3: https://aws.amazon.com/premiumsupport/knowledge-center/s3-bucket-migrate-region/
Кстати, это типичный крючок который поставщики облаков используют в маркетинговых материалах. По факту — обычное локальное резервирование в регионе, и максими load balancing для активных ресурсов (не storage) если господин пожелает, за дополнительные деньги.
Здравствуйте, Aquilaware, Вы писали:
A>Здравствуйте, sharez, Вы писали:
S>>Сколько должен скачиваться по времени дистрибутив в 1Мб? Хочется сравнить со своим хостером (проверяю wget'ом).
A>В идеале — столько, сколько может дать ваше подключение по международному направлению. По субьективным ожиданиями сегодняшнего дня, файл 10 мегабайт должен скачиваться за 5 секунд или быстрее.
S>>Пропускная способность это одно, но там же ещё время на резолв, соединение и всё такое. S>>На каком хостере можно получить желанные полсекунды?
A>Даже самый простой дроплет Digital Ocean дает не менее 10 Mбит/с на практике.
A>А время на резолв бесконечно улучшаемо за счет широкого выбора поставщиков DNS, или за счет такой хитрости как dns-prefetch на странице загрузке.
Почему не использовать CDN? VPS для "объемной" раздачи не очень подходят, это как бы не секрет, выделенный сервер еще куда ни шло
Have fun...
Re[4]: 8 лет опыта с "облаком" для шаровароварения: холодные цифры
Здравствуйте, DTB, Вы писали:
DTB>Почему не использовать CDN?
Используем CDN. И все хороошо пока ресурс, например дистрибутив, находится в кеше.
НО. У CDN сети есть много точек раздачи (PoPs), и каждая из них будет лезть к нашему down-stream серверу. И если down-stream сервер отдает ресурс со скоростью 200 Кбит/с, то проходит как минимум 50 секунд пока 10 Мбайт дистрибутив ляжет в кеш CDN PoP, что порою уж очень заметно. Учитывая нашу частоту выкладки ресурсов и глобальную распределенность аудитории.
Re[3]: 8 лет опыта с "облаком" для шаровароварения: холодные
Здравствуйте, Aquilaware, Вы писали:
GIV>>Это не блеф, это стоит денег. Один EC2 инстанс какой-нибудь рабоает не то что в регионе а в availability zone. Хочешь распределенность — делай инстансы в разных регионах. A>Да, так и делаем. Но мы могли бы это делать и с обычными дроплетами / хостерами!
Конечно, все что можно в облаках можно и самому собрать.
A>В облаках это обычный load balancing и локальное резервирование в регионе. Это я мог бы даже на коленке запилить если были бы решения без тучи настроек. Таких решений нет, поэтому есть облака. Но это пока.
Совершенно обычный, да. Но с API и прочими плющками. С чего бы кто-то стал за бесплатно это раздавать?
GIV>>Ну поменяй инстанс тайп на новый если появились дешевле. A>В этом и подвох. Когда виртуалка работает, последнее что хочется это что-то ворошить. Они этим и берут.
А какие там проблемы? Сохраняешь AMI, запускаешь новый инстанс/останавливаешь старый. Минут на 20 задачка.
A>ЗЫ. A что они еще делают, привязывают цены к вашей учетной записи. Т.е. не пересоздав учетную запись вы не увидите новых цен. Вот такие вот передовые ребята. От этой практики просто тошнит.
Они это кто? Прайс амазона вот https://aws.amazon.com/ec2/pricing/on-demand/?nc1=h_ls у тебя какие-то другие цены?
GIV>>Если речь о S3 бакетах то там нет привязки к региону. A>Не могу подтвердить данное утверждение по S3: https://aws.amazon.com/premiumsupport/knowledge-center/s3-bucket-migrate-region/
да, был неправ
WBR, Igor Evgrafov
Re[4]: 8 лет опыта с "облаком" для шаровароварения: холодные
Здравствуйте, GarryIV, Вы писали:
GIV>Они это кто?
Microsoft Azure. Цены на сайте и у нас в аккаунте отличаются в 1.5-3 раза не в нашу пользу. И это напрягает. Будем уходить от них на вольные просторы, там где управляемость и свобода.
Re[5]: 8 лет опыта с "облаком" для шаровароварения: холодные цифры
Здравствуйте, Aquilaware, Вы писали:
A>Здравствуйте, DTB, Вы писали:
DTB>>Почему не использовать CDN?
A>Используем CDN. И все хороошо пока ресурс, например дистрибутив, находится в кеше.
A>НО. У CDN сети есть много точек раздачи (PoPs), и каждая из них будет лезть к нашему down-stream серверу. И если down-stream сервер отдает ресурс со скоростью 200 Кбит/с, то проходит как минимум 50 секунд пока 10 Мбайт дистрибутив ляжет в кеш CDN PoP, что порою уж очень заметно. Учитывая нашу частоту выкладки ресурсов и глобальную распределенность аудитории.
200кбит это совсем уже, вручную на CDN возможности заливать нет? вроде с некоторыми можно так
Have fun...
Re[5]: 8 лет опыта с "облаком" для шаровароварения: холодные цифры
Здравствуйте, Евгений Музыченко, Вы писали:
ЕМ>Здравствуйте, DTB, Вы писали:
DTB>>VPS для "объемной" раздачи не очень подходят, это как бы не секрет, выделенный сервер еще куда ни шло
ЕМ>"Объемной" — это сколько гигабайт каждому посетителю?
если на VPS всего 100мбит отдачи, то тут и нескольких мегабайт с кучей клиентов уже достаточно будет, чтобы положить сеть.
Have fun...
Re[3]: 8 лет опыта с "облаком" для шаровароварения: холодные
Здравствуйте, Aquilaware, Вы писали:
GIV>>Ну поменяй инстанс тайп на новый если появились дешевле. A>В этом и подвох. Когда виртуалка работает, последнее что хочется это что-то ворошить. Они этим и берут.
Здравствуйте, Aquilaware, Вы писали:
A>Хочу поделится огорчающими находками работы с облаками для шаровароварения в течении последних 8 лет:
A>Все утверждения про распределенность — блеф. По факту ваш ресурс будет привязан к одному выбранному вами региону, например, East US.
Был известный случай с молнией в ирландском датацентре в Azure — у кого были regional only storage получили письмо из майкрософта "ура ваши данные безвозвратно утеряны"
A>Cтоимость амортизации ресурсов перекладывается на ваши плечи. То есть, вы создали виртуальную машину в 2012. В 2020 году она будет работать на том же CPU, у нее будет столько же памяти, и платить вы за нее будете столько же. Никто и не подумает вам напомнить, что CPU за это время стали быстрее в 3 раза, и вы сейчас переплачиваете в 3 раза.
в AWS EC2 и vCPU и RAM можно сменить оставив старый диск. это очень древняя фича.
A>Хранилища данных, такие как buckets, blobs и прочее. Мало того, что они на самом деле привязаны к одному региону, они еще и неадекватно порезаны по скорости трафика. Мы вот наблюдаем картину в 200 килобайт в секунду. Т.е. 1 мегабайт скачивается за 5 секунд. На минуточку, сейчас 2020 год, у людей стомегабитные/гигабитные подключения к интернету. И тут на тебе, 10 мегабайтный файл скачивается 50 секунд. Это скорость на уровне 2006 года. И пощечина всем потенциальным клиентам со старта.
Это у AWS очень медленный transfer rate ДО ВИРТУАЛОК из "деревень" из скажем так стран третьего мира.
До блобов скорость там нормальная. Хочеш раздавать гигабайты — пользуйся блобами. Почему? хз. но это только в AWS
И в других облаках тоже скорость до виртуалок нормальная.
A>Вывод: облака, как таковые, это временное явление. Это просто, но не выгодно! Мало того, что они лимитированые и медленные, так еще и вся амортизация ложится на плечи клиентов. По прошествию лет разница в цифрах за то, что вы получаете и сколько вы платите достигает порядков, естественно не в вашу пользу.
GIV>Облака не для экономии, это факт. К 2020 году разобрались 100 раз уже. Одно из "моих" приложений жрет сотни тысяч USD в год. И никуда мы не уйдем с облака все равно.
Расскажи, что тебе дают облака для твоих задач, что ты готов платить больше (по сравнению с арендой машины или VPS). Мне в голову приходит только одна мысль — они проще масштабируются. Уверен, что для тебя таких причин больше.
компания где я работал сначала перешла в облака
а потом вернулась на выделенные сервера тк это было в 10+ ращ дешевле
мнение нашего директора облака выгодны стартапу в первый год когда нет денег на железо и админа
Re: 8 лет опыта с "облаком" для шаровароварения: холодные цифры
Здравствуйте, Aquilaware, Вы писали:
A>Хочу поделится огорчающими находками работы с облаками для шаровароварения в течении последних 8 лет:
Простите, йа динозавр и вылез из тьмы. А что, разве облако — это не маркетинговое название для VPS?
ЗЫ Забавно, но у меня обычный VPS, за ту же самую стоимость, что была в 2008 когда мы его взяли, вырос примерно так в 5-10 раз по всем параметрам, абсолютно без моего участия.
Re[2]: 8 лет опыта с "облаком" для шаровароварения: холодные цифры
Здравствуйте, mauzer_tim, Вы писали:
A>>Хочу поделится огорчающими находками работы с облаками для шаровароварения в течении последних 8 лет: _>Простите, йа динозавр и вылез из тьмы. А что, разве облако — это не маркетинговое название для VPS?
VPS -- это просто удаленный компьютер. А в облаке кучу всякой инфраструктуры, начиная от каких-нибудь очередей сообщений, кончая бд.
Сервисная модель практически всего и все интегрировано через соотв. API.
Кодом людям нужно помогать!
Re[2]: 8 лет опыта с "облаком" для шаровароварения: холодные ци
Здравствуйте, sharez, Вы писали: S>Сколько должен скачиваться по времени дистрибутив в 1Мб? Хочется сравнить со своим хостером (проверяю wget'ом).
У меня 1 мб качается 1 сек, дистрибутивы побольше напр 6 мб — быстрее, 3.5 — 4 мбайта\сек. Качал с другого хостинга, расположенного в России.
Re[3]: 8 лет опыта с "облаком" для шаровароварения: холодные
Здравствуйте, Reset, Вы писали:
GIV>>Облака не для экономии, это факт. К 2020 году разобрались 100 раз уже. Одно из "моих" приложений жрет сотни тысяч USD в год. И никуда мы не уйдем с облака все равно.
R>Расскажи, что тебе дают облака для твоих задач, что ты готов платить больше (по сравнению с арендой машины или VPS). Мне в голову приходит только одна мысль — они проще масштабируются. Уверен, что для тебя таких причин больше.
Суть в том, что пользователи создают некоторые последовательности которым надо на обработку от 15 минут до 4 часов. И таких последовательностей тысячи. Для обработки каждой последовательности надо 1-4 инстанса. Последовательности выполняются пачками, по заданию из вне. В итоге для обработки одной пачки надо 50 инстансов, другой 400+. В среднем около сотни работает одовременно в пике до 500 (макс количество искуственно ограничено). Это то что больше всего денег жрет. Так же автоматически создаются образы для обработки этих последовательностей и всякое прочее.
