Нам нужно иметь возможность отпарсить большие объёмы информации, причём быстро. Т.е. в нужный момент суммарная ширина канала должна увеличиться до 10gbit/sec.
Как лучше и самое главное дешевле это реализовать?
Можно, конечно, купить 100 виртуалок (типа такой http://ru.hetzner.com/hosting/produkte_vserver/vq7 за 7 евро) на каждую поставить клиента, который будет обращаться к очереди и скачивать страницы для последующей обработки. Но это не удобно + когда не нужно армия серверов будет просто стоять. С облаками никогда дела не имел, но чувствую, что именно они помогут Я так понимаю это называется горизонтальное масштабирование.. Прав ли я и если да, то где лучше и самое главное дешевле?
Здравствуйте, Аноним, Вы писали:
А>Приветствую!
А>Нам нужно иметь возможность отпарсить большие объёмы информации, причём быстро. Т.е. в нужный момент суммарная ширина канала должна увеличиться до 10gbit/sec.
Ну поставить в арендовынный сервер 10 гигабитный аплинк? Самое надежное.
А>Можно, конечно, купить 100 виртуалок (типа такой http://ru.hetzner.com/hosting/produkte_vserver/vq7 за 7 евро) на каждую поставить клиента, который будет обращаться к очереди и скачивать страницы для последующей обработки. Но это не удобно + когда не нужно армия серверов будет просто стоять. С облаками никогда дела не имел, но чувствую, что именно они помогут Я так понимаю это называется горизонтальное масштабирование.. Прав ли я и если да, то где лучше и самое главное дешевле?
Здравствуйте, Аноним, Вы писали:
А>Можно, конечно, купить 100 виртуалок (типа такой http://ru.hetzner.com/hosting/produkte_vserver/vq7 за 7 евро) на каждую поставить клиента, который будет обращаться к очереди и скачивать страницы для последующей обработки. Но это не удобно + когда не нужно армия серверов будет просто стоять. С облаками никогда дела не имел, но чувствую, что именно они помогут Я так понимаю это называется горизонтальное масштабирование.. Прав ли я и если да, то где лучше и самое главное дешевле?
возможность поднять виртуалку в любой момент и заплатить за её работу почасово — это базовый принцип "облачного" хостинга. т.е. в принципе вам подойдёт кто угодно — от heroku (700 hrs/month бесплатно) до azure/google engine. некоторые из них предоставляют автоскалинг, автоматически подключающий новые мощности при нехватке имеющихся. виртуалка как таковая вам необязательна, хватит и аналога shared. данные всё равно придётся ложить в отдельную (no)sql базу
Здравствуйте, BulatZiganshin, Вы писали:
BZ>Здравствуйте, Young, Вы писали:
Y>>http://www.linode.com все планы имееют 40 Gbit Network In
BZ>это больше похоже на суммарную мощность датацентра. в сервер логичней поставить одну (или две на случай факапа) гигабитки
40 гигабит на линодовский датацентр это смешно.
40 гигабит сложно протестить, если есть идеи — то могу проверить.
Если мерять с помощью speedtest_cli — консольной утилитой к speedtest.net — то он выдает 0.6-0.8 гигабит на даунлоад и 0.15-0.20 гигабит на аплоад. Это как бы скачивание в один поток, да и то я думаю я упираюсь в канал тестового сервера.
Т.е. при многопоточной работе, я думаю там вполне себе практически всегда гарантированные 10 гигабит, а то и реальные 40-рок. Да и нету смысла им резать. Там ограничение на трафик на самом дешевом тарифу в 3TB всего — т.е. при 10 нон стоп гигабитах даже на час не хватит, если я верно посчитал
Здравствуйте, Young, Вы писали:
BZ>>это больше похоже на суммарную мощность датацентра. в сервер логичней поставить одну (или две на случай факапа) гигабитки
Y>40 гигабит на линодовский датацентр это смешно.
с другого облака
Y>Если мерять с помощью speedtest_cli — консольной утилитой к speedtest.net — то он выдает 0.6-0.8 гигабит на даунлоад и 0.15-0.20 гигабит на аплоад. Это как бы скачивание в один поток, да и то я думаю я упираюсь в канал тестового сервера.
Y>Т.е. при многопоточной работе, я думаю там вполне себе практически всегда гарантированные 10 гигабит, а то и реальные 40-рок. Да и нету смысла им резать. Там ограничение на трафик на самом дешевом тарифу в 3TB всего — т.е. при 10 нон стоп гигабитах даже на час не хватит, если я верно посчитал
вот именно. 3 тб — это 10 мбит*месяц, соответственно если они 100 виртуалок таких раздают — у них 1 гбит всего использован будет. это если все пользователи дружно начнут ровно свой лимит высасывать, вероятность чего примерно 1e-100. превышение лимита у них дорогое, в 10 раз дороже чем у хетцнера, что опять же говорит о том что у них внешний канал меньше (или пользователей больше)
если же вероятность того что потребуется больше гигабита, исчезающе мала, затем им ставить 10 гбит, да ещё в 4 экземплярах, и затем возхиться с дорогущими свитчами и прочим? думаешь они идиоты?
digitalocean — платите по минутам. Когда надо — создаёте нужное число серверов и запускаете задачи, когда результаты получены — уничтожаете серверы. Для автоматизации есть API.
Ну и там видно что суммарный канал у датацентра не меньше 500 гигабт, что не очень много — но уже более похоже на правду.
Y>>40 гигабит сложно протестить, если есть идеи — то могу проверить.
BZ>с другого облака
Ты мне коману в консоле скажи какую набрать
Y>>Если мерять с помощью speedtest_cli — консольной утилитой к speedtest.net — то он выдает 0.6-0.8 гигабит на даунлоад и 0.15-0.20 гигабит на аплоад. Это как бы скачивание в один поток, да и то я думаю я упираюсь в канал тестового сервера.
Y>>Т.е. при многопоточной работе, я думаю там вполне себе практически всегда гарантированные 10 гигабит, а то и реальные 40-рок. Да и нету смысла им резать. Там ограничение на трафик на самом дешевом тарифу в 3TB всего — т.е. при 10 нон стоп гигабитах даже на час не хватит, если я верно посчитал
BZ>вот именно. 3 тб — это 10 мбит*месяц, соответственно если они 100 виртуалок таких раздают — у них 1 гбит всего использован будет. это если все пользователи дружно начнут ровно свой лимит высасывать, вероятность чего примерно 1e-100. превышение лимита у них дорогое, в 10 раз дороже чем у хетцнера, что опять же говорит о том что у них внешний канал меньше (или пользователей больше)
BZ>если же вероятность того что потребуется больше гигабита, исчезающе мала, затем им ставить 10 гбит, да ещё в 4 экземплярах, и затем возхиться с дорогущими свитчами и прочим? думаешь они идиоты?
Ставить куда?? Что-то мы о разном. Я o VPS — они крутятся как раз на серверах в которых стоят 4-ре 10-ти гигабитных аплинка — это стандартное решение. Солько там VPS на сервере дело вопрос другой, но там как я понимаю ядра выделенные — так что не больше чем 16-32 штуки скорее всего. Т.е. в худшем случае ты получишь в серднем 2 гигабита канал, если все твои сотоварищи по серверу выжерают максимум. В реальности ты сможешь получить думаю вполне честные 30 гигабит, ну уж 10 гигабит точно.
да смысл. ты получил меньше гигабита и всё остальное додумал
Y>Ставить куда?? Что-то мы о разном. Я o VPS — они крутятся как раз на серверах в которых стоят 4-ре 10-ти гигабитных аплинка — это стандартное решение. Солько там VPS на сервере дело вопрос другой, но там как я понимаю ядра выделенные — так что не больше чем 16-32 штуки скорее всего. Т.е. в худшем случае ты получишь в серднем 2 гигабита канал, если все твои сотоварищи по серверу выжерают максимум. В реальности ты сможешь получить думаю вполне честные 30 гигабит, ну уж 10 гигабит точно.
смотри, одна vps со своими 3 тб выжирает 10-мбитный канал. с этим согласен? далее, на одном сервере может быть до 32 vps. вопрос — нафига туда ставить дорогущий 40 гб линк? ну вот нафига?? сверзнормативный трафик там дорог, я уверен что всех кому он нужен проще по разным физическим серверам раскидать
Здравствуйте, BulatZiganshin, Вы писали:
BZ>смотри, одна vps со своими 3 тб выжирает 10-мбитный канал. с этим согласен? далее, на одном сервере может быть до 32 vps. вопрос — нафига туда ставить дорогущий 40 гб линк? ну вот нафига?? сверзнормативный трафик там дорог, я уверен что всех кому он нужен проще по разным физическим серверам раскидать
Я тебя не понимаю все равно. 4-ре 10 гигабитных сетевухи стоят копейки по сравнению со стоимостю сервера. Да и не ставят меньше чем 10 гигабитные сетевухи в такие сервера уже по умолчанию давно.
А больше чем экономия лишних десятков долларов на сетевухи я не вижу удорожания.
Здравствуйте, Young, Вы писали:
Y>Я тебя не понимаю все равно. 4-ре 10 гигабитных сетевухи стоят копейки по сравнению со стоимостю сервера. Да и не ставят меньше чем 10 гигабитные сетевухи в такие сервера уже по умолчанию давно.
Y>А больше чем экономия лишних десятков долларов на сетевухи я не вижу удорожания.
поиск по "10 gbit hosting" ещё даёт некоторые результаты, 40 gbit уже нет вовсе. видимо linode единственный в мире у кого нашлось несколько десятков лишних баксов, при этом почему-то трафик у него вдесятеро дороже, чем у не предлагающего такую возможность хетцнера
проверить при наличии виртуалки на linode легко — пустить там в много потоков выкачку тестового файла/файлов [с сайтов какой-нибудь ms]
то что 500 гбит у хецнера не на один, а на 23 датацентра, тебя видно вовсе не заинтересовало
Здравствуйте, BulatZiganshin, Вы писали:
BZ>проверить при наличии виртуалки на linode легко — пустить там в много потоков выкачку тестового файла/файлов [с сайтов какой-нибудь ms]
Умный да
Во первых, все ссылки которые я смог найти — они даже в один поток тянуться не больше чем 50 мегабит.
А во вторых, как тестить — wget-ом там вообще заморочка в много потоков пустить, aria2 разве что заюзать — но она тоже на диск сохраняет.
В третих я тупо упрусь в скорость диска.
Так, что если есть конкретная команда которую нужно запустить то велком.
BZ>то что 500 гбит у хецнера не на один, а на 23 датацентра, тебя видно вовсе не заинтересовало
Ну, во первых так как минимум один канал на 200 гигабит есть. А во вторых — ну сочуствую хецнеру.
Ну а в третьих, ну не знаю я как тебе доказать. Я например знаю, что в в лондонском датацентре где стоят линодвские сервера, как минимум стоит 3 сервера одной компании, в каждый из которых воткнуто по 10 гигабитному аплинку, не лимитированому, и сервера выжирает канал на 90% практически. Планируют еще пару ставить. И все удовольсвие стоит всего 3к долларов в месяц за _гарантированный_ 10 гигабитный аплинк. Т.е. у них один мелкий клиент может себе арендавать гарантированные 30 гигабит.
Я недавно интересовался стоимость гарантированных 10 гигабит в европе, в нидерландах, цены тоже такие же называли 3-4-5к вместе с сервером. На вопрос как быстро поставят два сервера — сказали в течении 12 часов. Т.е. вот 20 гигабит готовы были отдать на ура, в не самом топовом датацентре.
А ты говоришь на всю линоду 40-к. Я говорю смешно.
И да, у меня еще старая линода, не новая — на HDD и там, не 40 гигабт канал был, я точно помню. Сейчас старые планы не найду. Свчинусь на новую — проверю, там ssd хотя бы буду поже в диск упираться.
Здравствуйте, Аноним, Вы писали:
А>Нам нужно иметь возможность отпарсить большие объёмы информации, причём быстро. Т.е. в нужный момент суммарная ширина канала должна увеличиться до 10gbit/sec.
Национальная поисковая система "Спутник"? До конца мая хотите успеть?
Я так понимаю это называется горизонтальное масштабирование.. Прав ли я и если да, то где лучше и самое главное дешевле?
