Здравствуйте, Gt_, Вы писали:
Gt_>у меня Fractal Design Define R5, то считай топ.
А, то есть ты реально думаешь что достаточно иметь топовый корпус чтобы решить все проблемы
Gt_> потребительская дребедень рассчитана лишь на кратковременные пиковые нагрузки игр, не более того.
Ну во первых, если ты не заметил, именно я писал, что это всего лишь потребительское устройство.
Во вторых, необходимость делать нормальное охлаждение таки никто не отменял.
В третьих, упомянутый тобой 980 Pro — так себе топ, поскольку это TLC.
Здравствуйте, Codealot, Вы писали:
B>>48 тредов, если правильно помню, я не утверждал что это топ, нам просто больше не надо было, сколько в систему писали, столько и уходило в GCS. Сколько всего туда может пролезть я не измерял, подозреваю что сильно больше, особенно если использовать под это дело отдельный NIC.
C>А, то есть ты подозреваешь. С этим конечно хрен поспоришь.
никто с тобой не спорит, я всего лишь написал что в текущем проекте данные уходят с такой вот скоростью без особых проблем, что-то ради этого специально бенчмаркать я не собираюсь
B>>Обычный потребительский SSD столько не потянет, для этого нужен NVMe через PCIe, разница в том, что такой сторадж имеет космическую стоимость за TiB C>Цифры где?
C>Я уже раз 10 писал, что особая надежность нужна далеко не всегда. Чукчанечитатель?
ты не потрудился написать об этом в первом сообщении (я не читал весь тред), из первого сообщения понятно только что ты сам не читатель и понятия не имеешь как и для чего все эти облачные технологии используют, но при этом почему-то возмущаешься тому, что реальность не соответствует твоим представлениям о ней
Здравствуйте, Codealot, Вы писали:
I>>Так а паттерн взаимодействия какой? Ты сделал на самом деле некоторый микробенчмарк для измерения какой то пропускной способности. А приложение то что представляет собой? Сильно вряд ли в приложухе скачивание файлов из одной зоны в другую.
C>Случайное чтение данных, в основном.
Хорошо, случайное чтение. А софтина то что собой представляет? Сколько запросов в секунду между компонентами, какой характер взаимодействия и какие там задержки?
C>При чем тут "из одной зоны в другую"?
Здравствуйте, Ikemefula, Вы писали:
I>Хорошо, случайное чтение. А софтина то что собой представляет? Сколько запросов в секунду между компонентами, какой характер взаимодействия и какие там задержки?
На самом деле, там сплошные доказательства твоей неправоты. Иди и сам убедись.
B>ты не потрудился написать об этом в первом сообщении (я не читал весь тред), из первого сообщения понятно только что ты сам не читатель и понятия не имеешь как и для чего все эти облачные технологии используют, но при этом почему-то возмущаешься тому, что реальность не соответствует твоим представлениям о ней
Э нет. Не я эту хрень писал, так что не надо теперь вешать собак на меня.
Здравствуйте, Codealot, Вы писали:
C>Здравствуйте, Ikemefula, Вы писали:
I>>Хорошо, случайное чтение. А софтина то что собой представляет? Сколько запросов в секунду между компонентами, какой характер взаимодействия и какие там задержки?
C>https://en.wikipedia.org/wiki/Azure_Data_Lake
Я честно не знаю, что это такое, как внутри устроено.
I>>Предположение.
C>Оно говорит главным образом о тебе
Разумеется. Раз я предполагаю, это говорит о том, что телепатия не работает
Здравствуйте, Codealot, Вы писали:
C>Здравствуйте, bitboi, Вы писали:
B>>здесь
C>На самом деле, там сплошные доказательства твоей неправоты. Иди и сам убедись.
ты писал "потребительский SSD в разы больше потянет", в разы больше потянет например Samsung PM1653 (если их хотя бы два, лол), но это не потребительский SSD, потребительский SSD использует SATA 3, который ограничен 600MiB/s
единственное из потребительского, что может потянуть 2.5GiB/s, это PCIe NVMe диски, но опять же, ты написал SSD
это все SSD, Кэп, вот только никто никогда не ссылается на NVMe и optane устройства как просто на "потребительский SSD", но даже если ты не такой как все и ты имел ввиду Optane за 3-4 килобакса, черта с два ты с моей нагрузкой обойдешься одним устройством, потому что это непрерывные 2.5GiB/s, ну и даже если отбросить простую арифметику как незначительную деталь, там еще есть чтение (ты же не думал что его нет?), значит один единственный SSD встанет колом из-за read/write interference, и чтение и запись у него будут в разы медленнее при такой нагрузке
Здравствуйте, bitboi, Вы писали:
B>это все SSD, Кэп, вот только никто никогда не ссылается на NVMe и optane устройства как просто на "потребительский SSD",
Да ладно? NVMe уже давно вполне обычный потребительский мейнстрим. И стоит совсем недорого. И выдает при чтении раза в 2.5 больше, чем 2.5GiB/s
Здравствуйте, Codealot, Вы писали:
C>Да ладно? NVMe уже давно вполне обычный потребительский мейнстрим. И стоит совсем недорого. И выдает при чтении раза в 2.5 больше, чем 2.5GiB/s
ты же в курсе, что современные потребительские NVMe дают тебе 600-800 TBW максимум? это значит что у тебя диск умрет через три-четыре дня при такой непрерывной записи
ну и плюс, эти 5-6GiB/s у топовых NVMe, это не sustained write throughput и это не при любой нагрузке, а только при удобной
Здравствуйте, bitboi, Вы писали:
B>ты же в курсе, что современные потребительские NVMe дают тебе 600-800 TBW максимум? это значит что у тебя диск умрет через три-четыре дня при такой непрерывной записи B>ну и плюс, эти 5-6GiB/s у топовых NVMe, это не sustained write throughput и это не при любой нагрузке, а только при удобной
1) А ты в курсе, что непрерывно писать нужно далеко не всем?
2) что у тебя за данные, если ты их непрерывно пишешь и тут же стираешь и перезаписываешь по новой?
3) когда ты говорил о твоем любимом облаке и 2.5 гб/с, то речь шла о чтении. А какая у него скорость записи тебе вообще известно?
C>1) А ты в курсе, что непрерывно писать нужно далеко не всем?
я написал что у меня приложение вот столько непрерывно пишет|читает, ты написал — ерунда, обычный SSD может еще больше, теперь ты пишешь что столько нужно далеко не всем
C>2) что у тебя за данные, если ты их непрерывно пишешь и тут же стираешь и перезаписываешь по новой?
это не у меня, а у клиента (клиент занимается интернет чумой рекламой), данные — горячие пиксели всякие, они не перезаписываются, а постоянно добавляются
C>3) когда ты говорил о твоем любимом облаке и 2.5 гб/с, то речь шла о чтении. А какая у него скорость записи тебе вообще известно?
запись более менее постоянная, где-то на уровне 0.7-1.2GiB/s в зависимости от дня недели и времени суток, чтение по разному, фоново постоянно что-то читается, но есть еще всякие batch штуки, которые могут перечитать весь бакет разок-другой, новые данные пишутся непрерывно, есть ретеншн который удаляет все что старше нескольких месяцев
Здравствуйте, bitboi, Вы писали:
B>я написал что у меня приложение вот столько непрерывно пишет|читает, ты написал — ерунда, обычный SSD может еще больше, теперь ты пишешь что столько нужно далеко не всем
Ты писал про читает. Про "постоянно пишет" ты добавил уже намного позже
B>это не у меня, а у клиента (клиент занимается интернет чумой рекламой), данные — горячие пиксели всякие, они не перезаписываются, а постоянно добавляются
Вообще без понятия, что это за горячие писксели такие, кроме тех что на дешманских мониторах.
Если данные постоянно только добавляются, то
— о TBW тебе точно не стоит беспокоиться
— сколько там петабайт данных уже?
B>запись более менее постоянная, где-то на уровне 0.7-1.2GiB/s в зависимости от дня недели и времени суток, чтение по разному, фоново постоянно что-то читается, но есть еще всякие batch штуки, которые могут перечитать весь бакет разок-другой, новые данные пишутся непрерывно, есть ретеншн который удаляет все что старше нескольких месяцев
То есть никаких постоянных 2.5 гб/с на запись, которых ты требовал.
Здравствуйте, Codealot, Вы писали:
C>Ты писал про читает. Про "постоянно пишет" ты добавил уже намного позже
если что-то читают то и писать наверное тоже должны, тебе так не кажется?
C>Вообще без понятия, что это за горячие писксели такие, кроме тех что на дешманских мониторах.
пиксели которыми трекают загрузку страниц, горячими я их по ошибке обозвал, тип данных тут вообще роли никакой не играет
C>Если данные постоянно только добавляются, то C>— о TBW тебе точно не стоит беспокоиться C>— сколько там петабайт данных уже?
мне не нужно, но ты же говорил что в один SSD можно с такими вот большими скоростями писать
я тебе просто показал, что с такими большими скоростями в один SSD писать можно, но не долго, даже если тебе не нужно все хранить и ты постоянно данные можешь перезаписывать
C>То есть никаких постоянных 2.5 гб/с на запись, которых ты требовал.
да, я в какой-то момент запутался в показаниях, но сути это не меняет, комментарий про "потребительский SSD" отношения к реальности иметь не может
как только данных становится хоть сколько нибудь много (десятки-сотни TiB) локальных сторадж становится очень нетривиальной и дорогой задачей, сколько там отдельный SSD может тебе дать в прыжке — вообще к делу отношения не имеет
ну и не то чтобы один GiB/s это мало, просто сравнивать этот один GiB/s с максимальной пропускной способностью локально диска, это как сравнивать яблоки с апельсинами, единицы измерения одни и те же, но смысл совершенно разный
Здравствуйте, bitboi, Вы писали:
C>>Ты писал про читает. Про "постоянно пишет" ты добавил уже намного позже B>если что-то читают то и писать наверное тоже должны, тебе так не кажется?
Вполне типичный сценарий — записать один раз и потом много раз читать.
Не слышал?
B>пиксели которыми трекают загрузку страниц, горячими я их по ошибке обозвал, тип данных тут вообще роли никакой не играет
Все равно непонятно, что это такое.
B>мне не нужно, но ты же говорил что в один SSD можно с такими вот большими скоростями писать B>я тебе просто показал, что с такими большими скоростями в один SSD писать можно, но не долго, даже если тебе не нужно все хранить и ты постоянно данные можешь перезаписывать
А в облако можно? Так сколько у вас петабайт данных уже?
B>как только данных становится хоть сколько нибудь много (десятки-сотни TiB) локальных сторадж становится очень нетривиальной и дорогой задачей
Ты таки хочешь сказать, что в облаке это будет дешевле?
B>ну и не то чтобы один GiB/s это мало, просто сравнивать этот один GiB/s с максимальной пропускной способностью локально диска, это как сравнивать яблоки с апельсинами, единицы измерения одни и те же, но смысл совершенно разный
Данные пишем, данные читаем. В чем конкретно он "совершенно разный"?
И я так и не увидел ни одного внятного объяснения, почему чтение из облака так тормозит.
