Re[2]: Linux and I/O
От: quwy  
Дата: 17.03.10 14:42
Оценка: +2 -3 :)))
Здравствуйте, Turtle.BAZON.Group, Вы писали:

TBG>Интересный метод решения проблем. :) Написать в КСВ — какое говно ваше (тут подставить по необходимости описание вашей проблемы) и ждать помощи. :)

О какой помощи речь, вы что?! Я давно для себя уяснил, что у луноходов помощи просить бесполезно, причем я это понял не задав ни одного вопроса. Просто изучал форумы, в которых как правило красуется вопрос без ответов (или с идиотскими ответами типа "снеси дебиан, поставь шапку, у меня в ней все работает!"). Так что вопрос "Какого хрена?" сугубо риторический и на конкретную помощь я не рассчитываю.
Re: Linux and I/O
От: koandrew Канада http://thingselectronic.blogspot.ca/
Дата: 17.03.10 15:47
Оценка: 6 (2) +2 :)))
Здравствуйте, quwy, Вы писали:

Q>Пукну и я в сторону финских поделок, можно?


Q>Почему в этом вашем линуксе весь дисковый I/O замирает, если есть хоть один интенсивно пишущий на диск процесс? Бред просто, скидывается на сервер бекап с другого сервера (по sshfs или ftp, не важно), так начинает дико тормозить даже отдача статики в web-сервере. Причем на передающем сервере I/O имеет точно такую же интенсивность, но на чтение, и там все летает как обычно. Когда направление передачи бекапа меняется на обратное, тормозить уже начинает второй, точно так же. Какого хрена?


Q>P.S. Винты SATA и работают в DMA-моде; RAID5; Ext3 с журналированием; Debian lenny x86-64.


Вот наиболее вероятный ответ:

[КУ] оккупировала армия.
Re: Linux and I/O
От: Turtle.BAZON.Group  
Дата: 17.03.10 14:30
Оценка: -1 :)))
Здравствуйте, quwy, Вы писали:

PS: Винты IDE в DMA, XFS, Debian lenny x86. У меня не замирают. При том, что сервер нагружен по самое немогу всякими дисковыми операциями.

Q>P.S. Винты SATA и работают в DMA-моде; RAID5; Ext3 с журналированием; Debian lenny x86-64.
Re[3]: Linux and I/O
От: Sheridan Россия  
Дата: 17.03.10 19:25
Оценка: 1 (1) +1
Приветствую, quwy, вы писали:
q> О какой помощи речь, вы что?!

Вопросы в стиле "какого хрена...?" ака "Пукну и я в сторону финских поделок, можно?\n\nПочему в вашем линуксе..." все дружно идут в туда.
avalon 1.0rc3 rev 315, zlib 1.2.3
build date: 15.02.2010 00:26:03 MSK +03:00
Qt 4.6.1
Matrix has you...
Linux and I/O
От: quwy  
Дата: 17.03.10 12:20
Оценка: -1 :)
Пукну и я в сторону финских поделок, можно? :)

Почему в этом вашем линуксе весь дисковый I/O замирает, если есть хоть один интенсивно пишущий на диск процесс? Бред просто, скидывается на сервер бекап с другого сервера (по sshfs или ftp, не важно), так начинает дико тормозить даже отдача статики в web-сервере. Причем на передающем сервере I/O имеет точно такую же интенсивность, но на чтение, и там все летает как обычно. Когда направление передачи бекапа меняется на обратное, тормозить уже начинает второй, точно так же. Какого хрена?

P.S. Винты SATA и работают в DMA-моде; RAID5; Ext3 с журналированием; Debian lenny x86-64.
linux i/o тормоза
Re[5]: Linux and I/O
От: master_of_shadows Беларусь  
Дата: 17.03.10 15:50
Оценка: 1 (1)
Здравствуйте, IID, Вы писали:

IID>Ну так и причём тут винда ? Фаерволлы-антивирусы известные источники синяков.


Заметь, не я это сказал (про Винду). Она и не при чём, я в общем про глас вопиющего в пустыне. Иногда и по работе сталкиваюсь. Найдёшь косяк, начинаешь гуглить и опа-на: посты с вопросами есть, ответы: я хз, у меня от так (чуть по другому) и работает. Или вообще ответов нет. Корреляции между осью/софтом я вообще не видел.

__>>Пользуясь случая спрошу, а может кто подскажет альтернативу Аутпосту? Нужно не много. Список активных конектов: кто куда. Возможность задавания рулов на лету когда кто то пытается вылезть наружу/залезть ко мне. Всё.


IID>OSSS. С версии 1.5, которая ожидается в ближайшее время, статус "Beta" будет снят.


Залез, глянул. Чепяль . Отдельно фаервола нету, есть только в составе чудойогурта, который мне нафиг не сдался. Или же можно вырубить нафиг всё остальное? Так что бы оно даже драйвера не ставило в систему.
Re: Linux and I/O
От: Turtle.BAZON.Group  
Дата: 17.03.10 14:29
Оценка: :)
Здравствуйте, quwy, Вы писали:

Интересный метод решения проблем. Написать в КСВ — какое говно ваше (тут подставить по необходимости описание вашей проблемы) и ждать помощи.

Q>Почему в этом вашем линуксе весь дисковый I/O замирает, если есть хоть один интенсивно пишущий на диск процесс? Бред просто, скидывается на сервер бекап с другого сервера (по sshfs или ftp, не важно), так начинает дико тормозить даже отдача статики в web-сервере. Причем на передающем сервере I/O имеет точно такую же интенсивность, но на чтение, и там все летает как обычно. Когда направление передачи бекапа меняется на обратное, тормозить уже начинает второй, точно так же. Какого хрена?

Q>P.S. Винты SATA и работают в DMA-моде; RAID5; Ext3 с журналированием; Debian lenny x86-64.
Re[3]: Linux and I/O
От: master_of_shadows Беларусь  
Дата: 17.03.10 15:40
Оценка: :)
Здравствуйте, quwy, Вы писали:

Q>О какой помощи речь, вы что?! Я давно для себя уяснил, что у луноходов помощи просить бесполезно, причем я это понял не задав ни одного вопроса.


Правильно, чо там. Рабинович напел и нормально .

Q>Просто изучал форумы, в которых как правило красуется вопрос без ответов (или с идиотскими ответами типа "снеси дебиан, поставь шапку, у меня в ней все работает!"). Так что вопрос "Какого хрена?" сугубо риторический и на конкретную помощь я не рассчитываю.


Много раз пытаясь найти решение проблеммы натыкаюсь на вот такие вопросы в духе глас вопиющего в пустыне.
Самое фееричное из последнего что вспомнилось, это синий экран. Возник после апгрейда компа nForce250 + Атлон 754 + 6600GT => AMD 770 + Атлон х3 + 4650. Синий экран в ФФ. Стабильно и постоянно. Гугление привело к не совместимости Outpost и FF. Посты людей от 2004 до 2009. Проблемма до сих пор не решена. Продукт платный, а косяк жив 6-ть лет . ФФ не виноват, ибо без Аутпоста пашет аки часы, с оным венда падает в синий экран ссылаясь на некий драйвер. Понятное дело, что ФФ никаких драйверов в ОС не ставит.

Пользуясь случая спрошу, а может кто подскажет альтернативу Аутпосту? Нужно не много. Список активных конектов: кто куда. Возможность задавания рулов на лету когда кто то пытается вылезть наружу/залезть ко мне. Всё.
Re: iotop и параметры монтирования в студию (-)
От: Roman Odaisky Украина  
Дата: 17.03.10 12:55
Оценка:
До последнего не верил в пирамиду Лебедева.
Re[2]: iotop и параметры монтирования в студию (-)
От: quwy  
Дата: 17.03.10 13:05
Оценка:
В iotop ничего интересного нет, на вершине сидит пишущий процесс и демон журналирования все время возле него топчется (иногда выходя в лидеры). А монтируется все почти по-дефолту:

/dev/md2 / ext3 defaults,noatime,usrquota 0 0

Re[2]: Linux and I/O
От: IID Россия  
Дата: 17.03.10 14:30
Оценка:
Здравствуйте, Turtle.BAZON.Group, Вы писали:

TBG>Интересный метод решения проблем. Написать в КСВ — какое говно ваше (тут подставить по необходимости описание вашей проблемы) и ждать помощи.


И ведь это работает!
kalsarikännit
Re: Linux and I/O
От: Cyberax Марс  
Дата: 17.03.10 14:35
Оценка:
Здравствуйте, quwy, Вы писали:

Q>Почему в этом вашем линуксе весь дисковый I/O замирает, если есть хоть один интенсивно пишущий на диск процесс? Бред просто, скидывается на сервер бекап с другого сервера (по sshfs или ftp, не важно), так начинает дико тормозить даже отдача статики в web-сервере. Причем на передающем сервере I/O имеет точно такую же интенсивность, но на чтение, и там все летает как обычно. Когда направление передачи бекапа меняется на обратное, тормозить уже начинает второй, точно так же. Какого хрена?

Какая ОС и какие настройки дисковой подсистемы?

Конкретно ext3 весьма известна своим достаточно тупым поведением при flush()'е при режиме data=ordered — он даёт хорошую надёжность (так как метаданные пишутся после данных), но весьма тормозит.

Попробуй поставить в /etc/fstab опцию data=writeback для файловой системы. Это слегка уменьшит надёжность в случае падений (примерно до уровня NTFS ), но весьма ускорит твой сценарий.

Ну и с помощью ionice можно ещё пишущему процессу приоритет понизить.
Sapienti sat!
Re[2]: Linux and I/O
От: quwy  
Дата: 17.03.10 14:52
Оценка:
Здравствуйте, Cyberax, Вы писали:

Q>>Почему в этом вашем линуксе весь дисковый I/O замирает, если есть хоть один интенсивно пишущий на диск процесс? Бред просто, скидывается на сервер бекап с другого сервера (по sshfs или ftp, не важно), так начинает дико тормозить даже отдача статики в web-сервере. Причем на передающем сервере I/O имеет точно такую же интенсивность, но на чтение, и там все летает как обычно. Когда направление передачи бекапа меняется на обратное, тормозить уже начинает второй, точно так же. Какого хрена?

C>Какая ОС и какие настройки дисковой подсистемы?
Сказал же, дебиан x64, диски SATA в софтовом raid5 минимальной конфигурации.

C>Попробуй поставить в /etc/fstab опцию data=writeback для файловой системы. Это слегка уменьшит надёжность в случае падений (примерно до уровня NTFS :) ), но весьма ускорит твой сценарий.

Вопрос в другом: почему запись мешает чтению намного больше, чем одно чтение мешает другому чтению?
Хотя теперь кажется понимаю: пока не запишутся метаданые, диску вообще не позволено отвлекаться на что-то другое. Вот только нафига так делать?

C>Ну и с помощью ionice можно ещё пишущему процессу приоритет понизить.

До фени этот ionice, это первое, что я сделал, и это не изменило вообще ничего. Похоже приоритезация I/O -- или вообще фикция, или очень условна.
Re[3]: Linux and I/O
От: Cyberax Марс  
Дата: 17.03.10 15:11
Оценка:
Здравствуйте, quwy, Вы писали:

C>>Какая ОС и какие настройки дисковой подсистемы?

Q>Сказал же, дебиан x64, диски SATA в софтовом raid5 минимальной конфигурации.
Какой Debian? Potato или Woody?

C>>Попробуй поставить в /etc/fstab опцию data=writeback для файловой системы. Это слегка уменьшит надёжность в случае падений (примерно до уровня NTFS ), но весьма ускорит твой сценарий.

Q>Вопрос в другом: почему запись мешает чтению намного больше, чем одно чтение мешает другому чтению?
Потом что запись (точнее, fsync) требует сброса журналированых данных.

Q>Хотя теперь кажется понимаю: пока не запишутся метаданые, диску вообще не позволено отвлекаться на что-то другое. Вот только нафига так делать?

Ещё хуже. Пока не запишутся все закэшированные данные и метаданные. Так как журналирование подразумевает как минимум сохранение порядка записи метаданных.

C>>Ну и с помощью ionice можно ещё пишущему процессу приоритет понизить.

Q>До фени этот ionice, это первое, что я сделал, и это не изменило вообще ничего. Похоже приоритезация I/O -- или вообще фикция, или очень условна.
Логично... Сброс журнала всё подавляет.
Sapienti sat!
Re[4]: Linux and I/O
От: Erop Россия  
Дата: 17.03.10 15:31
Оценка:
Здравствуйте, Cyberax, Вы писали:

C>Ещё хуже. Пока не запишутся все закэшированные данные и метаданные. Так как журналирование подразумевает как минимум сохранение порядка записи метаданных.


А почему у NTFS нет такой проблемы тогда? Там же тоже есть журналирование вроде?..
Все эмоциональные формулировки не соотвествуют действительному положению вещей и приведены мной исключительно "ради красного словца". За корректными формулировками и неискажённым изложением идей, следует обращаться к их автором или воспользоваться поиском
Re[5]: Linux and I/O
От: Cyberax Марс  
Дата: 17.03.10 15:33
Оценка:
Здравствуйте, Erop, Вы писали:

C>>Ещё хуже. Пока не запишутся все закэшированные данные и метаданные. Так как журналирование подразумевает как минимум сохранение порядка записи метаданных.

E>А почему у NTFS нет такой проблемы тогда? Там же тоже есть журналирование вроде?..
В ней по умолчанию режим, подобный data=writeback. В нём гарантируется только упорядоченность метаданных.

В Линуксе по умолчанию стоит режим data=ordered, в котором гарантируется строгий порядок метаданных и данных.
Sapienti sat!
Re[4]: Linux and I/O
От: uhh  
Дата: 17.03.10 15:34
Оценка:
Здравствуйте, Cyberax, Вы писали:

C>Здравствуйте, quwy, Вы писали:


C>>>Какая ОС и какие настройки дисковой подсистемы?

Q>>Сказал же, дебиан x64, диски SATA в софтовом raid5 минимальной конфигурации.
C>Какой Debian? Potato или Woody?

помощь зала топикпастеру: Debian lenny x86-64.
Re[4]: Linux and I/O
От: IID Россия  
Дата: 17.03.10 15:43
Оценка:
Здравствуйте, master_of_shadows, Вы писали:

__>Самое фееричное из последнего что вспомнилось, это синий экран. Возник после апгрейда компа nForce250 + Атлон 754 + 6600GT => AMD 770 + Атлон х3 + 4650. Синий экран в ФФ. Стабильно и постоянно. Гугление привело к не совместимости Outpost и FF. Посты людей от 2004 до 2009. Проблемма до сих пор не решена. Продукт платный, а косяк жив 6-ть лет . ФФ не виноват, ибо без Аутпоста пашет аки часы, с оным венда падает в синий экран ссылаясь на некий драйвер. Понятное дело, что ФФ никаких драйверов в ОС не ставит.


Ну так и причём тут винда ? Фаерволлы-антивирусы известные источники синяков.

__>Пользуясь случая спрошу, а может кто подскажет альтернативу Аутпосту? Нужно не много. Список активных конектов: кто куда. Возможность задавания рулов на лету когда кто то пытается вылезть наружу/залезть ко мне. Всё.


OSSS. С версии 1.5, которая ожидается в ближайшее время, статус "Beta" будет снят.
kalsarikännit
Re[6]: Linux and I/O
От: IID Россия  
Дата: 17.03.10 16:03
Оценка:
Здравствуйте, master_of_shadows, Вы писали:

__>Здравствуйте, IID, Вы писали:


__>>>Пользуясь случая спрошу, а может кто подскажет альтернативу Аутпосту? Нужно не много. Список активных конектов: кто куда. Возможность задавания рулов на лету когда кто то пытается вылезть наружу/залезть ко мне. Всё.


IID>>OSSS. С версии 1.5, которая ожидается в ближайшее время, статус "Beta" будет снят.


__>Залез, глянул. Чепяль .


Что такое чепяль ?

__>Отдельно фаервола нету, есть только в составе чудойогурта, который мне нафиг не сдался. Или же можно вырубить нафиг всё остальное? Так что бы оно даже драйвера не ставило в систему.


Проактивку можно вырубить ещё на этапе установки. Драйвер там один, общий (будет в любом случае установлен). Но вырубленные функции мешаться и отжирать ресурсы не станут.
kalsarikännit
Re[7]: Linux and I/O
От: master_of_shadows Беларусь  
Дата: 17.03.10 16:11
Оценка:
Здравствуйте, IID, Вы писали:

IID>Что такое чепяль ?


Печаль. А-ля очепятка.

IID>Проактивку можно вырубить ещё на этапе установки. Драйвер там один, общий (будет в любом случае установлен). Но вырубленные функции мешаться и отжирать ресурсы не станут.


Ага, спасибо, гляну. Мне главное что бы всякие антивирусы под ногами на мешались, только инет соединение.
Re[6]: Linux and I/O
От: azzx Россия  
Дата: 17.03.10 16:14
Оценка:
Здравствуйте, master_of_shadows, Вы писали:

__>Залез, глянул. Чепяль . Отдельно фаервола нету, есть только в составе чудойогурта, который мне нафиг не сдался. Или же можно вырубить нафиг всё остальное? Так что бы оно даже драйвера не ставило в систему.


У меня та же проблема, за исключением того, что знаю такую софтинку. Называется AtGuard и "похоронена" уже очень давно. У некоторых порой глючила на XP. Но обычно работает как часы. Хотелось бы такого же и желательно в opensource-се, чтобы не померло ещё раз.
Re[7]: Linux and I/O
От: IID Россия  
Дата: 17.03.10 16:26
Оценка:
Здравствуйте, azzx, Вы писали:

A>У меня та же проблема, за исключением того, что знаю такую софтинку. Называется AtGuard и "похоронена" уже очень давно. У некоторых порой глючила на XP. Но обычно работает как часы. Хотелось бы такого же и желательно в opensource-се, чтобы не померло ещё раз.


Да, помню. Отличная штука была в те времена. Но сейчас его можно заменить OSSS. В разы лучше и современнее. И помирать вроде не собирается, скорее наоборот, только набирает обороты
kalsarikännit
Re[2]: Linux and I/O
От: Turtle.BAZON.Group  
Дата: 17.03.10 16:28
Оценка:
Здравствуйте, koandrew, Вы писали:

Ну если вопрос построен в стиле — вот оно, *****! То и ответ не более информативный.

K>Вот наиболее вероятный ответ:

K>
K>
Re[8]: Linux and I/O
От: IID Россия  
Дата: 17.03.10 16:35
Оценка:
Здравствуйте, master_of_shadows, Вы писали:

IID>>Проактивку можно вырубить ещё на этапе установки. Драйвер там один, общий (будет в любом случае установлен). Но вырубленные функции мешаться и отжирать ресурсы не станут.


__>Ага, спасибо, гляну. Мне главное что бы всякие антивирусы под ногами на мешались, только инет соединение.


Проактивка очень полезна в плане доверия к процессу, лезущему в сеть. Чтобы троян не мог влезть в АП процессу/замаскироваться под процесс, которому ты разрешил доступ. Я бы советовал не отключать её, или хотя бы отключать не всю (там есть настройки, какие именно события будут контролироваться). Например, если ты мирно читаешь доку, а у тебя ВНЕЗАПНО стал создаваться исполняемый PE-файл на диске, да ещё от имени браузера, то дело явно пахнет керосином
kalsarikännit
Re[2]: Linux and I/O
От: Eugeny__ Украина  
Дата: 17.03.10 18:07
Оценка:
Здравствуйте, Turtle.BAZON.Group, Вы писали:

TBG>Интересный метод решения проблем. Написать в КСВ — какое говно ваше (тут подставить по необходимости описание вашей проблемы) и ждать помощи.


Я давно этим пользуюсь.
Новости очень смешные. Зря вы не смотрите. Как будто за наркоманами подсматриваешь. Только тетка с погодой в завязке.
There is no such thing as a winnable war.
Re[9]: Linux and I/O
От: master_of_shadows Беларусь  
Дата: 17.03.10 19:02
Оценка:
Здравствуйте, IID, Вы писали:

__>>Ага, спасибо, гляну. Мне главное что бы всякие антивирусы под ногами на мешались, только инет соединение.


IID>Проактивка очень полезна в плане доверия к процессу, лезущему в сеть. Чтобы троян не мог влезть в АП процессу/замаскироваться под процесс, которому ты разрешил доступ. Я бы советовал не отключать её, или хотя бы отключать не всю (там есть настройки, какие именно события будут контролироваться). Например, если ты мирно читаешь доку, а у тебя ВНЕЗАПНО стал создаваться исполняемый PE-файл на диске, да ещё от имени браузера, то дело явно пахнет керосином


Похожую штуку в Аутпосте я выключил очень быстро, ибо постоянно ругался на студию и ещё на что-то. Гляну что здесь.
Re: Linux and I/O
От: Sheridan Россия  
Дата: 17.03.10 19:25
Оценка:
Приветствую, quwy, вы писали:

q> P.S. Винты SATA и работают в DMA-моде; RAID5; Ext3 с журналированием; Debian lenny x86-64.

ок.
IO Шедулер какой, говоришь?
avalon 1.0rc3 rev 315, zlib 1.2.3
build date: 15.02.2010 00:26:03 MSK +03:00
Qt 4.6.1
Matrix has you...
Re[2]: Linux and I/O
От: Turtle.BAZON.Group  
Дата: 18.03.10 06:59
Оценка:
Здравствуйте, koandrew, Вы писали:

Контрпример
Автор: Wolverrum
Дата: 17.03.10


K>Вот наиболее вероятный ответ:

K>
K>
 
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.