Re: линукс и память
От: Somescout  
Дата: 21.05.18 05:49
Оценка:
Здравствуйте, Ваня Первачев, Вы писали:

ВП>наброшу и я

ВП>почему линукс встает колом когда память заканчивается?
ВП>у винды такого не наблюдал
ВП>лучше зависнуть чем кикнуть последний процесс?

Из забавных линукс решений: решил глянуть сколько файлы логов занимают, наткнулся на /var/log/lastlog — около 500GB. WTF?
Начал искать, это шедеврально:

Why does the file appear to be 1.2 TB? This is because space is "allocated" ahead of time for all possible user IDs, which is about 2^32 users multiplied by 256 bytes for each login record, which is about 1.2 TB -- more or less.

http://www.noah.org/wiki/Lastlog_is_gigantic


То есть это sparse-файл, который распределяется из расчёта 256*MaxUID. Молоцы.
ARI ARI ARI... Arrivederci!
Re[14]: Поэтому.
От: Somescout  
Дата: 23.05.18 07:52
Оценка: :)
Здравствуйте, Anton Batenev, Вы писали:

AB>О том, что у тебя FreeBSD, а не Linux? А под Linux с ZFS у нас как-то так — можно считать, что в обсуждаемом кейсе бэкапы были потеряны (если не были обложены по самое горло градусниками и оповещениями).


LOL. Могу привести примеры сбоев "сверхстабильного" XFS, который по-умолчанию используется Centos'ом (и, собственно, произошёл именно на нём). И в отличии от проблем с ZFS, на проблемы с XFS я наступал самостоятельно.
ARI ARI ARI... Arrivederci!
Re[4]: линукс и память
От: Sheridan Россия  
Дата: 24.05.18 06:57
Оценка:
Здравствуйте, netch80, Вы писали:

N>Сколько пользовал гном — не было такого. Перешёл на KDE после того, как гном стали делать похожим на Windows 8/10.

Я жил в КДЕ с третьей версии. Приблизительно с пятой ушол в мяту, ибо кде вместе с гномом обросли свистоперделками по самые гланды и стали требовать овердофига ресурсов. Из мяты ушел в корицу, а потом в awesome. И из тайловых wm я теперь никуда.
Matrix has you...
Re[14]: дадада
От: vdimas Россия  
Дата: 24.05.18 07:17
Оценка:
Здравствуйте, Sheridan, Вы писали:

S>В калькуляторе такой же кремний. Сравнение не просто более чем корректное, а корректное вплоть до атомной решотки. И память не кончается. Безобразие!


В программируемом — кончается.
Данные из стека улетают.
Ты никогда не видел надписи ЕГ0ГГ? ))
Re[2]: линукс и память
От: netch80 Украина http://netch80.dreamwidth.org/
Дата: 24.05.18 08:25
Оценка:
Здравствуйте, Somescout, Вы писали:

S>

Why does the file appear to be 1.2 TB? This is because space is "allocated" ahead of time for all possible user IDs, which is about 2^32 users multiplied by 256 bytes for each login record, which is about 1.2 TB -- more or less.

S>http://www.noah.org/wiki/Lastlog_is_gigantic


S>То есть это sparse-файл, который распределяется из расчёта 256*MaxUID. Молоцы.


И что плохого-то? Кроме того, что тупой копировщик может не понять, что файл разреженный?

Кстати, какой это дистрибутив? У меня что-то такого нет, размеры по ~290KB.
The God is real, unless declared integer.
Re[3]: линукс и память
От: Somescout  
Дата: 24.05.18 08:33
Оценка:
Здравствуйте, netch80, Вы писали:

N>И что плохого-то? Кроме того, что тупой копировщик может не понять, что файл разреженный?


Я в курсе что такое разреженный файл. Меня сам принцип радует — выделить по 256 байт на каждый возможный UID. Это просто прекрасно во всех отношениях.

N>Кстати, какой это дистрибутив? У меня что-то такого нет, размеры по ~290KB.


Centos 7
ARI ARI ARI... Arrivederci!
Re[4]: линукс и память
От: netch80 Украина http://netch80.dreamwidth.org/
Дата: 24.05.18 09:50
Оценка:
Здравствуйте, Somescout, Вы писали:

N>>И что плохого-то? Кроме того, что тупой копировщик может не понять, что файл разреженный?


S>Я в курсе что такое разреженный файл. Меня сам принцип радует — выделить по 256 байт на каждый возможный UID. Это просто прекрасно во всех отношениях.


Это просто размер struct utmpx, насколько я понимаю.
Там несколько длинных полей вроде remote hostname.

Ну а альтернатива — сделать что-то вроде BDB hash — требует BDB или аналога Зачем?

N>>Кстати, какой это дистрибутив? У меня что-то такого нет, размеры по ~290KB.

S>Centos 7

Вот у меня такого на центоси 7 не происходит.
Возможно, у тебя зафиксирован вход юзером с uid=-1 тогда это само по себе диверсия или возможный взлом.
The God is real, unless declared integer.
Re[5]: линукс и память
От: Somescout  
Дата: 26.05.18 15:57
Оценка:
Здравствуйте, netch80, Вы писали:

N>Это просто размер struct utmpx, насколько я понимаю.

N>Там несколько длинных полей вроде remote hostname.

N>Ну а альтернатива — сделать что-то вроде BDB hash — требует BDB или аналога Зачем?


Э... потому что текущий вариант редкостное уродство? Причём и с точки зрения пользователя, и с точки зрения программиста.

N>Вот у меня такого на центоси 7 не происходит.

N>Возможно, у тебя зафиксирован вход юзером с uid=-1 тогда это само по себе диверсия или возможный взлом.

Это описано в KB Redhat'а — т.е. стандартное поведение. Возможно дело в последней версии Centos или в том что система введена в домен.
ARI ARI ARI... Arrivederci!
Re[6]: линукс и память
От: netch80 Украина http://netch80.dreamwidth.org/
Дата: 26.05.18 16:15
Оценка:
Здравствуйте, Somescout, Вы писали:

N>>Это просто размер struct utmpx, насколько я понимаю.

N>>Там несколько длинных полей вроде remote hostname.
N>>Ну а альтернатива — сделать что-то вроде BDB hash — требует BDB или аналога Зачем?
S>Э... потому что текущий вариант редкостное уродство? Причём и с точки зрения пользователя, и с точки зрения программиста.

Он непривычен — факт, но никаких причин считать его "редкостным уродством" я не вижу.
The God is real, unless declared integer.
Re[14]: Поэтому.
От: Ops Россия  
Дата: 26.05.18 20:34
Оценка:
Здравствуйте, Anton Batenev, Вы писали:

AB>О том, что у тебя FreeBSD, а не Linux? А под Linux с ZFS у нас как-то так — можно считать, что в обсуждаемом кейсе бэкапы были потеряны (если не были обложены по самое горло градусниками и оповещениями).


По-моему файловая система — это из тех редких случаев, когда говно мамонта в дистрибутивах лялиха оправдано. Если не спешить в ряды подопытных кроликов, то на такой эпик не напорешься, в данном случае достаточно было дать отлежаться с полгодика хотя бы.
Переубедить Вас, к сожалению, мне не удастся, поэтому сразу перейду к оскорблениям.
Re[7]: дадада
От: mizuchi Земля  
Дата: 03.06.18 04:46
Оценка:
Здравствуйте, Somescout, Вы писали:

S>Здравствуйте, Sheridan, Вы писали:


S>>http://rsdn.org/forum/flame.comp/7121660.1
Автор: Sheridan
Дата: 21.04.18


S>Ещё раз — в данном случае речь о поведении линукса при нехватке памяти. Понятно, что после добавления памяти и увеличения свопа всё стало более-менее, но вот про нехватке — линукс шустро ложился кверху лапками. Кстати говоря винда, даже при полном исчерпании свопа (когда кривое приложение съело всю память) просто ложило это приложение (точнее оно само умирало когда больше не могло выделить память) и продолжала работать, пусть и со скрипом дисков.


какой линукс? линуксов хренова туча. есть даже те, которые работают на что-то вроде 5Mб памяти. да, пять мб озу.

арчу нужно 512Мб. у меня редко зависает. только когда когда у меня больше сотни вкладок открыто в хроме. иногда. и отвисает через пару минут, когда расширение в хроме, которое жрёт память, убивается.


то есть, можно сказать, что он вообще никогда не зависает.
---------------------

nothingness.space
Re[3]: Поэтому.
От: mizuchi Земля  
Дата: 03.06.18 04:49
Оценка:
Здравствуйте, Ваня Первачев, Вы писали:

ВП>Здравствуйте, Sheridan, Вы писали:


S>>Ну и следи как бы за потреблением памяти. Поднимай мониторинг (прометей-телегаф-нодаэкспортер-графана нопример) и смотри что творицца. Универсального совета дать не смогу так как ситуации сильно разные. Гдето нужен большой кеш, гдето буферы и так далее.


S>>И не забывайте перед закупкой железа/vps выяснять — а насколько дорого будет добавить еще памяти. Потому что нагрузка может вырасти ВДРУГ (стартап стал популярен и пришли миллионы нопример).

S>>Ну и в идеале нужно уметь разворачивать мощности парой команд за минимальное время. Курите IaC и ansible.

ВП>у меня десктоп

ВП>24гб озу+11гб свап


у тебя убунта наверное? говно ещё то.


у меня arch на ноуте при 8Гб не зависает. и вообще, летает.
---------------------

nothingness.space
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.