[Avalon] Тормозит база
От: rudzuk  
Дата: 24.03.17 10:34
Оценка:
Авалон на Ubuntu. Установлен из репы. База почти 7Gb, дневная синхронизация длится ооооочень долго, в iotop накручивает какие-то фантастические цифры: чтение сотни гигабайт, запись сотни мегабайт.
avalon/2.0.3
Re: [Avalon] Тормозит база
От: Anton Batenev Россия https://github.com/abbat
Дата: 24.03.17 22:32
Оценка:
Здравствуйте, rudzuk, Вы писали:

r> Авалон на Ubuntu. Установлен из репы. База почти 7Gb, дневная синхронизация длится ооооочень долго, в iotop накручивает какие-то фантастические цифры: чтение сотни гигабайт, запись сотни мегабайт.


Наверное нужно перенести в другой форум. Поделись базой, а то странно, как может быть чтение сотен гигабайт при размере базы всего в 7 (полная база?).
Re[2]: [Avalon] Тормозит база
От: Michael7 Россия  
Дата: 24.03.17 23:40
Оценка:
Здравствуйте, Anton Batenev, Вы писали:

AB> Поделись базой, а то странно, как может быть чтение сотен гигабайт при размере базы всего в 7 (полная база?).


Логически рассуждая, возможно обработчик запросов чудит.
Re[2]: [Avalon] Тормозит база
От: rudzuk  
Дата: 26.03.17 17:38
Оценка:
Здравствуйте, Anton Batenev, Вы писали:

AB>Поделись базой, а то странно, как может быть чтение сотен гигабайт при размере базы всего в 7 (полная база?).


База почти полная, где-то в начале синхронизации сервис возвращал значение даты которое авалон не мог распарсить, и я поменял row_version на немного большее значение, чтобы синхронизация не ломалась. Выложить базу не могу, она даже сжатая под гигабайт, а у меня скорость на отдачу никакая.
avalon/2.0.3
Re[3]: [Avalon] Тормозит база
От: Anton Batenev Россия https://github.com/abbat
Дата: 26.03.17 18:46
Оценка:
Здравствуйте, rudzuk, Вы писали:

r> База почти полная, где-то в начале синхронизации сервис возвращал значение даты которое авалон не мог распарсить, и я поменял row_version на немного большее значение, чтобы синхронизация не ломалась. Выложить базу не могу, она даже сжатая под гигабайт, а у меня скорость на отдачу никакая.


Тогда попробуй ее оптимизировать:

$ sqlite3 avalon.db
> ANALYZE;
> VACUUM FULL;
Бэкапимся на Яндекс.Диск
Re[4]: [Avalon] Тормозит база
От: rudzuk  
Дата: 26.03.17 20:00
Оценка:
Здравствуйте, Anton Batenev, Вы писали:

AB> Тогда попробуй ее оптимизировать:


Делал, не помогает.
avalon/2.0.3
Re[4]: [Avalon] Тормозит база
От: rudzuk  
Дата: 26.03.17 21:14
Оценка:
Здравствуйте, Anton Batenev, Вы писали:

Вот пример. Написал сообщение
Автор: rudzuk
Дата: 26.03.17
и запустил синхронизацию. Она длилась так долго, что ты уже успел и ответ написать. Я ответил
Автор: rudzuk
Дата: 26.03.17
на твоё сообщение и пред синхронизацией зупустил iotop -o -a -P. Запустил синхронизацию. Синхронизация длилась снова очень долго — пишу сразу после неё — по показаниям iotop: чтение — 253.31G, запись 12.05M.
avalon/2.0.3
Re[5]: [Avalon] Тормозит база
От: Anton Batenev Россия https://github.com/abbat
Дата: 26.03.17 22:06
Оценка:
Здравствуйте, rudzuk, Вы писали:

r> Вот пример. Написал сообщение
Автор: rudzuk
Дата: 26.03.17
и запустил синхронизацию. Она длилась так долго, что ты уже успел и ответ написать. Я ответил
Автор: rudzuk
Дата: 26.03.17
на твоё сообщение и пред синхронизацией зупустил iotop -o -a -P. Запустил синхронизацию. Синхронизация длилась снова очень долго — пишу сразу после неё — по показаниям iotop: чтение — 253.31G, запись 12.05M.


Это что-то запредельное. А если создать новую базу (отложив старую в сторонку), проблема сохраняется? Если нет, попробуй перенести из новой пустой базы строки row_version:

sqlite> select * from row_version;
user|AACnQgE/yww=
message|AACnQwAPzXU=
rating|AACnQwAO1ls=
moderate|AACnQgEz/SY=


Или, перед этим еще попробовать 1-ю ветку (у тебя судя по подписи 2-я) клиента. Схемы баз в них пока что идентичны, но все равно стоит сделать копию базы.
Re[6]: [Avalon] Тормозит база
От: rudzuk  
Дата: 27.03.17 06:53
Оценка:
Здравствуйте, Anton Batenev, Вы писали:

Проблема решилась изменением размера страницы на 8192 + уплотнение базы, а затем обратное увеличение страницы + уплотнение базы. Довольно странно, ведь авалон у меня не падал, а из всех проблем за время синхронизации были только несколько обрывов связи.
avalon/2.0.3
 
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.