Тут уже машинное обучение к оптимизации бд пристроили. Вероятно и раньше были попытки, но сейчас во всю -- предсказание нагрузки, перестраивание индексов и т.д. и т.п.

https://blog.acolyer.org/2017/01/17/self-driving-database-management-systems/

Здравствуйте, Sharov, Вы писали:

S>Тут уже машинное обучение к оптимизации бд пристроили. Вероятно и раньше были попытки, но сейчас во всю -- предсказание нагрузки, перестраивание индексов и т.д. и т.п.

что только не придумают, чтоб админам не платить

Здравствуйте, paucity, Вы писали:

P>Здравствуйте, Sharov, Вы писали:

S>>Тут уже машинное обучение к оптимизации бд пристроили. Вероятно и раньше были попытки, но сейчас во всю -- предсказание нагрузки, перестраивание индексов и т.д. и т.п.

P>что только не придумают, чтоб админам не платить

Вполне естественный тренд, кстати. В будущем будут dba и подобные оптимизаторы.

Здравствуйте, Sharov, Вы писали:

S>Тут уже машинное обучение к оптимизации бд пристроили. Вероятно и раньше были попытки, но сейчас во всю -- предсказание нагрузки, перестраивание индексов и т.д. и т.п.

С одной стороны, тема интересная и перспективная. С другой есть кое-какие вопросы:

1. "Tuning a modern DBMS has become a black art" — возможно это и так с точки зрения непосвященных, но что будет если навернуть поверх этого еще и нейронную сеть? Магия в квадрате? Как бы не пришлось в итоге ставить админа, который будет тюнить еще и ее. Кстати, вот интересная история о том, как команда провела месяц под управлением искусственного интеллекта и чем все в итоге закончилось.

2. "The workload forecasting component contains models to predict the arrival rate of queries for each workload cluster. Obviously we need to use deep learning for this" — вот уж совершенно не очевидно, что deep learning здесь будет лучше обычных методов вроде линейной регрессии или разложения в ряды сезонных компонент. И, кстати, не очевидно, что такое предсказание вообще возможно в общем случае. Скорей всего, здесь будет какой-то дневной паттерн (например, высокая нагрузка в рабочие часы с 9 до 18), недельный и месячный паттерны и возможно годовой (например, пики активности летом для туристических сайтов и тд). Но также здесь будут внешние события, которые система не сможет предугадать. Например, какой-нибудь хабр-эффект.

3. "Using these forecasts, the optimiser is able to reduce overall latency by switching layouts between daytime OLTP and night time OLAP queries" — немного не понятно, что входит в этот layouts switching, но, в принципе, это элементарно делается и без нейронной сети с более предсказуемым результатом.

Но, кстати, могу сказать, что у нас в компании уже используется forecasting нагрузки на базы и использования дискового пространства с целью более оптимального выделения ресурсов в кластере. Говорят, что работает неплохо, правда это пока автоматизированный, но не полностью автоматический процесс.

Здравствуйте, Джеффри, Вы писали:

Д>С одной стороны, тема интересная и перспективная. С другой есть кое-какие вопросы:

Д> вот интересная история о том, как команда провела месяц под управлением искусственного интеллекта и чем все в итоге закончилось.

У вас ссылка неправильная. Вот правильная.

Здравствуйте, Джеффри, Вы писали:

Д>Здравствуйте, Sharov, Вы писали:

S>>Тут уже машинное обучение к оптимизации бд пристроили. Вероятно и раньше были попытки, но сейчас во всю -- предсказание нагрузки, перестраивание индексов и т.д. и т.п.

Д>С одной стороны, тема интересная и перспективная. С другой есть кое-какие вопросы:

Д>1. "Tuning a modern DBMS has become a black art" — возможно это и так с точки зрения непосвященных, но что будет если навернуть поверх этого еще и нейронную сеть? Магия в квадрате? Как бы не пришлось в итоге ставить админа, который будет тюнить еще и ее. Кстати, вот интересная история о том, как команда провела месяц под управлением искусственного интеллекта и чем все в итоге закончилось.

Видел я эту статью, мне больше всего вот этот комментарий понравился:

Хорошо придумали парни, я имею ввиду грамотный рекламный ход. Нет никаких подробностей об конретной системе ИИ . Очень похоже что ребята создают шумиху вокруг себя, за счёт тренда на AI.