Здравствуйте, SkyKnight, Вы писали:

SK>Что значит испытывают сложности, те кто в матан могут? Чем им их знания вышки могут помешать построить, скажем, при помощи Keras модель, обучить и использовать. Я вопрос вообще не понял никак.
А чем их знания могут помочь построить при помощи Keras модель, обучить и пользоваться? Мой поинт именно в этом, что производную никто считать не будет. И это знание — что оно есть, что нету не влияет на способность описать и обучить модель. Или не способность.


m2l>>Я это и спрашиваю — может вот реально есть какой-то опыт, где глубокие знания дифисчисления помогают как-то оптимизировать модель (с точки зрения того, кто эту модель обучает, а не разработчика фреймоврка)?
SK>Обучение модели это не что иное как задача по оптимизации. Желательно найти глобальный минимум функции потерь, но обычно это не удается, поэтому есть разнообразные техники при обучении, чтобы не попасть сразу же в первый локальный минимум.
Я это знаю. Но вопрос тот-же: как знание дифисчисления помогает человеку пользоваться библиотекой с готовым набором оптимизаторов? На каком этапе при работе с датасетом, описанием модели или обучением человек должен им воспользоваться, применительно к чему, как это помогает выбрать функцию активации или число нейронов в слое?

m2l>>Вот реальный — практический кейс. У меня модель, обученная, работает. Но, инференс долгий. Производную или дифференциал чего мне взять чтоб ускорить её?
SK>Производные высчитывают только на этапе обучения, чтобы подобрать веса параметров нейрона. Когда ты уже используешь обученную модель, то в этот момент производные не высчитываются.
SK>Ты бы просто почитал про back propagation и как оно работает. Там, на самом деле ничего сложного и нет.
Я не только читаю, но и в живую использую. Поэтому меня и несколько выбивает из колеи, когда люди, которые только читали, начинают выдавать прочитанное за первую истину.
Вот смотри — по твоим собственным словам производные высчитываться только на этапе обучения. Их кто считает, человек или ML библиотека? И если это библиотека, то как именно знание производных поможет обучить модель быстрее/выше/сильней?


SK>Что у тебя за модель, что она делает и что там тормозит?

Ну и опять же. По моему опыту, когда замены библиотек исчерпывают запас оптимизации, наступает время переобучения модели, у который слишком большой инференс. Какую производную мне посчитать, что-бы переобучить модель, потеряв пару сотых в точности, но ускорив её раза в два?

Здравствуйте, m2l, Вы писали:

N>>Ну, тебе при выборе лосс-функции на этапе обучения её производная понадобится.
m2l>Ок, но приведи пример, от чего ты эту производную берешь и как используешь для выбора функции потерь.

Лосс-функцию я выбираю под задачу. Например, у меня сегментация, и сильно несбалансированные классы (например, сегментация дорог на спутниковых снимках), и я могу подбирать её так, чтобы не пропускать дороги. Я подбираю функцию потерь, ищу производную, ставлю эксперимент, меняю функцию, обучаю и т.д. Или я беру обычный детектор и меняю цель с bounding box на rotated rectangle. Мне также надо менять и лосс функцию в том числе. Короче, это постоянно требуется, не вижу проблем.

m2l>Опять-же, это выдаёт в тебе теоретика, который с реальными моделями не работал. Потому, что ускорение инференса — это переобучение с меньшим числом слоёв/нейронов/связей и т.д... И по твоей логике для обучения производная понадобиться, а на переобучении и так сойдёт.

Переобучение — это и есть обучение. Я в принципе не уловил логику и не понял вопрос. ещё я могу делать пруннинг, квантизацию, да мало ли что — вплоть до ручной реализации и оптимизации сети на целевой платформе.

Здравствуйте, Nuzhny, Вы писали:

N>Здравствуйте, m2l, Вы писали:

N>>>Ну, тебе при выборе лосс-функции на этапе обучения её производная понадобится.
m2l>>Ок, но приведи пример, от чего ты эту производную берешь и как используешь для выбора функции потерь.

N>Лосс-функцию я выбираю под задачу. Например, у меня сегментация, и сильно несбалансированные классы (например, сегментация дорог на спутниковых снимках), и я могу подбирать её так, чтобы не пропускать дороги. Я подбираю функцию потерь, ищу производную, ставлю эксперимент, меняю функцию, обучаю и т.д. Или я беру обычный детектор и меняю цель с bounding box на rotated rectangle. Мне также надо менять и лосс функцию в том числе. Короче, это постоянно требуется, не вижу проблем.

Я тоже не вижу проблемы, но не совсем понимаю, что ты делаешь на этапе "ищу производную". Это ты так называешь вызов оптимизатора что-ли? Вроде что бы им пользоваться умения считать производные и даже знать, что это такое не требуется.

m2l>>Опять-же, это выдаёт в тебе теоретика, который с реальными моделями не работал. Потому, что ускорение инференса — это переобучение с меньшим числом слоёв/нейронов/связей и т.д... И по твоей логике для обучения производная понадобиться, а на переобучении и так сойдёт.

N>Переобучение — это и есть обучение. Я в принципе не уловил логику и не понял вопрос. ещё я могу делать пруннинг, квантизацию, да мало ли что — вплоть до ручной реализации и оптимизации сети на целевой платформе.

Вопрос простой — как знание / незнание производных влияет на пруннинг, квантизацию и остальное? Как по мне, так никак.

Здравствуйте, m2l, Вы писали:

m2l>А чем их знания могут помочь построить при помощи Keras модель, обучить и пользоваться? Мой поинт именно в этом, что производную никто считать не будет. И это знание — что оно есть, что нету не влияет на способность описать и обучить модель. Или не способность.
Естественно вручную никто не считает. Я потому и предлагаю тебе еще раз ознакомиться с тем, как работает обучение нейронной сети, чтобы ты больше таких вопросов не задавал.
Конекретно про back propagation.


m2l>Я это знаю. Но вопрос тот-же: как знание дифисчисления помогает человеку пользоваться библиотекой с готовым набором оптимизаторов? На каком этапе при работе с датасетом, описанием модели или обучением человек должен им воспользоваться, применительно к чему, как это помогает выбрать функцию активации или число нейронов в слое?
Все зависит от задачи. Но сейчас де-факто стандарт функция активации используется ReLU. Но, если ты строишь RNN, то чаще берут tanh.
Вот просто почитай хотя бы про эти функции активации: https://neurohive.io/ru/osnovy-data-science/activation-functions/

m2l>Я не только читаю, но и в живую использую. Поэтому меня и несколько выбивает из колеи, когда люди, которые только читали, начинают выдавать прочитанное за первую истину.
Не заметно, что читаешь, тут больше похоже, что только используешь, потому что задаешь не те вопросы.

m2l>Вот смотри — по твоим собственным словам производные высчитываться только на этапе обучения. Их кто считает, человек или ML библиотека? И если это библиотека, то как именно знание производных поможет обучить модель быстрее/выше/сильней?
Я опять же не понимаю вопроса. Но знание алгоритма, как работает back propagation, особо не поможет в обучении. Тут больше поможет работа с данными, в общем называется Data Engineering, из которого потом идет feature engineering. Чтобы смочь выбрать действительно нужные данные для обучения сети.


Есть простые датасеты, например, было что-то там с yellow cab, в данных было время посадки, время высадки пассажира, сколько километров проехал, место посадки, место высадки и еще всякое.
Так вот даже на таком просто датасете было понятно, что просто время посадки и время высадки не интересные фичи, а интересная была "продолжительность поездки", которую надо было бы вычислить как разницу этих двух времен. Потому что именно расстояние и время больше всего влияли на цену поездки. Причем фичи "выходной", "не выходной" или "утро", "день", "вечер" и "ночь" не играли особой роли, точнее совсем не играли.


Вот поэтому просто взять датасет и пытаться его запихнуть в модель ни к чему хорошему не приведет. Ну может, конечно повезти, если кто-то этот датасет сделал полностью правильно, офигенно. Например без всяких outliers, которые могут очень сильно влиять на результаты.


m2l>Ну и опять же. По моему опыту, когда замены библиотек исчерпывают запас оптимизации, наступает время переобучения модели, у который слишком большой инференс. Какую производную мне посчитать, что-бы переобучить модель, потеряв пару сотых в точности, но ускорив её раза в два?
Повторю вопрос. Что у тебя за модель и что она делает? Я пока не совсем представляю себе как модель может тормозить. У тебя там что, картинки, чат-бот или что-то еще?

Здравствуйте, m2l, Вы писали:

N>>Переобучение — это и есть обучение. Я в принципе не уловил логику и не понял вопрос. ещё я могу делать пруннинг, квантизацию, да мало ли что — вплоть до ручной реализации и оптимизации сети на целевой платформе.
m2l>Вопрос простой — как знание / незнание производных влияет на пруннинг, квантизацию и остальное? Как по мне, так никак.

Тут речь скорее про проф. этику, или образование и его глубину -- знание что внутри того или иного черного ящика. Мож будет задача\проект\стартап, где
надо лезть внутрь и что-то руками подкручивать, или вообще с нуля пилить что-то специфичное (стартап же). Как это делать в ml без знания азов -- . С др.
стороны все эти библиотеки пилят люди с соотв. степенями. В любом случае, кмк, знание математики (стат., тервер, линал, дифф. исчисление) на уровне 1-2 курса
приличного тех. вуза для работы в ml крайне необходимо. Чтобы можно было понять хотя бы общее описание работы тех или иных алг-ов и подходов.

Здравствуйте, Sharov, Вы писали:

N>>>Переобучение — это и есть обучение. Я в принципе не уловил логику и не понял вопрос. ещё я могу делать пруннинг, квантизацию, да мало ли что — вплоть до ручной реализации и оптимизации сети на целевой платформе.
m2l>>Вопрос простой — как знание / незнание производных влияет на пруннинг, квантизацию и остальное? Как по мне, так никак.

S>Тут речь скорее про проф. этику, или образование и его глубину -- знание что внутри того или иного черного ящика. Мож будет задача\проект\стартап, где
S>надо лезть внутрь и что-то руками подкручивать, или вообще с нуля пилить что-то специфичное (стартап же). Как это делать в ml без знания азов -- . С др.
S>стороны все эти библиотеки пилят люди с соотв. степенями. В любом случае, кмк, знание математики (стат., тервер, линал, дифф. исчисление) на уровне 1-2 курса
S>приличного тех. вуза для работы в ml крайне необходимо. Чтобы можно было понять хотя бы общее описание работы тех или иных алг-ов и подходов.

У меня впечатление, что даже базовое знание статистики и теории вероятностей не являются обязательным для разработки относительно хорошо работающих моделей. Хотя и звучит несколько абсурдно.
Что же до линейной алгебры и дифференциального исчисления — оно настолько глубоко запрятано, что наличие или отсутствие этого знания сравнимо с наличием или отсутствием знаний о философских течениях античности.
Плюс не будем забывать, что реализация вообще-то на численных методах строиться — никто никакие функции аналитически не дифференцирует. Что несколько нивелирует возможность на практике пользоваться знаниями из этого раздела мат.анализа.
Т.е. я в принципе согласен с тем, что это про профессиональную этику и глубину образования — в том плане, что это эквивалентно знанию философии или литературы.

PS. Всё-же сейчас уровень этой предметной области возрос настолько, что требовать сквозного знания азов — равносильно требованию знать особенностей работы конвейера процессора от программиста на JavaScript. Будем реалистами, мало кто знает, но код как-то при этом пишут и он даже работает.

Здравствуйте, SkyKnight, Вы писали:

m2l>>А чем их знания могут помочь построить при помощи Keras модель, обучить и пользоваться? Мой поинт именно в этом, что производную никто считать не будет. И это знание — что оно есть, что нету не влияет на способность описать и обучить модель. Или не способность.
SK>Естественно вручную никто не считает. Я потому и предлагаю тебе еще раз ознакомиться с тем, как работает обучение нейронной сети, чтобы ты больше таких вопросов не задавал.
SK>Конекретно про back propagation.

Слушай, вот то у тебя "вручную никто не считает", то:

SK>ты сейчас хорошо пошутил. Вообше при обучении там вычисляются производные много раз, именно поэтому стараются подбирать такие функции активации нейронов, чтобы производную можно было вычислить просто. Иначе обучение будет идти долго.

И знание производных для ML — это очень важно....
И я спрашиваю не как рассчитываться веса, а как ты своё знание производных применяешь для обучения модели. Ответить ты ничего не можешь, что намекает, что никак не применяешь.


m2l>>Я это знаю. Но вопрос тот-же: как знание дифисчисления помогает человеку пользоваться библиотекой с готовым набором оптимизаторов? На каком этапе при работе с датасетом, описанием модели или обучением человек должен им воспользоваться, применительно к чему, как это помогает выбрать функцию активации или число нейронов в слое?
SK>Все зависит от задачи. Но сейчас де-факто стандарт функция активации используется ReLU. Но, если ты строишь RNN, то чаще берут tanh.
SK>Вот просто почитай хотя бы про эти функции активации: https://neurohive.io/ru/osnovy-data-science/activation-functions/

Вот. А выше писал, будто их стараться подобрать, "чтобы производную можно было вычислить просто". А тут уже оказывается никто никакие производные для выбора функции активации не считает.

m2l>>Вот смотри — по твоим собственным словам производные высчитываться только на этапе обучения. Их кто считает, человек или ML библиотека? И если это библиотека, то как именно знание производных поможет обучить модель быстрее/выше/сильней?
SK>Я опять же не понимаю вопроса. Но знание алгоритма, как работает back propagation, особо не поможет в обучении. Тут больше поможет работа с данными, в общем называется Data Engineering, из которого потом идет feature engineering. Чтобы смочь выбрать действительно нужные данные для обучения сети.

SK>Есть простые датасеты, например, было что-то там с yellow cab, в данных было время посадки, время высадки пассажира, сколько километров проехал, место посадки, место высадки и еще всякое.
SK>Так вот даже на таком просто датасете было понятно, что просто время посадки и время высадки не интересные фичи, а интересная была "продолжительность поездки", которую надо было бы вычислить как разницу этих двух времен. Потому что именно расстояние и время больше всего влияли на цену поездки. Причем фичи "выходной", "не выходной" или "утро", "день", "вечер" и "ночь" не играли особой роли, точнее совсем не играли.

SK>Вот поэтому просто взять датасет и пытаться его запихнуть в модель ни к чему хорошему не приведет. Ну может, конечно повезти, если кто-то этот датасет сделал полностью правильно, офигенно. Например без всяких outliers, которые могут очень сильно влиять на результаты.

Согласен. Такая логика и приводит меня к мысли, что статистика и теория вероятностей важна. А производные и диф.счисление — не очень.
А меня тут пытаются зачем-то убедить, что именно расчет производных нужен для работы с данными и обучения. Но привести пример как это знание можно применить никто, включая тебя, не может.


m2l>>Ну и опять же. По моему опыту, когда замены библиотек исчерпывают запас оптимизации, наступает время переобучения модели, у который слишком большой инференс. Какую производную мне посчитать, что-бы переобучить модель, потеряв пару сотых в точности, но ускорив её раза в два?
SK>Повторю вопрос. Что у тебя за модель и что она делает? Я пока не совсем представляю себе как модель может тормозить. У тебя там что, картинки, чат-бот или что-то еще?
Конкретно эта — картинки. Насчет тормозить — просто нейронов чуть больше, чем нужно. Сложений/умножений слишком много. Но, заметь, никакого варианта посчитать производные, что бы найти слои, которые можно убрать или снизить размерность, или заменить ядро свертки у тебя нету.

Здравствуйте, m2l, Вы писали:


m2l>>>Я это знаю. Но вопрос тот-же: как знание дифисчисления помогает человеку пользоваться библиотекой с готовым набором оптимизаторов? На каком этапе при работе с датасетом, описанием модели или обучением человек должен им воспользоваться, применительно к чему, как это помогает выбрать функцию активации или число нейронов в слое?
Еще раз по слогам. Вручную никто не считает, но так как при обучении в алгоритме back propagation идет вычисление производной для того чтобы настроить веса нейронов, необходимо подобрать такую функцию активации, у которой производная высчитывается просто. Я тебе для чего дал список самых популярных функций активации? чтобы ты посмотрел их, посмотрел как выглядят их производные.
Например производную сигмоидальной функции можно выразить через саму функцию, что приводит к тому, что собственно сложные вычисления производить не придется.

m2l>Вот. А выше писал, будто их стараться подобрать, "чтобы производную можно было вычислить просто". А тут уже оказывается никто никакие производные для выбора функции активации не считает.
Вручную нет, ну сколько раз еще говорить?

m2l>Согласен. Такая логика и приводит меня к мысли, что статистика и теория вероятностей важна. А производные и диф.счисление — не очень.
m2l>А меня тут пытаются зачем-то убедить, что именно расчет производных нужен для работы с данными и обучения. Но привести пример как это знание можно применить никто, включая тебя, не может.
Тебе уже сказали, чем проще для алгоритма вычислять производную на этапе обучения и чем стабильнее (численно) эти вычисления будут, тем проще будет обучить модель и модель будет лучше. Или ты думаешь эти функции активации просто от балды понабирали?
Но опять же очень сильно зависит от задачи какую функцию активации выбрать. Если у тебя классификация 2х классов, то тот же tanh будет уже не оптимальным выбором.

m2l>Конкретно эта — картинки. Насчет тормозить — просто нейронов чуть больше, чем нужно. Сложений/умножений слишком много. Но, заметь, никакого варианта посчитать производные, что бы найти слои, которые можно убрать или снизить размерность, или заменить ядро свертки у тебя нету.
У тебя CNN или что? Вообще посмотри уже готовые cnn сети, они очень глубокие, там до хрена параметров и почему-то они не тормозят. Я бы на твоем месте взял уже готовую обученную модель и просто дообучил ее на твоем же датасете, а не обучал бы с нуля.

Здравствуйте, m2l, Вы писали:

S>>Тут речь скорее про проф. этику, или образование и его глубину -- знание что внутри того или иного черного ящика. Мож будет задача\проект\стартап, где
S>>надо лезть внутрь и что-то руками подкручивать, или вообще с нуля пилить что-то специфичное (стартап же). Как это делать в ml без знания азов -- . С др.
S>>стороны все эти библиотеки пилят люди с соотв. степенями. В любом случае, кмк, знание математики (стат., тервер, линал, дифф. исчисление) на уровне 1-2 курса
S>>приличного тех. вуза для работы в ml крайне необходимо. Чтобы можно было понять хотя бы общее описание работы тех или иных алг-ов и подходов.

m2l>У меня впечатление, что даже базовое знание статистики и теории вероятностей не являются обязательным для разработки относительно хорошо работающих моделей. Хотя и звучит несколько абсурдно.
m2l>Что же до линейной алгебры и дифференциального исчисления — оно настолько глубоко запрятано, что наличие или отсутствие этого знания сравнимо с наличием или отсутствием знаний о философских течениях античности.
m2l>Плюс не будем забывать, что реализация вообще-то на численных методах строиться — никто никакие функции аналитически не дифференцирует. Что несколько нивелирует возможность на практике пользоваться знаниями из этого раздела мат.анализа.

Ну не факт, что где-то под капотом не сидит какая-нибудь производная в явном виде, правда в комментариях или доке это было бы отражено.
Далее, без знания производной как понять аналитическую формулу для линейной(или лог) регрессии?
EM много где используется (k-means).
Т.е. минимизации ф-ии потерь это фактически суть машинного обучения, привет производным, хотя бы на уровне формулировки задачи и куда копать.
У нас есть сложные объекты (мн-во наблюдаемых параметров) и мн-во самих наоблюдений -- привет линал.
У нас все эти наблюдения не очень достоверны, т.е. шумны на разных этапах входа или выхода, или вовсе остутсвуют. Привет тервер и статистика.
Тот же EM алгоритм и макс. правдоподобия.

Я за нейронки не скажу, поскольку кроме курсов и поверхостного ознакомления с ними толком не работал, но в табличных данных и классическом ML вся
эта математика в полный рост и практически сразу. На fit\predict далеко не уедешь, для результатов нужно глубже копать и влезать в данные.
Блин, тот же бустинг -- 3-ое комбо.

Короче, хорошое знание математики в мире ML крайне и крайне рекомендуется, если не требуется.

m2l>Т.е. я в принципе согласен с тем, что это про профессиональную этику и глубину образования — в том плане, что это эквивалентно знанию философии или литературы.

Нет, не эквивалентно -- все равно что человек работает автомехаником, специалист по трансмиссия или кузавным работам, а про двигатель кроме того, что он
есть, понятия не имеет. NN и так хрен поймешь как интерпритировать и понять почему так или этак, но вот как они обучаются, весь процесс от и до знать бы надо.

m2l>PS. Всё-же сейчас уровень этой предметной области возрос настолько, что требовать сквозного знания азов — равносильно требованию знать особенностей работы конвейера процессора от программиста на JavaScript. Будем реалистами, мало кто знает, но код как-то при этом пишут и он даже работает.

С одной стороны, а почему бы и нет. С др. стороны, ну поковырять сеть глубже чем http (вместе с ) + работу графической подсистемы компьютера программисту на js не мешало бы.
Надо хотя бы базовые вещи про черные ящики знать, про конвеер знать бы нужно, а про верилог можно и не знать.

Здравствуйте, Nuzhny, Вы писали:

N>Знает на том уровне, что известны принципы и законы. Но конечное решение получается таким сложным, что функция каждого "винтика" не известна. Но должна ли быть известна? Мы в точности не знаем, как устроены растения, но успешно их выращиваем.

По растениям у нас есть огромная статистика, а по ИИ нет. Пока они распознают номера машин — это не страшно, если ошибется, то штраф можно оспорить, а когда речь заходит о решениях, касающихся безопасности, в реальном времени — уже другое дело.

Здравствуйте, Tai, Вы писали:

Tai>... почему взлетел Deep Learning

На самом деле, есть большой список того, где не взлетел. Просто эти области остаются в тени после и в процессе не шибко успешных попыток. Вот уж что успешно и менее хайпово проникает во многие области деятельности, имхо, это всяческие методы итеративной оптимизации как выпуклых (convex), так и nonconvex функционалов.

Здравствуйте, andyp, Вы писали:

A>На самом деле, есть большой список того, где не взлетел. Просто эти области остаются в тени после и в процессе не шибко успешных попыток. Вот уж что успешно и менее хайпово проникает во многие области деятельности, имхо, это всяческие методы итеративной оптимизации как выпуклых (convex), так и nonconvex функционалов.

Анализ табличных данных с пропусками нейройнки пока сливают всяким бустингам, в этих областях они пока рулят.

Здравствуйте, Nuzhny, Вы писали:

N>Анализ табличных данных с пропусками нейройнки пока сливают всяким бустингам, в этих областях они пока рулят.

Я — очень далек от CS. Интересы — цифровая обработка сигналов и статистика в приложении к системам связи.

Здравствуйте, andyp, Вы писали:



Tai>>... почему взлетел Deep Learning

A>На самом деле, есть большой список того, где не взлетел.


давай большой список, где не взлетел (и где реально пытались)

Здравствуйте, xma, Вы писали:

xma>скоро научат компьютер петь и синтезировать музыку (надеюсь)
Bill Baklushi, чё уже не так смешно ? кто тут папка футуролог ёпте, а.. а ?

(поёт и аккомпанирует нейросеть)
https://www.youtube.com/watch?v=NMFzgUK9H-M

xma>вокал не обязательно, но если научатся одно — то думаю дойдут и до вокала

xma>- и будете слухать мелодии из рая .. (если как в AlphaZero смогут забацать, когда нибудь)
ждём-с .. не знаю будет ли при нашей жизни, но очень надеюсь

Здравствуйте, Tai, Вы писали:

Tai>Как думаете, почему взлетел Deep Learning (распознавание картинок, логические игры, беспилотные машины), хотя что там конкретно внутри — никто не знает.

Потому что в классическом ML признаки нужно руками придумывать, а сеть делает это сама. Проблема в том, что сеть не может нам рассказать, что за признаки она придумала. Всё остальное — фантазии и маркетинг.

Здравствуйте, cppguard, Вы писали:

C>Потому что в классическом ML признаки нужно руками придумывать, а сеть делает это сама. Проблема в том, что сеть не может нам рассказать, что за признаки она придумала. Всё остальное — фантазии и маркетинг.
Вообще-то почти вся сеть и строит эти признаки. Получается нелинейное преобразование bp R^n -> R^m.