Здравствуйте, Nuzhny, Вы писали:
N>Я имею в виду, как отслеживаются обученные модели, датасеты. Грубо говоря, обычную программа определяется своими исходниками. В ML уже всё сложнее: можно поменять код — качество изменится, поменять разметку — качество изменится, поменять картинки (добавить/удалить) — изменится, разная аугментация — изменится, другой фреймворк — изменится.
Гы-гы, в нейронках результат поменяется не только вследствии всего вышеперечисленного-там результат разный на одних и тех же данных для одной и той же модели нейронок, но скомпилированных в разное время. То есть, скомпилировал модель, обучил, прогнал тестовую выборку, получил одни результаты, снова скомпилировал (запустил тулзу снова), снова обучил на тех же данных, снова прогнал те же тестовые данные-получил другой результат, близкий, но с другими цифрами.
Re[6]: Skychain - нейросети, над которыми мы работаем
Здравствуйте, Nuzhny, Вы писали:
N>Здравствуйте, sharpcoder, Вы писали:
N>>>А для моделей? Используете что-нибудь типа dvc? S>>Все модели пишут на питоне, среда разработки MS Visual Studio, исходники в TFS.
N>Я имею в виду, как отслеживаются обученные модели, датасеты. Грубо говоря, обычную программа определяется своими исходниками. В ML уже всё сложнее: можно поменять код — качество изменится, поменять разметку — качество изменится, поменять картинки (добавить/удалить) — изменится, разная аугментация — изменится, другой фреймворк — изменится. Для этого и создаются такие штуки, как dvc, хранить и версионировать просто код — это слишком мало.
Ааа... я понял. Обученные модели. Ну да, явно не в TFS т.к. весят они по несколько гектар.
Парень который мне бы это рассказал ушел домой, но что-то мне подсказывает что в сетевых папках все хранят.
Re[16]: Skychain - нейросети, над которыми мы работаем
Здравствуйте, Nuzhny, Вы писали: N>Их учат на программистов, а при желании могут получить лицензии на Windows и студии бесплатно. Но им не удобно, тупо не удобно.
И в каких же IDE они пишут? Тот же QT Creator совсем не юзер-френдли после студии, не говоря про остальные убогости типа CodeBlocks, Geany и прочие.
Re: Skychain - нейросети, над которыми мы работаем
Здравствуйте, sharpcoder, Вы писали:
S>Плюс мы очень плотно заниматься определением и детальной классификацией рака груди, рака простаты, рака кишечника по гистологии — это самая хай-тэк тема, ничего подобного тому что мы делаем еще в мире нет. Это не только определение есть рак или нет, это определение 40 признаков и деталей, от которых зависит протокол лечения и позволяет повысить в разы прогноз излечения.
На каком железе работаете?
Re[17]: Skychain - нейросети, над которыми мы работаем
Здравствуйте, Serpuh, Вы писали:
S>И в каких же IDE они пишут? Тот же QT Creator совсем не юзер-френдли после студии, не говоря про остальные убогости типа CodeBlocks, Geany и прочие.
У них всё бесплатное от jetbrains
Re[12]: Skychain - нейросети, над которыми мы работаем
Здравствуйте, Nuzhny, Вы писали:
N>Здравствуйте, alexsoff, Вы писали:
N>>>Tensorflow CPU — да, но им же обучать надо, а для обучения только GPU. Ну и поддержка Windows на CPU далеко не сразу появилась. A>>На винде все отлично работает:
N>Гугл вполне может сделать что-нибудь несовместимое и вся работа либо пойдёт на смарку, либо надо будет заново тыкаться с установкой. Зачем такие мучения? Я хз.
Работа по настройке на смазку или что? Остальное вроде все кроссплатыорменное.
Кодом людям нужно помогать!
Re[18]: Skychain - нейросети, над которыми мы работаем
Здравствуйте, Nuzhny, Вы писали: N>У них всё бесплатное от jetbrains
Посмотрел скриншоты CLion, могу ошибаться, но визуально все примитивно, типа CodeBlocks, даже до QT Creator не дотягивает.
Я недавно работал в конторе где один Линукс и Creator, у меня специфически был Windows. По опыту общения я вообще не понимаю как большие проекты отлаживать, все на очень примитивном уровне. Можно конечно, но это мучение и неэффективность.
Здравствуйте, Sharov, Вы писали:
S>Работа по настройке на смазку или что? Остальное вроде все кроссплатыорменное.
Выйдет новый принцип обучения или работы нейросетей, Гугл выпустит версию для своих серверов с TPU и GPU, сделает поддержку в телефонах и забьёт на остальное. А остальное либо силами коммьюнити, либо Майкрософт впряжётся. Вы реально думаете, что они какие-то добрые ангелы, которые на блюдечке выкладывают вам первоклассные фреймворки? Где бы были нейросетевики, если бы не добрая воля Гугла и Фейсбука? (Ну и Майкрософт свои исследования пооткрывал, отдадим и им должное.) А толком нигде, сидели бы на первом Caffe с C++ или на Торче с lua. По факту ситуация в отрасли складывается сверхблагоприятная: тут тебе и железо Нвидиа подгоняет, и она же делает cuDNN, Интел тоже старается, корпорации выпускают фреймворки, университеты выкладывают бесплатные курсы. Бери — не хочу. Где и когда такое ещё было? В СССР? Вся эта отрасль сейчас держится на доброй воле корпораций.
Re[19]: Skychain - нейросети, над которыми мы работаем
Здравствуйте, rean, Вы писали:
R>Студенты-программисты пользуют линукс, потому что практически делать ничего не надо из программирования. У них времени нет на программирование.
Ты просто не понимаешь о чём говоришь. Эта та специальность, где интерпретатор Питона пишется на лабораторной и где алгоритмы на графах программируются без учебника, а по памяти.
Re: Skychain - нейросети, над которыми мы работаем
Здравствуйте, Serpuh, Вы писали:
S>Посмотрел скриншоты CLion, могу ошибаться, но визуально все примитивно, типа CodeBlocks, даже до QT Creator не дотягивает.
Ну, я не очень понимаю о чём сейчас ты говоришь. CLion чуть тормознутый — это да. Но в плане качества анализа кода и подсказок он впереди, об этом даже создатель boost::hana где-то говорил.
Если говорить о MS VS, то там много чего хорошего, но столько тупости при написании кода и показа подсказок я ещё не видел. У меня есть кроссплатформенные проекты, которые я разрабатываю на более мощном железе с VS 2017 на Windows 10 и на Qt Creator в Ubuntu. Студия тупит просто чудовищно, иногда показывает wait-диалоги, когда надо найти использование локальной переменной в функции. То есть она реально что-то там много анализирует и ищет, хотя переменная встречается в 30-40 строках кода в одном файле. И тут не надо смотреть на железо, у меня система и исходники на NVE SSD, процессор последний i7, памяти свободной ещё гигабайт 10 и комп больше ничем не занят, кроме как студией и браузером в фоне. Она тупо тормозит и всё, это выбешивает и поэтому я предпочитаю писать код и рефакторить на более старой и слабой системе в Qt Creator'е.
Но мы же не о С++, а о Питоне? Тут студия вооббще не очень, у jetbrains есть PyCharm, а там VS Code. Кому что нравится.
S>Я недавно работал в конторе где один Линукс и Creator, у меня специфически был Windows. По опыту общения я вообще не понимаю как большие проекты отлаживать, все на очень примитивном уровне. Можно конечно, но это мучение и неэффективность.
Большие проекты отлаживаются с помощью хорошей архитектуры и продуманными встроенными средствами самодиагностики: тестами, логами и т.д. Я с удовольствием посмотрю, как ты в отладчике будешь ловить состояния, когда глючит сервер, обрабатывающий несколько каналов видео. Он у тебя под отладчиком только стартовать будет час.
Re[2]: Skychain - нейросети, над которыми мы работаем
Здравствуйте, smeeld, Вы писали:
S>Гы-гы, в нейронках результат поменяется не только вследствии всего вышеперечисленного-там результат разный на одних и тех же данных для одной и той же модели нейронок, но скомпилированных в разное время. То есть, скомпилировал модель, обучил, прогнал тестовую выборку, получил одни результаты, снова скомпилировал (запустил тулзу снова), снова обучил на тех же данных, снова прогнал те же тестовые данные-получил другой результат, близкий, но с другими цифрами.
random seed не зафиксирован? Ну и ещё результаты работы на CPU и GPU никогда не совпадают.
Re[5]: Skychain - нейросети, над которыми мы работаем
Здравствуйте, smeeld, Вы писали:
S>Нейронки менеджеры откопали, и закопают опять, когда упрутся в вычислительные мощности современного железа, так, как это уже сделали когда-то.
Ну, это зависит от того, дают они что-то на практике или не дают. И тут выясняется, что всё таки дают, в распознавании на изображениях уж точно. Поэтому так просто взять и уйти не получится: либо останутся и эволюционируют, либо всё таки придумают что-то получше. Но направление ИИ не закопают.
Re[3]: Skychain - нейросети, над которыми мы работаем
Здравствуйте, Nuzhny, Вы писали: N>Студия тупит просто чудовищно, иногда показывает wait-диалоги, когда надо найти использование локальной переменной в функции.
Хм, курсором на переменную, подсветкой и в скролле показываются все ее вхождения в файле.
N>Она тупо тормозит и всё, это выбешивает и поэтому я предпочитаю писать код и рефакторить на более старой и слабой системе в Qt Creator'е.
Странно, у меня 2015-2017 совсем не тупит. Единственно удобный плагин Visual Assist подтупливает, но это бывает редко и не значительно.
Re[3]: Skychain - нейросети, над которыми мы работаем