Re[6]: Skychain - нейросети, над которыми мы работаем
От: smeeld  
Дата: 01.04.19 14:29
Оценка:
Здравствуйте, Nuzhny, Вы писали:

N>Я имею в виду, как отслеживаются обученные модели, датасеты. Грубо говоря, обычную программа определяется своими исходниками. В ML уже всё сложнее: можно поменять код — качество изменится, поменять разметку — качество изменится, поменять картинки (добавить/удалить) — изменится, разная аугментация — изменится, другой фреймворк — изменится.


Гы-гы, в нейронках результат поменяется не только вследствии всего вышеперечисленного-там результат разный на одних и тех же данных для одной и той же модели нейронок, но скомпилированных в разное время. То есть, скомпилировал модель, обучил, прогнал тестовую выборку, получил одни результаты, снова скомпилировал (запустил тулзу снова), снова обучил на тех же данных, снова прогнал те же тестовые данные-получил другой результат, близкий, но с другими цифрами.
Re[6]: Skychain - нейросети, над которыми мы работаем
От: sharpcoder Россия  
Дата: 01.04.19 15:07
Оценка:
Здравствуйте, Nuzhny, Вы писали:

N>Здравствуйте, sharpcoder, Вы писали:


N>>>А для моделей? Используете что-нибудь типа dvc?

S>>Все модели пишут на питоне, среда разработки MS Visual Studio, исходники в TFS.

N>Я имею в виду, как отслеживаются обученные модели, датасеты. Грубо говоря, обычную программа определяется своими исходниками. В ML уже всё сложнее: можно поменять код — качество изменится, поменять разметку — качество изменится, поменять картинки (добавить/удалить) — изменится, разная аугментация — изменится, другой фреймворк — изменится. Для этого и создаются такие штуки, как dvc, хранить и версионировать просто код — это слишком мало.


Ааа... я понял. Обученные модели. Ну да, явно не в TFS т.к. весят они по несколько гектар.
Парень который мне бы это рассказал ушел домой, но что-то мне подсказывает что в сетевых папках все хранят.
Re[16]: Skychain - нейросети, над которыми мы работаем
От: Serpuh фотомер.рф
Дата: 01.04.19 17:09
Оценка: +1
Здравствуйте, Nuzhny, Вы писали:
N>Их учат на программистов, а при желании могут получить лицензии на Windows и студии бесплатно. Но им не удобно, тупо не удобно.

И в каких же IDE они пишут? Тот же QT Creator совсем не юзер-френдли после студии, не говоря про остальные убогости типа CodeBlocks, Geany и прочие.
Re: Skychain - нейросети, над которыми мы работаем
От: CodeMonkey  
Дата: 01.04.19 17:40
Оценка:
Здравствуйте, sharpcoder, Вы писали:

S>Плюс мы очень плотно заниматься определением и детальной классификацией рака груди, рака простаты, рака кишечника по гистологии — это самая хай-тэк тема, ничего подобного тому что мы делаем еще в мире нет. Это не только определение есть рак или нет, это определение 40 признаков и деталей, от которых зависит протокол лечения и позволяет повысить в разы прогноз излечения.


На каком железе работаете?
Re[17]: Skychain - нейросети, над которыми мы работаем
От: Nuzhny Россия https://github.com/Nuzhny007
Дата: 01.04.19 18:00
Оценка:
Здравствуйте, Serpuh, Вы писали:

S>И в каких же IDE они пишут? Тот же QT Creator совсем не юзер-френдли после студии, не говоря про остальные убогости типа CodeBlocks, Geany и прочие.


У них всё бесплатное от jetbrains
Re[12]: Skychain - нейросети, над которыми мы работаем
От: Sharov Россия  
Дата: 01.04.19 18:12
Оценка:
Здравствуйте, Nuzhny, Вы писали:

N>Здравствуйте, alexsoff, Вы писали:


N>>>Tensorflow CPU — да, но им же обучать надо, а для обучения только GPU. Ну и поддержка Windows на CPU далеко не сразу появилась.

A>>На винде все отлично работает:

N>Гугл вполне может сделать что-нибудь несовместимое и вся работа либо пойдёт на смарку, либо надо будет заново тыкаться с установкой. Зачем такие мучения? Я хз.


Работа по настройке на смазку или что? Остальное вроде все кроссплатыорменное.
Кодом людям нужно помогать!
Re[18]: Skychain - нейросети, над которыми мы работаем
От: rean  
Дата: 01.04.19 18:20
Оценка: +1 :)
deleted
Отредактировано 22.04.2019 8:40 deleted2 . Предыдущая версия . Еще …
Отредактировано 22.04.2019 8:28 deleted2 . Предыдущая версия .
Отредактировано 22.04.2019 7:57 deleted2 . Предыдущая версия .
Отредактировано 22.04.2019 7:41 deleted2 . Предыдущая версия .
Re[18]: Skychain - нейросети, над которыми мы работаем
От: Serpuh фотомер.рф
Дата: 01.04.19 19:15
Оценка:
Здравствуйте, Nuzhny, Вы писали:
N>У них всё бесплатное от jetbrains

Посмотрел скриншоты CLion, могу ошибаться, но визуально все примитивно, типа CodeBlocks, даже до QT Creator не дотягивает.
Я недавно работал в конторе где один Линукс и Creator, у меня специфически был Windows. По опыту общения я вообще не понимаю как большие проекты отлаживать, все на очень примитивном уровне. Можно конечно, но это мучение и неэффективность.
Отредактировано 01.04.2019 19:31 Serpuh . Предыдущая версия .
Re[13]: Skychain - нейросети, над которыми мы работаем
От: Nuzhny Россия https://github.com/Nuzhny007
Дата: 01.04.19 19:36
Оценка: 3 (1)
Здравствуйте, Sharov, Вы писали:

S>Работа по настройке на смазку или что? Остальное вроде все кроссплатыорменное.


Выйдет новый принцип обучения или работы нейросетей, Гугл выпустит версию для своих серверов с TPU и GPU, сделает поддержку в телефонах и забьёт на остальное. А остальное либо силами коммьюнити, либо Майкрософт впряжётся. Вы реально думаете, что они какие-то добрые ангелы, которые на блюдечке выкладывают вам первоклассные фреймворки? Где бы были нейросетевики, если бы не добрая воля Гугла и Фейсбука? (Ну и Майкрософт свои исследования пооткрывал, отдадим и им должное.) А толком нигде, сидели бы на первом Caffe с C++ или на Торче с lua. По факту ситуация в отрасли складывается сверхблагоприятная: тут тебе и железо Нвидиа подгоняет, и она же делает cuDNN, Интел тоже старается, корпорации выпускают фреймворки, университеты выкладывают бесплатные курсы. Бери — не хочу. Где и когда такое ещё было? В СССР? Вся эта отрасль сейчас держится на доброй воле корпораций.
Re[19]: Skychain - нейросети, над которыми мы работаем
От: Nuzhny Россия https://github.com/Nuzhny007
Дата: 01.04.19 19:38
Оценка:
Здравствуйте, rean, Вы писали:

R>Студенты-программисты пользуют линукс, потому что практически делать ничего не надо из программирования. У них времени нет на программирование.


Ты просто не понимаешь о чём говоришь. Эта та специальность, где интерпретатор Питона пишется на лабораторной и где алгоритмы на графах программируются без учебника, а по памяти.
Re: Skychain - нейросети, над которыми мы работаем
От: Serpuh фотомер.рф
Дата: 01.04.19 19:41
Оценка:
Здравствуйте, sharpcoder, Вы писали:
S>Был недавно в Екатеринбурге, где наш дополнительный офис и 5 (через неделю будет 6) нейросетевиков.

А зарплаты какие на руки? Наверное всем будет интересно.
Re[19]: Skychain - нейросети, над которыми мы работаем
От: Nuzhny Россия https://github.com/Nuzhny007
Дата: 01.04.19 19:51
Оценка:
Здравствуйте, Serpuh, Вы писали:

S>Посмотрел скриншоты CLion, могу ошибаться, но визуально все примитивно, типа CodeBlocks, даже до QT Creator не дотягивает.


Ну, я не очень понимаю о чём сейчас ты говоришь. CLion чуть тормознутый — это да. Но в плане качества анализа кода и подсказок он впереди, об этом даже создатель boost::hana где-то говорил.

Если говорить о MS VS, то там много чего хорошего, но столько тупости при написании кода и показа подсказок я ещё не видел. У меня есть кроссплатформенные проекты, которые я разрабатываю на более мощном железе с VS 2017 на Windows 10 и на Qt Creator в Ubuntu. Студия тупит просто чудовищно, иногда показывает wait-диалоги, когда надо найти использование локальной переменной в функции. То есть она реально что-то там много анализирует и ищет, хотя переменная встречается в 30-40 строках кода в одном файле. И тут не надо смотреть на железо, у меня система и исходники на NVE SSD, процессор последний i7, памяти свободной ещё гигабайт 10 и комп больше ничем не занят, кроме как студией и браузером в фоне. Она тупо тормозит и всё, это выбешивает и поэтому я предпочитаю писать код и рефакторить на более старой и слабой системе в Qt Creator'е.

Но мы же не о С++, а о Питоне? Тут студия вооббще не очень, у jetbrains есть PyCharm, а там VS Code. Кому что нравится.

S>Я недавно работал в конторе где один Линукс и Creator, у меня специфически был Windows. По опыту общения я вообще не понимаю как большие проекты отлаживать, все на очень примитивном уровне. Можно конечно, но это мучение и неэффективность.


Большие проекты отлаживаются с помощью хорошей архитектуры и продуманными встроенными средствами самодиагностики: тестами, логами и т.д. Я с удовольствием посмотрю, как ты в отладчике будешь ловить состояния, когда глючит сервер, обрабатывающий несколько каналов видео. Он у тебя под отладчиком только стартовать будет час.
Re[2]: Skychain - нейросети, над которыми мы работаем
От: smeeld  
Дата: 01.04.19 20:03
Оценка:
Здравствуйте, CodeMonkey, Вы писали:


CM>На каком железе работаете?


Рядом со мной сидит отдел, занимающийся нейронками, крутят всё на специализированных GPU. Обычное серверные CPU давно уже не тянут в этой области.
Re[7]: Skychain - нейросети, над которыми мы работаем
От: Nuzhny Россия https://github.com/Nuzhny007
Дата: 01.04.19 20:04
Оценка:
Здравствуйте, smeeld, Вы писали:

S>Гы-гы, в нейронках результат поменяется не только вследствии всего вышеперечисленного-там результат разный на одних и тех же данных для одной и той же модели нейронок, но скомпилированных в разное время. То есть, скомпилировал модель, обучил, прогнал тестовую выборку, получил одни результаты, снова скомпилировал (запустил тулзу снова), снова обучил на тех же данных, снова прогнал те же тестовые данные-получил другой результат, близкий, но с другими цифрами.


random seed не зафиксирован? Ну и ещё результаты работы на CPU и GPU никогда не совпадают.
Re[5]: Skychain - нейросети, над которыми мы работаем
От: Nuzhny Россия https://github.com/Nuzhny007
Дата: 01.04.19 20:07
Оценка:
Здравствуйте, smeeld, Вы писали:

S>Нейронки менеджеры откопали, и закопают опять, когда упрутся в вычислительные мощности современного железа, так, как это уже сделали когда-то.


Ну, это зависит от того, дают они что-то на практике или не дают. И тут выясняется, что всё таки дают, в распознавании на изображениях уж точно. Поэтому так просто взять и уйти не получится: либо останутся и эволюционируют, либо всё таки придумают что-то получше. Но направление ИИ не закопают.
Re[3]: Skychain - нейросети, над которыми мы работаем
От: CodeMonkey  
Дата: 01.04.19 20:10
Оценка:
Здравствуйте, smeeld, Вы писали:

S>Рядом со мной сидит отдел, занимающийся нейронками, крутят всё на специализированных GPU.


Это какие, например?
Re[4]: Skychain - нейросети, над которыми мы работаем
От: smeeld  
Дата: 01.04.19 20:26
Оценка:
Здравствуйте, CodeMonkey, Вы писали:

CM>Это какие, например?


У них там nvidia. Почти все топовые на данный момент модели есть.
Re[5]: Skychain - нейросети, над которыми мы работаем
От: CodeMonkey  
Дата: 01.04.19 20:45
Оценка:
Здравствуйте, smeeld, Вы писали:

S>У них там nvidia. Почти все топовые на данный момент модели есть.


Т.е. Quadro?
Re[20]: Skychain - нейросети, над которыми мы работаем
От: Serpuh фотомер.рф
Дата: 02.04.19 07:12
Оценка:
Здравствуйте, Nuzhny, Вы писали:
N>Студия тупит просто чудовищно, иногда показывает wait-диалоги, когда надо найти использование локальной переменной в функции.
Хм, курсором на переменную, подсветкой и в скролле показываются все ее вхождения в файле.

N>Она тупо тормозит и всё, это выбешивает и поэтому я предпочитаю писать код и рефакторить на более старой и слабой системе в Qt Creator'е.

Странно, у меня 2015-2017 совсем не тупит. Единственно удобный плагин Visual Assist подтупливает, но это бывает редко и не значительно.
Re[3]: Skychain - нейросети, над которыми мы работаем
От: AlexRK  
Дата: 02.04.19 09:33
Оценка:
Здравствуйте, reversecode, Вы писали:

A>>Если не секрет, какая ЗП у людей на видео?


R>обычная для екбурга

R>80-120к руб

Это для Москвы обычная (да и то не факт). А там ставлю на 40-60.
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.