Re[2]: Skychain - нейросети, над которыми мы работаем
От: Слава  
Дата: 30.03.19 10:21
Оценка: :)
Здравствуйте, Nuzhny, Вы писали:

N>1. Почему у всех Винда? На ней просто завести что-то нейросетевое является проблемой. Впервые вижу такую кучу нейросетевиков на Винде, а не на Убунте или Маках в качестве терминалов. Нет, правда.


Опытные инженеры-плюсовики понаписали такого кроссплатформенного софта, который только на убунте работает?
Re[3]: Skychain - нейросети, над которыми мы работаем
От: Nuzhny Россия https://github.com/Nuzhny007
Дата: 30.03.19 10:30
Оценка: +3
Здравствуйте, Слава, Вы писали:

N>>1. Почему у всех Винда? На ней просто завести что-то нейросетевое является проблемой. Впервые вижу такую кучу нейросетевиков на Винде, а не на Убунте или Маках в качестве терминалов. Нет, правда.

С>Опытные инженеры-плюсовики понаписали такого кроссплатформенного софта, который только на убунте работает?

На Убунте банально удобнее и проще.

Про разработку.
Под Windows до какого-то времени вообще не было поддержки ни одного нейросетевого фреймворка. Да, некоторые под Windows собирались, были неофициальные порты, но это была боль и страдания. Потом Майкрософт сделала свой CNTK, но злые языки говорят, что им даже внутри Майкрософта мало кто пользуется, а предпочитают TensorFlow.

Про продакшен.
Где в основном работают нейросети? На серверах и мобилках. Где там Windows? Нигде. На самоуправляемых автомобилях, на коптерах и т.д. Где там Windows? Нигде.

Почему так? Потому что нейросети пишут на Питоне, тренируют на серверах (с GPU или кастомным железом типа TPU) или девбоксах с несколькими видеокартами. Всё это линуксовое.
https://elibrary.ru/author_counter.aspx?id=875549
Re[4]: Skychain - нейросети, над которыми мы работаем
От: Ip Man Китай  
Дата: 30.03.19 11:34
Оценка:
Здравствуйте, Nuzhny, Вы писали:

N>Почему так? Потому что нейросети пишут на Питоне, тренируют на серверах (с GPU или кастомным железом типа TPU) или девбоксах с несколькими видеокартами. Всё это линуксовое.


скорее всего они просто код пишут в винде, а собирают и запускают где-нить в облаке
Re[5]: Skychain - нейросети, над которыми мы работаем
От: Nuzhny Россия https://github.com/Nuzhny007
Дата: 30.03.19 11:41
Оценка:
Здравствуйте, Ip Man, Вы писали:

IM>скорее всего они просто код пишут в винде, а собирают и запускают где-нить в облаке


Наверное так и есть. Но видна экономия на железе (мониторы, мышки, клавы) и при этом неоправданные траты на ПО. Зачем?
https://elibrary.ru/author_counter.aspx?id=875549
Re[6]: Skychain - нейросети, над которыми мы работаем
От: Слава  
Дата: 30.03.19 12:02
Оценка:
Здравствуйте, Nuzhny, Вы писали:

N>Наверное так и есть. Но видна экономия на железе (мониторы, мышки, клавы) и при этом неоправданные траты на ПО. Зачем?


Зачем учить зайца ездить на велосипеде? Зачем людей сажать на линукс, когда у каждого васи дома винда, с вордом, экселем и Skyrim?
Re[7]: Skychain - нейросети, над которыми мы работаем
От: Nuzhny Россия https://github.com/Nuzhny007
Дата: 30.03.19 12:08
Оценка: +2
Здравствуйте, Слава, Вы писали:

С>Зачем учить зайца ездить на велосипеде? Зачем людей сажать на линукс, когда у каждого васи дома винда, с вордом, экселем и Skyrim?


Затем, что на целевой платформе всё равно будет не Винда. Посмотри на требования к сферическому нейросетевику, там ни разу не будет упомянут Windows, зато во всю красу:
— линукс-ориентированные технологии, связанные с развёртыванием моделей (я даже не про Докер);
— библиотеки, работающие исключительно под ЛИнуксом типа TensorFlow (под Windows никто не гарантирует работу, особенно с GPU));
— часто прямо указывают знание bash и пользовательского уровня в Линуксе.
https://elibrary.ru/author_counter.aspx?id=875549
Re[8]: Skychain - нейросети, над которыми мы работаем
От: De-Bill  
Дата: 01.04.19 06:12
Оценка: 3 (1) +1
N>- библиотеки, работающие исключительно под ЛИнуксом типа TensorFlow (под Windows никто не гарантирует работу, особенно с GPU));

Tensorflow CPU нормально работает на Windows. А так Windows гораздо более приятная операционка, чем Ubuntu. Большую часть работы делаю на Windows, иногда по потребностям просто ставлю рядом (физически), ещё один комп с Ubunt'ой. Дома работаю только под Ubuntu. Почти всегда всё работает идентично под обеими операционками. Но с GPU беда, под Windows стартануть не получилось.
Отредактировано 01.04.2019 6:14 De-Bill . Предыдущая версия .
Re[9]: Skychain - нейросети, над которыми мы работаем
От: Nuzhny Россия https://github.com/Nuzhny007
Дата: 01.04.19 06:57
Оценка:
Здравствуйте, De-Bill, Вы писали:

DB>Tensorflow CPU нормально работает на Windows. А так Windows гораздо более приятная операционка, чем Ubuntu. Большую часть работы делаю на Windows, иногда по потребностям просто ставлю рядом (физически), ещё один комп с Ubunt'ой. Дома работаю только под Ubuntu. Почти всегда всё работает идентично под обеими операционками. Но с GPU беда, под Windows стартануть не получилось.


Tensorflow CPU — да, но им же обучать надо, а для обучения только GPU. Ну и поддержка Windows на CPU далеко не сразу появилась.
https://elibrary.ru/author_counter.aspx?id=875549
Re[9]: Skychain - нейросети, над которыми мы работаем
От: alexsoff Россия  
Дата: 01.04.19 08:03
Оценка:
Здравствуйте, De-Bill, Вы писали:

DB>Но с GPU беда, под Windows стартануть не получилось.

Там определенную комбинацию версий нужно установить у себя локально.
у меня:
tensorflow-gpu 1.13.1
nVidia CUDA 10.0
cuDNN 7.5 для cuda 10.0

С более свежими версиями, к сожалению, не получилось стартануть TF
Re[10]: Skychain - нейросети, над которыми мы работаем
От: alexsoff Россия  
Дата: 01.04.19 08:29
Оценка:
Здравствуйте, Nuzhny, Вы писали:

N>Tensorflow CPU — да, но им же обучать надо, а для обучения только GPU. Ну и поддержка Windows на CPU далеко не сразу появилась.

На винде все отлично работает:
  cut
https://pp.userapi.com/c848536/v848536202/1602f2/1R-dDcPaHLc.jpg
Re[11]: Skychain - нейросети, над которыми мы работаем
От: Nuzhny Россия https://github.com/Nuzhny007
Дата: 01.04.19 08:47
Оценка:
Здравствуйте, alexsoff, Вы писали:

N>>Tensorflow CPU — да, но им же обучать надо, а для обучения только GPU. Ну и поддержка Windows на CPU далеко не сразу появилась.

A>На винде все отлично работает:

Мы тоже запускали, только по каким-то неофициальным мануалам, методом проб и ошибок. В отличие от Убунты, где надо просто выполнить пару команд в терминале или следовать официальной документации для компиляции самому. Это как раз и есть отсутствие поддержки Windows и закладываться на такое не хочется. Гугл вполне может сделать что-нибудь несовместимое и вся работа либо пойдёт на смарку, либо надо будет заново тыкаться с установкой. Зачем такие мучения? Я хз.
https://elibrary.ru/author_counter.aspx?id=875549
Re[2]: Skychain - нейросети, над которыми мы работаем
От: sharpcoder Россия  
Дата: 01.04.19 11:02
Оценка: 3 (1) +1
Здравствуйте, Nuzhny, Вы писали:

N>Здравствуйте, sharpcoder, Вы писали:


S>>Был недавно в Екатеринбурге, где наш дополнительный офис и 5 (через неделю будет 6) нейросетевиков.


N>1. Почему у всех Винда?


Корпоративный стандарт, общее администрирование сети и прав доступа разработчиков. TFS как стандарт для хранения исходников в компании.

N>На ней просто завести что-то нейросетевое является проблемой.


Это какой-то твой вымысел. Все летает, все библиотеки кросс-платформенные.

N>Впервые вижу такую кучу нейросетевиков на Винде, а не на Убунте или Маках в качестве терминалов. Нет, правда.


Бывает что некоторые вещи ты видишь впервые. Правда

Если интересна общая архитектура, у каждого разраба стоит 1080 видеокарта и он нейросетку локально кодит. Делает простые тесты и потом закидывает на несколько дней обучаться на один из наших серваков. У нас три сервера с 4 Titan V видющками на каждом, под управлением линукса, подключенные к большим СХД (там датасеты по несколько десятков ТБ). Вот на этих серваках и происходит полное обучение и тестинг нейросети.

N>2. Почему простатой занимается девушка, а раком груди — мальчик? Казалось бы, что для повышения мотивации их задачи надо поменять.


У нас вообще часто одную нейросетку начинает один, второй продолжает, третий заканчивает. Так и точность выше, и знания быстрее накапливаются в команде т.к. каждый человек разрабатывает постоянно разные области.
Re[3]: Skychain - нейросети, над которыми мы работаем
От: Nuzhny Россия https://github.com/Nuzhny007
Дата: 01.04.19 12:51
Оценка:
Здравствуйте, sharpcoder, Вы писали:

N>>1. Почему у всех Винда?

S>Корпоративный стандарт, общее администрирование сети и прав доступа разработчиков. TFS как стандарт для хранения исходников в компании.

А для моделей? Используете что-нибудь типа dvc?

N>>На ней просто завести что-то нейросетевое является проблемой.

S>Это какой-то твой вымысел. Все летает, все библиотеки кросс-платформенные.

Что за библиотеки, если не секрет? Или всё в докере?

N>>Впервые вижу такую кучу нейросетевиков на Винде, а не на Убунте или Маках в качестве терминалов. Нет, правда.

S>Бывает что некоторые вещи ты видишь впервые. Правда

О, да! Но не факт, что эо новое — хорошее. Интересно, как у вас процесс поставлен.

S>Если интересна общая архитектура, у каждого разраба стоит 1080 видеокарта и он нейросетку локально кодит. Делает простые тесты и потом закидывает на несколько дней обучаться на один из наших серваков. У нас три сервера с 4 Titan V видющками на каждом, под управлением линукса, подключенные к большим СХД (там датасеты по несколько десятков ТБ). Вот на этих серваках и происходит полное обучение и тестинг нейросети.


Вот это здорово уже.
https://elibrary.ru/author_counter.aspx?id=875549
Re[4]: Skychain - нейросети, над которыми мы работаем
От: sharpcoder Россия  
Дата: 01.04.19 13:35
Оценка:
Здравствуйте, Nuzhny, Вы писали:

N>Здравствуйте, sharpcoder, Вы писали:


N>>>1. Почему у всех Винда?

S>>Корпоративный стандарт, общее администрирование сети и прав доступа разработчиков. TFS как стандарт для хранения исходников в компании.

N>А для моделей? Используете что-нибудь типа dvc?


Все модели пишут на питоне, среда разработки MS Visual Studio, исходники в TFS.

N>>>На ней просто завести что-то нейросетевое является проблемой.

S>>Это какой-то твой вымысел. Все летает, все библиотеки кросс-платформенные.

N>Что за библиотеки, если не секрет? Или всё в докере?


Не спец, но насколько я понимаю это тензорфло, питорч, может что-то еще. Люди под конкретные задачи юзают разные библиотеки. 9 разработчиков, я так понимаю что они уже погружены во все что связано с машинным зрением.

N>>>Впервые вижу такую кучу нейросетевиков на Винде, а не на Убунте или Маках в качестве терминалов. Нет, правда.

S>>Бывает что некоторые вещи ты видишь впервые. Правда

N>О, да! Но не факт, что эо новое — хорошее.


Ну если ты изъяны видишь, опиши. А то холивар в чистом виде, типа винда это плохо а мак это хорошо.
Я не слышал негативных отзывов от наших разрабов, а несколько из них несколько лет работают в области нейросетей как раз под разными линуксами. Ни один из них не попросил ему винды на линукс заменить, что типа под виндами ему что-то недоступно или не удобно.

N>Интересно, как у вас процесс поставлен.


Я сам не погружен в разработку, но уверен что процесс построен оптимально

S>>Если интересна общая архитектура, у каждого разраба стоит 1080 видеокарта и он нейросетку локально кодит. Делает простые тесты и потом закидывает на несколько дней обучаться на один из наших серваков. У нас три сервера с 4 Titan V видющками на каждом, под управлением линукса, подключенные к большим СХД (там датасеты по несколько десятков ТБ). Вот на этих серваках и происходит полное обучение и тестинг нейросети.


N>Вот это здорово уже.


Просто единственный вариант, разработчик же не будет ждать пока его комп несколько дней занят обучением. Поэтому все обучение в частном "облаке" конечно, а на компах только разработка и тестинг.
Re[12]: Skychain - нейросети, над которыми мы работаем
От: rean  
Дата: 01.04.19 13:43
Оценка:
deleted
Отредактировано 22.04.2019 8:41 deleted2 . Предыдущая версия . Еще …
Отредактировано 22.04.2019 8:28 deleted2 . Предыдущая версия .
Отредактировано 22.04.2019 7:57 deleted2 . Предыдущая версия .
Отредактировано 22.04.2019 7:42 deleted2 . Предыдущая версия .
Re[5]: Skychain - нейросети, над которыми мы работаем
От: Nuzhny Россия https://github.com/Nuzhny007
Дата: 01.04.19 13:44
Оценка:
Здравствуйте, sharpcoder, Вы писали:

N>>А для моделей? Используете что-нибудь типа dvc?

S>Все модели пишут на питоне, среда разработки MS Visual Studio, исходники в TFS.

Я имею в виду, как отслеживаются обученные модели, датасеты. Грубо говоря, обычную программа определяется своими исходниками. В ML уже всё сложнее: можно поменять код — качество изменится, поменять разметку — качество изменится, поменять картинки (добавить/удалить) — изменится, разная аугментация — изменится, другой фреймворк — изменится. Для этого и создаются такие штуки, как dvc, хранить и версионировать просто код — это слишком мало.

S>Я сам не погружен в разработку, но уверен что процесс построен оптимально


Разумеется!
https://elibrary.ru/author_counter.aspx?id=875549
Re[13]: Skychain - нейросети, над которыми мы работаем
От: Nuzhny Россия https://github.com/Nuzhny007
Дата: 01.04.19 13:47
Оценка:
Здравствуйте, rean, Вы писали:

R>Скажите прямо. Вы терпеть не можете Windows и хотите, чтобы все на свете поступали как вы хотите и тоже терпеть не могли Windows.

R>Очень забавно читать, как какой-то странный линуксоид учит компанию как правильно жить.

Нет, я не люблю тратить время на установку и сборку ПО, а также разбираться, почему оно не работает на той конкретной машине. Так сложилось, что поддержка Windows в нейросетевых фреймворках появляется постфактум и не всегда полностью. Заметь, я не говорю, что им делать, а спрашиваю: "Почему так?"

R>Такой «Linux-терроризм» от «программистов» наблюдаю уже несколько лет. Интересно, какова причина. Эти люди никогда не видели Windows?


Ну, продолжай наблюдать. Рано или поздно труп твоего врага проплывёт мимо.
https://elibrary.ru/author_counter.aspx?id=875549
Re[14]: Skychain - нейросети, над которыми мы работаем
От: rean  
Дата: 01.04.19 13:54
Оценка:
deleted
Отредактировано 22.04.2019 8:40 deleted2 . Предыдущая версия . Еще …
Отредактировано 22.04.2019 8:28 deleted2 . Предыдущая версия .
Отредактировано 22.04.2019 7:57 deleted2 . Предыдущая версия .
Отредактировано 22.04.2019 7:42 deleted2 . Предыдущая версия .
Re[15]: Skychain - нейросети, над которыми мы работаем
От: Nuzhny Россия https://github.com/Nuzhny007
Дата: 01.04.19 14:02
Оценка:
Здравствуйте, rean, Вы писали:

N>>Заметь, я не говорю, что им делать, а спрашиваю: "Почему так?"

R>Больше похоже на фанатизм в духе «у вас все неправильно, надо делать как я говорю»

Какой фанатизм? Просто необычно это всё. Обычно на Питоне пишут в Jupiter notebook, PyCharm или в VS Code. Просто потому что это удобно, визуализация, если надо. А тут в MSVS! И нет привязки к ОС. Сервера же всё равно у них Линуксовые. Есть git, разные расширения к нему для моделек и датасетов. И самое удивительное, что ВСЕ пользуются одним и тем же инструментарием, хотя разумно предположить, что у всех свои вкусы и каждому удобно что-то своё.
Тут можно предположить, что sharpcoder просто не знает всех деталей. Ну или разработчики молодые и им без разницы к чему привыкать в первый раз.
Я имел дело со студентами из ИТМО с кафедры КТ, так они даже плохо представляют как Windows выглядит, а предпочтения уходят в Арч и т.п. Их учат на программистов, а при желании могут получить лицензии на Windows и студии бесплатно. Но им не удобно, тупо не удобно.
https://elibrary.ru/author_counter.aspx?id=875549
Re[4]: Skychain - нейросети, над которыми мы работаем
От: smeeld  
Дата: 01.04.19 14:18
Оценка: -1
Здравствуйте, Sharov, Вы писали:

Матан там не поможет. Если бы всё было так просто-вывел в математику, расчитал, посчитал и запилил программно, то ещё 50 лет назад запилили бы фреймворк, который предоставлял бы всё, что нужно и всё, что можно. А так-это
сейчас какая-то гремучая прикладуха, смесь приближённых численных методов вычислений с умением пилить высокооптимизированные программные системы. Это не работа для математиков, или прочих "краснодипломников", это очень похоже на практику взлома софта. Ты вертишь так и сяк данные обучающей выборки вместе с различными моделями нейронок, подбирая чтоб на данном конкретном случае получить нужные параметры полноты и точности. Уважающие себя математики в эту хрень не лезут уже лет 50 как. Нейронки менеджеры откопали, и закопают опять, когда упрутся в вычислительные мощности современного железа, так, как это уже сделали когда-то.
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.