Здравствуйте, Nuzhny, Вы писали:

N>1. Почему у всех Винда? На ней просто завести что-то нейросетевое является проблемой. Впервые вижу такую кучу нейросетевиков на Винде, а не на Убунте или Маках в качестве терминалов. Нет, правда.

Опытные инженеры-плюсовики понаписали такого кроссплатформенного софта, который только на убунте работает?

Здравствуйте, Слава, Вы писали:

N>>1. Почему у всех Винда? На ней просто завести что-то нейросетевое является проблемой. Впервые вижу такую кучу нейросетевиков на Винде, а не на Убунте или Маках в качестве терминалов. Нет, правда.
С>Опытные инженеры-плюсовики понаписали такого кроссплатформенного софта, который только на убунте работает?

На Убунте банально удобнее и проще.

Про разработку.
Под Windows до какого-то времени вообще не было поддержки ни одного нейросетевого фреймворка. Да, некоторые под Windows собирались, были неофициальные порты, но это была боль и страдания. Потом Майкрософт сделала свой CNTK, но злые языки говорят, что им даже внутри Майкрософта мало кто пользуется, а предпочитают TensorFlow.

Про продакшен.
Где в основном работают нейросети? На серверах и мобилках. Где там Windows? Нигде. На самоуправляемых автомобилях, на коптерах и т.д. Где там Windows? Нигде.

Почему так? Потому что нейросети пишут на Питоне, тренируют на серверах (с GPU или кастомным железом типа TPU) или девбоксах с несколькими видеокартами. Всё это линуксовое.

Здравствуйте, Nuzhny, Вы писали:

N>Почему так? Потому что нейросети пишут на Питоне, тренируют на серверах (с GPU или кастомным железом типа TPU) или девбоксах с несколькими видеокартами. Всё это линуксовое.

скорее всего они просто код пишут в винде, а собирают и запускают где-нить в облаке

Здравствуйте, Ip Man, Вы писали:

IM>скорее всего они просто код пишут в винде, а собирают и запускают где-нить в облаке

Наверное так и есть. Но видна экономия на железе (мониторы, мышки, клавы) и при этом неоправданные траты на ПО. Зачем?

Здравствуйте, Nuzhny, Вы писали:

N>Наверное так и есть. Но видна экономия на железе (мониторы, мышки, клавы) и при этом неоправданные траты на ПО. Зачем?

Зачем учить зайца ездить на велосипеде? Зачем людей сажать на линукс, когда у каждого васи дома винда, с вордом, экселем и Skyrim?

Здравствуйте, Слава, Вы писали:

С>Зачем учить зайца ездить на велосипеде? Зачем людей сажать на линукс, когда у каждого васи дома винда, с вордом, экселем и Skyrim?

Затем, что на целевой платформе всё равно будет не Винда. Посмотри на требования к сферическому нейросетевику, там ни разу не будет упомянут Windows, зато во всю красу:
— линукс-ориентированные технологии, связанные с развёртыванием моделей (я даже не про Докер);
— библиотеки, работающие исключительно под ЛИнуксом типа TensorFlow (под Windows никто не гарантирует работу, особенно с GPU));
— часто прямо указывают знание bash и пользовательского уровня в Линуксе.

N>- библиотеки, работающие исключительно под ЛИнуксом типа TensorFlow (под Windows никто не гарантирует работу, особенно с GPU));

Tensorflow CPU нормально работает на Windows. А так Windows гораздо более приятная операционка, чем Ubuntu. Большую часть работы делаю на Windows, иногда по потребностям просто ставлю рядом (физически), ещё один комп с Ubunt'ой. Дома работаю только под Ubuntu. Почти всегда всё работает идентично под обеими операционками. Но с GPU беда, под Windows стартануть не получилось.

Здравствуйте, De-Bill, Вы писали:

DB>Tensorflow CPU нормально работает на Windows. А так Windows гораздо более приятная операционка, чем Ubuntu. Большую часть работы делаю на Windows, иногда по потребностям просто ставлю рядом (физически), ещё один комп с Ubunt'ой. Дома работаю только под Ubuntu. Почти всегда всё работает идентично под обеими операционками. Но с GPU беда, под Windows стартануть не получилось.

Tensorflow CPU — да, но им же обучать надо, а для обучения только GPU. Ну и поддержка Windows на CPU далеко не сразу появилась.

Здравствуйте, De-Bill, Вы писали:

DB>Но с GPU беда, под Windows стартануть не получилось.
Там определенную комбинацию версий нужно установить у себя локально.
у меня:
tensorflow-gpu 1.13.1
nVidia CUDA 10.0
cuDNN 7.5 для cuda 10.0

С более свежими версиями, к сожалению, не получилось стартануть TF

Здравствуйте, Nuzhny, Вы писали:

N>Tensorflow CPU — да, но им же обучать надо, а для обучения только GPU. Ну и поддержка Windows на CPU далеко не сразу появилась.
На винде все отлично работает:

	cut

Здравствуйте, alexsoff, Вы писали:

N>>Tensorflow CPU — да, но им же обучать надо, а для обучения только GPU. Ну и поддержка Windows на CPU далеко не сразу появилась.
A>На винде все отлично работает:

Мы тоже запускали, только по каким-то неофициальным мануалам, методом проб и ошибок. В отличие от Убунты, где надо просто выполнить пару команд в терминале или следовать официальной документации для компиляции самому. Это как раз и есть отсутствие поддержки Windows и закладываться на такое не хочется. Гугл вполне может сделать что-нибудь несовместимое и вся работа либо пойдёт на смарку, либо надо будет заново тыкаться с установкой. Зачем такие мучения? Я хз.

Здравствуйте, Nuzhny, Вы писали:

N>Здравствуйте, sharpcoder, Вы писали:

S>>Был недавно в Екатеринбурге, где наш дополнительный офис и 5 (через неделю будет 6) нейросетевиков.

N>1. Почему у всех Винда?

Корпоративный стандарт, общее администрирование сети и прав доступа разработчиков. TFS как стандарт для хранения исходников в компании.

N>На ней просто завести что-то нейросетевое является проблемой.

Это какой-то твой вымысел. Все летает, все библиотеки кросс-платформенные.

N>Впервые вижу такую кучу нейросетевиков на Винде, а не на Убунте или Маках в качестве терминалов. Нет, правда.

Бывает что некоторые вещи ты видишь впервые. Правда

Если интересна общая архитектура, у каждого разраба стоит 1080 видеокарта и он нейросетку локально кодит. Делает простые тесты и потом закидывает на несколько дней обучаться на один из наших серваков. У нас три сервера с 4 Titan V видющками на каждом, под управлением линукса, подключенные к большим СХД (там датасеты по несколько десятков ТБ). Вот на этих серваках и происходит полное обучение и тестинг нейросети.

N>2. Почему простатой занимается девушка, а раком груди — мальчик? Казалось бы, что для повышения мотивации их задачи надо поменять.

У нас вообще часто одную нейросетку начинает один, второй продолжает, третий заканчивает. Так и точность выше, и знания быстрее накапливаются в команде т.к. каждый человек разрабатывает постоянно разные области.

Здравствуйте, sharpcoder, Вы писали:

N>>1. Почему у всех Винда?
S>Корпоративный стандарт, общее администрирование сети и прав доступа разработчиков. TFS как стандарт для хранения исходников в компании.

А для моделей? Используете что-нибудь типа dvc?

N>>На ней просто завести что-то нейросетевое является проблемой.
S>Это какой-то твой вымысел. Все летает, все библиотеки кросс-платформенные.

Что за библиотеки, если не секрет? Или всё в докере?

N>>Впервые вижу такую кучу нейросетевиков на Винде, а не на Убунте или Маках в качестве терминалов. Нет, правда.
S>Бывает что некоторые вещи ты видишь впервые. Правда

О, да! Но не факт, что эо новое — хорошее. Интересно, как у вас процесс поставлен.

S>Если интересна общая архитектура, у каждого разраба стоит 1080 видеокарта и он нейросетку локально кодит. Делает простые тесты и потом закидывает на несколько дней обучаться на один из наших серваков. У нас три сервера с 4 Titan V видющками на каждом, под управлением линукса, подключенные к большим СХД (там датасеты по несколько десятков ТБ). Вот на этих серваках и происходит полное обучение и тестинг нейросети.

Вот это здорово уже.

Здравствуйте, Nuzhny, Вы писали:

N>Здравствуйте, sharpcoder, Вы писали:

N>>>1. Почему у всех Винда?
S>>Корпоративный стандарт, общее администрирование сети и прав доступа разработчиков. TFS как стандарт для хранения исходников в компании.

N>А для моделей? Используете что-нибудь типа dvc?

Все модели пишут на питоне, среда разработки MS Visual Studio, исходники в TFS.

N>>>На ней просто завести что-то нейросетевое является проблемой.
S>>Это какой-то твой вымысел. Все летает, все библиотеки кросс-платформенные.

N>Что за библиотеки, если не секрет? Или всё в докере?

Не спец, но насколько я понимаю это тензорфло, питорч, может что-то еще. Люди под конкретные задачи юзают разные библиотеки. 9 разработчиков, я так понимаю что они уже погружены во все что связано с машинным зрением.

N>>>Впервые вижу такую кучу нейросетевиков на Винде, а не на Убунте или Маках в качестве терминалов. Нет, правда.
S>>Бывает что некоторые вещи ты видишь впервые. Правда

N>О, да! Но не факт, что эо новое — хорошее.

Ну если ты изъяны видишь, опиши. А то холивар в чистом виде, типа винда это плохо а мак это хорошо.
Я не слышал негативных отзывов от наших разрабов, а несколько из них несколько лет работают в области нейросетей как раз под разными линуксами. Ни один из них не попросил ему винды на линукс заменить, что типа под виндами ему что-то недоступно или не удобно.

N>Интересно, как у вас процесс поставлен.

Я сам не погружен в разработку, но уверен что процесс построен оптимально

S>>Если интересна общая архитектура, у каждого разраба стоит 1080 видеокарта и он нейросетку локально кодит. Делает простые тесты и потом закидывает на несколько дней обучаться на один из наших серваков. У нас три сервера с 4 Titan V видющками на каждом, под управлением линукса, подключенные к большим СХД (там датасеты по несколько десятков ТБ). Вот на этих серваках и происходит полное обучение и тестинг нейросети.

N>Вот это здорово уже.

Просто единственный вариант, разработчик же не будет ждать пока его комп несколько дней занят обучением. Поэтому все обучение в частном "облаке" конечно, а на компах только разработка и тестинг.

deleted

Здравствуйте, sharpcoder, Вы писали:

N>>А для моделей? Используете что-нибудь типа dvc?
S>Все модели пишут на питоне, среда разработки MS Visual Studio, исходники в TFS.

Я имею в виду, как отслеживаются обученные модели, датасеты. Грубо говоря, обычную программа определяется своими исходниками. В ML уже всё сложнее: можно поменять код — качество изменится, поменять разметку — качество изменится, поменять картинки (добавить/удалить) — изменится, разная аугментация — изменится, другой фреймворк — изменится. Для этого и создаются такие штуки, как dvc, хранить и версионировать просто код — это слишком мало.

S>Я сам не погружен в разработку, но уверен что процесс построен оптимально

Разумеется!

Здравствуйте, rean, Вы писали:

R>Скажите прямо. Вы терпеть не можете Windows и хотите, чтобы все на свете поступали как вы хотите и тоже терпеть не могли Windows.
R>Очень забавно читать, как какой-то странный линуксоид учит компанию как правильно жить.

Нет, я не люблю тратить время на установку и сборку ПО, а также разбираться, почему оно не работает на той конкретной машине. Так сложилось, что поддержка Windows в нейросетевых фреймворках появляется постфактум и не всегда полностью. Заметь, я не говорю, что им делать, а спрашиваю: "Почему так?"

R>Такой «Linux-терроризм» от «программистов» наблюдаю уже несколько лет. Интересно, какова причина. Эти люди никогда не видели Windows?

Ну, продолжай наблюдать. Рано или поздно труп твоего врага проплывёт мимо.

deleted

Здравствуйте, rean, Вы писали:

N>>Заметь, я не говорю, что им делать, а спрашиваю: "Почему так?"
R>Больше похоже на фанатизм в духе «у вас все неправильно, надо делать как я говорю»

Какой фанатизм? Просто необычно это всё. Обычно на Питоне пишут в Jupiter notebook, PyCharm или в VS Code. Просто потому что это удобно, визуализация, если надо. А тут в MSVS! И нет привязки к ОС. Сервера же всё равно у них Линуксовые. Есть git, разные расширения к нему для моделек и датасетов. И самое удивительное, что ВСЕ пользуются одним и тем же инструментарием, хотя разумно предположить, что у всех свои вкусы и каждому удобно что-то своё.
Тут можно предположить, что sharpcoder просто не знает всех деталей. Ну или разработчики молодые и им без разницы к чему привыкать в первый раз.
Я имел дело со студентами из ИТМО с кафедры КТ, так они даже плохо представляют как Windows выглядит, а предпочтения уходят в Арч и т.п. Их учат на программистов, а при желании могут получить лицензии на Windows и студии бесплатно. Но им не удобно, тупо не удобно.

Здравствуйте, Sharov, Вы писали:

Матан там не поможет. Если бы всё было так просто-вывел в математику, расчитал, посчитал и запилил программно, то ещё 50 лет назад запилили бы фреймворк, который предоставлял бы всё, что нужно и всё, что можно. А так-это
сейчас какая-то гремучая прикладуха, смесь приближённых численных методов вычислений с умением пилить высокооптимизированные программные системы. Это не работа для математиков, или прочих "краснодипломников", это очень похоже на практику взлома софта. Ты вертишь так и сяк данные обучающей выборки вместе с различными моделями нейронок, подбирая чтоб на данном конкретном случае получить нужные параметры полноты и точности. Уважающие себя математики в эту хрень не лезут уже лет 50 как. Нейронки менеджеры откопали, и закопают опять, когда упрутся в вычислительные мощности современного железа, так, как это уже сделали когда-то.