Здравствуйте, Nuzhny, Вы писали:
Тё>>Так ты дата саенсом не занимаешься, получается?
N>SELECT vehicles from video_12345.mp4 where color == 'red' and type == 'truck'
N>Вот таким не занимаюсь. Я знаю классическое компьютерное зрение, немного нейросети, теорию вероятностей, статистику, численные методы, исследование операций, дискретную математику. Короче, всего понемногу, что может дать специальность Прикладная математика и что реально приходится исользовать на практике.
мапредюс не для crud аппликух. А для всего того, что ты перечислил. Короче, получается что кроме как прикрутить готовую либу компьютерного зрения, дальше ты не копал.
Здравствуйте, Тёмчик, Вы писали:
Тё>мапредюс не для crud аппликух. А для всего того, что ты перечислил. Короче, получается что кроме как прикрутить готовую либу компьютерного зрения, дальше ты не копал.
Разумеется, не копал. Тупые сиплюсплюсники на большее не годятся, только чужое использовать.
Здравствуйте, Nuzhny, Вы писали:
N>Здравствуйте, Тёмчик, Вы писали:
Тё>>мапредюс не для crud аппликух. А для всего того, что ты перечислил. Короче, получается что кроме как прикрутить готовую либу компьютерного зрения, дальше ты не копал.
N>Разумеется, не копал. Тупые сиплюсплюсники на большее не годятся, только чужое использовать.
Я не про то. В каждой нише свой набор инструментов, независимо от крутизны тех или других. Ниша мап редюс, я считаю, весьма крутая и она входит в то, тот впечатляющий набор дисциплин, что ты перечислил. А ты зачем-то обозвал это тупым crud-м.
Здравствуйте, Тёмчик, Вы писали:
Тё>Я не про то. В каждой нише свой набор инструментов, независимо от крутизны тех или других. Ниша мап редюс, я считаю, весьма крутая и она входит в то, тот впечатляющий набор дисциплин, что ты перечислил. А ты зачем-то обозвал это тупым crud-м.
Блин, мы с тобой вообще на разных языках говорим. Я впервые слышу термин crud. Я пишу библиотеки на плюсах, они обрабатывают фото и видео, копаюсь в кишках некоторых фреймворков, неплохо разбирался в ffmpeg, программировал GPGPU. Использую и иногда придумываю алгоритмы, всё такое. Там нигде нет map-reduce, ни в статьях, ни в книгах, ни в библиотеках. Это всё где-то в стороне.
Здравствуйте, Тёмчик, Вы писали:
AS>>Я наоборот смотрю, что всякие интересные проекты разрабатываются на раст, нежели на С++ Тё>Не затруднит назвать компании и продукты на раст?
К ядру линукса прикручивают раст, ниша, конечно, но уже что то.
Здравствуйте, Nuzhny, Вы писали:
N>Здравствуйте, Тёмчик, Вы писали:
Тё>>Я не про то. В каждой нише свой набор инструментов, независимо от крутизны тех или других. Ниша мап редюс, я считаю, весьма крутая и она входит в то, тот впечатляющий набор дисциплин, что ты перечислил. А ты зачем-то обозвал это тупым crud-м.
N>Блин, мы с тобой вообще на разных языках говорим. Я впервые слышу термин crud. Я пишу библиотеки на плюсах, они обрабатывают фото и видео, копаюсь в кишках некоторых фреймворков, неплохо разбирался в ffmpeg, программировал GPGPU. Использую и иногда придумываю алгоритмы, всё такое. Там нигде нет map-reduce, ни в статьях, ни в книгах, ни в библиотеках. Это всё где-то в стороне.
map-reduce он много, где применяется, просто не всегда так называется.
map — разбиваем задачу на множество однотипных подзадач, прогоняем подзадачу через обрабатывающую функцию, получаем результат
reduce — аггрегируем результаты из map-этапа по заранее определенным правилам
Работу видеокодека, в принципе можно прикрутить к map & reduce, когда мы кадр делим на квадраты, производим "дифференцирование" квадратов, и на выходе имеем матрицу DCT, и набор опорных квадратов.
Здравствуйте, Тёмчик, Вы писали:
Тё>Здравствуйте, AmSpb, Вы писали:
AS>>Я наоборот смотрю, что всякие интересные проекты разрабатываются на раст, нежели на С++ Тё>Не затруднит назвать компании и продукты на раст?
гуглите и обгуглитесь.
AS>>С++ всё больше на perl начинает походить Тё>В смысле становится менее грабельным и более тормозным?
Нет, в смысле, что сегодня ты написал код на С++ со всякему лямбдами и темплейтами, а через полгода, вернувшись к коду не поймешь, что он делает.
Здравствуйте, AmSpb, Вы писали:
AS>map-reduce он много, где применяется, просто не всегда так называется. AS>map — разбиваем задачу на множество однотипных подзадач, прогоняем подзадачу через обрабатывающую функцию, получаем результат AS>reduce — аггрегируем результаты из map-этапа по заранее определенным правилам
Да я в принципе знаю, что это такое, но всё таки в своём изначальном смысле — это штука для параллельных вычислений на кластере и других подобных штуках. Вот этим я не занимаюсь.
AS>Работу видеокодека, в принципе можно прикрутить к map & reduce, когда мы кадр делим на квадраты, производим "дифференцирование" квадратов, и на выходе имеем матрицу DCT, и набор опорных квадратов.
Нууу, как-то совсем отдалённо. Data parallel задачи из обработки видео и картинок, когда оно выполняется как при кодировании в jpeg или в целом на cores (шейдерных ядрах) видеокарты — это совсем разные вещи. Эта область со своей историей и терминологией, не понятно зачем туда тянуть новомодные понятия из другой области.
Здравствуйте, Nuzhny, Вы писали:
N>Да я в принципе знаю, что это такое, но всё таки в своём изначальном смысле — это штука для параллельных вычислений на кластере и других подобных штуках. Вот этим я не занимаюсь.
Ну т.е. статистикой, оптимизацией, датамайнингом не занимаешься, но перечислил как твои познания из универа. Если познания есть, тогда и вопрос про схрдство/различия должен быть понятен.
Здравствуйте, Тёмчик, Вы писали:
N>>Да я в принципе знаю, что это такое, но всё таки в своём изначальном смысле — это штука для параллельных вычислений на кластере и других подобных штуках. Вот этим я не занимаюсь. Тё>Ну т.е. статистикой, оптимизацией, датамайнингом не занимаешься, но перечислил как твои познания из универа. Если познания есть, тогда и вопрос про схрдство/различия должен быть понятен.
Чтор такое статистика в твоём понимании? Если я, например, использую пуассоновские потоки для моделирования траффика — это статистика? Оптимизация — это вообще везде и не только первого порядка, как в нейронках сейчас. Датамайнинг — модное слово, которое пришло, побыло и плавно ушло уже практически. Такое ощущение, что у тебя триггеры на модные ярлыки, которые навешивают на вековые понятия из математики. Я недавно проходил собеседование в Интел, где можно oneAPI, параллелится на любые доступные устройства, в том числе и кластеры. А под капотом там старый добрый MPI для сети. Пользователи будут пользоваться, для них должно быть всё просто и легко, они станут рассказывать, насколько хорош onwAPI (он наверняка и будет хорош). Но я всё равно буду знать, что в этом месте за ним стоит OpenCL, в этом — MPI, тут — ещё что-нибудь старое и проверенное. Не так уж много открытий делается в CS, скорее многие вещи доводят до того, что ими становится удобно пользоваться и их пускают в массы под модными ярлыками.
Здравствуйте, Sharov, Вы писали:
N>>Чтор такое статистика в твоём понимании? Если я, например, использую пуассоновские потоки для моделирования траффика — это статистика? S>Процессы, наверное, а не потоки.
Есть пуассоновский поток событий, самое простое для моделирования стационарных случайных процессов.
Здравствуйте, Muxa, Вы писали:
M>Это на какой проект?
Да какая-то часть oneAPI, связанная с MPI в целом и всяческой оптимизацией при передаче данных по сети, между CPU и GPU и прочее. Но там надо было глубже знать оптимизацию с интрисиками и вообще программировать на более низком уровне, а не прикладном, как у меня сейчас. Не подошёл.
M>Я смотрю они серьезно пылесосят рынок. У нас за последнее время четверо к ним ушли, включая меня.
Здравствуйте, Nuzhny, Вы писали:
N>Чтор такое статистика в твоём понимании? Если я, например, использую пуассоновские потоки для моделирования траффика — это статистика?
Не совсем. Тебе разжевали задачу, ты копаешь. Не суть. Ты ушёл от ответа, чем отличается спарк от указанной тобой либы на расте. Сменил тему.
PS Потоки для моделирования траффика- это одна из лабораторок у студентов первых курсов. Не рокет саенс ни разу, делается за 1 день.
Здравствуйте, Тёмчик, Вы писали:
Тё>Не совсем. Тебе разжевали задачу, ты копаешь.
Кто разжевал мне задачу?! Учитывая, что я лет 10 точно руковожу процессом: мне максимум разжёвывают, что надо заказчику. А то бывает и наоборот — я говорю, что он может получить.
Тё>Не суть. Ты ушёл от ответа, чем отличается спарк от указанной тобой либы на расте. Сменил тему.
Я не сменил тему! Я сказал, что не в курсе про спарк. Ау! Я не пью коньяк по утрам — тут нет темы для разговора.
Тё>PS Потоки для моделирования траффика- это одна из лабораторок у студентов первых курсов. Не рокет саенс ни разу, делается за 1 день.
Ну, это совсем смешно. Знаешь, как может ставится задача в простейшем случае? "Что-то у нас на этом перекрёстке пробки, люди жалуются. Насколько вы можете улучшить ситуацию?" Вот она в максимально разжёванном виде. Дальше я сам говорю куда надо вешать камеры с какими характеристиками (с помощью проектировщиков с их ПО), это решение проходит несколько итераций с местными службами, потому что конкретный столб или здание могут относиться к разным службам.
Выясняется про сеть, про место для edge device (оно может быть как на столбе, так и в ситуационном центре). Надо подключиться к контроллеру светофора(ов), чтобы получать с него сигналы. Когда всё запущено и видео идёт увидеть, что грёбаные провода от троллейбуса сильно мешают где-то. Что ночью одну из камер засвечивает и ставить ИК-прожектор.
Система разворачивается на edge, распознаёт транспорт (а также его тип) и пешеходов (одна нейронка), всё трекается (тут классика + вторая нейронка для re-id), вычисляется скорость и ускорение, вычисляются географические координаты для отображения на карте, вычисляется приблизительный объём выбросов CO2 и других штук. Попутно определяется день/ночь для смены нейронок, применяются разные классические алгоритмы для решения мелких проблем. Это всё по одной камере. Далее для нескольких камер используется мультикамерный трекинг. Всё это агггрегируется и подаётся в Кафку. Вот эту часть делаю я. Что стоит за Кафкой по большей части другие. Но этого для заказчика мало, потому что не понятно, что делать с этими данными.
Далее берётся ПО типа SUMO для моделирования траффика, куда загружается реальный траффик, пишется алгоритм оптимального управления перекрёстком уже в рамках этого ПО. Вот тут как раз надо знать про потоки и всякие случайные процессы. На реальных данных и модельных показывается разница, что может принести система на их перекрёстке. Скорее всего, никто управлять самим перекрёстком программе не даст (а может и дадут, тогда надо будет реализовать), но будут принимать от неё рекомендации, чтобы сотрудники подстраивали вручную светофор с какой-то периодичностью.
Вот. Всё это свеженькое, работает неплохо и содержит несколько в процессе патентования идей, которые позволяют быть лучше конкурентов. Мир за пределами edge device (это, например, nvidia jetson), меня не сильно интересует. Мир за пределами условного SUMO тоже. Там всякие БД, аналитика пробок, дашборды, карты и другая штука, которую пишут не на С++ люди, прекрасно разбирающиеся в своём предмете.
Я с удовольствием посмотрю, как это делают студенты за одну лабораторную.
Это ещё только работа с одним перекрёстком, а не с несколькими. И не с сотнями — на уровень городской транспортной системы мы не вышли. Вот это уже наааамного сложнее. Ещё, кстати, есть проблема с адаптацией нейронок под конкретный перекрёсток. Так совпало, что как раз на дня NVidia на своей конференции выкатила инструмент для федеративного обучения (NVidia TAO) — тема в самом тренде.
Но это всё не отменяет тот факт, что я тупой сиплюплюсник. Пользуюсь чужими библиотеками в основном, да. Их десятки как минимум у меня в проектах.
М>А чем в российском Интеле сейчас занимаются? После отмены удаленки надо будет либо в Москву либо в Нижний Новгород переезжать?
Я попал на проект разработки компилятора для видеокарт. Чем ещё занимается Интел в России мне пока сложно судить, так как работаю всего пару недель и в офисах ни разу не был, да и вряд ли буду. Переезжать не нужно будет.
М>Кстати, что-то про Хуавей больше ничего не слышно, хотя раньше они тоже здорово пылесосили.
Ну мне звонили пару дней назад они, но да — как-то их активность снизилась. Может набрали народу уже.
