краткая аннотация сего "высера"
	Стерлинг, известный как один из разработчиков первых петафлопсных систем (или, иначе, как "компетентный специалист, продуктивно занимающийся суперкомпьютерами вот уже более 30 лет" (c)) сделал почти 10 лет назад прогноз что зеттафлопсные (FP64) суперкомпьютеры — не возможны в принципе (и поэтому никогда не появятся), а теперь судя по всему гиганты индустрии собираются беззастенчиво подтереться его высказываниями ..

BSC и Intel намереваются вместе создать зеттафлопсные суперкомпьютеры на базе чипов RISC-V
https://servernews.ru/1067113

Барселонский суперкомпьютерный центр (Centro Nacional de Supercomputación, BSC-CNS) и Intel объявили на конференции ISC 2022 о планах по созданию совместной инновационной лаборатории для разработки суперкомпьютеров нового поколения, которые преодолеют зеттафлопсный барьер, то есть будут в 1000 раз быстрее, чем самые мощные современные суперкомпьютеры.

NVIDIA и Ayar Labs вместе создадут технологии фотонного интерконнекта для HPC и ИИ-систем будущего
https://servernews.ru/1066754

Предсказывается, что уже к 2023 году сложность моделей машинного обучения достигнет отметки 100 трлн связей, что в 600 раз больше рекордного показателя 2021 года, и эта цифра уже выходит за рамки возможностей современных технологий.

Именно для преодоления этого барьера NVIDIA и заключила стратегический альянс с Ayar Labs — её разработки в области фотоники позволят поднять удельную пропускную способность I/O-подсистем в 1000 раз, но уровень энергопотребления при этом, напротив, сократится в 10 раз.

так так, очень любопытненько

P.S.:

кто ещё не видел кстате, рекомендую ознакомится с ИИ моделями DALL-E 2 от OpenAI, и ещё более совершенной Imagen от Google ..

эти нейросетки уже сейчас генерят по текстовому запросу, неотличимые от созданных человеком изображения — а что же будет дальше ..


P.S.2:

далее,

[29 мая 2013] К точке критического перехода
http://www.3dnews.ru/offsyanka/645889/

да, забавная статейка 2013 года :gigi:

скоро одна игровая видяха топовая будет — как суперкомьютер 2012 года (N=500) ..

	Скрытый текст

"зеттафлопса не будет, расходимся" (c) ..

Впрочем, Стерлинг тут же уточняет свой столь сильный прогноз: «Выражаясь более аккуратно, мы никогда не достигнем рубежа зеттафлопсов с помощью традиционных дискретных операций с плавающей запятой».

В принципе же, он признает, конечно, что далее человечество вполне способно разработать нечто совершенно новое. Возможно, это будет что-то типа квантовых компьютеров, или метафорических компьютеров, или же биологических компьютеров.

Но чем бы это ни было, уверен Стерлинг, это будет не тем, чем занимались создатели компьютеров последние семьдесят лет...

как он с квантовыми компьютерами подгадал .. :laugh:

P.S.:

хотя конечно думаю что лет через 25-30 вполне может таки и состряпают классический FP64 зеттафлопс, если в нём ещё будет необходимость — на каких нибудь одноатомных транзисторах, или оптических ..

или всё таки, есть какие то весомые данные и расчёты — что это принципиально невозможно ?

P.S.2:

из статьи,

Согласно предварительным подсчетам, для моделирования на суперкомпьютере клеток мозга в реальном времени требуется примерная производительность от 1 до 10 экзафлопс с 4 петабайтами памяти.

Если говорить об этом в терминах потребления энергии, то даже по самым оптимистичным прогнозам подобная вычислительная система будет потреблять как минимум от 20 до 30 мегаватт.

Стоит напомнить, что человеческий мозг потребляет примерно 20-40 ватт.

Здравствуйте, xma, Вы писали:

xma>скоро одна игровая видяха топовая будет — ...

А почему не рассматривается сценарий где всё ра$%@рачим и откатимся в каменный век?

Здравствуйте, xma, Вы писали:

xma>или всё таки, есть какие то весомые данные и расчёты — что это принципиально невозможно ?
Ничего невозможного вроде как не видится, это не революция, а эволюция, и вполне достижимо.
Единственное, что далеко не все задачи получится достаточно адекватно посчитать на таком суперкомпьютере.

xma>Если говорить об этом в терминах потребления энергии, то даже по самым оптимистичным прогнозам подобная вычислительная система будет потреблять как минимум от 20 до 30 мегаватт.
30 мегаватт это не много. Даже гигаватт это не так много. И даже сотни гигаватт это не принципиально много.

_>А почему не рассматривается сценарий где всё ра$%@рачим и откатимся в каменный век?
Разве что только на том небольшом кусочке Земли, где обитаете.

Здравствуйте, xma, Вы писали:

xma>кто ещё не видел кстате, рекомендую ознакомится с ИИ моделями DALL-E 2 от OpenAI, и ещё более совершенной Imagen от Google ..
xma>эти нейросетки уже сейчас генерят по текстовому запросу, неотличимые от созданных человеком изображения — а что же будет дальше ..

Например, не понимают разницу между левой и правой рукой:

	картинка

P.S. Мне кажется, что ты не до конца понимаешь насколько по сути примитивно работают современые нейросети.

Здравствуйте, Nuzhny, Вы писали:

N>Например, не понимают разницу между левой и правой рукой:

"ну всё, пора закрывать лавочку ?" (c) впихнут 100 триллионов связей — будет лево и право различать ..

тут (вообще) скорей всего проблема в отражениях — когда обучается на семплах, нейронка не знает где отражение а где нет ..

ну т.е. пока может и не всегда идеально, но в целом прогресс рванул неизмеримо вверх .. по сравнению с тем что было в первой версии DALL-E (напр., можете оценить какое говно генит адаптированная под русский язык "ru DALL-E" от Сбера)

N>P.S. Мне кажется, что ты не до конца понимаешь насколько по сути примитивно работают современые нейросети.

примитивна — лишь базовая идея, и в некоторой степени практическое применение существующих решений .. а вот сами различные модели, как и разработка (в т.ч. теоретическая) новых — думаю что весьма не простое занятие ..

Здравствуйте, xma, Вы писали:

xma>"ну всё, пора закрывать лавочку ?" (c) впихнут 100 триллионов связей — будет лево и право различать ..

И обучаться месяц на суперкомпьютере. Обучение такой сети с нуля будет стоить 100 млн $.

xma>примитивна — лишь базовая идея, и в некоторой степени практическое применение существующих решений .. а вот сами различные модели, как и разработка (в т.ч. теоретическая) новых — думаю что весьма не простое занятие ..

Да! В том-то и дело, что сами сети разрабатывать трудно и дорого. AutoML пока не взлетел. efficientnet v2, который был сделан с помощью AutoML в детекции проигрывает тому же yolo (и v4, и v5), сделанному руками парой независимых исследователей. Кажется, что для сложных нейросетей пока не создан математический аппарат. Или это будут совсем не нейросети.

Здравствуйте, Nuzhny, Вы писали:

N>И обучаться месяц на суперкомпьютере. Обучение такой сети с нуля будет стоить 100 млн $.

по второй ссылке из старт поста,

Как отметил ведущий архитектор ЦОД-отдела NVIDIA, Роб Обер (Rob Ober), за прошедшее десятилетие производительность, достигнутая решениями компании в области искусственного интеллекта, возросла в миллион раз, но следующий миллион потребует отказа от медной инфраструктуры, которая уже не сможет справиться с возрастающей сложностью и энергопотреблением таких систем.

N>Да! В том-то и дело, что сами сети разрабатывать трудно и дорого. AutoML пока не взлетел. efficientnet v2, который был сделан с помощью AutoML в детекции проигрывает тому же yolo (и v4, и v5), сделанному руками парой независимых исследователей. Кажется, что для сложных нейросетей пока не создан математический аппарат. Или это будут совсем не нейросети.
И теоретический тоже. Какие и почему и для какой задачи делать слои и как их состыковывать никто не представляет даже теоретически пока.
В теории ты можешь наделать много кубиков с разными типичными слоями и дальше запустить генетический алгоритм и он уже долго будет подбирать их, но в этой части пока достаточно глухо.
Да и собственно с генетическими алгоритмами многое глухо. Пока до них только дотронулись и узнали, что они таки работают иногда.
Кстати видел продукт одного американского универа, что генетическим алгоритмом состыковывает различные функции и подгоняет их под физический процесс. Иногда получается что-то близкое к правильному, а чаще просто некая чушь.

Кстати по YOLO я не видел статей, почему они так, а не по другому делали слои и так хитро их связывали. Во всех статьях только — вот мы так сделали, попробовали и убедились, что работает хорошо.

N>Например, не понимают разницу между левой и правой рукой:
Ну, увеличив нейросетку и датасет можно ее обучить и на это. Но тут же найдется что-то следующее, что также не будет работать.

Здравствуйте, Vzhyk2, Вы писали:

V>Ну, увеличив нейросетку и датасет можно ее обучить и на это. Но тут же найдется что-то следующее, что также не будет работать.

ну практическое применение возможно уже сейчас — в качестве быстрой альтернативы фотошопу или платным фотостокам .. особенно для оформления статей в интернете .. (или иных иллюстраций)

ну и нейросетки в целом могут достигать значительно бОльших пониманий взаимосвязей (между "образами" и изображениями) чем человек, поэтому очень любопытно — думаю многим будет пощёлкать их достаточно совершенные версии, по таким понятиям как "Рай"/"Ад"/"Добро"/"Красота" и т.д. ..

а если до кучи, добавить обработку (и обучение на) аудиовизуальных данных .. то даже без миллиарда "мартышек" (людей) с нейроинтерфейсами (считывающими степень наслаждения в реальном времени в качестве AI подкрепления), думаю можно было бы получить некоторые весьма интересные результаты (для начала) ..

xma>ну практическое применение возможно уже сейчас — в качестве быстрой альтернативы фотошопу или платным фотостокам .. особенно для оформления статей в интернете .. (или иных иллюстраций)
Так применяй. Никто же не запрещает.

xma>ну и нейросетки в целом могут достигать значительно бОльших пониманий взаимосвязей (между "образами" и изображениями) чем человек, поэтому очень любопытно — думаю многим будет пощёлкать их достаточно совершенные версии, по таким понятиям как "Рай"/"Ад"/"Добро"/"Красота" и т.д. ..
Не могут как минимум по 2 причинам.
Эти понятия у каждого человека индивидуальны.
Нейросетки пытаются как-то моделировать мышление человека и поэтому всегда будут хуже работать, чем человек. Они поэтому так и называются.

xma>а если до кучи, добавить обработку (и обучение на) аудиовизуальных данных .. то даже без миллиарда "мартышек" (людей) с нейроинтерфейсами (считывающими степень наслаждения в реальном времени в качестве AI подкрепления), думаю можно было бы получить некоторые весьма интересные результаты (для начала) ..
Что есть интересные?

Здравствуйте, xma, Вы писали:

xma>"ну всё, пора закрывать лавочку ?" (c) впихнут 100 триллионов связей — будет лево и право различать ..

Они не будут различать. Они будут квалифицировать, если обучены. и гдето там соотношение коэффициентов будет такое, что в условиях, приближенных к примерам на которых была обучена сеть — да, левая и правя рука будут правильно рисоваться.


xma>ну т.е. пока может и не всегда идеально, но в целом прогресс рванул неизмеримо вверх .. по сравнению с тем что было в первой версии DALL-E (напр., можете оценить какое говно генит адаптированная под русский язык "ru DALL-E" от Сбера)

прогресс в квалификации объектов, рванул. В сложных выводах — не рванул.



Все нейронки сводятся к одному — принять решение по результатам обучения.

Многоэтапной последовательности следующих друг из друга выводов, да еще и в принципиально незнакомом окружении — они воспроизводить не могут.

Здравствуйте, Vzhyk2, Вы писали:

V>Так применяй. Никто же не запрещает.

доступ к ним пока что закрыт или "временно" ограничен ..

V>Не могут как минимум по 2 причинам.
V>Эти понятия у каждого человека индивидуальны.

ну вот смотри например, нейросеть ru DALL-E сгенила по запросу "Адская музыка"

	Скрытый текст

весьма чётко (соответствует запросу), думаю что человек — бы до такой картинки никогда не додумался ..

V>Нейросетки пытаются как-то моделировать мышление человека
это бред — никакое мышление человека они таки не моделируют .. они моделируют нахождение таких взаимосвязей, которые человек сам найти / описать и формализовать — никогда бы не смог .. (пример AlphaZero и Го)

V>и поэтому всегда будут хуже работать, чем человек. Они поэтому так и называются.

да, попробуй — обыграй AlphaZero в Го ..

ну или хотя бы попробуй определи — какой изображение создано человеком, а какое нейросетью DALL-E 2 ? (и это ещё не самая совершенная нейросеть, Imagen — ещё совершеннее)
https://thisimagedoesnotexist.com/

	вот к примеру — нейросеть или человек ?

V>Что есть интересные?

ну например, напишешь запросы к нейросети "проиграй музычку из Рая" или "как звучит голос Бога" — понятно, что там с не малой долей вероятности белиберда будет .. но всё же интересно, вдруг что то интересное .. и если да, то до обучать "на миллиарде мартышек" (людей) с нейроинтерфейсами (считывающими степень наслаждения в реальном времени в качестве AI подкрепления) до синтеза настоящей музычки из Рая (самой офигенной из возможных) — будет уже проще .. (возможно)

Здравствуйте, xma, Вы писали:

xma>ну вот смотри например, нейросеть ru DALL-E сгенила по запросу "Адская музыка"
Мазня какая то.
Где ацкость? Где музыка?

xma>весьма чётко (соответствует запросу)
Неа

xma> думаю что человек — бы до такой картинки никогда не додумался
Вероятно потому что это не ассоциируется ни с адом ни с музыкой

Здравствуйте, CreatorCray, Вы писали:

CC>Где музыка?

музыка на картинке ? ну у тебя и запросики ..

CC>Вероятно потому что это не ассоциируется ни с адом ни с музыкой

это всё субъективно — у меня вполне ассоциируется .. и картинка наводит лёгкий холодок в душе ..

в любом случае, DALL-E 2 и Imagen — должны ещё круче генить изображения по запросу, интересно будет посмотреть на них — если когда появится доступ ..

Здравствуйте, xma, Вы писали:

CC>>Вероятно потому что это не ассоциируется ни с адом ни с музыкой
xma>это всё субъективно — у меня вполне ассоциируется .. и картинка наводит лёгкий холодок в душе ..

Ты же знаешь запрос и хочешь, чтобы картинка ему соответствовала. Чтобы быть объективным, надо провести опрос случайных людей, как в игре 100к1: "С чем ассоциируется у вас эта картинка?" И посмотреть, есть ли среди ответов "ад" и "музыка".

Здравствуйте, xma, Вы писали:

CC>>Где музыка?
xma>музыка на картинке?

Где на картинке хоть что либо что можно ассоциировать с музыкой?

xma>у меня вполне ассоциируется .. и картинка наводит лёгкий холодок в душе ..
Да ну, весьма тепленькая картинка.

Здравствуйте, CreatorCray, Вы писали:

CC>Мазня какая то.

вот зацени, (чёткость примеров — здесь уже не оставляет сомнений в дальнейших перспективах нейросетей) ..
https://rsdn.org/forum/ai/8292829?tree=tree

Автор: xma
Дата: 09.06.22

ну и в целом ту тему

Автор: xma
Дата: 24.05.22

тоже можешь глянуть — если ещё не видел, там тоже интересные примеры

Здравствуйте, xma, Вы писали:

xma>вот зацени, (чёткость примеров — здесь уже не оставляет сомнений в дальнейших перспективах нейросетей) ..
xma>https://rsdn.org/forum/ai/8292829?tree=tree

Автор: xma
Дата: 09.06.22

Этож по если совсем грубо, то создание коллажа из туевой хучи протеганых кусочков путём подбора "наиболее совместимых".