Здравствуйте, Vzhyk2, Вы писали:
Аё>>А не хочет. Моделек много, куда опциональна. У 4090 24г рамы, а в этой колбочке 96 под vram. LLM нужно много-много рамы. V>Для тех, которые могут без Куды должно быть неплохо. Хотя еще важно количество ядер на GPU на этой железке — это тебе определит, как долго считать будет.
Здравствуйте, Слава, Вы писали:
С>У меня есть встречный вопрос — а с какого именно хера умножение векторов на векторных процессорах, single instruction multiple data стало требовать какого-то особого интерфейса? Вы что там, с ума все посходили со своим vendor lock?
Не мы, а вы. Скажите спасибо Интелу и АМД и Гуглу, которые не выпускают своего аналога CUDA и cuDNN. 99% нейронок в итоге разрабатывают на Куде.
Вот эта троица выше делает все, чтобы NVIDIA была монополистом на рынке железа для нейронок.
Здравствуйте, Pzz, Вы писали:
Pzz>16 горшков, 32 потока. Какой-то там AMD. Pzz>У линуха довольно капризный видеодрайвер для AMD.
Для игр вполне себе приличный у них видеодрайвер.
А вот нейронку на GPU AMD задолбаешься запускать.
Уже лет 15 существует только единственный вариант для разработки нейронок — nvidia с cuda, cudnn и tensorrt.
Обученную может спортировать на openvino и как-то на CPU будет ползать.
Здравствуйте, Vzhyk2, Вы писали:
Pzz>>16 горшков, 32 потока. Какой-то там AMD. Pzz>>У линуха довольно капризный видеодрайвер для AMD. V>Для игр вполне себе приличный у них видеодрайвер.
Я не сказал, что он тормозной. Я этого даже и не знаю. Но вот проблемы со стабильностью в нём присутствуют; в плохом настроении может и систему обрушить.
Здравствуйте, Pzz, Вы писали:
Pzz>Я не сказал, что он тормозной. Я этого даже и не знаю. Но вот проблемы со стабильностью в нём присутствуют; в плохом настроении может и систему обрушить.
Драйвера невидии сравнимы в этом плане, тоже могут.
Здравствуйте, Vzhyk2, Вы писали:
Pzz>>Я не сказал, что он тормозной. Я этого даже и не знаю. Но вот проблемы со стабильностью в нём присутствуют; в плохом настроении может и систему обрушить. V>Драйвера невидии сравнимы в этом плане, тоже могут.
Мне пришнось долго подбирать параметры ядра для своего ноутбука с AMD-ной встроенной графикой, чтобы он перестал путать свою память с page cache операционной системы.
А то был эпизод, когда он разнес partition table и кусок файловой системы.
