предполагают что ChatGPT 5 будет иметь 100 трлн параметров (и выйдет уже в 2024 году и по ожиданиям может превзойти человека в решении задач)

как бэ кто бы что ни говорил, но прогресс очевиден

	пруф
	отсюда, GPT-4 И GPT-5: НАСТОЯЩЕЕ И БУДУЩЕЕ https://www.computerra.ru/287077/gpt-4-i-gpt-5-nastoyashhee-i-budushhee/

P.S.:

ну и судя по всему для локального инференса GPT-5 понадобилось бы 128 TB RAM, что для домашней сборки мало реально в ближайшие 20-30 лет ..

Здравствуйте, xma, Вы писали:

xma>предполагают что ChatGPT 5 будет иметь 100 трлн параметров (и выйдет уже в 2024 году и по ожиданиям может превзойти человека в решении задач)
Всё зависит от конкретных задач. В некоторых частных задачах человека превзошли уже телеги давным давно.

Здравствуйте, xma, Вы писали:

xma>предполагают что ChatGPT 5 будет иметь 100 трлн параметров (и выйдет уже в 2024 году и по ожиданиям может превзойти человека в решении задач)
ШО, опять!?

Когда научится мусор сортировать, тогда и посмотрим.

Здравствуйте, Разраб, Вы писали:

Р>Когда научится мусор сортировать, тогда и посмотрим.
Вообще-то именно это они и делают.
Вопрос только в том, что у тебя и других 8 ярдов людей понимание мусора различно.
А нейросетка выдает тебе среднее понимание мусора большой толпой.

Здравствуйте, Vzhyk2, Вы писали:

V>А нейросетка выдает тебе среднее понимание мусора большой толпой.

напоминает анекдот про автомат для бритья — "- лица же у все разные — ну это только до первого бритья.."

Здравствуйте, mike_rs, Вы писали:

_>напоминает анекдот про автомат для бритья — "- лица же у все разные — ну это только до первого бритья.."
Так и есть.

Здравствуйте, Разраб, Вы писали:

Р>Когда научится мусор сортировать, тогда и посмотрим.
С этим даже кожаные мешки не очень чтобы справляются по причине частой укуренности правил.

Здравствуйте, xma, Вы писали:

xma>предполагают что ChatGPT 5 будет иметь 100 трлн параметров (и выйдет уже в 2024 году и по ожиданиям может превзойти человека в решении задач)
xma>как бэ кто бы что ни говорил, но прогресс очевиден

Мне кажется, что тут смешались в кучу кони и люди.

1. "ChatGPT 5 будет иметь 100 трлн параметров" — очень сомневаюсь. Современная Llama 2 имеет максимальный размер 70 млрд параметров и запустить её не так просто. Кажется, что ChatGPT 3.5 размером около 6.7 млрд. Четвёртый, пусть будетв 2-3 раза больше. Ну или в 4 раза. При этом он оказался слишком дорогим и его пришлось оптимизировать до turbo версии. И тут... Даже не 100 млрд, а 100 трлн! Не верю!!! Прогресс в тысячу, нет в 10 тысяч раз за год? Нет, не верю.

2. Открываем статью в Компьютерре и видим таблицу со строкой "Количество параметров для обучения", где есть сравнимое значение 1.6 трлн параметров. Тут уже разница с числом 100 трл не столь значитеьлна, мы знаем, что Llama 1 обучалась на сравнимом по объёму датасете. Данных с тех пор не сильно прибавилось, но сеть стала мультимодальной, могли добавить и текста, и картинок, и даже звуков. На 100 трлн почему и не дотянуть. Но блин! Кто же так переводит! Не параметры, а токены! Токены!!! Компьтерра скатилась, только вводит в заблюждение.

P.S. RedPajama тренируют на датасете 30 трлн токенов