Здравствуйте, xma, Вы писали:

xma>предполагают что ChatGPT 5 будет иметь 100 трлн параметров (и выйдет уже в 2024 году и по ожиданиям может превзойти человека в решении задач)
xma>как бэ кто бы что ни говорил, но прогресс очевиден

Мне кажется, что тут смешались в кучу кони и люди.

1. "ChatGPT 5 будет иметь 100 трлн параметров" — очень сомневаюсь. Современная Llama 2 имеет максимальный размер 70 млрд параметров и запустить её не так просто. Кажется, что ChatGPT 3.5 размером около 6.7 млрд. Четвёртый, пусть будетв 2-3 раза больше. Ну или в 4 раза. При этом он оказался слишком дорогим и его пришлось оптимизировать до turbo версии. И тут... Даже не 100 млрд, а 100 трлн! Не верю!!! Прогресс в тысячу, нет в 10 тысяч раз за год? Нет, не верю.

2. Открываем статью в Компьютерре и видим таблицу со строкой "Количество параметров для обучения", где есть сравнимое значение 1.6 трлн параметров. Тут уже разница с числом 100 трл не столь значитеьлна, мы знаем, что Llama 1 обучалась на сравнимом по объёму датасете. Данных с тех пор не сильно прибавилось, но сеть стала мультимодальной, могли добавить и текста, и картинок, и даже звуков. На 100 трлн почему и не дотянуть. Но блин! Кто же так переводит! Не параметры, а токены! Токены!!! Компьтерра скатилась, только вводит в заблюждение.

Здравствуйте, xma, Вы писали:

xma>предполагают что ChatGPT 5 будет иметь 100 трлн параметров (и выйдет уже в 2024 году и по ожиданиям может превзойти человека в решении задач)
xma>как бэ кто бы что ни говорил, но прогресс очевиден

Мне кажется, что тут смешались в кучу кони и люди.

1. "ChatGPT 5 будет иметь 100 трлн параметров" — очень сомневаюсь. Современная Llama 2 имеет максимальный размер 70 млрд параметров и запустить её не так просто. Кажется, что ChatGPT 3.5 размером около 6.7 млрд. Четвёртый, пусть будетв 2-3 раза больше. Ну или в 4 раза. При этом он оказался слишком дорогим и его пришлось оптимизировать до turbo версии. И тут... Даже не 100 млрд, а 100 трлн! Не верю!!! Прогресс в тысячу, нет в 10 тысяч раз за год? Нет, не верю.

2. Открываем статью в Компьютерре и видим таблицу со строкой "Количество параметров для обучения", где есть сравнимое значение 1.6 трлн параметров. Тут уже разница с числом 100 трл не столь значитеьлна, мы знаем, что Llama 1 обучалась на сравнимом по объёму датасете. Данных с тех пор не сильно прибавилось, но сеть стала мультимодальной, могли добавить и текста, и картинок, и даже звуков. На 100 трлн почему и не дотянуть. Но блин! Кто же так переводит! Не параметры, а токены! Токены!!! Компьтерра скатилась, только вводит в заблюждение.

P.S. RedPajama тренируют на датасете 30 трлн токенов