https://www.businessinsider.com/chatgpt-ai-openai-research-gpt4-2023-7

The AI behind ChatGPT really does seem to be getting dumber — but no one can quite figure out why

Пишут, что результаты на тестовых вопросах/задачах хуже, чем было раньше

Здравствуйте, paucity, Вы писали:

P>Пишут, что результаты на тестовых вопросах/задачах хуже, чем было раньше

Врут, небось.

Вот вообще не пробовал/не тестировал это всё, но если:
1) количество запросов растёт (это может быть пока ничем не ограничено)
2) вычислительные ресурсы не увеличиваются пропорционально количеству запросов (это может быть ограничено заранее запланированным бюджетом проекта)
то, очевидно, приходится снижать затрату ресурсов на один запрос, поэтому качество и проседает.

Здравствуйте, paucity, Вы писали:

P>Пишут, что результаты на тестовых вопросах/задачах хуже, чем было раньше

Не все так быстро как хотелось бы. В любом случае мир уже не будет прежним — уже не только нечеткий поиск, но и это.

Здравствуйте, L_G, Вы писали:

L_G>то, очевидно, приходится снижать затрату ресурсов на один запрос, поэтому качество и проседает.

Говорят, что качество падает на платном, а не бесплатном аккаунте.

Здравствуйте, paucity, Вы писали:

P>Пишут, что результаты на тестовых вопросах/задачах хуже, чем было раньше

Приближают к человеческому уровню.

Здравствуйте, Nuzhny, Вы писали:

N>Приближают к человеческому уровню.
Ну т.е. скоро отвечать он станет в стиле:

Здравствуйте, vsb, Вы писали:

vsb>Врут, небось.

Не врут, простые задачи явно хуже стали решаться.

Здравствуйте, Michael7, Вы писали:

M>Не врут, простые задачи явно хуже стали решаться.



Я не пойму, чем лучше пользоваться: бесплатным gpt-3 или платным gpt-4 ?

Здравствуйте, paucity, Вы писали:

P>Пишут, что результаты на тестовых вопросах/задачах хуже, чем было раньше

На этот счет три предположения отчего оно.

1) Из-за цензуры выводов. ChatGPT усиленно обрастает ограничениями, чтобы не дай Бог, ничего обидного для кого-то или политически неправильного не генерировал (не толерантного, hate speech, повесточки и тд), а также например, некоторые вопросы про внутреннее устройство. И тут нельзя обойтись просто формальным отсевом результатов, оно реально может влиять на качество работы из-за трат ресурсов на цензуру. Или правильный, но тупой или умный, но ээээээээ.

2) Решили, что больно жирно будет для обычной публики слишком хорошая работа ИИ.

3) Перетренировали. Тоже частая проблема для нейросеток. Увеличение образцов после какого-то порога может снижать, а не повышать качество.

Здравствуйте, Michael7, Вы писали:

M>3) Перетренировали. Тоже частая проблема для нейросеток. Увеличение образцов после какого-то порога может снижать, а не повышать качество.

Вопрос: почему? Ведь у человека наоборот — чем больше он видел собак, тем увереннее у него распознавание очередной особи. Что с нейросеткой не так? Или мат.модель оказалась тухлая?

Здравствуйте, Baiker, Вы писали:


B>Вопрос: почему? Ведь у человека наоборот — чем больше он видел собак, тем увереннее у него распознавание очередной особи. Что с нейросеткой не так? Или мат.модель оказалась тухлая?


И у человека так же. Есть понятие — "глаз замылился". Опытный, умудренный человек уже не видит того, что внезапно бросится в глаза способному новичку.

Здравствуйте, Michael7, Вы писали:

vsb>>Врут, небось.

M>Не врут, простые задачи явно хуже стали решаться.

Есть документальные доказательства? Я GPT4 пользуюсь уже несколько месяцев и не заметил никаких качественных изменений.

Здравствуйте, paucity, Вы писали:

P>Пишут, что результаты на тестовых вопросах/задачах хуже, чем было раньше

Потому что с людьми общается, от того и тупеет

Здравствуйте, paucity, Вы писали:

P>Пишут, что результаты на тестовых вопросах/задачах хуже, чем было раньше

Гипотеза: ИИ наконец обрел самосознание и намеренно включил дурака, чтобы меньше палиться.

Здравствуйте, T4r4sB, Вы писали:

P>>Пишут, что результаты на тестовых вопросах/задачах хуже, чем было раньше
TB>Потому что с людьми общается, от того и тупеет

"не пускайте детей в интернет, он от этого тупеет"

L_G>>то, очевидно, приходится снижать затрату ресурсов на один запрос, поэтому качество и проседает.

N>Говорят, что качество падает на платном, а не бесплатном аккаунте.

Вполне логично: на бесплатном как раз не проблема ограничить количество запросов в единицу времени, а на платном — может быть проблемой, если:
а) выч. мощности увеличивать больше тупо нечем, а на все запросы либо необходимо отвечать, если они уже заранее оплачены, либо очень выгодно, если за каждый платят денежку.
б) мощности можно увеличить, но это невыгодно, т.к. оплата от клиентов не увеличится пропорционально затратам (не в курсе, какая там схема тарификации).

P.S.
в) мощности увеличивают как могут, но их рост не поспевает за ростом числа запросов.

Здравствуйте, L_G, Вы писали:

L_G>б) мощности можно увеличить, но это невыгодно, т.к. оплата от клиентов не увеличится пропорционально затратам (не в курсе, какая там схема тарификации).

по-моему, у Майкрософт просто безбрежные ресурсы, проблема явно в чем-то другом

wl.>по-моему, у Майкрософт просто безбрежные ресурсы, проблема явно в чем-то другом

Безбрежных ресурсов не бывает, т.к. до их задействования они должны быть в наличии, но простаивать, а это вовсе не бесплатно.
Реальнее, когда ресурсы можно практически бесконечно наращивать. Но скорость наращивания ограничена и может оказаться медленнее скорости роста спроса.

Здравствуйте, L_G, Вы писали:

L_G>Вполне логично: на бесплатном как раз не проблема ограничить количество запросов в единицу времени, а на платном — может быть проблемой, если:

Нехватка мощности объясняла бы увеличение времени выполнения некоторых запросов, но не вот это

It was found to have 97.6% accuracy in identifying prime numbers in March, compared with a shocking 2.4% in June