Сообщение Re[5]: ИИ тупеет (ChatGPT) от 24.07.2023 9:19
Изменено 24.07.2023 9:21 vsb
Re[5]: ИИ тупеет (ChatGPT)
Здравствуйте, paucity, Вы писали:
vsb>>Есть документальные доказательства? Я GPT4 пользуюсь уже несколько месяцев и не заметил никаких качественных изменений.
P>Там в статье ссылки на какие-то исследования Stanford University and UC Berkeley
https://arxiv.org/pdf/2307.09009.pdf
Про "sensitive" и "visual" пропустил, мне это не интересно. Интерфейса для картинок я там так и не увидел, поэтому проверить не могу.
Про prime number — я проверил — он вполне себе рассуждает, иногда с ошибками, иногда без ошибок, но кратко не отвечает.
Самое интересное про код. И вся их метрика — это сколько процентов ответов directly executable. Серьёзно? Т.е. ИИ выдаёт правильный ответ и пишет какой-то сопроводительный текст (который он почти всегда старается писать) и они это считают за плохой ответ? Ну британские учёные во всей красе.
В общем на адекватное исследование не тянет.
vsb>>Есть документальные доказательства? Я GPT4 пользуюсь уже несколько месяцев и не заметил никаких качественных изменений.
P>Там в статье ссылки на какие-то исследования Stanford University and UC Berkeley
https://arxiv.org/pdf/2307.09009.pdf
Про "sensitive" и "visual" пропустил, мне это не интересно. Интерфейса для картинок я там так и не увидел, поэтому проверить не могу.
Про prime number — я проверил — он вполне себе рассуждает, иногда с ошибками, иногда без ошибок, но кратко не отвечает.
Самое интересное про код. И вся их метрика — это сколько процентов ответов directly executable. Серьёзно? Т.е. ИИ выдаёт правильный ответ и пишет какой-то сопроводительный текст (который он почти всегда старается писать) и они это считают за плохой ответ? Ну британские учёные во всей красе.
В общем на адекватное исследование не тянет.
Re[5]: ИИ тупеет (ChatGPT)
Здравствуйте, paucity, Вы писали:
vsb>>Есть документальные доказательства? Я GPT4 пользуюсь уже несколько месяцев и не заметил никаких качественных изменений.
P>Там в статье ссылки на какие-то исследования Stanford University and UC Berkeley
https://arxiv.org/pdf/2307.09009.pdf
Про "sensitive" и "visual" пропустил, мне это не интересно. Интерфейса для картинок я там так и не увидел, поэтому проверить не могу.
Про prime number — я проверил — он вполне себе рассуждает, иногда с ошибками, иногда без ошибок, но кратко не отвечает. Все его ошибки в том, что он плохо считает в уме, к примеру думает, что 17077 делится на 7. Сам алгоритм пишет верно. Если ему указать на его ошибку, то сразу исправляется. То, что LLM это не калькулятор — вроде широко известно, тут удивляться нечему.
Самое интересное про код. И вся их метрика — это сколько процентов ответов directly executable. Серьёзно? Т.е. ИИ выдаёт правильный ответ и пишет какой-то сопроводительный текст (который он почти всегда старается писать) и они это считают за плохой ответ? Ну британские учёные во всей красе.
В общем на адекватное исследование не тянет.
vsb>>Есть документальные доказательства? Я GPT4 пользуюсь уже несколько месяцев и не заметил никаких качественных изменений.
P>Там в статье ссылки на какие-то исследования Stanford University and UC Berkeley
https://arxiv.org/pdf/2307.09009.pdf
Про "sensitive" и "visual" пропустил, мне это не интересно. Интерфейса для картинок я там так и не увидел, поэтому проверить не могу.
Про prime number — я проверил — он вполне себе рассуждает, иногда с ошибками, иногда без ошибок, но кратко не отвечает. Все его ошибки в том, что он плохо считает в уме, к примеру думает, что 17077 делится на 7. Сам алгоритм пишет верно. Если ему указать на его ошибку, то сразу исправляется. То, что LLM это не калькулятор — вроде широко известно, тут удивляться нечему.
Самое интересное про код. И вся их метрика — это сколько процентов ответов directly executable. Серьёзно? Т.е. ИИ выдаёт правильный ответ и пишет какой-то сопроводительный текст (который он почти всегда старается писать) и они это считают за плохой ответ? Ну британские учёные во всей красе.
В общем на адекватное исследование не тянет.