Как известно, главная проблема ChatGPT — это то, что на него нельзя положиться. Он может безбожно врать, когда спросишь о фактах, может выдумывать несуществующие события, людей, подсовывать факты, которых не было.
То есть за ним постоянно нужно проверять и уточнять в других источниках.

Если ты не разбираешься в теме, тебя дезинформируют. Если разбираешься, то сам исправляешь бота. Но тогда зачем нужен такой помощник?
Хотелось бы безупречного, безошибочного специалиста в качестве помощника. Как думаете, такой вообще возможен??

Я заметил, что сейчас яндекс активно набирает людей, которые занимаются факт-чекингом. То есть смотрят на ответы бота и исправляют ответ, где надо.
Сильно ли это поможет ИИ? Модель, которую нужно постоянно поправлять. Добьются ли она хотя бы 90-процентной точности (что тоже мало)?

Здравствуйте, Mihal9, Вы писали:

M>Я заметил, что сейчас яндекс активно набирает людей, которые занимаются факт-чекингом. То есть смотрят на ответы бота и исправляют ответ, где надо.
M>Сильно ли это поможет ИИ? Модель, которую нужно постоянно поправлять. Добьются ли она хотя бы 90-процентной точности (что тоже мало)?

Это нужно скорректировать ответы чат бота на все возможные запросы, которые могут поступить. Что невозможно. На типовые вопросы в духе: алиса, сколько у тебя сисек, они ответы может скорректируют, но всегда найдется вопрос, о возможности которых те набираемые и не подозревают. В яндексе лучше бы задумались над разработкой более совершенного ИИ, а не хайпы ловили, чтоб хомячков певеселить и рекламку им подсунуть, но видимо не тянут (а с чего бы).

Здравствуйте, Mihal9, Вы писали:

M>Как известно, главная проблема ChatGPT — это то, что на него нельзя положиться. Он может безбожно врать, когда спросишь о фактах, может выдумывать несуществующие события, людей, подсовывать факты, которых не было.
M>То есть за ним постоянно нужно проверять и уточнять в других источниках.
M>Если ты не разбираешься в теме, тебя дезинформируют. Если разбираешься, то сам исправляешь бота. Но тогда зачем нужен такой помощник?

1. Не нужно слепо верить. Например ты задаёшь вопрос по теме в которой сам не разбираешься, и даже не знаешь с чего начать — получаешь ответ который затрагивает смесь областей, далее ты можешь допросить с пристрастием моменты которые непонятны, а потом ещё сверить с первоисточниками. Это намного проще и удобнее чем начинать с нуля, или пытаться нагуглить сам не знаешь ещё что.
В общем AI может неплохо направить, и даже может пробуриться через сколько угодно слоёв — свой мозг при этом нельзя выключать, да.

2. Есть огромное количество задач для которых сложно найти решение, но тривиально проверить ответ на корректность. В случае с программированием AI и вовсе может сам написать тесты, так что твоя задача упрощается даже здесь.
Мастерство в том чтобы нарезать задачу на такие вот легко проверяемые фрагменты, и заставить машину делать всё по-максимуму, а самому лишь проверять корректность (объём такой проверки можно минимизировать с помощью того же AI).
Здесь в общем ничего нового по сравнению например с аутсорсингом задачи каком-нибудь стажёру — он также может накосячить где угодно, вчитываться в каждую строчку его творчества — никаких ресурсов не хватит, потому нужно подходить ко всему процессу имея в виду все эти ограничения, и организовывать задачи соответствующим образом.

M>Хотелось бы безупречного, безошибочного специалиста в качестве помощника. Как думаете, такой вообще возможен??

1. Экстраполируя текущий прогресс — да возможен.
2. Даже на текущем уровне можно повысить годность выхлопа завернув всё в специальный драйвер, который будет допрашивать AI, и заставлять проверять его всё много раз. Например AI выдаёт код который не компилируется, но если ему потом скормить ошибку компилятора, он тут же её исправляет — этот процесс можно автоматизировать.

Здравствуйте, Mihal9, Вы писали:

M>Как известно, главная проблема ChatGPT — это то, что на него нельзя положиться. Он может безбожно врать, когда спросишь о фактах, может выдумывать несуществующие события, людей, подсовывать факты, которых не было.
M>То есть за ним постоянно нужно проверять и уточнять в других источниках.

M>Если ты не разбираешься в теме, тебя дезинформируют. Если разбираешься, то сам исправляешь бота. Но тогда зачем нужен такой помощник?
M>Хотелось бы безупречного, безошибочного специалиста в качестве помощника. Как думаете, такой вообще возможен??

M>Я заметил, что сейчас яндекс активно набирает людей, которые занимаются факт-чекингом. То есть смотрят на ответы бота и исправляют ответ, где надо.
M>Сильно ли это поможет ИИ? Модель, которую нужно постоянно поправлять. Добьются ли она хотя бы 90-процентной точности (что тоже мало)?

Есть вопросы, ответы на которые легко проверить, например написание кода.

Здравствуйте, Mihal9, Вы писали:

M>Как известно, главная проблема ChatGPT — это то, что на него нельзя положиться. Он может безбожно врать, когда спросишь о фактах, может выдумывать несуществующие события, людей, подсовывать факты, которых не было.
M>То есть за ним постоянно нужно проверять и уточнять в других источниках.

M>Если ты не разбираешься в теме, тебя дезинформируют. Если разбираешься, то сам исправляешь бота. Но тогда зачем нужен такой помощник?
M>Хотелось бы безупречного, безошибочного специалиста в качестве помощника. Как думаете, такой вообще возможен??

Конечно возможет. Ты же уточняешь в источниках, что мешает ИИ сделать ровно то же. Более того — где ты там уточняешь, это большой вопрос. Небось на википедию полезешь. А если крупная компания будет задаваться такой целью, у неё база фактов явно будет серьёзней.

Если что, я не согласен, что это главная проблема ChatGPT. Я им пользуюсь почти каждый день и с этой проблемой почти не сталкиваюсь. Мне от него хотелось бы в первую очередь самокритичности. Грубо говоря: я ему пишу — сделай ревью этого кода, он мне накидывает проблемные пункты. Я его прошу — вот по этому пункту подробней раскрой с примерном — где баг, он такой — извините, я присмотрелся и тут действительно всё хорошо. Ну и что тебе мешало присмотреться прежде, чем тратить моё время бесполезным ответом?

Здравствуйте, vsb, Вы писали:

vsb>Я его прошу — вот по этому пункту подробней раскрой с примерном — где баг, он такой — извините, я присмотрелся и тут действительно всё хорошо. Ну и что тебе мешало присмотреться прежде, чем тратить моё время бесполезным ответом?

Вот для этого и нужен дополнительный драйвер, который заставит его всё проверить несколько раз, под копотом, а пользователю выдавать лишь финальный ответ который резюмирует всё лучшее из этих отдельных попыток.
А происходит так отчасти от того что модель предсказывает следующий символ/токен ответа на основе всего предыдущего контекста И у неё нету (по крайней мере без дополнительных инструкций) возможности стереть неправильный символ/токен/слово/предложение, даже если на каком-то этапе она и видит что там ошибка — ей приходится продолжать нести чушь.
Видимо само-корректирующих ответов в тренировочном наборе данных нет от слова совсем — по крайней мере я ни разу не видел чтобы она самом исправила себя в середине ответа, если об этом явно не попросить.
Там кстати можно подкрутить параметры типа температуры, чтобы понизить "креативность" и повысить точность.

Здравствуйте, Mihal9, Вы писали:

M>Как известно, главная проблема ChatGPT — это то, что на него нельзя положиться.
M>Но тогда зачем нужен такой помощник?

Вообще не понимаю, чем именно он вам "помощник". Есть гугл с конкретными страницами — заходишь, читаешь, осмысляешь. ЧатЖэПэТэ вам зачем?

M>Сильно ли это поможет ИИ?

Какой ещё ИИ? Разве его изобрели??

Здравствуйте, Evgeny.Panasyuk, Вы писали:

EP>Здесь в общем ничего нового по сравнению например с аутсорсингом задачи каком-нибудь стажёру — он также может накосячить где угодно
слишком радужно. стажер в конце концов научится и ты просто тупо начинаешь ему доверять, а вот ии как был деревянный так и остался.
я и ошибки ему показывал, продолжает врать на голубом глазу.

Здравствуйте, Mihal9, Вы писали:

Интересно, а платная версия такая же булшитная как и бесплатная?

Что чатгпт несет про грузинских космонавтов и ампутацию головы в условиях платной подписки?

Здравствуйте, Evgeny.Panasyuk, Вы писали:

EP>Вот для этого и нужен дополнительный драйвер, который заставит его всё проверить несколько раз, под копотом

Вот только этот "драйвер" сам по себе должен быть сильным И.

Здравствуйте, Mihal9, Вы писали:

M>Как известно, главная проблема ChatGPT — это то, что на него нельзя положиться. Он может безбожно врать, когда спросишь о фактах, может выдумывать несуществующие события, людей, подсовывать факты, которых не было.
Также как и любой человек.

M>То есть за ним постоянно нужно проверять и уточнять в других источниках.
Также как за любым человеком.

M>Если ты не разбираешься в теме, тебя дезинформируют. Если разбираешься, то сам исправляешь бота. Но тогда зачем нужен такой помощник?
Также как любой человек.

M>Хотелось бы безупречного, безошибочного специалиста в качестве помощника. Как думаете, такой вообще возможен??
Хотелось бы идеального человека который делает все правильно. Но возможно ли родить такого человека ?

M>Я заметил, что сейчас яндекс активно набирает людей, которые занимаются факт-чекингом. То есть смотрят на ответы бота и исправляют ответ, где надо.
Заметил что человечество построило много школ, университетов , где человеку дают задания он их делает, преподаватель исправляет.

M>Сильно ли это поможет ИИ? Модель, которую нужно постоянно поправлять. Добьются ли она хотя бы 90-процентной точности (что тоже мало)?
Сильно ли это поможет человечеству ? Человек которого нужно поправлять.


Например твой код всегда тестируют и находят баги , ты пишешь плохой не идеальный код с багами.
Также иногда напечатанный тобой код не компилируется, ты меняешь буковки в IDE, а он опять не компилируется или ошибок становится больше = ты врешь ( врешь в том смысле как в топике ) и нельзя положиться.
Когда исправишься ?

p.s. но в целом да сейчас ChatGPT это уровень джуна если не меньше..но сам подход к оценке который ты предлагаешь он неверный, проблема не столь в обучении на факт-чекинге, сколько в обратной связи для текущей.
ЧатЖПТ не может скомпилировать свой код и проверить , также как и человек печатает первую мысль и она не компилируется, он смотрит ошибку и поправляет — процесс иттерационный. Нейронка она выдает только некий "момент мысли" чтобы получить законченный результат изобразить процесс мышления, на каждый такой момент мысли — надо давать обратную связь тогда она приходит к правильному решению. Например я скармливаю ошибки GhatGPT, иногда много раз , но в итоге он приходит к компилируемому рабочему варианту. Также и человек когда думает он каждый "момент мысли" верифицирует на базе своих знаний, но опять же может в итоге написать не компилируемый код т.к. что-то не смог верифицировать.

Здравствуйте, okon, Вы писали:


M>>Как известно, главная проблема ChatGPT — это то, что на него нельзя положиться. Он может безбожно врать, когда спросишь о фактах, может выдумывать несуществующие события, людей, подсовывать факты, которых не было.
O>Также как и любой человек.


Нет, не как и любой человек.
Есть довольно много специалистов в своих областях, которые не будут безбожно врать, а предоставят точную информацию

Здравствуйте, smeeld, Вы писали:

S>На типовые вопросы в духе: алиса, сколько у тебя сисек, они ответы может скорректируют

А сколько, кстати?

Здравствуйте, paucity, Вы писали:

P>Интересно, а платная версия такая же булшитная как и бесплатная?

Здравствуйте, Nnova, Вы писали:

N>Здравствуйте, paucity, Вы писали:

P>>Интересно, а платная версия такая же булшитная как и бесплатная?

Вот что говорит настоящая GPT4:

Старик Хоттабыч — это персонаж из сказки Габдуллы Тукая "Старик Хоттабыч". В этой сказке он был джинном, заключенным в бутылке. Однако в оригинальной сказке Хоттабыч не летал в космос. Возможно, вы имеете в виду какую-то адаптацию или новую версию истории, которую я не знаю. Если вы можете предоставить больше контекста или описать сцену, на которую вы ссылались, я мог бы попытаться помочь лучше.

Default:

В советском фильме "Старик Хоттабыч" (1956 года) старик Хоттабыч обладал волшебными способностями, но он не летал в космос. Основная линия рассказа вращалась вокруг его взаимодействия с современным ему миром после тысячелетнего пребывания в бутылке.

Однако в позднейших интерпретациях или адаптациях этой истории могли появиться новые элементы. На момент последнего обновления моих данных в сентябре 2021 года, я не располагаю информацией о каком-либо продолжении или версии истории, в которой Хоттабыч летел в космос. Если это что-то новое или нешаблонное, то мне об этом не известно.

Вам просто Рабинович по телефону насвистывает. Вы обсуждаете не настоящий GPT 4 а ваши местные поделки, которые просто имеют название GTP-4, чтобы вас дурить — как обычно.

Здравствуйте, paucity, Вы писали:

P>Интересно, а платная версия такая же булшитная как и бесплатная?

Платная версия редко что выдумывает — отвечает на уровне человека.

Здравствуйте, Shmj, Вы писали:

S>Вам просто Рабинович по телефону насвистывает. Вы обсуждаете не настоящий GPT 4 а ваши местные поделки, которые просто имеют название GTP-4, чтобы вас дурить — как обычно.
ага, рассказывай мне тут, у нас не просто гпт чат за 20 баксов как у тебя, а корпоративная версия, с разными настройками, возможностью работать с кодом продукта не опасаясь его утечки за пределы нашей конторы и прочими плюшками. Менее деревянным правда, как видим, его это не сделало

еще перлы из альтернтивной вселенной

Здравствуйте, Mihal9, Вы писали:

M>Здравствуйте, okon, Вы писали:


M>>>Как известно, главная проблема ChatGPT — это то, что на него нельзя положиться. Он может безбожно врать, когда спросишь о фактах, может выдумывать несуществующие события, людей, подсовывать факты, которых не было.
O>>Также как и любой человек.


M>Нет, не как и любой человек.
M>Есть довольно много специалистов в своих областях, которые не будут безбожно врать, а предоставят точную информацию

Ключевое слово в "своих областях", почему ты считаешь что ChatGPT профи во всех областях ? для каждой области есть своя специфика и свои натренированные модели.

Здравствуйте, Nnova, Вы писали:

N>ага, рассказывай мне тут, у нас не просто гпт чат за 20 баксов как у тебя, а корпоративная версия, с разными настройками, возможностью работать с кодом продукта не опасаясь его утечки за пределы нашей конторы и прочими плюшками. Менее деревянным правда, как видим, его это не сделало

Ты на результат смотри. Твоя версия туфту выдает — а моя точные данные.

Вам, скорее всего, продали GPT 3.5 а то и 3.0, просто с помощью Find/Replace — заменили версию, чтобы срубить побольше бабла.

Купи настоящую версию 4.0 — и прозревай.