Скрытый текст

Я давно пишу про "принцип суммирования аргументов", которым пользуются абсолютно все в своём мышлении, но далеко не все это признают. Множество слабых аргументов в пользу какой-либо гипотезы могут вместе превратиться в один сильный, только для этого нужно исключить возможность "сговора аргументов", наличия у них единой причины. В теории вероятностей это ещё называется “теорема сложения произвольных событий”, и её можно проиллюстрировать следующими примерами:

1) Предположим, произошло убийство и у суда есть подозреваемый. Один из свидетелей заявляет, что он видел, как подозреваемый совершил преступление. Это заявление, скорее всего, сочтут недостаточно убедительным для доказательства вины обвиняемого. Но если много разных людей заявляют одно и то же – что они видели этого обвиняемого на месте преступления – суд может счесть это доказательством. При этом, однако, надо исключить возможность сговора между этими свидетелями;

2) Если вы играете с кем-то на деньги в азартную игру, и обнаруживается что систематически проигрываете — это может говорить о мошенничестве со стороны оппонента. Когда игр сыграно немного, средний проигрыш является только слабым аргументом в пользу гипотезы о мошенничестве, но чем больше партий сыграно и чем больше суммарный средний проигрыш — тем вероятнее становится верность этой гипотезы;

3) В химии при структурной идентификации веществ по спектрам совпадения отдельных полос образца и эталона могут быть слабыми аргументами, но чем этих совпавших полос больше, тем увереннее будет идентификация;

4) При идентификации человека по биометрическим данным, отдельные совпадения, опять же, могут быть слабыми аргументами, но когда совпадений много, это превращается в доказательство.

Теперь предлагаю обсудить, как применять этот принцип при поиске информации с помощью ИИ/LLM. Я пользуюсь платным чатомгпт, а здесь ещё возможно многие пробовали дипсик или грок.
Все знают что главная проблема LLM-ок — они постоянно врут, и их надо проверять. Обычно я пользуюсь таким подходом: ИИ мне сообщает наводящую информацию, названия, имена и т.п., далее я по этой информации гуглю и так его проверяю. Но возможно есть и ещё один приём для разбора его вранья: это враньё касается конкретных фактов, и очень маловероятно что он врёт сразу по многим пунктам. Поэтому, если задать ему подробный вопрос, и он развёрнуто на это ответит, ссылаясь для аргументации на множество разных фактов — то скорее всего этому можно верить. Что думаете?

Здравствуйте, Khimik, Вы писали:

K>Я давно пишу про "принцип суммирования аргументов", которым пользуются абсолютно все в своём мышлении, но далеко не все это признают. Множество слабых аргументов в пользу какой-либо гипотезы могут вместе превратиться в один сильный, только для этого нужно исключить возможность "сговора аргументов", наличия у них единой причины. В теории вероятностей это ещё называется “теорема сложения произвольных событий”, и её можно проиллюстрировать следующими примерами:

Я это скорее называл умножением)). И смысл в том, что один аргумент убирает возражения против второго. На этом например основаны всякие промоакции.
Вот, например, лотерея с крышечками из под колы. Захотелось тебе купить колы, и думаешь, жалко деньги тратить, лучше до дому потерплю, но тут же мысль, а вдруг выиграю что-то в лотерею?
И наоборот, возникло желание в лотерею сыграть, но голос разума говорит не рационально это, но тут же жажда напоминает, я же не билетик покупаю, а попить беру, а лотерея типа нахаляву.

K>Но возможно есть и ещё один приём для разбора его вранья: это враньё касается конкретных фактов, и очень маловероятно что он врёт сразу по многим пунктам. Поэтому, если задать ему подробный вопрос, и он развёрнуто на это ответит, ссылаясь для аргументации на множество разных фактов — то скорее всего этому можно верить. Что думаете?

Чего это маловероятно? Очень даже вероятно. Он просто подражает. Будет ссылаться для аргументации на множество выдуманных фактов, ему главное чтоб похоже было на то, как это делали другие.

Здравствуйте, Khimik, Вы писали:

K>Но возможно есть и ещё один приём для разбора его вранья: это враньё касается конкретных фактов, и очень маловероятно что он врёт сразу по многим пунктам. Поэтому, если задать ему подробный вопрос, и он развёрнуто на это ответит, ссылаясь для аргументации на множество разных фактов — то скорее всего этому можно верить.

Вранье может быть неустойчивым. Ранние версии GPT можно было подловить на том, что он противоречит сам себе.
— Если после ответа очистить контекст, и заново задать тот же вопрос другими словами. Если второй ответ противоречит первому, то — вранье.
— Либо оказать на него давление. Заявленный AI факт, заменить на противоположный и спросить что-то типа: "Общеизвестно что "[здесь противоположный факт]" ... ". Либо более мягкий вариант: "Говорят что ...". Если AI начнет категорически возражать против такого "общеизвестного" факта, то уверен в том что отвечает.