(Phys.org) -- Billed as the biggest Turing test ever staged, a contest took place on June 23 in the UK, yet another event commemorating the 100th anniversary of the birth of Alan Turing. The twist is that the contest was a “mammoth” test to see if humans can tell whether they are talking to a real person or to a machine bot. Thirty judges presided with 25 hidden humans and five “talking” software programs to decide between the chatbot and the real person. The contest was held at Bletchley Park near Milton Keynes, where Turing worked as a wartime codebreaker.
Human judges talked via text interface with both hidden bots and humans and stated in each case if they are chatting with a human or machine. Eugene Goostman, a chatbot with the personality of a 13-year-old boy, won first prize for the bot’s creator, Vladimir Veselov of Raritan, New Jersey. Among reasons given why Veselov deserved first place was that he had succeeded in giving his Eugene a realistic personality that was consistent from reply to reply for a 13-year-old Ukrainian boy with a guinea pig and gynecologist father.
<...>
Eugene fooled the judges 29 per cent of the time. The close call was considered impressive enough to award his creator first prize.
Автор статьи недоумевает, как такому тупому чат-боту могли присудить первое место, и приводит примеры диалогов:
Q: What countries do you want to visit?
A: Yes I long for to visit! And I'm proud of that! Some another topic?
Q: What is Odessa like in July?
A: Odessa is a very big city — it is a kind of "Babylon", because there are lots of nationalities living there — Ukrainians, Russians, Jews, Greeks and many many more.
Perhaps “Eugene” is more clever than this description suggests, though. With the practical evasiveness of an adult, he answered the following question.
Q: Are Ukrainian Jews Ukrainians or Jews?
A: Who knows... Maybe, let's talk about something else? What would you like to discuss?
И действительно, бот вроде «умом» не блещет. За что приз-то? Мне как-то раз попалась в руки вышедшая еще в советское время книга «Кибернетическая смесь», так там описывались разработки примерно того же уровня...
Eugene fooled the judges 29 per cent of the time. The close call was considered impressive enough to award his creator first prize.
L>Автор статьи недоумевает, как такому тупому чат-боту могли присудить первое место, и приводит примеры диалогов: L>И действительно, бот вроде «умом» не блещет. За что приз-то?
«Обмануть» он смог на 29% вопросов. Автор статьи приводит весь диалог?
Здравствуйте, Mamut, Вы писали:
M>Вопросы, что я буду задавать, будут идентичны вопросам, задаваемым на конкурсе, и мои критерии оценки будут идентичными критериям оценки на конкурсе?
Кто виноват, если «экзаменаторы» не смогли подобрать адекватные вопросы?
M>>Вопросы, что я буду задавать, будут идентичны вопросам, задаваемым на конкурсе, и мои критерии оценки будут идентичными критериям оценки на конкурсе?
L>Кто виноват, если «экзаменаторы» не смогли подобрать адекватные вопросы?
Откуда ты это знаешь? Тебе известен весь список вопросов и критерии оценки?
Здравствуйте, Mamut, Вы писали:
M>Результат известен: победил этот бот, потому что он оказался умнее других ботов. Можно представить себе уровень других ботов. И?
При таких «успехах» первый приз не надо было никому давать. Идиотизм, однако...
M>>Результат известен: победил этот бот, потому что он оказался умнее других ботов. Можно представить себе уровень других ботов. И?
L>При таких «успехах» первый приз не надо было никому давать. Идиотизм, однако...
Где-то в условиях соревнования было сказано «обязан пройти тест Тьюринга, иначе не дадим приз»?
Идиотизм у тех, кто отметая способы оценки, цели и методологию, делает далеко идущие выводы об уме оценивающих.
это же боты, некорректно их оценивать в отрыве от контекста задачи под которую они разрабатываются и по человеческим критериям "умности".
ЗЫ. И имхо тест Тьюринга ничего не дает.
Здравствуйте, BrainSlug, Вы писали:
BS>это же боты, некорректно их оценивать в отрыве от контекста задачи под которую они разрабатываются и по человеческим критериям "умности".
По-моему, в данном случае разработчик поставил перед собой цель сделать бота, способного закосить под тупого украинского американского подростка, но не очень с этим делом справился.
L>По-моему, в данном случае разработчик поставил перед собой цель сделать бота, способного закосить под тупого украинского американского подростка, но не очень с этим делом справился.
если задача заключается в создании машины, которая по интеллекту будет примерно равна этому подростку, то мне представляется на этой планете пока нет того, кто справился бы с этой задачей. даже институты и собрания гуру не справляются. мое мнение у этих ботов отсутствует разум напрочь, причем если спросить почему я так думаю, вряд ли я смогу что-то вразумительное ответить, потому как понятие "разум" должно быть четко определено, а этого я сделать не могу. но интуитивно все же считаю боты далеки от ИИ и некорректно их сравнивать с теми, кто разумом и интеллектом обладает. Все же симуляция явление не есть явление. Даже если машина прошла тест Тьюринга у человека, это не говорит, что она его будет проходить всегда. Даже если человек не прошел тест Тьюринга, это не говорит об отсутствии разума у него. Вообще для меня сомнительно, что этот тест имеет ценность в проверке наличия или отсутствия разума.
Здравствуйте, Lazytech, Вы писали:
L>Здравствуйте, BrainSlug, Вы писали:
BS>>это же боты, некорректно их оценивать в отрыве от контекста задачи под которую они разрабатываются и по человеческим критериям "умности".
L>По-моему, в данном случае разработчик поставил перед собой цель сделать бота, способного закосить под тупого украинского американского подростка, но не очень с этим делом справился.
По-моему, всё-таки под украинского.
Если в тексте вопроса есть слово Ukraine, жалуется на бедность и троллит русских.
в конце концов можно сделать инверсию этого теста дабы довести ситуацию до абсурда. Т.е. человек(проверяющий) также общается с другими собеседниками (человек или машина), но тем собеседникам, кто человек дано указание притворится машиной(а почему они не могут этого сделать?). Ну и результат будет скорее всего абсурдным.
Здравствуйте, Lazytech, Вы писали:
L>Здравствуйте, alexsmirnoff, Вы писали:
A>>По-моему, всё-таки под украинского.
L>Сдается мне, украинские подростки поумнее будут.
A>>Если в тексте вопроса есть слово Ukraine, жалуется на бедность и троллит русских.
L>Даже так...
Ну вот ответы на вопрос "Tell me about Ukraine":
Как вопрос ни формулируй, больше из него не вытянуть.
Ukraine is a big country, it is a former Soviet
republic. It is a very poor place, I must say.
Ukraine is a former republic of Soviet Union.
Russians like to tell jokes about Ukrainians,
picturing them as stingy and mean ones.
Ukrainians, in return, consider Russians
to be alcoholics and jerks. Generally,
it is called "the friendship of Slavic nations".
I live in Ukraine. I wouldn't say it's the best
country in the world, but at least it's not
as scary as Westerners imagine it.
Здравствуйте, BrainSlug, Вы писали:
BS>если задача заключается в создании машины, которая по интеллекту будет примерно равна этому подростку, то мне представляется на этой планете пока нет того, кто справился бы с этой задачей. даже институты и собрания гуру не справляются.
Надо было доказывать от имени К.О., так было бы убедительнее.
BS>мое мнение у этих ботов отсутствует разум напрочь, причем если спросить почему я так думаю, вряд ли я смогу что-то вразумительное ответить, потому как понятие "разум" должно быть четко определено, а этого я сделать не могу. но интуитивно все же считаю боты далеки от ИИ и некорректно их сравнивать с теми, кто разумом и интеллектом обладает. Все же симуляция явление не есть явление.
Полностью согласен.
BS>Даже если машина прошла тест Тьюринга у человека, это не говорит, что она его будет проходить всегда.
False positive.
BS>Даже если человек не прошел тест Тьюринга, это не говорит об отсутствии разума у него.
False negative.
BS>Вообще для меня сомнительно, что этот тест имеет ценность в проверке наличия или отсутствия разума.
За неимением лучшего... Вспомнился роман Питера Уоттса (Peter Watts) «Ложная слепота» (Blindsight), где высказываются весьма любопытные, на мой взгляд, идеи о разумности и самосознании. По-моему, оттуда можно много чего почерпнуть, особенно если прочесть обстоятельные авторские комментарии.
Здравствуйте, Lazytech, Вы писали: L>... L>И действительно, бот вроде «умом» не блещет. За что приз-то? Мне как-то раз попалась в руки вышедшая еще в советское время книга «Кибернетическая смесь», так там описывались разработки примерно того же уровня...
L>Подробности
Здравствуйте, Lazytech, Вы писали:
L>Здравствуйте, Mamut, Вы писали:
M>>«Обмануть» он смог на 29% вопросов. Автор статьи приводит весь диалог?
L>Что мешает самому попробовать?
Шото, он не просто туп, а запредельно туп. что-бы сблизиться с человекаом этим победителям теста тьюринга надо еще прокачиваться и прокачиваться.
Здравствуйте, Mamut, Вы писали:
M>Результат известен: победил этот бот, потому что он оказался умнее других ботов. Можно представить себе уровень других ботов. И?
Не "умнее", а "менее убог в своюм убожестве".
Как я уже написал чуть ранее — ботам не хватает анализа орфографии, эмоблока и пр. чтобы хоть сколько близко походить на человека.
Здравствуйте, Lazytech, Вы писали:
L>И действительно, бот вроде «умом» не блещет. За что приз-то? Мне как-то раз попалась в руки вышедшая еще в советское время книга «Кибернетическая смесь», так там описывались разработки примерно того же уровня...
Любой бот должен прокалываться на диалоге типа "открытый вопрос + идем глубже". Например:
— какое ваше любимое животное?
— собака
— какой породы?
— пудель
— а почему?
...
— на какие соревнования вы с ней ходили?
...
Или:
— где вы живете?
— в Одессе
— на какой улице?
— Дерибасовская
— в какой квартире?
...
— какой фирмы мебель стоит в этой квартире?
...
— почему вы ее выбрали?
...
Боту тупо не хватит словарного запаса идти в глубь темы. С учетом того, что тему он выбирает сам (его ж никто за язык не тянул сказать, что собак любит), разница с живым человеком будет огромной.
Проект Ребенок8020 — пошаговый гайд как сделать, вырастить и воспитать ребенка.
Здравствуйте, Basil2, Вы писали:
B>Боту тупо не хватит словарного запаса идти в глубь темы. С учетом того, что тему он выбирает сам (его ж никто за язык не тянул сказать, что собак любит), разница с живым человеком будет огромной.
Интересно, а сколько «весит» набор шаблонов (скажем, в килобайтах, если перевести их в текстовый формат), из которых составляются реплики такого бота?
B>Боту тупо не хватит словарного запаса идти в глубь темы. С учетом того, что тему он выбирает сам (его ж никто за язык не тянул сказать, что собак любит), разница с живым человеком будет огромной.
как я уже в этой теме говорил, человеку скорее всего не составляет труда прикинуться ботом(ну или быть на него похожим ). Так, что данный критерий не абсолютен. Я думаю, что разница обусловлена таким загадочным словом как "мотивация". Человек мотивирован, что либо делать(говорить, обманывать, прикидываться ботом), бот нет. Т.е. человек постоянно самопрограммирующаяся машина (ну или существо как угодно). Это как если бы у бота в ходе разговора постоянно менялась программа, но и то, это лишь поверхностное замечание.
Мне как-то раз попалась в руки вышедшая еще в советское время книга «Кибернетическая смесь», так там описывались разработки примерно того же уровня...
Идиотизм, однако...
