Удивляет ли вас ChatGPT?
От: Shmj Ниоткуда  
Дата: 11.01.23 10:08
Оценка:
Можете ли привести примеры, на которых он обломался? Которые однозначно понятны человеку, но не понятны этому болвану.

Вот я, для примера, ввожу такое:

Как в QT из строки http://localhost:1234/ получить http%3a%2f%2flocalhost%3a1234%2f


И он начинает рассказывать про percent-encoding и дает валидный код преобразования Т.е. уже не нужно, как для Гугла, понимать суть вопроса.

Меня это немного пугает.
Re: Удивляет ли вас ChatGPT?
От: Нomunculus Россия  
Дата: 11.01.23 10:18
Оценка: +1 :))
Здравствуйте, Shmj, Вы писали:

Спроси есть у него квалия или нет
Re: Удивляет ли вас ChatGPT?
От: vsb Казахстан  
Дата: 11.01.23 10:23
Оценка: +2
Здравствуйте, Shmj, Вы писали:

S>Можете ли привести примеры, на которых он обломался? Которые однозначно понятны человеку, но не понятны этому болвану.


Я находил примеры логических задач, на которые он тупит и даёт очевидно неверные ответы. Но это из разряда японской бензопилы.

А так — поверхностные ответы он неплохо даёт. Но пока ни разу не дал ответы на сложные вопросы, а те, которые пытался давать — были неправильные. Поэтому пока пользы от него не так много. Просто там, где я обычно гуглю и читаю несколько статей, чтобы получить первое поверхностное впечатление про что-либо, теперь можно с ним поговорить и получить это же впечатление быстрей.

Если отвечать на вопрос из заголовка — не просто удивляет, а поражает. Меня даже тот факт, что он способен формулировать предложения на грамотном английском поражает, тут он меня, к примеру, опережает. А уж то, что в этих предложениях какой-то смысл нетривиальный заложен, это просто бомба.
Отредактировано 11.01.2023 10:25 vsb . Предыдущая версия .
Re: Удивляет ли вас ChatGPT?
От: Osaka  
Дата: 11.01.23 10:32
Оценка: :)
S>И он начинает рассказывать про percent-encoding и дает валидный код преобразования Т.е. уже не нужно, как для Гугла, понимать суть вопроса.
S>Меня это немного пугает.
Может там внутри индусы?
Re[2]: Удивляет ли вас ChatGPT?
От: Shmj Ниоткуда  
Дата: 11.01.23 11:05
Оценка: +2 :)
Здравствуйте, Osaka, Вы писали:

S>>Меня это немного пугает.

O>Может там внутри индусы?

Индусы нынче не такие уж дешевые пошли. Мир меняется.
Re: Удивляет ли вас ChatGPT?
От: alexsmirnoff  
Дата: 11.01.23 11:20
Оценка:
Здравствуйте, Shmj, Вы писали:

S>Меня это немного пугает.


Пара видосиков по теме.

Брет Вайнштейн у Джо Рогана — "почему я перестал пользоваться ChatGPT":

https://youtu.be/kh5dN72GTQ8

Микрософтовский Копайлот тырит чужие исходники:

https://youtu.be/zIB2WHhVQN4
Re: Удивляет ли вас ChatGPT?
От: gandjustas Россия http://blog.gandjustas.ru/
Дата: 11.01.23 11:33
Оценка:
Здравствуйте, Shmj, Вы писали:

S>Меня это немного пугает.


Вангую что станет больше кода, написанного без понимания как он работает. По сути как копипаста с SO на стероидах. Меня не пугает, я знаю как с этим бороться.
Re: Удивляет ли вас ChatGPT?
От: Young yunoshev.ru
Дата: 11.01.23 11:36
Оценка: 2 (2)
Здравствуйте, Shmj, Вы писали:

S>Меня это немного пугает.


Гораздо интереснее он решает задачи вида — достать мне все почтовые адреса из вот этой портянки текста и заложи их по состовляющим.
Задачка сама по себе крайне сложная (если учитывать все возможные написания адресов в мире).

У коллег есть код которые уже более 10 лет поддерживается для такой задачи. Там прямо много логики и условий, и в том числе харкода вида — что мол если страна такая и город такой — то мол 9/3 в адресе означает дом 9 и этаж 3, а не номер дома 9/3

Так, вот ChatGPT из коробки без файнтюнинга дает 87% точности на их тестах, а с fine tuning дает 93% точности.

При этом количество кейсов где он фелиться вполне конечно. Ребятам прикинули, что если оставить ChatGPT + свой код, то результат будет сравним с их текущих кодом, только кода будет раз в 10 меньше.
Re: Удивляет ли вас ChatGPT?
От: TheBeginner  
Дата: 11.01.23 12:10
Оценка: +1
Здравствуйте, Shmj, Вы писали:

S>Меня это немного пугает.


Меня тоже пугает. Но не из-за того что слишком умный сам по себе или может писать код. Код я и сам могу писать, а если использование его станет нормой, которое реально повышает производительность, то и сам буду.
Пугает другое. Пока это только экспериментальный чат бот. Что будет когда он будет работать с например файлами разных форматов, БД.
Кому нужен UI интерфейс к БД когда запросы можно делать на человеческом языке? Или вот например разные add-ins и макросы для Excel, рынок которых сейчас, включая разных консультантов очень большой. Или фильтры для фотошопа или конвертеры. Список можно продолжать.
Можем вернуться опять к командной строке, только уже на новом уровне. Или напротив, весь UI под конкретную задачу он тоже сделает. И не в виде текста исходников. Загружай и запускай.
Отредактировано 11.01.2023 12:27 TheBeginner . Предыдущая версия .
Re[2]: Удивляет ли вас ChatGPT?
От: Michael7 Россия  
Дата: 11.01.23 12:40
Оценка: +5
Здравствуйте, TheBeginner, Вы писали:

TB>Пугает другое. Пока это только экспериментальный чат бот. Что будет когда он будет работать с например файлами разных форматов, БД.

TB>Кому нужен UI интерфейс к БД когда запросы можно делать на человеческом языке? Или вот например разные add-ins и макросы для Excel, рынок которых сейчас, включая разных консультантов очень большой. Или фильтры для фотошопа или конвертеры. Список можно продолжать.

У этого ChatGPT есть (пока есть?) очень крупный недостаток — совершенно невозможно полагаться на корректность результатов. Буквально все что предлагает ChatGPT надо перепроверять.
Re[2]: Удивляет ли вас ChatGPT?
От: bnk СССР http://unmanagedvisio.com/
Дата: 11.01.23 13:15
Оценка: +1
Здравствуйте, gandjustas, Вы писали:

G>Вангую что станет больше кода, написанного без понимания как он работает. По сути как копипаста с SO на стероидах. Меня не пугает, я знаю как с этим бороться.


как?
Re: Удивляет ли вас ChatGPT?
От: bnk СССР http://unmanagedvisio.com/
Дата: 11.01.23 13:17
Оценка: +1 :)))
Здравствуйте, Shmj, Вы писали:

S>Меня это немного пугает.


Меня уже скорее бесит. Оно вообще не понимает что оно говорит, и не несет ответственности за свои слова.
Например, мне со 100% уверенностью утверждал что в Windows 10 нет предустановленной версии .NET Framework

Еще пример



Крокодилы прыгают через огненные кольца. Ну вот серьезно? Хотел бы я на такое посмотреть
Отредактировано 11.01.2023 13:36 bnk . Предыдущая версия . Еще …
Отредактировано 11.01.2023 13:25 bnk . Предыдущая версия .
Re[2]: Удивляет ли вас ChatGPT?
От: bnk СССР http://unmanagedvisio.com/
Дата: 11.01.23 13:21
Оценка:
Здравствуйте, TheBeginner, Вы писали:

TB>Меня тоже пугает. Но не из-за того что слишком умный сам по себе или может писать код. Код я и сам могу писать, а если использование его станет нормой, которое реально повышает производительность, то и сам буду.

TB>Пугает другое. Пока это только экспериментальный чат бот. Что будет когда он будет работать с например файлами разных форматов, БД.
TB>Кому нужен UI интерфейс к БД когда запросы можно делать на человеческом языке? Или вот например разные add-ins и макросы для Excel, рынок которых сейчас, включая разных консультантов очень большой. Или фильтры для фотошопа или конвертеры. Список можно продолжать.
TB>Можем вернуться опять к командной строке, только уже на новом уровне. Или напротив, весь UI под конкретную задачу он тоже сделает. И не в виде текста исходников. Загружай и запускай.

От командной строки ушли потому что она неудобна потребителю. Так же как и слова вообще не самый удобный вариант. Поэтому графический интерфейс никуда не уйдет.
Re[2]: Удивляет ли вас ChatGPT?
От: Lazytech Ниоткуда  
Дата: 11.01.23 13:31
Оценка:
Здравствуйте, bnk, Вы писали:

bnk>Прыжки через огненные кольца. Правда?


Похоже на фейк. Впрочем, "медведи на мотоциклах" тоже похоже на фейк, ан нет.
Re[2]: Удивляет ли вас ChatGPT?
От: TheBeginner  
Дата: 11.01.23 13:50
Оценка:
Здравствуйте, bnk, Вы писали:

— Товарищ прапорщик, а крокодилы летают?
— Что!? Кто тебе такую фигню сказал?
— Товарищ майор.
— Товарищ майор?! Вообще-то, они летают, но низенько-низенько!

Re[2]: Удивляет ли вас ChatGPT?
От: SkyDance Земля  
Дата: 11.01.23 16:14
Оценка:
Y>При этом количество кейсов где он фелиться вполне конечно. Ребятам прикинули, что если оставить ChatGPT + свой код, то результат будет сравним с их текущих кодом, только кода будет раз в 10 меньше.

Есть такое понятие Worse Than A Failure, — когда не понимаешь, почему "код в 10 раз меньше" то работает, то нет.
Re[2]: Удивляет ли вас ChatGPT?
От: gandjustas Россия http://blog.gandjustas.ru/
Дата: 11.01.23 19:54
Оценка:
Здравствуйте, bnk, Вы писали:

bnk>Крокодилы прыгают через огненные кольца. Ну вот серьезно? Хотел бы я на такое посмотреть

Это тебе к нейросети, которая картинки генерирует.
Re[3]: Удивляет ли вас ChatGPT?
От: gandjustas Россия http://blog.gandjustas.ru/
Дата: 11.01.23 19:55
Оценка:
Здравствуйте, bnk, Вы писали:

bnk>От командной строки ушли потому что она неудобна потребителю. Так же как и слова вообще не самый удобный вариант. Поэтому графический интерфейс никуда не уйдет.

Чат-боты с тобой не согласятся
Re[3]: Удивляет ли вас ChatGPT?
От: gandjustas Россия http://blog.gandjustas.ru/
Дата: 11.01.23 19:59
Оценка:
Здравствуйте, bnk, Вы писали:

bnk>Здравствуйте, gandjustas, Вы писали:


G>>Вангую что станет больше кода, написанного без понимания как он работает. По сути как копипаста с SO на стероидах. Меня не пугает, я знаю как с этим бороться.


bnk>как?


Как ни странно для уменьшения негативного воздействия копипасты из интернета надо эту копипасту поощрять. Но обязательно, вплоть до угрозы расстрела через повешение, указывать в комментах откуда взял.
Это во-первых позволяет на ревью разобраться что код скопирован, а во-вторых заставляет людей более внимательно относиться к источникам информации. На ревью конечно же стоит спросить как оно работает.
Re[2]: Удивляет ли вас ChatGPT?
От: Pauel Беларусь http://blogs.rsdn.org/ikemefula
Дата: 11.01.23 20:50
Оценка:
Здравствуйте, vsb, Вы писали:

vsb>А так — поверхностные ответы он неплохо даёт. Но пока ни разу не дал ответы на сложные вопросы, а те, которые пытался давать — были неправильные. Поэтому пока пользы от него не так много.


Наоборот — простых, поверхностных вопросов больше всего. И больше всего времени уходит на фиксование всякой мелочевки. Потому быстрый ответ на такие вопросы сокращает очень много времени. Быстрее спросить, чем разбираться в этой мелочевке.
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.