Здравствуйте, Shmj, Вы писали:
S>Можете ли привести примеры, на которых он обломался? Которые однозначно понятны человеку, но не понятны этому болвану.
Я находил примеры логических задач, на которые он тупит и даёт очевидно неверные ответы. Но это из разряда японской бензопилы.
А так — поверхностные ответы он неплохо даёт. Но пока ни разу не дал ответы на сложные вопросы, а те, которые пытался давать — были неправильные. Поэтому пока пользы от него не так много. Просто там, где я обычно гуглю и читаю несколько статей, чтобы получить первое поверхностное впечатление про что-либо, теперь можно с ним поговорить и получить это же впечатление быстрей.
Если отвечать на вопрос из заголовка — не просто удивляет, а поражает. Меня даже тот факт, что он способен формулировать предложения на грамотном английском поражает, тут он меня, к примеру, опережает. А уж то, что в этих предложениях какой-то смысл нетривиальный заложен, это просто бомба.
S>И он начинает рассказывать про percent-encoding и дает валидный код преобразования Т.е. уже не нужно, как для Гугла, понимать суть вопроса. S>Меня это немного пугает.
Может там внутри индусы?
Здравствуйте, Shmj, Вы писали:
S>Меня это немного пугает.
Вангую что станет больше кода, написанного без понимания как он работает. По сути как копипаста с SO на стероидах. Меня не пугает, я знаю как с этим бороться.
Здравствуйте, Shmj, Вы писали:
S>Меня это немного пугает.
Гораздо интереснее он решает задачи вида — достать мне все почтовые адреса из вот этой портянки текста и заложи их по состовляющим.
Задачка сама по себе крайне сложная (если учитывать все возможные написания адресов в мире).
У коллег есть код которые уже более 10 лет поддерживается для такой задачи. Там прямо много логики и условий, и в том числе харкода вида — что мол если страна такая и город такой — то мол 9/3 в адресе означает дом 9 и этаж 3, а не номер дома 9/3
Так, вот ChatGPT из коробки без файнтюнинга дает 87% точности на их тестах, а с fine tuning дает 93% точности.
При этом количество кейсов где он фелиться вполне конечно. Ребятам прикинули, что если оставить ChatGPT + свой код, то результат будет сравним с их текущих кодом, только кода будет раз в 10 меньше.
Здравствуйте, Shmj, Вы писали:
S>Меня это немного пугает.
Меня тоже пугает. Но не из-за того что слишком умный сам по себе или может писать код. Код я и сам могу писать, а если использование его станет нормой, которое реально повышает производительность, то и сам буду.
Пугает другое. Пока это только экспериментальный чат бот. Что будет когда он будет работать с например файлами разных форматов, БД.
Кому нужен UI интерфейс к БД когда запросы можно делать на человеческом языке? Или вот например разные add-ins и макросы для Excel, рынок которых сейчас, включая разных консультантов очень большой. Или фильтры для фотошопа или конвертеры. Список можно продолжать.
Можем вернуться опять к командной строке, только уже на новом уровне. Или напротив, весь UI под конкретную задачу он тоже сделает. И не в виде текста исходников. Загружай и запускай.
Здравствуйте, TheBeginner, Вы писали:
TB>Пугает другое. Пока это только экспериментальный чат бот. Что будет когда он будет работать с например файлами разных форматов, БД. TB>Кому нужен UI интерфейс к БД когда запросы можно делать на человеческом языке? Или вот например разные add-ins и макросы для Excel, рынок которых сейчас, включая разных консультантов очень большой. Или фильтры для фотошопа или конвертеры. Список можно продолжать.
У этого ChatGPT есть (пока есть?) очень крупный недостаток — совершенно невозможно полагаться на корректность результатов. Буквально все что предлагает ChatGPT надо перепроверять.
Здравствуйте, gandjustas, Вы писали:
G>Вангую что станет больше кода, написанного без понимания как он работает. По сути как копипаста с SO на стероидах. Меня не пугает, я знаю как с этим бороться.
Здравствуйте, Shmj, Вы писали:
S>Меня это немного пугает.
Меня уже скорее бесит. Оно вообще не понимает что оно говорит, и не несет ответственности за свои слова.
Например, мне со 100% уверенностью утверждал что в Windows 10 нет предустановленной версии .NET Framework
Еще пример
Крокодилы прыгают через огненные кольца. Ну вот серьезно? Хотел бы я на такое посмотреть
Здравствуйте, TheBeginner, Вы писали:
TB>Меня тоже пугает. Но не из-за того что слишком умный сам по себе или может писать код. Код я и сам могу писать, а если использование его станет нормой, которое реально повышает производительность, то и сам буду. TB>Пугает другое. Пока это только экспериментальный чат бот. Что будет когда он будет работать с например файлами разных форматов, БД. TB>Кому нужен UI интерфейс к БД когда запросы можно делать на человеческом языке? Или вот например разные add-ins и макросы для Excel, рынок которых сейчас, включая разных консультантов очень большой. Или фильтры для фотошопа или конвертеры. Список можно продолжать. TB>Можем вернуться опять к командной строке, только уже на новом уровне. Или напротив, весь UI под конкретную задачу он тоже сделает. И не в виде текста исходников. Загружай и запускай.
От командной строки ушли потому что она неудобна потребителю. Так же как и слова вообще не самый удобный вариант. Поэтому графический интерфейс никуда не уйдет.
— Товарищ прапорщик, а крокодилы летают?
— Что!? Кто тебе такую фигню сказал?
— Товарищ майор.
— Товарищ майор?! Вообще-то, они летают, но низенько-низенько!
Y>При этом количество кейсов где он фелиться вполне конечно. Ребятам прикинули, что если оставить ChatGPT + свой код, то результат будет сравним с их текущих кодом, только кода будет раз в 10 меньше.
Есть такое понятие Worse Than A Failure, — когда не понимаешь, почему "код в 10 раз меньше" то работает, то нет.
Здравствуйте, bnk, Вы писали:
bnk>Крокодилы прыгают через огненные кольца. Ну вот серьезно? Хотел бы я на такое посмотреть
Это тебе к нейросети, которая картинки генерирует.
Здравствуйте, bnk, Вы писали:
bnk>От командной строки ушли потому что она неудобна потребителю. Так же как и слова вообще не самый удобный вариант. Поэтому графический интерфейс никуда не уйдет.
Чат-боты с тобой не согласятся
Здравствуйте, bnk, Вы писали:
bnk>Здравствуйте, gandjustas, Вы писали:
G>>Вангую что станет больше кода, написанного без понимания как он работает. По сути как копипаста с SO на стероидах. Меня не пугает, я знаю как с этим бороться.
bnk>как?
Как ни странно для уменьшения негативного воздействия копипасты из интернета надо эту копипасту поощрять. Но обязательно, вплоть до угрозы расстрела через повешение, указывать в комментах откуда взял.
Это во-первых позволяет на ревью разобраться что код скопирован, а во-вторых заставляет людей более внимательно относиться к источникам информации. На ревью конечно же стоит спросить как оно работает.
Здравствуйте, vsb, Вы писали:
vsb>А так — поверхностные ответы он неплохо даёт. Но пока ни разу не дал ответы на сложные вопросы, а те, которые пытался давать — были неправильные. Поэтому пока пользы от него не так много.
Наоборот — простых, поверхностных вопросов больше всего. И больше всего времени уходит на фиксование всякой мелочевки. Потому быстрый ответ на такие вопросы сокращает очень много времени. Быстрее спросить, чем разбираться в этой мелочевке.
Т.е. уже не нужно, как для Гугла, понимать суть вопроса.
