Здравствуйте, Silver_S, Вы писали:

S_S>У ранних версий GPT-3, GPT-4 был очень маленький контекст, то что в него не влезало, полностью забывалось. Он не мог целиком прочитать книгу, только по частям, про предыдущие части полностью забывая.

У человека тоже маленький контекст. В примеру я задаю GPT вопрос, он на него отвечает и потом в свою память какие-то факты выписывает.

Т.е. можно составить промпт: "Прочитай эту главу, выдели всё важное". Прочитать так все главы, и потом с этим "важным" оперировать. Собственно человека так и "работает". Никто (ну кроме может быть каких-то уникумов) не запоминает книги дословно, запоминают идеи, выжимку.

S_S>Если в вопросе для GPT можно было бы отправить все исходники ОС Windows(c 50 млн. строк) с каким то вопросом, то это ресурсоемко. Всем пользователям они вряд ли могли бы такое предоставить. Даже если бы GPT уже технически мог бы что-то в них найти.

Ну вот я 50 млн строк тоже не смогу проанализировать. Я даже список файлов там не смогу проанализировать. Конечно же у GPT будет некий интерфейс, когда он видит список файлов, может "открыть" любой файл, прочитать его, составить план на следующее действие и тд.

Т.е. повторять то, что делает программист.

Тупо залить 50 млн строк в память ИИ это уже сверх-интеллект. Это круто, но кажется, что можно и без этого обойтись.

S_S>Человек может "дообучиться" под конкретный большой проект — за пару недель освоится с новым большим контекстом.
S_S>Если GPT учить работать с большими системами, то очевидно, нужна возможность дообучить на конкретный проект — что то закешируется, для более быстрого доступа. Но обучать для такой работы сложнее, чем продолжать короткие тексты из интернета. Нужны обучающие примеры, где для одного большого проекта множество мелких задач.

В моём понимании тут важно не столько дообучение (никто за 2 недели ничему не учится), сколько дистилляция сути из разных участков. Понять структуру проекта, и под словом "понять" я понимаю именно некую выжимку, которая будет заливаться в следующие промпты. Понять принятый стиль. Понять, как проект собирать.

Здравствуйте, Silver_S, Вы писали:

S_S>У ранних версий GPT-3, GPT-4 был очень маленький контекст, то что в него не влезало, полностью забывалось. Он не мог целиком прочитать книгу, только по частям, про предыдущие части полностью забывая.

У человека тоже маленький контекст. В примеру я задаю GPT вопрос, он на него отвечает и потом в свою память какие-то факты выписывает. И эта память идёт у него как часть промпта на последующие вопросы.

Т.е. можно составить промпт: "Прочитай эту главу, выдели всё важное". Прочитать так все главы, и потом с этим "важным" оперировать. Собственно человека так и "работает". Никто (ну кроме может быть каких-то уникумов) не запоминает книги дословно, запоминают идеи, выжимку.

S_S>Если в вопросе для GPT можно было бы отправить все исходники ОС Windows(c 50 млн. строк) с каким то вопросом, то это ресурсоемко. Всем пользователям они вряд ли могли бы такое предоставить. Даже если бы GPT уже технически мог бы что-то в них найти.

Ну вот я 50 млн строк тоже не смогу проанализировать. Я даже список файлов там не смогу проанализировать. Конечно же у GPT будет некий интерфейс, когда он видит список файлов, может "открыть" любой файл, прочитать его, составить план на следующее действие и тд.

Т.е. повторять то, что делает программист.

Тупо залить 50 млн строк в память ИИ это уже сверх-интеллект. Это круто, но кажется, что можно и без этого обойтись.

S_S>Человек может "дообучиться" под конкретный большой проект — за пару недель освоится с новым большим контекстом.
S_S>Если GPT учить работать с большими системами, то очевидно, нужна возможность дообучить на конкретный проект — что то закешируется, для более быстрого доступа. Но обучать для такой работы сложнее, чем продолжать короткие тексты из интернета. Нужны обучающие примеры, где для одного большого проекта множество мелких задач.

В моём понимании тут важно не столько дообучение (никто за 2 недели ничему не учится), сколько дистилляция сути из разных участков. Понять структуру проекта, и под словом "понять" я понимаю именно некую выжимку, которая будет заливаться в следующие промпты. Понять принятый стиль. Понять, как проект собирать.