Здравствуйте, Sinclair, Вы писали:

S>Здравствуйте, Shmj, Вы писали:

S>>Но все-же когда исходники доступны (или кому исходники доступны) — можно отследить любое поведение. Пусть это будет и не просто.
S>Ну... да. Открываете исходники LLVM (~23 миллиона строк), исходники вашей программы (c хидерами — сотня тысяч строк).
S>Садитесь и начинаете медитировать

Но ведь они структурированы, их не боги с небес спустили а люди писали. Там есть комменты, структура и пр. — т.е. понять все-таки хотя и сложно — но реально.
S>>И тут дело уже не в том что у тебя исходников нет или именно ты не достаточно компетентен, чтобы разобраться почему модель повела себя так. Просто нет физической возможности ответа на этот вопрос.
S>Почему? Есть. Садишься и отслеживаешь по исходным данным, как рассчитался каждый коэффициент.

50 млрд. коэффициентов, 100 трлн. связей, при каждом цикле обучения каждый из них прыгает то туда то назад и хрен пойми что с чем связано и что на что влияет.

Ни комментов, ни структуры никакой нет — просто клубок.

S>>Может где-то там среди 100 терабайт данных была похожая задача, может была такая же задача, но разнесенная на две в разных частях датасета. А может не на две а на две тысячи. Не остледить никак.
S>А вообще, есть целое направление объяснимых нейросетей. Потому что в ряде задач нам недостаточно получить "режьте здесь". Важно понять, на основе каких факторов и правил сделан такой вывод.
S>И нейросетки без объяснений будут применять только там, где нужно "сочини смешное стихотворение по киберпанк, любовь, смерть, и чтобы каждое слово начиналось с буквы К".

Но пока именно необъяснимые нейросети рулят. Будут ли те объяснимые и насколько успешны — большой вопрос. Дело в том что сам человек не знает толком откуда в его голове берется решение тех задач, решению которых его не обучали напрямую.