Здравствуйте, Shmj, Вы писали:

S>Но все-же когда исходники доступны (или кому исходники доступны) — можно отследить любое поведение. Пусть это будет и не просто.
Ну... да. Открываете исходники LLVM (~23 миллиона строк), исходники вашей программы (c хидерами — сотня тысяч строк).
Садитесь и начинаете медитировать

S>На выходе получите файлик от 7 Гб до 1 Тб. с некими коэффициентами, которые уже никак нельзя сопоставить с водными данными. На каждый коэффициент так или иначе влияло огромное количество данных как в плюс так и в минус.

S>И тут дело уже не в том что у тебя исходников нет или именно ты не достаточно компетентен, чтобы разобраться почему модель повела себя так. Просто нет физической возможности ответа на этот вопрос.
Почему? Есть. Садишься и отслеживаешь по исходным данным, как рассчитался каждый коэффициент.
S>Может где-то там среди 100 терабайт данных была похожая задача, может была такая же задача, но разнесенная на две в разных частях датасета. А может не на две а на две тысячи. Не остледить никак.
А вообще, есть целое направление объяснимых нейросетей. Потому что в ряде задач нам недостаточно получить "режьте здесь". Важно понять, на основе каких факторов и правил сделан такой вывод.
И нейросетки без объяснений будут применять только там, где нужно "сочини смешное стихотворение по киберпанк, любовь, смерть, и чтобы каждое слово начиналось с буквы К".