E>1) сколько нейронов на уровнях? Вход, как я понял, 20, выход -- 1, а между?

4-5 слоёв по 40-20 нейронов (т.е. параметров не так уж и много).

E>2) как и с какой функцией потерь учили?

mse. А вот как — это и есть большой вопрос. SGD и вариации дают хорошую точность, но не достаточную. Как визуализировать и понять, что нейросеть делает, чего ей не хватает, да и вообще возможно ли получить с помощью неё требуемую точность и как? Получается хороший такой чёрный ящик, понять что и как он делает нереально, можно только поиграть метапараметрами. И в конечном счёте, когда она начала работать с достаточной точностью, как обосновать, что её можно пускать в производство? Только на основании того, что 100.000 раз она выдала правильное решение, а значит и на 100.001 будет тоже правильное?

E>3) активация RELU?

да

E>С большой вероятностью кусочно-линейно аппроксимирует...

С большой вероятностью, что нет. 20 мерное пространство — это серьёзно. Расстояния между известными ближайшими точками в среднем огромные, а нейросеть довольно маленькая.