Как известно в .Net Core нет AppDomain.
Но можно использовать например .Net Core, AppDomain, WCF, RPC маршалинг по Tcp/Ip свой велосипед
А в качестве песочницы можно использовать терминальные сессии или виртуальные машины.

Но вот интересно можно ли в качестве песочницы использовать Docker

Docker легковесен и быстр. Он предоставляет устойчивую, рентабельную альтернативу виртуальным машинам на основе гипервизора. Он особенно полезен в условиях высоких нагрузок, например, при создания собственного облака или платформа-как-сервис (platform-as-service). Но он так же полезен для маленьких и средних приложений, когда вам хочется получать больше из имеющихся ресурсов.

Мы уже знаем, что образ — это read-only шаблон, из которого создается контейнер. Каждый образ состоит из набора уровней. Docker использует union file system для сочетания этих уровней в один образ. Union file system позволяет файлам и директориями из разных файловых систем (разным ветвям) прозрачно накладываться, создавая когерентную файловую систему.

То есть например использовать директории к Microsoft.NETCore.App и Nuget

Вот здесь пишут, что вроде можно Как правильно использовать Docker

сущность в docker-е под названием «контейнер» предназначена для запуска одного процесса внутри окружения, где, благодаря cgroups, ограничены и изолированы вычислительные ресурсы (процессорные, сетевые, ресурсы памяти, ресурсы ввода-вывода). естественно, этот процесс может «плодить» потомков (которые «видят» только это изолированное окрежение), и этим иногда пользуются для запуска нескольких несвязанных процессов.

И какова скорость выполнения по сравнению с терминальными сессиями