Вот такая идея.
Смартфон (или некое специальное устройство) подключается к компьютеру (допустим по usb3). На компьютьере запускается некая программа, подобная окну виртуальной машины.
Внутри этого окна мы имеем полный доступ к смартфону. Общая клавиатура и мышь, общий буфер обмена, общие папки — т.е. все как при работе с виртуалкой. Можно запускать программы, полноценно работать с ними.