O>задача такая — из мышки вытащили шарик, к одному ролику прицепили девайс.
O>в общем случае мышка может быть разная — ps/2, com, usb.
O>можно ли без написания своего драйвера получить информацию о направлении и частоте вращения ролика?

Для режима пользователя — посмотрите в сторону функции RegisterRawInputDevices() и сообщения WM_INPUT.
Для режиме ядра — посмотрите запрос IOCTL_INTERNAL_MOUSE_CONNECT и далее по ссылкам.