Читаем MSDN, например, WM_RBUTTONDOWN:

Return Values
If an application processes this message, it should return zero.

Может в этом дело.