Внимательно посмотрите что вы подставляете в setStyle(). Ничего не смущает? Открываем документацию.

Вариант 1:

QApplication::setStyle( new QMacStyle() );

Вариант 2:

QApplication::setStyle( "macintosh" );

Хотя зачем это вам, если на макинтоше и так по умолчанию стоит этот стиль?