EP>Почему debug?
Потому что OSX все равно в релизе очень намного уступает Windows.

EP>Какой компилятор на Windows?
MSVC 2012

N>>Приложение под OSX собирается clang-ом c ключами: -std=c++11 -O2 -msse2 -ffp-contract=fast
EP>Для начала можно добавить -DNDEBUG и вместо O2 поставить O3.
O3 не пробовал, не думаю что это что то даст, но попробую.

EP>Плюс запустить под чем-то типа callgrind.
Померяю, но когда то под VTune смотрел (под Windows правда) самый большой тормоз boost::serialize и его дремучий стек на каждую операцию.

Мне больше интересно почему OSX так сильно уступает Windows (да еще и с регрессией в многопоточном режиме).
Компилировал кстати приложение под Linux (release), т.е. замеров не делал, но по скорости (чисто на глаз) оно работает точно как и под Windows.