На процессорах устанавливают десятки мегабайт кеш-памяти третьего уровня.

Почему бы им не выделить часть этой памяти, скажем 20%, в личное управление компилятора?

Регистрами управлять можно явно, а памятью на процессоре почему-то нет.

Нелогично.

80% памяти в процессоре останутся кешем! Производительность не пострадает (правило 80/20).