Есть утилиты, например системный монитор, которые показывают насколько загружены ядра процессора. Хотелось бы понять, а как они работают на низком уровне.

Даже уточню что я хочу. Есть у меня тяжеленный расчет в памяти. Мне нужно сделать чтоб он выполнялся как можно быстрее, для чего нужно максимально использовать имеющиеся ресурсы. Сейчас каждое из 16 ядер грузится процентов на 95. При этом данные для расчета занимают под 100 гигов, мне нужно перелопатить их все, и они random access. И теоретически я могу упираться в скорость системной шины, просто не буду успевать доставать данные из памяти. Соответственно — если процессор будет простаивать из за того, что системная шина не справляется — верно ли, что в этом случае загрузка процессора будет гораздо меньше 100 процентов? А если удается загрузить его почти на 100 процентов, значит он скорее всего узкое место, и низкоуровневыми оптимизациеями кода я могу многого еще добиться. И для ответа на этот вопрос хотелось бы понять принцип, как эта загрузка проца в процентах считается.