Это не совсем сортировка. Погугли по словосочетанию "задача оптимального раскроя". Если резать только по прямым линиям — добавить слово "гильотинный".

А вообще задача np-полная, большинство методов решения — оптимизированные (направленные) варианты перебора.