Не, знаю, как там на матлаб, но можно привести к трапрецевидному виду. Просто занулять строки методом Гаусса. А потом удалить нулевые строки.