S>Можно ли использовать обычные ссылки на элементы vector? При условии, что сам вектор не изменяется — к нему не добавляются новые элементы и т.п.

да, там же специально отмечены те операции (типа insert) которые инвалидируют итераторы, ссылки и указатели на элементы. Пока эти операции не совершаются, можно использовать и итераторы, и ссылки, и указатели.