Удалять то что перебираешь в foreach нельзя.

Как вариант:

int _count = listBox.SelectedItems.Count;
for ( int i = 0; i < _count ; i++ )
{
listBox.Items.Remove( listBox.SelectedItems[0] );
}

типа так...