Мне помогло выставить для сокета: LingerState = new LingerOption(false, 0) (именно false)
Закрываю так:
if (Socket.Connected)
{
Socket.Shutdown(SocketShutdown.Both);
}
Socket.Close();
Socket = null;