Для _каждого_ нового клиента надо делать accept() — она создаёт сокет, через который и будет происходить обмен с новым клиентом. Если клиент ушёл — именно этот сокет надо закрыть. Серверный же сокет только принимает соединения.