Если используешь TCP(UDP)\IP то указывать порт обязательно см. структуру TCP(UDP) пакета. Но можно в качестве сервера использовать сниффер который ловит все входящие пакеты и как только приходит пакет отвечающий каким либо условиям перехватывать его и обрабатывать. В этом случае номер порта может быть любым.