какая же каша, простите у Вас в голове ...
зачем ClientUser, конверторы ... в данном случае User просто содержит данные, все эти заморочки нужны если на основе данных с клиента строится сложный объект(т.е. нужны вычисления, алгоритмы, проверки и т.п.) ... тем более если у вас сервер и клиент на джаве то используйте везде User, ну будет у вас на клиенте например UsersModel(List<User>) ....