Сложно, конечно, советовать, не видя кода записи. Но, задействовав свои телепатические способности, могу посоветовать сделать так:

List<User> AllUsers = new List<User>();
fs.Position = 0;
while (fs.Position < fs.Length)
{
   var chuckOfUsers = ((List<User>)bf.Deserialize(fs));
   allUsers.AddRange(chuckOfUsers);
}