var t = Task.WhenAll(allMyTasks);
cts.Cancel(); // Отменяем
task.Wait(); // Стоим ждем, пока все таски завершатся
if (t.IsFaulted)   { ... } // По крайней мере одна из тасков крашнулась, анализируем ошибку если нужно
if (t.IsCancelled) { ... } // Никто не крашнулся, но по крайней мере одна таска была отменена, анализируем эту ситуацию, если нужно
// Если мы тут, все завершилось благополучно

var t = Task.WhenAll(allMyTasks);
cts.Cancel(); // Отменяем
t.Wait(); // Стоим ждем, пока все таски завершатся
if (t.IsFaulted)   { ... } // По крайней мере одна из тасков крашнулась, анализируем ошибку если нужно
if (t.IsCancelled) { ... } // Никто не крашнулся, но по крайней мере одна таска была отменена, анализируем эту ситуацию, если нужно
// Если мы тут, все завершилось благополучно