ILS>//количество запущенных потоков
ILS>long curThreadCount;
ILS>

ILS>lock(curThreadCount) curThreadCount++;
ILS>

Interlocked.Add(ref curThreadCount, 1);

private void btnStart_Click(object sender, EventArgs e)
{
  foreach (int i in checkedIndices)
  {                
    MyThreadClass clc = new MyThreadClass(paramString1,
      new CallbackFunction(ThreadStart), //функция для обновления инфы формы при запуске потока
      new CallbackFunction(ThreadDone)); //функция для обновления инфы формы при завершении работы потока (там мы удаляем поток из массива и уменьшаем число запущенных)
                
    Thread t = new Thread(new ThreadStart(clc.CollectComputerLog));
    t.IsBackground = true;                
    t.Start();
    threads.Add(t);

    while ((curThreadCount >= maxThreadCount) & (isRunning)) //проверка на достижение максимального количества запущенных потоков
      UpdateTotalInfo();
             
    if (!isRunning) //тот самый флажок
      break;
}

lock (curThreadCount) curThreadCount++;

public ArrayList threads;
...

private void btnStart_Click(object sender, EventArgs e)
{
  foreach (int i in checkedIndices)
  {                
    MyThreadClass clc = new MyThreadClass(paramString1,
      new CallbackFunction(ThreadStart), //функция для обновления инфы формы при запуске потока
      new CallbackFunction(ThreadDone)); //функция для обновления инфы формы при завершении работы потока (там мы удаляем поток из массива и уменьшаем число запущенных)
                
    Thread t = new Thread(new ThreadStart(clc.CollectComputerLog));
    t.IsBackground = true;                
    t.Start();
    threads.Add(t);

    while ((curThreadCount >= maxThreadCount) & (isRunning)) //проверка на достижение максимального количества запущенных потоков
      UpdateTotalInfo();
             
    if (!isRunning) //тот самый флажок
      break;
}

private void FrmLogCollector_FormClosing(object sender, FormClosingEventArgs e)
{
  if (isRunning)
  {
    isRunning = false; //сбрасываем флажок
    foreach (Thread t in threads)
    {
      t.Abort();
      //t.Join(); //если убрать коммент, то виснет еще тут. если коммент стоит, то виснет после выхода из этой функции
    }
  }    
}

private void ThreadDone(int index) //функция вызывается когда, когда поток завершает работу
{
  SafeThreadDoneDelegate d = new SafeThreadDoneDelegate(SafeThreadDone);
  Invoke(d, new object[] { index });

  threads.Remove(Thread.CurrentThread);
  curThreadCount--;
}

//количество запущенных потоков
long curThreadCount;

lock(curThreadCount) curThreadCount++;

lock (this)
{
    my_counter++;
}

ILS>public ArrayList threads;
ILS>...
ILS>private void btnStart_Click(object sender, EventArgs e)
ILS>{
ILS>  foreach (int i in checkedIndices)
ILS>  {                
                …
ILS>    threads.Add(t);
                …
ILS>  }
ILS>}
…
ILS>private void ThreadDone(int index) //функция вызывается когда, когда поток завершает работу
ILS>{
                …
ILS>  threads.Remove(Thread.CurrentThread);
                …
ILS>}

ILS>Что делать, как быть?

readonly object runLock = new object(); //объект для блокирования isRunning
private bool _isRunning;
public bool isRunning
{
  get { lock (runLock) { return _isRunning; } } //вот эти локи и нужны были для корректной работы!!!
  set { lock (runLock) { _isRunning = value; } }
}

private void FrmLogCollector_FormClosing(object sender, FormClosingEventArgs e)
{
  if (isRunning)
  { 
    isRunning = false; //и всё. никаких ожидающих WaitAll
  }
}

private bool ThreadUpdateInfo(int index, int progress)
{
  if (isRunning)
  {
    object res = Invoke(new SafeUpdateInfoDelegate(SafeUpdateInfo), new object[] { index, progress });
    return (bool)res;
  }
  else
    return false;
}

private void btnStart_Click(object sender, EventArgs e)
{
  foreach (int i in checkedIndices)
  {                
    MyThreadClass clc = new MyThreadClass(paramString1,
      new CallbackFunction(ThreadUpdateInfo)); //функция для обновления инфы при работе потока
                
    Thread t = new Thread(new ThreadStart(clc.CollectComputerLog));
    t.IsBackground = true;                
    t.Start();

    while ((curThreadCount >= maxThreadCount) & (isRunning)) //проверка на достижение максимального количества запущенных потоков
      UpdateTotalInfo();
             
    if (!isRunning) //тот самый флажок
      break;
}

error CS0234: The type or namespace name 'Ipc' does not exist in the namespace 'System.Runtime.Remoting.Channels'