Здравствуйте, karbofos42, Вы писали:
K>Как нам в этом поможет одинокий cs-файл? Откуда появится валидация и т.д.?
K>Или в каком виде предполагаются конфига на шарпе пользователям отдавать?
Например, так:

using BenchmarkDotNet.Configs;
public class Config : ManualConfig
{
  public Config()
  {
    Add(new Job1(), new Job2());
    Add(new Column1(), new Column2());
    Add(new Exporter1(), new Exporter2());
    Add(new Logger1(), new Logger2());
    Add(new Diagnoser1(), new Diagnoser2());
    Add(new Analyser1(), new Analyser2());
    Add(new Filter1(), new Filter2());
  }
}

Или так:

using BenchmarkDotNet.Configs;
public class Config : IConfig
{
  public Config GetConfig()=>
    DefaultConfig.Instance.AddJob(Job.Default.WithRuntime(ClrRuntime.Net461))
                          .AddJob(Job.Default.WithRuntime(CoreRuntime.Core21))
                          .AddValidator(ExecutionValidator.FailOnError));
 
}