Gerçek bir koşu

OpenTelemetry .NET'te gerçek bir değişiklik (commit f9dd754, 30 test projesi), kapsam haritasından job summary'ye kadar. Bu sayfadaki her çıktı elle yazılmadı, o koşudan kopyalandı; yalnızca uzun sınıf adları kısaltıldı.

Koşu, 0.1.3'ten sonra yapılmış bir geliştirme sürümüyle yapıldı (kendini 0.1.3 olarak bildiriyor). 15 Ekim 2026'da 0.2.0 ile yeniden çalıştırıldığında aynı değişiklik aynı 8 sınıfı seçti ve aynı 229 testi çalıştırdı.

Test sınıfları2748
Kayıtlı test süresi5 dk 59 sn22,4 sn
Toplam süre, derleme dahil2 dk 14 sn29 sn
Çalışan test projeleri191

Değişiklik

Declarative configuration paketinde bir yeniden adlandırma: OTEL_CONFIG_FILE'ın geçersiz kılınıp kılınmadığını belirten bayrak, bunu açıkça söyleyen bir ad alıyor. Davranışı değiştirmez, ama bir kod değişikliğidir; bu yüzden normal bir pipeline depodaki her test projesini derleyip çalıştırırdı.

OpenTelemetryBuilderDeclarativeConfigurationExtensions.csWarnIfConfigFileEnvVarDiffers
-bool differs;+bool overridden; try {-    differs = new FilePath(configFile) != filePath;+    overridden = new FilePath(configFile) != filePath; } catch (Exception ex) when (ex is ArgumentException or …) {-    differs = true;+    overridden = true; } -if (differs)+if (overridden)

Karar nasıl verildi

TestDetta değişikliği dosyadan onu gözlemleyebilecek testlere kadar izler. Değişen metot private'tır; onu yalnızca UseDeclarativeConfiguration çağırır. main üzerinde kaydedilen kapsam haritası, onu hangi test sınıflarının çalıştırdığını bilir: tek bir test projesinde 8 sınıf. Diğer 266 sınıf onun hiçbir kısmını çalıştırmadı ve hiçbir yerde adını da anmıyor.

değişen üyeWarnIfConfigFileEnvVarDiffers
etkilenen çağıranUseDeclarativeConfiguration
kapsam haritasımain, f9dd754
çalıştırılacak testler8 sınıf
seçildi, 8 atlandı, 266 · depoda kaydedilmiş her test sınıfı için bir kare, projeye göre gruplanmış; adını görmek için imleci yeşil bir karenin üzerine getirin

Koşu

Harita main üzerinde td record ile kaydedildi. Ardından pull request şunu çalıştırır:

$ td test --base main -- -f net10.0TestDetta 0.1.3 · 1 changed file · 2 affected test projectsTests to run┌────────────────────────────────────────────────────────┬──────────┬─────────┬───────┬────────────────────────────────┐│ Test project                                           │ Run      │ Classes │ Saved │ Why                            │├────────────────────────────────────────────────────────┼──────────┼─────────┼───────┼────────────────────────────────┤│ test/OpenTelemetry.Configuration.Declarative.FuzzTests │ skipped  │       - │  100% │ no test class runs or          ││                                                        │          │         │       │ references the changed code    ││ test/OpenTelemetry.Configuration.Declarative.Tests     │ filtered │  8 / 28 │    5% │ 8 of 28 test class(es) run or  ││                                                        │          │         │       │ reference the changed code     │└────────────────────────────────────────────────────────┴──────────┴─────────┴───────┴────────────────────────────────┘  test/OpenTelemetry.Configuration.Declarative.Tests → 8 classes    DeclarativeConfigurationDocumentAccessorTests    DeclarativeConfigurationDocumentAcquisitionTests    DeclarativeConfigurationEventSourceTests    DeclarativeConfigurationExtensionTests    DeclarativeConfigurationHostIntegrationTests    DeclarativeConfigurationSdkIntegrationTests    StrictModeDiagnosticsTests    StrictModeMaskTestsRecorded test time 22.4 s instead of 5 m 59 s  ███████████████████░ 93% saved; 7 test project(s) without timings are not countedPassed!  - Failed:     0, Passed:   228, Skipped:     1, Total:   229, Duration: 21 s - OpenTelemetry.Configuration.Declarative.Tests.dll (net10.0)td summary┌────────────────────────────────────────────────────────┬──────────┬──────────────────┬────────┐│ Test project                                           │ Result   │ Ran              │   Time │├────────────────────────────────────────────────────────┼──────────┼──────────────────┼────────┤│ test/OpenTelemetry.Configuration.Declarative.Tests     │ ✓ passed │ 8 classes        │ 28.0 s ││ test/OpenTelemetry.Configuration.Declarative.FuzzTests │ skipped  │ nothing affected │        │└────────────────────────────────────────────────────────┴──────────┴──────────────────┴────────┘1 project run · 0 failed · 1 skippedRecorded test time 22.4 s instead of 5 m 59 s  ███████████████████░ 93% saved; 7 test project(s) without timings are not counted

6.078 test yerine 229 test çalıştı ve yalnızca değişiklikten bu testlere giden yol üzerindeki projeler derlendi. Seçilen sınıflar projelerinin yavaş entegrasyon testleridir, bu yüzden proje içinde kazanç azdır (23,6 sn yerine 22,4 sn); asıl kazanç, hiç çalışması gerekmeyen diğer 18 test projesidir. Süre bilgisi olmayan 7 proje, td record'un bu makinede çalıştıramadığı mobil ve stres testi uygulamalarıdır; onlar da etkilenmedi.

Sınıf adları burada kısaltılmıştır; çıktı onları tam haliyle yazdırır (OpenTelemetry.Configuration.Declarative.Tests.StrictModeMaskTests).

Doğru 8 sınıf bunlar mıydı?

Kontrol etmek için WarnIfConfigFileEnvVarDiffers metodunun exception fırlatmasını sağladık ve tüm solution'ı çalıştırdık: 19 test projesinde 6.078 test. 30 projenin kalan 11'i, yukarıdaki 7 uygulama ile yalnızca deponun genişletilmiş solution'ının (OpenTelemetry.Extended.slnx) derlediği Android, Apple, Blazor WebAssembly ve MAUI test projeleridir. 70 test başarısız oldu, hem de tam olarak TestDetta'nın seçtiği 8 sınıfta: kaçırılan yok, fazlası yok. Hiçbiri private olan metodun adını anmaz; ona yapılandırma builder'ı üzerinden ulaşırlar, kapsam haritasının bildiği de budur.

Test sınıfıTestDetta seçtiMetot bozukken başarısız oluyorEşleşme
DeclarativeConfigurationDocumentAccessorTestsevetevet✓
DeclarativeConfigurationDocumentAcquisitionTestsevetevet✓
DeclarativeConfigurationEventSourceTestsevetevet✓
DeclarativeConfigurationExtensionTestsevetevet✓
DeclarativeConfigurationHostIntegrationTestsevetevet✓
DeclarativeConfigurationSdkIntegrationTestsevetevet✓
StrictModeDiagnosticsTestsevetevet✓
StrictModeMaskTestsevetevet✓
Diğer 266 sınıfhayırhayır✓

İki Prometheus HTTP listener testi, makinenin ağ ayarları yüzünden değişiklikle de değişiklik olmadan da her iki koşuda başarısız oldu; karşılaştırmanın dışında bırakıldılar.

Job summary

--summary-file "$GITHUB_STEP_SUMMARY" ile (GitHub Action bunu sizin için ayarlar) her pull request şu özeti alır: neyin çalıştığı, her sınıfın neden çalıştığı ve neyin atlandığı.

✓Job summarytest

TestDetta test selection

1 changed file(s) compared with main.

  • 1 of 2 affected test project(s) ran, 1 skipped.
  • Recorded test time: 22.4 s of 5 m 59 s (93% saved); 7 test project(s) without timings are not counted.
  • All selected tests passed.
  • test/OpenTelemetry.Configuration.Declarative.FuzzTests/OpenTelemetry.Configuration.Declarative.FuzzTests.csproj: skipped, none, recorded time 0.0 s of 0.4 s (100% saved)
    • why: no test class runs or references the changed code
  • test/OpenTelemetry.Configuration.Declarative.Tests/OpenTelemetry.Configuration.Declarative.Tests.csproj: passed, 8 test class(es), recorded time 22.4 s of 23.6 s (5% saved)
    • why: 8 of 28 test class(es) run or reference the changed code
    • classes (8)
      • DeclarativeConfigurationDocumentAccessorTests: ran OpenTelemetry.OpenTelemetryBuilderDeclarativeConfigurationExtensions.WarnIfConfigFileEnvVarDiffers(FilePath), which changed (map f9dd7546cc3d)
      • DeclarativeConfigurationDocumentAcquisitionTests: ran OpenTelemetry.OpenTelemetryBuilderDeclarativeConfigurationExtensions.WarnIfConfigFileEnvVarDiffers(FilePath), which changed (map f9dd7546cc3d)
      • DeclarativeConfigurationEventSourceTests: ran OpenTelemetry.OpenTelemetryBuilderDeclarativeConfigurationExtensions.WarnIfConfigFileEnvVarDiffers(FilePath), which changed (map f9dd7546cc3d)
      • DeclarativeConfigurationExtensionTests: ran OpenTelemetry.OpenTelemetryBuilderDeclarativeConfigurationExtensions.WarnIfConfigFileEnvVarDiffers(FilePath), which changed (map f9dd7546cc3d)
      • DeclarativeConfigurationHostIntegrationTests: ran OpenTelemetry.OpenTelemetryBuilderDeclarativeConfigurationExtensions.WarnIfConfigFileEnvVarDiffers(FilePath), which changed (map f9dd7546cc3d)
      • DeclarativeConfigurationSdkIntegrationTests: ran OpenTelemetry.OpenTelemetryBuilderDeclarativeConfigurationExtensions.WarnIfConfigFileEnvVarDiffers(FilePath), which changed (map f9dd7546cc3d)
      • StrictModeDiagnosticsTests: ran OpenTelemetry.OpenTelemetryBuilderDeclarativeConfigurationExtensions.WarnIfConfigFileEnvVarDiffers(FilePath), which changed (map f9dd7546cc3d)
      • StrictModeMaskTests: ran OpenTelemetry.OpenTelemetryBuilderDeclarativeConfigurationExtensions.WarnIfConfigFileEnvVarDiffers(FilePath), which changed (map f9dd7546cc3d)
    • skipped: 20 class(es) that ran none of the changed code and name none of it

Nedenini sormak

Her kararın okuyabileceğiniz bir gerekçesi vardır. -v bu izi stderr'e yazar:

DBG CodeChangeDetector src/OpenTelemetry.Configuration.Declarative/Extensions/OpenTelemetryBuilderDeclarativeConfigurationExtensions.cs: Modified OpenTelemetry.OpenTelemetryBuilderDeclarativeConfigurationExtensions WarnIfConfigFileEnvVarDiffersDBG CodeChangeDetector src/OpenTelemetry.Configuration.Declarative/Extensions/OpenTelemetryBuilderDeclarativeConfigurationExtensions.cs: 1 changed symbol(s), affects whole project: FalseDBG ImpactAnalyzer 4 affected project(s), 2 of them tests, 0 unmapped file(s)DBG TestSelector OpenTelemetry.OpenTelemetryBuilderDeclarativeConfigurationExtensions WarnIfConfigFileEnvVarDiffers(FilePath) is affected because it changedDBG TestSelector OpenTelemetry.OpenTelemetryBuilderDeclarativeConfigurationExtensions UseDeclarativeConfiguration(this IOpenTelemetryBuilder,string) is affected because WarnIfConfigFileEnvVarDiffersDBG TestSelector OpenTelemetry.OpenTelemetryBuilderDeclarativeConfigurationExtensions WarnIfConfigFileEnvVarDiffers(FilePath): test classes taken from coverageDBG TestSelector test/OpenTelemetry.Configuration.Declarative.FuzzTests/OpenTelemetry.Configuration.Declarative.FuzzTests.csproj: Skipped (no test class runs or references the changed code)DBG TestSelector test/OpenTelemetry.Configuration.Declarative.Tests/OpenTelemetry.Configuration.Declarative.Tests.csproj: Filtered (8 of 28 test class(es) run or reference the changed code)

--format json ise script'ler ve dashboard'lar için her sınıfın kararını, kanıtı ve bir süre tahminiyle birlikte verir:

{
  "project": "test/OpenTelemetry.Configuration.Declarative.Tests/OpenTelemetry.Configuration.Declarative.Tests.csproj",
  "mode": "Filtered",
  "reason": "8 of 28 test class(es) run or reference the changed code",
  "estimate": {
    "fullSeconds": 23.6,
    "selectedSeconds": 22.4,
    "savedSeconds": 1.2
  },
  "decisions": [
    {
      "class": "OpenTelemetry.Configuration.Declarative.Tests.DeclarativeConfigurationDocumentAccessorTests",
      "selected": true,
      "kind": "coverage",
      "evidence": "ran OpenTelemetry.OpenTelemetryBuilderDeclarativeConfigurationExtensions.WarnIfConfigFileEnvVarDiffers(FilePath), which changed (map f9dd7546cc3d)"
    },
    {
      "class": "OpenTelemetry.Configuration.Declarative.Tests.ConfigPropertiesTests",
      "selected": false,
      "kind": "skipped",
      "evidence": "ran none of the changed code and names none of it (map f9dd7546cc3d)"
    },
    "…26 more"
  ]
}

Testleri kendi yönteminizle çalıştırmak

td affected --format commands, TestDetta'nın yapacağı dotnet test çağrısını yazdırır; böylece onu kendi script'inizde çalıştırabilirsiniz:

dotnet test test/OpenTelemetry.Configuration.Declarative.Tests/OpenTelemetry.Configuration.Declarative.Tests.csproj --filter 'FullyQualifiedName~OpenTelemetry.Configuration.Declarative.Tests.DeclarativeConfigurationDocumentAccessorTests.|FullyQualifiedName~OpenTelemetry.Configuration.Declarative.Tests.DeclarativeConfigurationDocumentAcquisitionTests.|FullyQualifiedName~OpenTelemetry.Configuration.Declarative.Tests.DeclarativeConfigurationEventSourceTests.|FullyQualifiedName~OpenTelemetry.Configuration.Declarative.Tests.DeclarativeConfigurationExtensionTests.|FullyQualifiedName~OpenTelemetry.Configuration.Declarative.Tests.DeclarativeConfigurationHostIntegrationTests.|FullyQualifiedName~OpenTelemetry.Configuration.Declarative.Tests.DeclarativeConfigurationSdkIntegrationTests.|FullyQualifiedName~OpenTelemetry.Configuration.Declarative.Tests.StrictModeDiagnosticsTests.|FullyQualifiedName~OpenTelemetry.Configuration.Declarative.Tests.StrictModeMaskTests.'

Daha küçük bir değişiklik: Spectre.Console

Spectre.Console'un Rule widget'ında tek satırlık bir refactoring (commit 01027ef). Kapsam haritası, 141 test sınıfından hangi 14'ünün değişen metodu çalıştırdığını biliyordu; bunların çoğu ona Rule'dan hiç bahsetmeyen layout'lar ve panel'ler üzerinden ulaşır. Metodun exception fırlatmasını sağladığımızda tam olarak bu 14 sınıf başarısız oldu.

Test sınıfları14114
Testler787156
Kayıtlı test süresi3,4 sn0,6 sn
Derlenen test projeleri21

53 depo genelinde

Tek bir değişiklik tek bir veri noktasıdır. TestDetta'nın daha önce hiç görmediği kodda nasıl davrandığını bilmek için onu 53 açık kaynak .NET kütüphanesinde çalıştırıyor ve her seçimi gerçekten başarısız olan testlerle karşılaştırıyoruz.

  1. KaydetVarsayılan branch'in sabitlenmiş bir commit'inde bir kapsam haritası.
  2. Bir üyeyi değiştirÖrneklem olarak seçilen en fazla 100 metot, property ve constructor, her seferinde bir tane.
  3. Boz ve her şeyi çalıştırÜye bir exception fırlatır ve hangi sınıfların başarısız olduğunu görmek için tüm test paketi çalışır.
  4. Seçimi kontrol etBaşarısız olan her sınıf TestDetta'nın seçtiği sınıflardan biri olmalıdır. Bir kaçırma, sınıf tek başına çalıştırılarak doğrulanır.
Depolar53
Bir testi bozan değişiklikler3.071
Kaçırılan5başka sınıfa yazılan kod, okunamayan generator çıktısı: bilinen sınırlamalar
Kaçırma oranı, %95 üst sınır%0,35
Çalışan sınıflar, medyan depo%35

Tüm depolar

Tek bir üyedeki değişiklik için çalıştırılan test sınıfı oranına göre sıralanmıştır; sıralamak için bir sütuna tıklayın. Değişiklikler, en az bir testi bozan değişiklikleri sayar. Başarısızlık başına, başarısız olan her sınıf için çalışan sınıf sayısının medyanıdır: 1.0, fazladan hiçbir şeyin çalışmadığı anlamına gelir.

Depo ve neyi sınadığıDeğişikliklerÇalışan sınıflarBaşarısızlık başınaKaçırılan
App-vNext/PollyTesting PlatformxUnit v3asyncpackages641.10
spectreconsole/spectre.consolexUnitsnapshotspolyfills613.00
open-telemetry/opentelemetry-dotnetcentral packagesmulti-target#iflinked filessnapshots542.10
CommunityToolkit/dotnetMSTestsource generatorsanalyzers#ifmulti-target671.00
domaindrivendev/Swashbuckle.AspNetCoreASP.NET Coreintegrationsnapshotsnon-code inputscentral packagesmulti-targetxUnit v3661.00
angularsen/UnitsNetstatic statereflectionserialization492.00
ektrah/nsecP/Invokenative codexUnit v3631.02
ardalis/GuardClauses251.00
jstedfast/MimeKitnon-code inputsNUnit566.00
AutoFixture/AutoFixturereflectiondynamic codexUnit v3multi-target711.00
nodatime/nodatimeNUnit#if602.30
OData/AspNetCoreODataASP.NET Coreintegrationcentral packages609.30
AwesomeAssertions/AwesomeAssertionsreflectionxUnit v3Testing Platformmulti-target631.00
FluentValidation/FluentValidationreflectionnon-code inputsmulti-target641.00
SteveDunn/Vogensource generatorsanalyzerssnapshots571.00
sebastienros/fluidcentral packagesTesting PlatformxUnit v3623.00
CarterCommunity/CarterASP.NET Coreanalyzersreflection641.00
FastEndpoints/FastEndpointsASP.NET Coreintegrationcentral packagesTesting PlatformxUnit v3674.50
serilog/serilogstatic statereflectionsnapshots632.80
managedcode/CommunicationASP.NET CoreTUnit561.01
libgit2/libgit2sharpP/Invokenative codestatic statemulti-target501.00
dotnet/roslynatoranalyzersxUnit692.50
castleproject/Coredynamic codereflectionstatic stateNUnitmulti-target562.90
dotnet/Open-XML-SDKnon-code inputssource generatorscentral packages#ifmulti-targetTesting PlatformxUnit v3671.00
JasperFx/albaASP.NET CorexUnit v3641.00
NLog/NLogstatic statereflectionmulti-target556.00
bUnit-dev/bUnitTesting PlatformxUnit v3source generators671.00
danheron/Heron.MudCalendarNUnit551.00
nager/Nager.DateMSTest481.30
xoofx/markdignon-code inputsNUnit611.00
aaubry/YamlDotNetserializationreflectionnon-code inputssource generatorscentral packagesmulti-target651.10
JasperFx/lamarDI scanningreflectiondynamic code642.30
JamesNK/Newtonsoft.Jsonserializationreflectiondynamic codestatic statemulti-target667.00
reactiveui/refitTUnitTesting Platformsource generatorssnapshotscentral packages742.30
martinothamar/Mediatorsource generatorssnapshotscentral packagesmulti-targetxUnit v35910.02
scriban/scribannon-code inputsNUnit591.80
autofac/AutofacDI scanningreflectiondynamic code733.40
graphql-dotnet/graphql-dotnetanalyzersASP.NET Coremulti-target#ifsnapshots5317.00
ImmediatePlatform/Immediate.Handlerssource generatorsanalyzerssnapshotscentral packagesTesting PlatformxUnit v3396.80
DevArchitecture/DevArchitectureASP.NET CoreNUnit494.70
EFNext/EntityFrameworkCore.Projectablessource generatorsanalyzers678.00
nsubstitute/NSubstitutedynamic codereflectionstatic stateNUnitTesting Platformmulti-target631.40
khellang/ScrutorDI scanningreflectionxUnit v3Testing Platform621.00
microsoft/AICentralASP.NET Core581.00
fsprojects/ArguF#641.10
protobuf-net/protobuf-netserializationdynamic codereflectionstatic statexUnit v3Testing Platform6014.00
Tyrrrz/CliWrapcentral packagesnon-code inputs433.00
dotnet/efcoreTesting PlatformxUnitArcadeexpression trees2020.70
fscheck/FsCheckF#Testing PlatformxUnit v3567.10
AnthonyGiretti/grpc-aspnetcore-validatorASP.NET Core231.00
LuckyPennySoftware/AutoMapperreflectiondynamic codestatic statemulti-target6915.60
OrleansContrib/Orleans.SyncWorkasync203.50
riok/mapperlysource generatorsxUnit v3snapshots81122.00

0.2.0 sürümünden önceki değerlendirme, 2026-10-13 ile 2026-10-15 arası, katı kuralla değerlendirildi: seçimin dışında çöken ya da takılan bir test çalıştırması, değişiklikle tekrarlandığında yine çöker ya da takılırsa ve değişiklik olmadan tamamlanırsa kaçırma sayılır; tekrarlanmayan bir çökme değişikliği sonuçsuz bırakır. Korpustaki 58 depodan 53 tanesi sonuç verdi: Akka.NET, Lucene.NET, ABP ve MSBuild bu turda çalıştırılmadı, Meziantou.Analyzer'ın test projeleri ise yeni bir NuGet güvenlik uyarısı yüzünden restore edilemedi. 5 kaçırmanın hepsi bilinen üç açıktan gelir ve hepsi Sınırlamalar sayfasındadır: NSec'in statik bir bayrağın arkasında bir kez çalışan algoritma öz testleri (iki değişiklik); ManagedCode.Communication'da bir testin isteğini başka bir thread'de karşılayan sunucu kodu (bir); ve boş okunan Mediator üretilmiş kodu (iki). Sonuçsuz kalan değişiklik sayısı: 1. Önceki gerçek kaçırmalar ya düzeltildi, her biri için düzeltme olmadan başarısız olan bir test yazıldı, ya da onlar da o sayfada yer alıyor (NLog'da önceki bir test sınıfının bıraktığı durum).

Kapsadığı zor durumlar

Korpus, test seçimini tökezleten kodlar gözetilerek seçilmiştir. Her birini sınayan depo sayısı:

16reflection ile bulunan tipler
16birden fazla hedef framework
10snapshot dosyaları
10source generator'lar
9static durum ve önbellekler
8üretilmiş IL ve proxy'ler
8kod dışı girdiler
7Roslyn analyzer'ları

En çok nerede kazandırır

Her testin sistemin küçük bir kısmına ulaştığı katmanlı kod en çok kazanır: Polly değişiklik başına test sınıflarının %3'ünü, Spectre.Console %6'sını, OpenTelemetry .NET %9'unu çalıştırdı. Testlerin çoğunun aynı çekirdeği çalıştırdığı kütüphaneler az kazanır: Mapperly %97, AutoMapper %86, EF Core %68. Bunlarda çekirdekteki bir değişiklik gerçekten de testlerin çoğuna ulaşır ve TestDetta onları çalıştırır. LibGit2Sharp'ta 0.2.0'a kadar her şey çalışıyordu, çünkü hedef framework'e bağlı bir referans TestDetta'yı orada temkinli tutuyordu; 0.2.0 her framework'ün derlemesini ayrı karşılaştırır ve LibGit2Sharp artık %26 çalıştırıyor.