Gerçek bir koşu
OpenTelemetry .NET'te gerçek bir değişiklik (commit f9dd754, 30 test projesi), kapsam haritasından job summary'ye kadar. Bu sayfadaki her çıktı elle yazılmadı, o koşudan kopyalandı; yalnızca uzun sınıf adları kısaltıldı.
Koşu, 0.1.3'ten sonra yapılmış bir geliştirme sürümüyle yapıldı (kendini 0.1.3 olarak bildiriyor). 15 Ekim 2026'da 0.2.0 ile yeniden çalıştırıldığında aynı değişiklik aynı 8 sınıfı seçti ve aynı 229 testi çalıştırdı.
Değişiklik
Declarative configuration paketinde bir yeniden adlandırma: OTEL_CONFIG_FILE'ın geçersiz kılınıp kılınmadığını belirten bayrak, bunu açıkça söyleyen bir ad alıyor. Davranışı değiştirmez, ama bir kod değişikliğidir; bu yüzden normal bir pipeline depodaki her test projesini derleyip çalıştırırdı.
-bool differs;+bool overridden; try {- differs = new FilePath(configFile) != filePath;+ overridden = new FilePath(configFile) != filePath; } catch (Exception ex) when (ex is ArgumentException or …) {- differs = true;+ overridden = true; } -if (differs)+if (overridden)
Karar nasıl verildi
TestDetta değişikliği dosyadan onu gözlemleyebilecek testlere kadar izler. Değişen metot private'tır; onu yalnızca UseDeclarativeConfiguration çağırır. main üzerinde kaydedilen kapsam haritası, onu hangi test sınıflarının çalıştırdığını bilir: tek bir test projesinde 8 sınıf. Diğer 266 sınıf onun hiçbir kısmını çalıştırmadı ve hiçbir yerde adını da anmıyor.
WarnIfConfigFileEnvVarDiffersUseDeclarativeConfigurationmain, f9dd754Koşu
Harita main üzerinde td record ile kaydedildi. Ardından pull request şunu çalıştırır:
$ td test --base main -- -f net10.0TestDetta 0.1.3 · 1 changed file · 2 affected test projectsTests to run┌────────────────────────────────────────────────────────┬──────────┬─────────┬───────┬────────────────────────────────┐│ Test project │ Run │ Classes │ Saved │ Why │├────────────────────────────────────────────────────────┼──────────┼─────────┼───────┼────────────────────────────────┤│ test/OpenTelemetry.Configuration.Declarative.FuzzTests │ skipped │ - │ 100% │ no test class runs or ││ │ │ │ │ references the changed code ││ test/OpenTelemetry.Configuration.Declarative.Tests │ filtered │ 8 / 28 │ 5% │ 8 of 28 test class(es) run or ││ │ │ │ │ reference the changed code │└────────────────────────────────────────────────────────┴──────────┴─────────┴───────┴────────────────────────────────┘ test/OpenTelemetry.Configuration.Declarative.Tests → 8 classes DeclarativeConfigurationDocumentAccessorTests DeclarativeConfigurationDocumentAcquisitionTests DeclarativeConfigurationEventSourceTests DeclarativeConfigurationExtensionTests DeclarativeConfigurationHostIntegrationTests DeclarativeConfigurationSdkIntegrationTests StrictModeDiagnosticsTests StrictModeMaskTestsRecorded test time 22.4 s instead of 5 m 59 s ███████████████████░ 93% saved; 7 test project(s) without timings are not countedPassed! - Failed: 0, Passed: 228, Skipped: 1, Total: 229, Duration: 21 s - OpenTelemetry.Configuration.Declarative.Tests.dll (net10.0)td summary┌────────────────────────────────────────────────────────┬──────────┬──────────────────┬────────┐│ Test project │ Result │ Ran │ Time │├────────────────────────────────────────────────────────┼──────────┼──────────────────┼────────┤│ test/OpenTelemetry.Configuration.Declarative.Tests │ ✓ passed │ 8 classes │ 28.0 s ││ test/OpenTelemetry.Configuration.Declarative.FuzzTests │ skipped │ nothing affected │ │└────────────────────────────────────────────────────────┴──────────┴──────────────────┴────────┘1 project run · 0 failed · 1 skippedRecorded test time 22.4 s instead of 5 m 59 s ███████████████████░ 93% saved; 7 test project(s) without timings are not counted
6.078 test yerine 229 test çalıştı ve yalnızca değişiklikten bu testlere giden yol üzerindeki projeler derlendi. Seçilen sınıflar projelerinin yavaş entegrasyon testleridir, bu yüzden proje içinde kazanç azdır (23,6 sn yerine 22,4 sn); asıl kazanç, hiç çalışması gerekmeyen diğer 18 test projesidir. Süre bilgisi olmayan 7 proje, td record'un bu makinede çalıştıramadığı mobil ve stres testi uygulamalarıdır; onlar da etkilenmedi.
Sınıf adları burada kısaltılmıştır; çıktı onları tam haliyle yazdırır (OpenTelemetry.Configuration.Declarative.Tests.StrictModeMaskTests).
Doğru 8 sınıf bunlar mıydı?
Kontrol etmek için WarnIfConfigFileEnvVarDiffers metodunun exception fırlatmasını sağladık ve tüm solution'ı çalıştırdık: 19 test projesinde 6.078 test. 30 projenin kalan 11'i, yukarıdaki 7 uygulama ile yalnızca deponun genişletilmiş solution'ının (OpenTelemetry.Extended.slnx) derlediği Android, Apple, Blazor WebAssembly ve MAUI test projeleridir. 70 test başarısız oldu, hem de tam olarak TestDetta'nın seçtiği 8 sınıfta: kaçırılan yok, fazlası yok. Hiçbiri private olan metodun adını anmaz; ona yapılandırma builder'ı üzerinden ulaşırlar, kapsam haritasının bildiği de budur.
| Test sınıfı | TestDetta seçti | Metot bozukken başarısız oluyor | Eşleşme |
|---|---|---|---|
DeclarativeConfigurationDocumentAccessorTests | evet | evet | ✓ |
DeclarativeConfigurationDocumentAcquisitionTests | evet | evet | ✓ |
DeclarativeConfigurationEventSourceTests | evet | evet | ✓ |
DeclarativeConfigurationExtensionTests | evet | evet | ✓ |
DeclarativeConfigurationHostIntegrationTests | evet | evet | ✓ |
DeclarativeConfigurationSdkIntegrationTests | evet | evet | ✓ |
StrictModeDiagnosticsTests | evet | evet | ✓ |
StrictModeMaskTests | evet | evet | ✓ |
| Diğer 266 sınıf | hayır | hayır | ✓ |
İki Prometheus HTTP listener testi, makinenin ağ ayarları yüzünden değişiklikle de değişiklik olmadan da her iki koşuda başarısız oldu; karşılaştırmanın dışında bırakıldılar.
Job summary
--summary-file "$GITHUB_STEP_SUMMARY" ile (GitHub Action bunu sizin için ayarlar) her pull request şu özeti alır: neyin çalıştığı, her sınıfın neden çalıştığı ve neyin atlandığı.
TestDetta test selection
1 changed file(s) compared with main.
- 1 of 2 affected test project(s) ran, 1 skipped.
- Recorded test time: 22.4 s of 5 m 59 s (93% saved); 7 test project(s) without timings are not counted.
- All selected tests passed.
test/OpenTelemetry.Configuration.Declarative.FuzzTests/OpenTelemetry.Configuration.Declarative.FuzzTests.csproj: skipped, none, recorded time 0.0 s of 0.4 s (100% saved)- why:
no test class runs or references the changed code
- why:
test/OpenTelemetry.Configuration.Declarative.Tests/OpenTelemetry.Configuration.Declarative.Tests.csproj: passed, 8 test class(es), recorded time 22.4 s of 23.6 s (5% saved)- why:
8 of 28 test class(es) run or reference the changed code classes (8)
DeclarativeConfigurationDocumentAccessorTests:ran OpenTelemetry.OpenTelemetryBuilderDeclarativeConfigurationExtensions.WarnIfConfigFileEnvVarDiffers(FilePath), which changed (map f9dd7546cc3d)DeclarativeConfigurationDocumentAcquisitionTests:ran OpenTelemetry.OpenTelemetryBuilderDeclarativeConfigurationExtensions.WarnIfConfigFileEnvVarDiffers(FilePath), which changed (map f9dd7546cc3d)DeclarativeConfigurationEventSourceTests:ran OpenTelemetry.OpenTelemetryBuilderDeclarativeConfigurationExtensions.WarnIfConfigFileEnvVarDiffers(FilePath), which changed (map f9dd7546cc3d)DeclarativeConfigurationExtensionTests:ran OpenTelemetry.OpenTelemetryBuilderDeclarativeConfigurationExtensions.WarnIfConfigFileEnvVarDiffers(FilePath), which changed (map f9dd7546cc3d)DeclarativeConfigurationHostIntegrationTests:ran OpenTelemetry.OpenTelemetryBuilderDeclarativeConfigurationExtensions.WarnIfConfigFileEnvVarDiffers(FilePath), which changed (map f9dd7546cc3d)DeclarativeConfigurationSdkIntegrationTests:ran OpenTelemetry.OpenTelemetryBuilderDeclarativeConfigurationExtensions.WarnIfConfigFileEnvVarDiffers(FilePath), which changed (map f9dd7546cc3d)StrictModeDiagnosticsTests:ran OpenTelemetry.OpenTelemetryBuilderDeclarativeConfigurationExtensions.WarnIfConfigFileEnvVarDiffers(FilePath), which changed (map f9dd7546cc3d)StrictModeMaskTests:ran OpenTelemetry.OpenTelemetryBuilderDeclarativeConfigurationExtensions.WarnIfConfigFileEnvVarDiffers(FilePath), which changed (map f9dd7546cc3d)
- skipped: 20 class(es) that ran none of the changed code and name none of it
- why:
Nedenini sormak
Her kararın okuyabileceğiniz bir gerekçesi vardır. -v bu izi stderr'e yazar:
DBG CodeChangeDetector src/OpenTelemetry.Configuration.Declarative/Extensions/OpenTelemetryBuilderDeclarativeConfigurationExtensions.cs: Modified OpenTelemetry.OpenTelemetryBuilderDeclarativeConfigurationExtensions WarnIfConfigFileEnvVarDiffersDBG CodeChangeDetector src/OpenTelemetry.Configuration.Declarative/Extensions/OpenTelemetryBuilderDeclarativeConfigurationExtensions.cs: 1 changed symbol(s), affects whole project: FalseDBG ImpactAnalyzer 4 affected project(s), 2 of them tests, 0 unmapped file(s)DBG TestSelector OpenTelemetry.OpenTelemetryBuilderDeclarativeConfigurationExtensions WarnIfConfigFileEnvVarDiffers(FilePath) is affected because it changedDBG TestSelector OpenTelemetry.OpenTelemetryBuilderDeclarativeConfigurationExtensions UseDeclarativeConfiguration(this IOpenTelemetryBuilder,string) is affected because WarnIfConfigFileEnvVarDiffersDBG TestSelector OpenTelemetry.OpenTelemetryBuilderDeclarativeConfigurationExtensions WarnIfConfigFileEnvVarDiffers(FilePath): test classes taken from coverageDBG TestSelector test/OpenTelemetry.Configuration.Declarative.FuzzTests/OpenTelemetry.Configuration.Declarative.FuzzTests.csproj: Skipped (no test class runs or references the changed code)DBG TestSelector test/OpenTelemetry.Configuration.Declarative.Tests/OpenTelemetry.Configuration.Declarative.Tests.csproj: Filtered (8 of 28 test class(es) run or reference the changed code)
--format json ise script'ler ve dashboard'lar için her sınıfın kararını, kanıtı ve bir süre tahminiyle birlikte verir:
{
"project": "test/OpenTelemetry.Configuration.Declarative.Tests/OpenTelemetry.Configuration.Declarative.Tests.csproj",
"mode": "Filtered",
"reason": "8 of 28 test class(es) run or reference the changed code",
"estimate": {
"fullSeconds": 23.6,
"selectedSeconds": 22.4,
"savedSeconds": 1.2
},
"decisions": [
{
"class": "OpenTelemetry.Configuration.Declarative.Tests.DeclarativeConfigurationDocumentAccessorTests",
"selected": true,
"kind": "coverage",
"evidence": "ran OpenTelemetry.OpenTelemetryBuilderDeclarativeConfigurationExtensions.WarnIfConfigFileEnvVarDiffers(FilePath), which changed (map f9dd7546cc3d)"
},
{
"class": "OpenTelemetry.Configuration.Declarative.Tests.ConfigPropertiesTests",
"selected": false,
"kind": "skipped",
"evidence": "ran none of the changed code and names none of it (map f9dd7546cc3d)"
},
"…26 more"
]
}
Testleri kendi yönteminizle çalıştırmak
td affected --format commands, TestDetta'nın yapacağı dotnet test çağrısını yazdırır; böylece onu kendi script'inizde çalıştırabilirsiniz:
dotnet test test/OpenTelemetry.Configuration.Declarative.Tests/OpenTelemetry.Configuration.Declarative.Tests.csproj --filter 'FullyQualifiedName~OpenTelemetry.Configuration.Declarative.Tests.DeclarativeConfigurationDocumentAccessorTests.|FullyQualifiedName~OpenTelemetry.Configuration.Declarative.Tests.DeclarativeConfigurationDocumentAcquisitionTests.|FullyQualifiedName~OpenTelemetry.Configuration.Declarative.Tests.DeclarativeConfigurationEventSourceTests.|FullyQualifiedName~OpenTelemetry.Configuration.Declarative.Tests.DeclarativeConfigurationExtensionTests.|FullyQualifiedName~OpenTelemetry.Configuration.Declarative.Tests.DeclarativeConfigurationHostIntegrationTests.|FullyQualifiedName~OpenTelemetry.Configuration.Declarative.Tests.DeclarativeConfigurationSdkIntegrationTests.|FullyQualifiedName~OpenTelemetry.Configuration.Declarative.Tests.StrictModeDiagnosticsTests.|FullyQualifiedName~OpenTelemetry.Configuration.Declarative.Tests.StrictModeMaskTests.'
Daha küçük bir değişiklik: Spectre.Console
Spectre.Console'un Rule widget'ında tek satırlık bir refactoring (commit 01027ef). Kapsam haritası, 141 test sınıfından hangi 14'ünün değişen metodu çalıştırdığını biliyordu; bunların çoğu ona Rule'dan hiç bahsetmeyen layout'lar ve panel'ler üzerinden ulaşır. Metodun exception fırlatmasını sağladığımızda tam olarak bu 14 sınıf başarısız oldu.
53 depo genelinde
Tek bir değişiklik tek bir veri noktasıdır. TestDetta'nın daha önce hiç görmediği kodda nasıl davrandığını bilmek için onu 53 açık kaynak .NET kütüphanesinde çalıştırıyor ve her seçimi gerçekten başarısız olan testlerle karşılaştırıyoruz.
- KaydetVarsayılan branch'in sabitlenmiş bir commit'inde bir kapsam haritası.
- Bir üyeyi değiştirÖrneklem olarak seçilen en fazla 100 metot, property ve constructor, her seferinde bir tane.
- Boz ve her şeyi çalıştırÜye bir exception fırlatır ve hangi sınıfların başarısız olduğunu görmek için tüm test paketi çalışır.
- Seçimi kontrol etBaşarısız olan her sınıf TestDetta'nın seçtiği sınıflardan biri olmalıdır. Bir kaçırma, sınıf tek başına çalıştırılarak doğrulanır.
Tüm depolar
Tek bir üyedeki değişiklik için çalıştırılan test sınıfı oranına göre sıralanmıştır; sıralamak için bir sütuna tıklayın. Değişiklikler, en az bir testi bozan değişiklikleri sayar. Başarısızlık başına, başarısız olan her sınıf için çalışan sınıf sayısının medyanıdır: 1.0, fazladan hiçbir şeyin çalışmadığı anlamına gelir.
0.2.0 sürümünden önceki değerlendirme, 2026-10-13 ile 2026-10-15 arası, katı kuralla değerlendirildi: seçimin dışında çöken ya da takılan bir test çalıştırması, değişiklikle tekrarlandığında yine çöker ya da takılırsa ve değişiklik olmadan tamamlanırsa kaçırma sayılır; tekrarlanmayan bir çökme değişikliği sonuçsuz bırakır. Korpustaki 58 depodan 53 tanesi sonuç verdi: Akka.NET, Lucene.NET, ABP ve MSBuild bu turda çalıştırılmadı, Meziantou.Analyzer'ın test projeleri ise yeni bir NuGet güvenlik uyarısı yüzünden restore edilemedi. 5 kaçırmanın hepsi bilinen üç açıktan gelir ve hepsi Sınırlamalar sayfasındadır: NSec'in statik bir bayrağın arkasında bir kez çalışan algoritma öz testleri (iki değişiklik); ManagedCode.Communication'da bir testin isteğini başka bir thread'de karşılayan sunucu kodu (bir); ve boş okunan Mediator üretilmiş kodu (iki). Sonuçsuz kalan değişiklik sayısı: 1. Önceki gerçek kaçırmalar ya düzeltildi, her biri için düzeltme olmadan başarısız olan bir test yazıldı, ya da onlar da o sayfada yer alıyor (NLog'da önceki bir test sınıfının bıraktığı durum).
Kapsadığı zor durumlar
Korpus, test seçimini tökezleten kodlar gözetilerek seçilmiştir. Her birini sınayan depo sayısı:
En çok nerede kazandırır
Her testin sistemin küçük bir kısmına ulaştığı katmanlı kod en çok kazanır: Polly değişiklik başına test sınıflarının %3'ünü, Spectre.Console %6'sını, OpenTelemetry .NET %9'unu çalıştırdı. Testlerin çoğunun aynı çekirdeği çalıştırdığı kütüphaneler az kazanır: Mapperly %97, AutoMapper %86, EF Core %68. Bunlarda çekirdekteki bir değişiklik gerçekten de testlerin çoğuna ulaşır ve TestDetta onları çalıştırır. LibGit2Sharp'ta 0.2.0'a kadar her şey çalışıyordu, çünkü hedef framework'e bağlı bir referans TestDetta'yı orada temkinli tutuyordu; 0.2.0 her framework'ün derlemesini ayrı karşılaştırır ve LibGit2Sharp artık %26 çalıştırıyor.