Kendi deponuzda doğrulayın

Değerlendirmemiz açık kaynak kütüphaneler üzerinde çalışır. Sizin kodunuzun kendine özgü kalıpları vardır; bu yüzden neyin çalışacağına karar vermesine izin vermeden önce TestDetta'yı kendi kodunuzda kontrol edin. Bu, birkaç haftalık olağan pull request akışı sürer ve ekibiniz için hiçbir şeyi değiştirmez. GitHub Action'ın shadow mode'u ve audit'i bu kontrolleri sizin için yapar; aşağıdaki adımlar bunları td affected ile elle yapar.

Fikir

Kapı olarak tüm test paketini çalıştırmaya devam edin. Yanında da TestDetta'ya neyi seçmiş olacağını sorun. Tam koşuda başarısız olan her test sınıfı o seçimin içinde olmalıdır. Biri içinde değilse bu bir kaçırmadır ve bunu duymak isteriz.

Adımlar

  1. Varsayılan branch'te haritaları kaydedin. GitHub Actions'ta record adımını workflow örneğinden alıp ekleyin; başka yerlerde varsayılan branch'e yapılan her commit'te td record çalıştırın ve haritaları saklayın (Diğer CI sistemleri).
  2. Her pull request'te seçimi kaydedin. Test adımınızı değiştirmeden:
    td affected --format json > selection.json
  3. Tüm test paketini bugün yaptığınız gibi çalıştırın; başarısızlıkların okunabilmesi için bir TRX raporuyla:
    dotnet test --logger trx --results-directory TestResults
  4. Karşılaştırın. Başarısız olan her testin sınıfı seçilmiş olmalıdır. Bir sınıf, projesinin mode değeri All olduğunda ya da projesi Filtered olup sınıf classes içinde yer aldığında seçilmiştir:
    jq -r '.tests[] | select(.mode == "All") | .project' selection.json      # projects that run completely
    jq -r '.tests[] | select(.mode == "Filtered") | .classes[]' selection.json  # classes that run
  5. Başarısız bir sınıfın seçilmediği her koşunun iki dosyasını da saklayın ve bunları td affected'in -v loguyla birlikte support@testdetta.com adresine gönderin.

Bir kaçırmayı yalnızca başarısız olan testler gösterebilir ve birkaç hafta az sayıda başarısızlık getirebilir. Kendiniz de ekleyebilirsiniz: geçici bir branch'te bir metodu bilerek bozun (yanlış bir değer döndürsün) ve onu yakalayan testin seçildiğini kontrol edin. O branch'i merge etmeyin.

Emin olduğunuzda

Tam test adımını td test ile ya da action'ın test moduyla değiştirin. Varsayılan branch'te kayda devam edin: kayıt orada tüm testleri çalıştırır; böylece bir seçimin gizleyebileceği her şey sürümden önce yine yakalanır.

Biz nasıl test ediyoruz

Aynı kontrol 53 açık kaynak depo üzerinde büyük ölçekte çalışır: üyeler tek tek değiştirilir ve başarısız olan her test sınıfının seçilmiş olması gerekir. Katı kuralla değerlendirilen son turda (seçimin dışında bir çökme ya da takılma kaçırma sayılır), bir testi bozan 3.071 değişiklikten 5 tanesi kaçırıldı, her biri bilinen bir sınırlama: bir kez ya da başka bir thread'de çalışan kodun başka bir sınıfın hanesine yazılması (üç) ve çıktısı okunmamış bir source generator (iki). Önceki turlardaki gerçek kaçırmalar, düzeltme olmadan başarısız olan bir testle düzeltildi. Rakamlarla korpus.