TestDetta

Kendi deponuzda doğrulayın

Değerlendirmemiz açık kaynak kütüphaneler üzerinde çalışır. Sizin kodunuzun kendine özgü kalıpları vardır; bu yüzden neyin çalışacağına karar vermesine izin vermeden önce TestDetta'yı kendi kodunuzda kontrol edin. Bu, birkaç haftalık olağan pull request akışı sürer ve ekibiniz için hiçbir şeyi değiştirmez.

Fikir

Kapı olarak tüm test paketini çalıştırmaya devam edin. Yanında da TestDetta'ya neyi seçmiş olacağını sorun. Tam koşuda başarısız olan her test sınıfı o seçimin içinde olmalıdır. Biri içinde değilse bu bir kaçırmadır ve bunu duymak isteriz.

Adımlar

  1. Varsayılan branch'te haritaları kaydedin. GitHub Actions'ta record adımını workflow örneğinden alıp ekleyin; başka yerlerde varsayılan branch'e yapılan her commit'te td record çalıştırın ve haritaları saklayın (Diğer CI sistemleri).
  2. Her pull request'te seçimi kaydedin. Test adımınızı değiştirmeden: 
    td affected --format json > selection.json
  3. Tüm test paketini bugün yaptığınız gibi çalıştırın; başarısızlıkların okunabilmesi için bir TRX raporuyla: 
    dotnet test --logger trx --results-directory TestResults
  4. Karşılaştırın. Başarısız olan her testin sınıfı seçilmiş olmalıdır. Bir sınıf, projesinin mode değeri All olduğunda ya da projesi Filtered olup sınıf classes içinde yer aldığında seçilmiştir: 
    jq -r '.tests[] | select(.mode == "All") | .project' selection.json      # projects that run completely
jq -r '.tests[] | select(.mode == "Filtered") | .classes[]' selection.json  # classes that run
  5. Başarısız bir sınıfın seçilmediği her koşunun iki dosyasını da saklayın ve bunları td affected'in -v loguyla birlikte support@testdetta.com adresine gönderin.

Bir kaçırmayı yalnızca başarısız olan testler gösterebilir ve birkaç hafta az sayıda başarısızlık getirebilir. Kendiniz de ekleyebilirsiniz: geçici bir branch'te bir metodu bilerek bozun (yanlış bir değer döndürsün) ve onu yakalayan testin seçildiğini kontrol edin. O branch'i merge etmeyin.

Emin olduğunuzda

Tam test adımını td test ile ya da action'ın test moduyla değiştirin. Varsayılan branch'te kayda devam edin: kayıt orada tüm testleri çalıştırır; böylece bir seçimin gizleyebileceği her şey sürümden önce yine yakalanır.

Biz nasıl test ediyoruz

Aynı kontrol 41 açık kaynak depo üzerinde büyük ölçekte çalışır: üyeler tek tek değiştirilir ve başarısız olan her test sınıfının seçilmiş olması gerekir. Bir testi bozan 2.941 değişiklikten 3 tanesi kaçırıldı ve her biri, düzeltme olmadan başarısız olan bir testle düzeltildi. Rakamlarla korpus.