Sınırlamalar
TestDetta bir şeyi göremediği yerde daha fazlasını seçer. Bu sayfa o yerleri listeler; böylece bir seçimin gerekenden ne zaman daha geniş olduğunu ve bir testin kaçırılabildiği bilinen durumları bilirsiniz.
Test framework'leri ve runner'lar
Her iki dotnet test runner'ı da desteklenir. Runner global.json dosyasından okunur ("test": { "runner": "Microsoft.Testing.Platform" }; .NET 10 SDK üzerinde xUnit v3 için gereklidir).
Her test projesi, kendisinin bulunduğu ya da üstündeki en yakın global.json dosyasının dizininde derlenir ve çalıştırılır; böylece solution'ın yanında tutulan bir dosya (src/global.json), orada çalışan bir geliştirici için nasıl geçerliyse öyle hesaba katılır. --dry-run bu tür komutları (cd src && dotnet test ...) şeklinde yazdırır.
Kayıt ve seçim; xUnit v2 (VSTest), xUnit v3 ve TUnit (Microsoft.Testing.Platform) ile, MSTest ve NUnit ile ise her iki runner altında, framework'ün kendi paralelleştirmesini açan projeler dahil uçtan uca test edilmiştir.
Kayıt sırasında başarısız olan testler
Kayıt sırasında başarısız olan test sınıfları, projeleri etkilendiğinde her zaman seçilir: başarısız bir test erken durur, dolayısıyla kapsam verisi eksiktir.
Testler başarısız olduğunda ve hangilerinin başarısız olduğunu söyleyen bir TRX raporu bulunmadığında (Microsoft.Testing.Extensions.TrxReport olmadan Microsoft.Testing.Platform altında NUnit), harita kullanılmaz ve seçim isimlere geri döner.
Önceki bir sürümün kaydettiği haritalar
Bir harita, kendi sürümündeki kaydedicinin görebildiğini tutar. TestDetta'nın bir sürümü bir şeyi haritanın gösteremeyeceği biçimde farklı kaydettiğinde harita formatını yükseltir ve önceki formattaki haritalar "record the maps again" (haritaları yeniden kaydedin) uyarısıyla yok sayılır: test projeleri, harita yokmuş gibi isimlerle seçilir; bu da haritalar yeniden kaydedilene kadar daha fazlasını seçer. Yükseltmeden sonra varsayılan branch'teki ilk kayıt yeni haritaları yazar; ondan önce koşan pull request'ler gerekenden fazlasını seçer.
TestDetta 0.1.x'in kaydettiği haritalar format 2'dir ve sonraki sürümler onları yok sayar. Bir fixture türünü kendisi kuran bir test (new StoreFixture()) artık kodunun geri kalanını kendi sınıfında tutar; format 2 bir harita bu kodu fixture'ın kullanıcılarına yazıp testi kaçırabilirdi. Kaydedici artık bir türün şeklini yansıma ya da JSON şeması üzerinden okuyan sınıfları da (özniteliklerini, özelliklerini ve taban türlerini) not eder; böylece bu meta veride bir değişiklik onları seçer. Format 2 bir haritada böyle bir kayıt yoktur.
TestDetta 0.2.0–0.2.2'nin kaydettiği haritalar format 3'tür ve sonraki sürümler onları yok sayar. xUnit bir collection fixture'ını (ICollectionFixture<T>) collection'ındaki her sınıf için kurar; bir sınıf fixture'ı istemeden de kurulumun yaptığına (başlattığı bir container'a, ayarladığı bir bağlantı dizesine) bağlı olabilir. Kaydedici artık her collection'ın sınıflarını not eder; böylece kurulumdaki bir değişiklik onları seçer. Format 3 bir haritada böyle bir kayıt yoktur ve onları kaçırabilirdi.
TestDetta 0.3.0'ın kaydettiği haritalar format 4'tür ve sonraki sürümler onları yok sayar. xUnit v3 bir assembly fixture'ını ([assembly: AssemblyFixture(typeof(X))]) test assembly'sindeki her sınıf için kurar; X test assembly'sinde değil de paylaşılan bir test kütüphanesindeyse kaydedici artık kurulumunu her sınıfa yazar, test assembly'sinde tanımlı bir fixture için zaten yaptığı gibi. Format 4 bir harita bu kurulumu her testin dışında çalışan kod sayıyordu ve ondan hiçbir şeyi anmayan sınıfları kaçırabilirdi.
Süreç başına bir kez çalışan kod
Önbellekler, lazy singleton'lar ve EF model oluşturma, test süreci başına bir kez çalışır ve onları tetikleyen ilk test sınıfına yazılır. Static constructor içinde ya da önbellek dolduran bir çağrıda (ConcurrentDictionary.GetOrAdd, Lazy<T>.Value, LazyInitializer, ConditionalWeakTable, IMemoryCache.GetOrCreate) ya da her testin dışında da çalışmış koddaki değişiklikler isimle izlenir; haritanın o kodu çalıştırırken gördüğü sınıflar da ayrıca seçilir. Bir alanda tutulan değer, örneğin lazy bir singleton (_x ??= new X()), alanı okuyan her test sınıfına yazılır.
Test sürecine yüklenen bir eklenti, sürecin sonuna kadar yüklü kalır. Eklentiyi daha önceki bir sınıf yüklemiş olsa bile, türlerini tarayan bir sınıf (Assembly.GetTypes ve benzerleri) eklenti değişince, bir türün özniteliklerini ya da özelliklerini okuyan bir sınıf da o meta veri değişince seçilir. Önceki bir sınıfın statik bir alanda tuttuğu Type nesnelerine yalnızca bakan bir sınıf ise seçilmez; örneğin bulunan eklenti türlerini sayan ya da adlarını kontrol eden, ama kendisi yüklemeyen, taramayan ve özniteliklerini okumayan bir sınıf. Eklentiye bir tür eklenmesi ya da çıkarılması onu seçmeyebilir. Bir eklentinin türlerini Module.GetTypes ile listeleyen ya da birini adıyla Assembly.GetType(name) ile arayan, ama özniteliklerini okumayan bir sınıf için de durum aynıdır: bu iki çağrı tarama olarak kaydedilmez.
TryGetValue ile kontrol edilen bir Dictionary gibi elle yazılmış bir önbellek ya da bir kontrolü bir kez çalıştıran statik bir bayrak (if (s_done == 0) { SelfTest(); s_done = 1; }) kullanıcılarını yine de gizleyebilir: kod, o sırada ilk koşan sınıfa yazılır. Korpusta bu, iki değişikliği gizledi (NSec'in algoritma öz testleri). Varsayılan branch'te tüm test paketini çalıştırmaya devam edin; kayıt bunu zaten yapar.
Bir test sınıfının sonrakine bıraktığı durum
Bir test sınıfı, aynı süreçte kendisinden önce koşan bir sınıfın bıraktığına göre farklı davranabilir; örneğin ayarlanıp geri alınmayan genel bir yapılandırma. Harita sınıfın kayıttaki sırada izlediği yolu tutar; bu yüzden sınıfın tek başına ya da başka bir sırada çalıştıracağı kodda yapılan bir değişiklik onu seçmeyebilir. Aynı sırayla yapılan tam koşuda da o sınıf başarısız olmaz. Daha önceki bir korpus turunda bu durum bir değişikliği gizledi (NLog'un LogManagerTests sınıfı). Paylaşılan durumu kurulumda sıfırlayan testlerde bu sorun olmaz.
Testin başka thread'lerde çalıştırdığı kod
Bir test için, async akışının ulaşmadığı bir thread'de çalışan kod, örneğin testin HTTP isteğini karşılayan süreç içi bir test sunucusu, en son başlayan test sınıfına yazılır. Test sınıfları üst üste bindiğinde ya da framework bir sonraki sınıfı mevcut sınıf bitmeden hazırladığında bu kod başka bir sınıfa sayılabilir ve ondaki bir değişiklik, isteği o kodu çalıştıran sınıfı seçmeyebilir. Korpusta bu, bir değişikliği gizledi (ManagedCode.Communication'da bir TUnit testinin isteğinin arkasındaki ASP.NET doğrulama filtresi).
Proje dosyaları
Proje dosyaları; referanslar, derlenen ve gömülü öğeler, assembly adları ve hedef framework'ler için varsayılan yapılandırmada ve restore yapılmadan MSBuild ile değerlendirilir (tek bir dotnet msbuild çağrısı, .testdetta/cache içinde önbelleğe alınır).
- Yalnızca bir paketin props dosyalarının eklediği ya da yalnızca bir
Releasekoşulunun eklediği öğeler görülmez. - MSBuild'in değerlendiremediği bir proje, import'ları gibi XML olarak okunur.
- Bir proje klasörünün içinde olup projenin derlemediği değişen bir dosya, o projede yapılmış bir değişiklik sayılır: derleme dosyayı kullanıyorsa proje tamamen çalışır, kullanmıyorsa yalnızca onu okuyan testler çalışır (bkz. derlemenin kullanmadığı dosyalar). Hiçbir proje klasörünün içinde olmayan bir dosya yalnızca onu okuyan testleri seçer; bkz. hiçbir projeye ait olmayan dosyalar.
- Test projeleri ayrıca
*.Testsya da*.Testadından da tanınır.
Kodun gösteremedikleri
TestDetta kaynak kodunuzu, proje dosyalarınızı ve kayıt sırasında testlerinizin neleri çalıştırdığını görür. Şunları göremez:
- Harici servisler ve veritabanları. Başka bir sistemdeki değişiklik, örneğin başka bir yerde uygulanan bir şema migration'ı ya da testlerinizin çağırdığı bir API, burada hiçbir şey seçmez.
- Yerel (native) kodun ya da .NET olmayan programların okuduğu dosyalar ve kaydedilen listenin dışındaki bir .NET API'siyle okunan dosyalar. Kendi kodunuzun ve testlerinizin kullandığı .NET kütüphanelerinin okumaları kaydedilir; bkz. derlemenin kullanmadığı dosyalar.
- Üçüncü taraf kodun başlattığı, .NET (Core) olmayan programlar, örneğin bir süreç kütüphanesinin başlattığı, deponuzdaki native ya da .NET Framework bir exe. .NET süreçleri kim başlatırsa başlatsın kaydedilir; kendi kodunuzun başlattıkları da öyle.
- Ortam: çalıştırmalar arasında farklılık gösteren değişkenler, makine ayarları ve kurulu araçlar.
Paket sürümü değişiklikleri görülür: Directory.Packages.props içindeki bir PackageVersion değişikliği paketi referans alan projeleri çalıştırır, bir PackageReference değişikliği ise proje dosyasında yapılmış bir değişikliktir.
Önişlemci sembolleri
C# dosyaları her hedef framework'ün gerçek önişlemci sembolleriyle, ayrıca hiç sembol olmadan ve #if'lerinin andığı tüm sembollerle ayrıştırılır; böylece herhangi bir etkin koşul altındaki kod görülür.
Hedef framework'ler
Birden fazla framework hedefleyen bir test projesinde neyin seçileceği, testlerin hangi framework'ler için koştuğuna bağlıdır. Aynı değişiklik bir koşuda daha çok, başka bir koşuda daha az test seçtirebilir:
- Haritanın kaydedilmediği framework'ler için daha çok. Bir harita tek bir framework'ün koşusunun kapsam verisini tutar.
-file kaydedilmişse yalnızca o framework'ün derlemesini tutar; onsuz kaydedilmişse projenin hedeflediği her framework'ün derleme girdilerini ve üretilmiş kodunu da tutar. Testler, haritanın derlemesini tutmadığı bir framework için de koşuyorsa, o framework'ün derlemesinin derlediğini ya da ürettiğini değiştiren bir değişiklik (kaynak üreticisi çıktısı, derlemenin okuduğu dosyalar) test projesinin tamamını çalıştırır. Kaydı-folmadan alın ya da testleri aynı-file koşturun; bkz. Neler her şeyi çalıştırır. -file daha az. Tek bir framework için yapılan koşu yalnızca o framework'ün derlemelerini yükler. Değişen proje ve onunla test projeleriniz arasındaki her proje o framework'ü hedefliyorsa, yalnızca başka framework'ler için derlenen bir değişiklik (o framework'ün dışarıda bıraktığı bir#ifaltındaki kod, örneğin .NET Framework 2.0 için bir polyfill) o koşuda hiçbir test seçtirmez.-folmadan aynı değişiklik onu çalıştırabilecek testleri seçer.
Yani tek bir framework koşturan bir CI işi, yalnızca başka bir framework'ün derlemesinin bozabileceği testleri atlayabilir. Test projeleriniz birden fazla framework hedefliyorsa her framework'ü bir yerde, örneğin gece çalışan tam bir koşuda, koşturun.
Atlanan testler
Bir harita kaydedilirken atlanan testlerin kapsam verisi yoktur. Tüm testleri atlanmış bir sınıf, çalışabileceği başka bir platformda seçilir, kaydın yapıldığı platformda ise atlanır. Docker daemon'ının bulunmaması gibi başka nedenlerle atlanan testler, ancak testlerin çalıştığı yerde kayıt yapılarak kapsanır.
Source generator'lar
Source generator'ların yazdığı kod kaynak ağacında bulunmaz. td record bu kodu kaydedilen assembly'lerin PDB'lerinden (portable ya da embedded) okur ve andığı isimleri haritada tutar; böylece isim izleme, üretilmiş çağıranları görür. Portable PDB olmadan derlenmiş assembly'ler hiçbir şey sağlamaz.
Bir test projesinin üretilmiş kodu ne harita kaydedilirken ne de şimdi okunabiliyorsa, generator'daki bir değişikliğin orada hiçbir şeyi değiştirmediği varsayılır ve projenin testleri bu değişiklik için seçilmez. Korpusta bu, iki değişikliği gizledi (Mediator'ın source generator'ı; üç test projesinin ikisinde boş okundu). Bunun sonraki bir sürümde düzeltilmesi planlanıyor.
F#
F# kodu, Visual Basic gibi, C# ile aynı şekilde analiz edilir. F# imza dosyaları (.fsi) analiz edilmez: birindeki değişiklik, projesine bağımlı her şeyi çalıştırır. Derleyici inline bir fonksiyonun gövdesini onu çağıranlara kopyalar ve kapsam haritası çalışmayı onlara yazar; bu yüzden böyle bir fonksiyondaki değişiklik çağıranlarına isimle izlenir.