GitHub Actions
Varsayılan branch'teki her commit için bir harita kaydedin ve pull request'lerin yalnızca değişikliklerinin etkilediği testleri çalıştırmasını sağlayın. Action, tool.lock içinde sabitlediği TestDetta paketini nuget.org'dan indirir, çalıştırmadan önce SHA-512'sini kontrol eder ve haritaları Actions önbelleğinde tutar.
Workflow
on:
push:
branches: [main]
pull_request:
permissions:
contents: read
actions: read # lets pull requests find the newest coverage map in the Actions cache
jobs:
test:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v7 # pin to a commit SHA
with:
fetch-depth: 0 # TestDetta compares with the merge base
persist-credentials: false
- uses: actions/setup-dotnet@v6 # pin to a commit SHA
with:
global-json-file: global.json # without a global.json: dotnet-version: 10.0.x
# Also the full test run of main; to leave out projects that cannot run here,
# see "Recording only part of the suite" below.
- if: github.event_name == 'push'
uses: TestDetta/action@8750db18099a2af0436788d20dc591e94b550c07 # v0.5.2
with:
mode: record
- if: github.event_name == 'pull_request'
uses: TestDetta/action@8750db18099a2af0436788d20dc591e94b550c07 # v0.5.2
with:
mode: test
dotnet-test-args: --logger trx
Tam geçmiş gereklidir. Test, record ve audit modlarında Action, shallow clone'da hata vererek durur; shadow mode uyarı verir ve bunun yerine düz dotnet test komutunuzu çalıştırır. Checkout'u fetch-depth: 0 ile yapın.
Haritalar pull request'lere nasıl ulaşır
- Record modu haritaları Actions önbelleğine
testdetta-coverage-<commit>anahtarıyla kaydeder. Pull request'ler base branch'lerinin önbelleklerini okuyabilir. - Bir pull request, merge base'inin haritasını ya da ondan en fazla
max-map-agefirst-parent commit önce kaydedilmiş en yeni haritayı kullanır. - Tam eşleşme olmayan bu en yeni haritayı bulmak için deponun önbellekleri listelenir; bunun için
actions: readgerekir. Bu izin olmadan yalnızca merge base'deki bir harita bulunur ve adım bunu bir notice ile bildirir. - Hiç harita olmadan da
mode: testçalışır; yalnızca isimlere göre karar verir.
Kayıt sırasında testler başarısız olduğunda harita, job başarısız olmadan önce yine kaydedilir; böylece pull request'lerin kullanabileceği bir harita kalır.
Ona güvenmeden önce workflow'u merge edin: varsayılan branch'e yapılan ilk push ilk haritayı kaydeder. Merge base'i ilk haritadan eski olan pull request'ler harita bulamaz ve varsayılan branch'i merge edene ya da onun üzerine rebase edilene kadar isimlere göre seçer. TestDetta 0.1.x'ten yükselttikten sonra onun haritaları daha eski bir biçimdedir ve varsayılan branch yeniden kaydedene kadar "record the maps again" uyarısıyla yok sayılır; ondan önce çalışan pull request'ler daha fazlasını seçer (bkz. Sınırlamalar).
İzinler
| İzin | Neden |
|---|---|
contents: read | Depoyu checkout etmek. |
actions: read | max-map-age sınırı içindeki en yeni haritayı bulmak için Actions önbelleklerini listelemek. |
persist-credentials: false ile özel bir depo job'un ilerleyen adımlarında yeniden fetch edilemez; fetch-depth: 0 zaten tüm branch'leri getirdiği için base branch mevcuttur.
Girdiler
| Girdi | Varsayılan | Açıklama |
|---|---|---|
mode | Pull request'lerde test (etkilenen testleri çalıştırır), TestDetta'yı değerlendirirken pull request'lerde shadow (her testi çalıştırır ve seçimin neyi dışarıda bırakacağını raporlar), varsayılan branch'te record (kapsam haritalarını kaydeder), zamanlanmış olarak audit (kodunuzu bir kopyada her seferinde bir değişiklikle bozar ve seçimin başarısız olan her testi çalıştırdığını denetler). Zorunlu. | |
base | PR'ın base branch'i | Test ve shadow modlarında karşılaştırılacak branch. Pull request'ler dışında bunu ayarlayın. |
configuration | Debug | Testleri derlemek ve çalıştırmak için derleme yapılandırması. |
projects | tüm test projeleri | Record modu: her satıra bir tane olmak üzere .csproj yolları. |
parallel | 1 | Record modu: test projesi başına test host süreci sayısı; her süreç testlerini yine birer birer çalıştırır. Test paketinin aynı anda birden fazla test sürecini kaldırabilmesi gerekir. |
no-build | false | Record modu: önceki bir adımın aynı configuration ile yaptığı derlemeyi kaydetmek için true. |
dotnet-test-args | Test, shadow, audit ve record modları: boşlukla ayrılmış ek dotnet test argümanları. Kendi test işinizin kullandığı filtreyi ve ayarları verin: TestDetta bunları her koşuda ve kayıt sırasında korur (bkz. Test yapılandırmanız). Shadow mode'da solution'ınızı burada belirtirseniz tek bir komut olarak çalışır; testing platform projelerinde, önceki bir adımda derleyin ve buraya --no-build ekleyin (bkz. Shadow mode). | |
max-map-age | 50 | Test, shadow ve audit modları: bir haritanın merge base'in kaç commit gerisinde olabileceği; aradaki değişiklikler köprülenir. 0 yalnızca tam eşleşen haritayı kullanır. |
drift-fallback | all | Test, shadow ve audit modları: daha eski bir haritadan bu yana yapılan değişiklikler bir derleme dosyası, yapılandırma ya da global using içerdiğinde, all etkilenen test projelerini tamamen çalıştırır; name isimlere göre karar verir (daha hızlıdır, ancak yapılandırma ya da reflection üzerinden yapılan çağrıları göremez). |
non-code-files | readers | Test, shadow ve audit modları: bir proje klasöründe kod olmayan değişen bir dosyanın (README.md, bir JSON dosyası) neyi çalıştıracağı. readers, derleme dosyayı kullanmıyorsa yalnızca kapsam haritasının onu okuduğunu gördüğü test sınıflarını çalıştırır; project dosyanın projesini ve ona bağlı her projeyi tamamen çalıştırır; bkz. --non-code-files. |
not-build-inputs | Test, shadow ve audit modları: derlemenizin kullanmadığı kod olmayan dosyalar, depoya göre göreli ve ; ile ayrılmış desenler (docs/**;*.yaml). Doküman dosyaları gibi, yalnızca MSBuild onları derliyor, gömüyor ya da kopyalıyorsa veya bir target adlarını yazıyorsa derleme girdisi sayılır; bkz. --not-build-inputs. | |
shadow-analysis-timeout, shadow-rerun-timeout, shadow-rerun-idle-timeout, shadow-base-timeout, shadow-base-idle-timeout, shadow-classify-budget | 10m, 15m, 5m, 30m, 10m, 45m | Shadow mode: analizin ve başarısızlıkları sınıflandıran yeniden çalıştırmaların zaman sınırları; bkz. aynı adlı seçenekler. |
shadow-artifact-suffix | Shadow mode: bir matrisin işlerini bir bakışta ayırt etmek için rapor artifact'inin adına eklenir, örneğin matris değerleriniz. Ad, bu olmadan da benzersizdir. | |
audit-target-broken | 100 | Audit modu: bu kadar değişiklik testleri bozduğunda durur. Daha düşük bir sayı, shadow mode'dan çıkış (graduation) için istenen sayıyı düşürmez (aşağıda). |
audit-max-mutants | sınır yok | Audit modu: bu kadar değişiklik testleri çalıştırdıktan sonra durur. |
audit-budget | 4h | Audit modu: bu süreden sonra yeni bir değişikliğe başlamaz (90s, 15m, 1h30m; sınırsız için none); o sırada hâlâ çalışan bir değişiklik tamamlanır, bu yüzden denetim bütçeden sonra bitebilir ve rapor ne kadar aştığını söyler. Job'un timeout-minutes değerinin altında bu payı bırakın. |
audit-parallel | 1 | Audit modu: aynı anda test edilen değişiklikler, her biri kendi kopyasında; bellek kullanımı bununla artar. |
github-token | github.token | Test, shadow ve audit modları: en yeni haritayı bulmak için Actions önbelleklerini listeler (actions: read gerektirir). |
license | Kullanımdan kaldırıldı ve yok sayılır: TestDetta lisans gerektirmez. Mevcut workflow'lar bozulmasın diye hâlâ kabul edilir; verildiğinde adım log'a bir bildirim yazar. Workflow'unuzdan kaldırın. | |
working-directory | . | Analiz edilecek, depo içindeki herhangi bir dizin. |
setup-dotnet | true | TestDetta'nın üzerinde çalıştığı .NET 10 SDK'yı kurar. Job'da zaten varsa false yapın. |
Shadow mode
TestDetta'yı hiçbir testi atlamadan denemek için pull request'lerde mode: shadow kullanın. Komutunuzun çalıştırdığı her test çalışır ve job'un sonucu bu çalıştırmanınkidir; job summary ve rapor artifact'i seçimin neyi çalıştıracağını, ölçülen dakikaları ve dışarıda bırakacağı her başarısız sınıfı gösterir. Artifact'in adı testdetta-shadow-<run>-<attempt>-<job>-… biçimindedir, her job ve matris işi için bir tane (shadow-artifact-suffix kendi parçanızı ekler), ve en fazla 90 gün saklanır (deponuzun artifact saklama ayarı bunu kısaltabilir). Kendi job'unuzun yaptığı gibi tek bir komut olarak çalışması için solution'ınızı dotnet-test-args içinde belirtin; bkz. td test --shadow.
TestDetta'nın kendisi shadow mode'da hiçbir ağ çağrısı yapmaz. Action, TestDetta paketini nuget.org'dan indirir (SHA-512'sine karşı doğrulanarak) ve test modunda olduğu gibi Actions önbelleğinizdeki haritaları listeler ve geri yükler. Testlerden önceki hiçbir adım job'u düşürmez: biri kendi işini yapamazsa (shallow bir checkout, indirme, eksik bir base branch, geçersiz bir girdi) ya da TestDetta testlerin bir sonucu olmadan biterse, adım bunun yerine aynı argümanlarla düz dotnet test komutunuzu çalıştırır ve job summary nedenini söyler. Checksum'ı eşleşmeyen bir paket asla çalıştırılmaz. Raporun yüklenmesinin başarısız olması da job'u asla düşürmez.
- if: github.event_name == 'pull_request'
uses: TestDetta/action@8750db18099a2af0436788d20dc591e94b550c07 # v0.5.2
with:
mode: shadow
dotnet-test-args: Shop.slnx
Testing platform (Microsoft.Testing.Platform) üzerindeki test projeleri bir adım daha ister. TestDetta böyle bir projenin aldığı rapor seçeneğini derleme çıktısından okur, çünkü projenin bilmediği bir seçenek çalıştırmasını başarısız kılar; seçeneği paket referanslarından tahmin etmez. Yeni bir checkout'ta henüz derleme çıktısı yoktur: projeler bu durumda rapor olmadan tek tek çalışır ve rapor her birini "no test report: the project was not built before the run" ile belirtir, bu yüzden başarısızlıkları seçimle karşılaştırılamaz. Önce aynı yapılandırmayla derleyin ve --no-build verin:
- if: github.event_name == 'pull_request'
run: dotnet build Shop.slnx -c Debug
- if: github.event_name == 'pull_request'
uses: TestDetta/action@8750db18099a2af0436788d20dc591e94b550c07 # v0.5.2
with:
mode: shadow
configuration: Debug
dotnet-test-args: Shop.slnx --no-build
Zamanlanmış audit
Seçimi kendi kodunuzda denetlemek için mode: audit'i zamanlanmış olarak kullanın, örneğin haftada bir, record modunun kaydettiği branch'te. Kodunuzun üyelerini çalışma ağacının bir kopyasında her seferinde bir değişiklikle bozar, her değişikliği görebilen her testi çalıştırır ve seçimin başarısız olan her test sınıfını çalıştırdığını denetler; bkz. td audit. Checkout'unuz ve derleme çıktısı yalnızca okunur. Job summary sonucu ve her kaçırmayı karar zinciriyle gösterir; testdetta-audit-<run>-<attempt> artifact'i JSON raporunu en fazla 90 gün saklar. Çalıştığı commit'in max-map-age sınırı içindeki en yeni haritayı kullanır. TestDetta'nın kendisi hiçbir ağ çağrısı yapmaz: Action paketi indirir ve haritaları test modunda olduğu gibi bulur, kopyadaki derlemeler de paketleri sizinkiler gibi restore eder. Runner'larınızda saatlerce çalışır: job'a audit-budget değerinin epey üstünde bir timeout-minutes verin, çünkü bütçe dolduğunda hâlâ çalışan bir değişiklik önce tamamlanır (tüm çalıştırmalarıyla; bunlar, onu yükleyen test projelerinin tam çalıştırmasının birkaç katı sürebilir); özet bu durumda denetimin bütçeyi ne kadar aştığını ve hangi değişikliklerin devam ettiğini söyler. Zaman aşımında öldürülen bir job, yarıda kestiği değişikliği stopped olarak raporlar.
on:
schedule:
- cron: '0 3 * * 1' # Mondays, 03:00 UTC
workflow_dispatch:
permissions:
contents: read
jobs:
audit:
runs-on: ubuntu-latest
timeout-minutes: 360 # the most a GitHub-hosted runner allows: 2 h of headroom after audit-budget
permissions:
contents: read
actions: read # finds the newest coverage map in the Actions cache
steps:
- uses: actions/checkout@v7 # pin to a commit SHA
with:
fetch-depth: 0
persist-credentials: false
- uses: actions/setup-dotnet@v6 # pin to a commit SHA
with:
global-json-file: global.json # without a global.json: dotnet-version: 10.0.x
- uses: TestDetta/action@8750db18099a2af0436788d20dc591e94b550c07 # v0.5.2
with:
mode: audit
audit-budget: 4h
Shadow mode'dan çıkış (graduation), testleri bozan en az 100 değişiklik içeren, hiçbirini kaçırmayan ve kaçırma oranının en kötü durum %95 üst sınırı en fazla %3,0 olan tek bir audit çalıştırması ister: en kötü durum, çalıştırmalarının karar veremediği (inconclusive) ya da yarıda kesilen (stopped) her değişikliği kaçırma sayar ve sınır yukarı yuvarlanarak gösterilir. Özet ve rapor, çalıştırmanın bunu karşılayıp karşılamadığını ve karşılamıyorsa nedenini tek satırda söyler, örneğin "not yet: 87 changes broke tests, 100 needed" ya da "no: worst case 4.1% > 3.0% because 5 inconclusive and 0 stopped are counted as misses". --member ile bazı üyelerle sınırlanmış bir çalıştırma hiçbir zaman sayılmaz.
Job summary
Test modunda TestDetta seçimini job summary'ye yazar: değişen dosyalar ve karşılaştırdığı base, her test projesinin filtreli mi, tamamen mi yoksa hiç mi çalıştığı ve nedeni ile test sonuçları. Depodan gelen yollar, sınıf adları ve gerekçeler kod olarak yazılır; böylece bir pull request'teki dosya adları sayfaya link ya da mention enjekte edemez.
Test paketinin yalnızca bir kısmını kaydetmek
Kayıt, tüm test paketini kapsam ölçümüyle bir kez çalıştırır; bu, varsayılan branch'te aynı zamanda tam test koşunuzdur. Runner üzerinde çalışamayan projeleri, örneğin veritabanı gerektiren entegrasyon testlerini, projects ile dışarıda bırakın. Pull request'ler bu projeler için isimlere göre karar verir.
Önceki bir adım solution'ı aynı yapılandırmayla zaten derlediyse no-build: true ayarlayın. Aynı anda birden fazla test sürecini kaldırabilen bir test paketi için parallel, her projenin test sınıflarını o sayıda sürece dağıtır.