GitHub Actions

Varsayılan branch'teki her commit için bir harita kaydedin ve pull request'lerin yalnızca değişikliklerinin etkilediği testleri çalıştırmasını sağlayın. Action, tool.lock içinde sabitlediği TestDetta paketini nuget.org'dan indirir, çalıştırmadan önce SHA-512'sini kontrol eder ve haritaları Actions önbelleğinde tutar.

Workflow

on:
  push:
    branches: [main]
  pull_request:

permissions:
  contents: read
  actions: read # lets pull requests find the newest coverage map in the Actions cache

jobs:
  test:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v7 # pin to a commit SHA
        with:
          fetch-depth: 0 # TestDetta compares with the merge base
          persist-credentials: false

      - uses: actions/setup-dotnet@v6 # pin to a commit SHA
        with:
          global-json-file: global.json # without a global.json: dotnet-version: 10.0.x

      # Also the full test run of main; to leave out projects that cannot run here,
      # see "Recording only part of the suite" below.
      - if: github.event_name == 'push'
        uses: TestDetta/action@8750db18099a2af0436788d20dc591e94b550c07 # v0.5.2
        with:
          mode: record

      - if: github.event_name == 'pull_request'
        uses: TestDetta/action@8750db18099a2af0436788d20dc591e94b550c07 # v0.5.2
        with:
          mode: test
          dotnet-test-args: --logger trx

Tam geçmiş gereklidir. Test, record ve audit modlarında Action, shallow clone'da hata vererek durur; shadow mode uyarı verir ve bunun yerine düz dotnet test komutunuzu çalıştırır. Checkout'u fetch-depth: 0 ile yapın.

Haritalar pull request'lere nasıl ulaşır

Kayıt sırasında testler başarısız olduğunda harita, job başarısız olmadan önce yine kaydedilir; böylece pull request'lerin kullanabileceği bir harita kalır.

Ona güvenmeden önce workflow'u merge edin: varsayılan branch'e yapılan ilk push ilk haritayı kaydeder. Merge base'i ilk haritadan eski olan pull request'ler harita bulamaz ve varsayılan branch'i merge edene ya da onun üzerine rebase edilene kadar isimlere göre seçer. TestDetta 0.1.x'ten yükselttikten sonra onun haritaları daha eski bir biçimdedir ve varsayılan branch yeniden kaydedene kadar "record the maps again" uyarısıyla yok sayılır; ondan önce çalışan pull request'ler daha fazlasını seçer (bkz. Sınırlamalar).

İzinler

İzinNeden
contents: readDepoyu checkout etmek.
actions: readmax-map-age sınırı içindeki en yeni haritayı bulmak için Actions önbelleklerini listelemek.

persist-credentials: false ile özel bir depo job'un ilerleyen adımlarında yeniden fetch edilemez; fetch-depth: 0 zaten tüm branch'leri getirdiği için base branch mevcuttur.

Girdiler

GirdiVarsayılanAçıklama
modePull request'lerde test (etkilenen testleri çalıştırır), TestDetta'yı değerlendirirken pull request'lerde shadow (her testi çalıştırır ve seçimin neyi dışarıda bırakacağını raporlar), varsayılan branch'te record (kapsam haritalarını kaydeder), zamanlanmış olarak audit (kodunuzu bir kopyada her seferinde bir değişiklikle bozar ve seçimin başarısız olan her testi çalıştırdığını denetler). Zorunlu.
basePR'ın base branch'iTest ve shadow modlarında karşılaştırılacak branch. Pull request'ler dışında bunu ayarlayın.
configurationDebugTestleri derlemek ve çalıştırmak için derleme yapılandırması.
projectstüm test projeleriRecord modu: her satıra bir tane olmak üzere .csproj yolları.
parallel1Record modu: test projesi başına test host süreci sayısı; her süreç testlerini yine birer birer çalıştırır. Test paketinin aynı anda birden fazla test sürecini kaldırabilmesi gerekir.
no-buildfalseRecord modu: önceki bir adımın aynı configuration ile yaptığı derlemeyi kaydetmek için true.
dotnet-test-argsTest, shadow, audit ve record modları: boşlukla ayrılmış ek dotnet test argümanları. Kendi test işinizin kullandığı filtreyi ve ayarları verin: TestDetta bunları her koşuda ve kayıt sırasında korur (bkz. Test yapılandırmanız). Shadow mode'da solution'ınızı burada belirtirseniz tek bir komut olarak çalışır; testing platform projelerinde, önceki bir adımda derleyin ve buraya --no-build ekleyin (bkz. Shadow mode).
max-map-age50Test, shadow ve audit modları: bir haritanın merge base'in kaç commit gerisinde olabileceği; aradaki değişiklikler köprülenir. 0 yalnızca tam eşleşen haritayı kullanır.
drift-fallbackallTest, shadow ve audit modları: daha eski bir haritadan bu yana yapılan değişiklikler bir derleme dosyası, yapılandırma ya da global using içerdiğinde, all etkilenen test projelerini tamamen çalıştırır; name isimlere göre karar verir (daha hızlıdır, ancak yapılandırma ya da reflection üzerinden yapılan çağrıları göremez).
non-code-filesreadersTest, shadow ve audit modları: bir proje klasöründe kod olmayan değişen bir dosyanın (README.md, bir JSON dosyası) neyi çalıştıracağı. readers, derleme dosyayı kullanmıyorsa yalnızca kapsam haritasının onu okuduğunu gördüğü test sınıflarını çalıştırır; project dosyanın projesini ve ona bağlı her projeyi tamamen çalıştırır; bkz. --non-code-files.
not-build-inputsTest, shadow ve audit modları: derlemenizin kullanmadığı kod olmayan dosyalar, depoya göre göreli ve ; ile ayrılmış desenler (docs/**;*.yaml). Doküman dosyaları gibi, yalnızca MSBuild onları derliyor, gömüyor ya da kopyalıyorsa veya bir target adlarını yazıyorsa derleme girdisi sayılır; bkz. --not-build-inputs.
shadow-analysis-timeout, shadow-rerun-timeout, shadow-rerun-idle-timeout, shadow-base-timeout, shadow-base-idle-timeout, shadow-classify-budget10m, 15m, 5m, 30m, 10m, 45mShadow mode: analizin ve başarısızlıkları sınıflandıran yeniden çalıştırmaların zaman sınırları; bkz. aynı adlı seçenekler.
shadow-artifact-suffixShadow mode: bir matrisin işlerini bir bakışta ayırt etmek için rapor artifact'inin adına eklenir, örneğin matris değerleriniz. Ad, bu olmadan da benzersizdir.
audit-target-broken100Audit modu: bu kadar değişiklik testleri bozduğunda durur. Daha düşük bir sayı, shadow mode'dan çıkış (graduation) için istenen sayıyı düşürmez (aşağıda).
audit-max-mutantssınır yokAudit modu: bu kadar değişiklik testleri çalıştırdıktan sonra durur.
audit-budget4hAudit modu: bu süreden sonra yeni bir değişikliğe başlamaz (90s, 15m, 1h30m; sınırsız için none); o sırada hâlâ çalışan bir değişiklik tamamlanır, bu yüzden denetim bütçeden sonra bitebilir ve rapor ne kadar aştığını söyler. Job'un timeout-minutes değerinin altında bu payı bırakın.
audit-parallel1Audit modu: aynı anda test edilen değişiklikler, her biri kendi kopyasında; bellek kullanımı bununla artar.
github-tokengithub.tokenTest, shadow ve audit modları: en yeni haritayı bulmak için Actions önbelleklerini listeler (actions: read gerektirir).
licenseKullanımdan kaldırıldı ve yok sayılır: TestDetta lisans gerektirmez. Mevcut workflow'lar bozulmasın diye hâlâ kabul edilir; verildiğinde adım log'a bir bildirim yazar. Workflow'unuzdan kaldırın.
working-directory.Analiz edilecek, depo içindeki herhangi bir dizin.
setup-dotnettrueTestDetta'nın üzerinde çalıştığı .NET 10 SDK'yı kurar. Job'da zaten varsa false yapın.

Shadow mode

TestDetta'yı hiçbir testi atlamadan denemek için pull request'lerde mode: shadow kullanın. Komutunuzun çalıştırdığı her test çalışır ve job'un sonucu bu çalıştırmanınkidir; job summary ve rapor artifact'i seçimin neyi çalıştıracağını, ölçülen dakikaları ve dışarıda bırakacağı her başarısız sınıfı gösterir. Artifact'in adı testdetta-shadow-<run>-<attempt>-<job>-… biçimindedir, her job ve matris işi için bir tane (shadow-artifact-suffix kendi parçanızı ekler), ve en fazla 90 gün saklanır (deponuzun artifact saklama ayarı bunu kısaltabilir). Kendi job'unuzun yaptığı gibi tek bir komut olarak çalışması için solution'ınızı dotnet-test-args içinde belirtin; bkz. td test --shadow.

TestDetta'nın kendisi shadow mode'da hiçbir ağ çağrısı yapmaz. Action, TestDetta paketini nuget.org'dan indirir (SHA-512'sine karşı doğrulanarak) ve test modunda olduğu gibi Actions önbelleğinizdeki haritaları listeler ve geri yükler. Testlerden önceki hiçbir adım job'u düşürmez: biri kendi işini yapamazsa (shallow bir checkout, indirme, eksik bir base branch, geçersiz bir girdi) ya da TestDetta testlerin bir sonucu olmadan biterse, adım bunun yerine aynı argümanlarla düz dotnet test komutunuzu çalıştırır ve job summary nedenini söyler. Checksum'ı eşleşmeyen bir paket asla çalıştırılmaz. Raporun yüklenmesinin başarısız olması da job'u asla düşürmez.

      - if: github.event_name == 'pull_request'
        uses: TestDetta/action@8750db18099a2af0436788d20dc591e94b550c07 # v0.5.2
        with:
          mode: shadow
          dotnet-test-args: Shop.slnx

Testing platform (Microsoft.Testing.Platform) üzerindeki test projeleri bir adım daha ister. TestDetta böyle bir projenin aldığı rapor seçeneğini derleme çıktısından okur, çünkü projenin bilmediği bir seçenek çalıştırmasını başarısız kılar; seçeneği paket referanslarından tahmin etmez. Yeni bir checkout'ta henüz derleme çıktısı yoktur: projeler bu durumda rapor olmadan tek tek çalışır ve rapor her birini "no test report: the project was not built before the run" ile belirtir, bu yüzden başarısızlıkları seçimle karşılaştırılamaz. Önce aynı yapılandırmayla derleyin ve --no-build verin:

      - if: github.event_name == 'pull_request'
        run: dotnet build Shop.slnx -c Debug

      - if: github.event_name == 'pull_request'
        uses: TestDetta/action@8750db18099a2af0436788d20dc591e94b550c07 # v0.5.2
        with:
          mode: shadow
          configuration: Debug
          dotnet-test-args: Shop.slnx --no-build

Zamanlanmış audit

Seçimi kendi kodunuzda denetlemek için mode: audit'i zamanlanmış olarak kullanın, örneğin haftada bir, record modunun kaydettiği branch'te. Kodunuzun üyelerini çalışma ağacının bir kopyasında her seferinde bir değişiklikle bozar, her değişikliği görebilen her testi çalıştırır ve seçimin başarısız olan her test sınıfını çalıştırdığını denetler; bkz. td audit. Checkout'unuz ve derleme çıktısı yalnızca okunur. Job summary sonucu ve her kaçırmayı karar zinciriyle gösterir; testdetta-audit-<run>-<attempt> artifact'i JSON raporunu en fazla 90 gün saklar. Çalıştığı commit'in max-map-age sınırı içindeki en yeni haritayı kullanır. TestDetta'nın kendisi hiçbir ağ çağrısı yapmaz: Action paketi indirir ve haritaları test modunda olduğu gibi bulur, kopyadaki derlemeler de paketleri sizinkiler gibi restore eder. Runner'larınızda saatlerce çalışır: job'a audit-budget değerinin epey üstünde bir timeout-minutes verin, çünkü bütçe dolduğunda hâlâ çalışan bir değişiklik önce tamamlanır (tüm çalıştırmalarıyla; bunlar, onu yükleyen test projelerinin tam çalıştırmasının birkaç katı sürebilir); özet bu durumda denetimin bütçeyi ne kadar aştığını ve hangi değişikliklerin devam ettiğini söyler. Zaman aşımında öldürülen bir job, yarıda kestiği değişikliği stopped olarak raporlar.

on:
  schedule:
    - cron: '0 3 * * 1' # Mondays, 03:00 UTC
  workflow_dispatch:

permissions:
  contents: read

jobs:
  audit:
    runs-on: ubuntu-latest
    timeout-minutes: 360 # the most a GitHub-hosted runner allows: 2 h of headroom after audit-budget
    permissions:
      contents: read
      actions: read # finds the newest coverage map in the Actions cache
    steps:
      - uses: actions/checkout@v7 # pin to a commit SHA
        with:
          fetch-depth: 0
          persist-credentials: false

      - uses: actions/setup-dotnet@v6 # pin to a commit SHA
        with:
          global-json-file: global.json # without a global.json: dotnet-version: 10.0.x

      - uses: TestDetta/action@8750db18099a2af0436788d20dc591e94b550c07 # v0.5.2
        with:
          mode: audit
          audit-budget: 4h

Shadow mode'dan çıkış (graduation), testleri bozan en az 100 değişiklik içeren, hiçbirini kaçırmayan ve kaçırma oranının en kötü durum %95 üst sınırı en fazla %3,0 olan tek bir audit çalıştırması ister: en kötü durum, çalıştırmalarının karar veremediği (inconclusive) ya da yarıda kesilen (stopped) her değişikliği kaçırma sayar ve sınır yukarı yuvarlanarak gösterilir. Özet ve rapor, çalıştırmanın bunu karşılayıp karşılamadığını ve karşılamıyorsa nedenini tek satırda söyler, örneğin "not yet: 87 changes broke tests, 100 needed" ya da "no: worst case 4.1% > 3.0% because 5 inconclusive and 0 stopped are counted as misses". --member ile bazı üyelerle sınırlanmış bir çalıştırma hiçbir zaman sayılmaz.

Job summary

Test modunda TestDetta seçimini job summary'ye yazar: değişen dosyalar ve karşılaştırdığı base, her test projesinin filtreli mi, tamamen mi yoksa hiç mi çalıştığı ve nedeni ile test sonuçları. Depodan gelen yollar, sınıf adları ve gerekçeler kod olarak yazılır; böylece bir pull request'teki dosya adları sayfaya link ya da mention enjekte edemez.

Test paketinin yalnızca bir kısmını kaydetmek

Kayıt, tüm test paketini kapsam ölçümüyle bir kez çalıştırır; bu, varsayılan branch'te aynı zamanda tam test koşunuzdur. Runner üzerinde çalışamayan projeleri, örneğin veritabanı gerektiren entegrasyon testlerini, projects ile dışarıda bırakın. Pull request'ler bu projeler için isimlere göre karar verir.

Önceki bir adım solution'ı aynı yapılandırmayla zaten derlediyse no-build: true ayarlayın. Aynı anda birden fazla test sürecini kaldırabilen bir test paketi için parallel, her projenin test sınıflarını o sayıda sürece dağıtır.