Prov-GigaPath
Model fundamentowy dla całych preparatów, 1,3 mld parametrów, pretrenowany na 1,3 mld kafelków z 171 189 preparatów z rzeczywistej praktyki klinicznej; łączy enkoder kafelków DINOv2 z enkoderem preparatu LongNet, który analizuje cały preparat naraz.
🤗 45 031 pobrań / mies. ♥ 189 aktualizacja 2026-08-07 po akceptacji licencjiW skrócie
Co robi
Dwa etapy: enkoder kafelków tworzy wektory cech, a enkoder preparatu oparty na LongNet (uwaga rozproszona) agreguje dziesiątki tysięcy wektorów w reprezentację całego preparatu. Ten wektor służy do podtypowania, przewidywania mutacji i zadań wizyjno-językowych.
Ważne zastosowania w onkologii
W chwili publikacji najlepszy w 25 z 26 zadań, w tym pan-nowotworowe podtypowanie i przewidywanie częstych mutacji sterujących z H&E; pierwszy model patomorfologiczny trenowany na skalę całego preparatu na archiwum systemu ochrony zdrowia.
Zadania, typy danych i nowotwory
Architektura
The slide encoder is the distinctive part: dilated attention keeps memory manageable for sequences of 10,000+ tiles, so context from across the slide informs each token.
Dane treningowe
Archiwum systemu Providence: 171 189 preparatów H&E i IHC od ponad 30 000 pacjentów, 31 typów tkanek, 28 ośrodków onkologicznych w USA; 1,3 mld kafelków 256×256.
Powiązane zbiory danych
- ewaluacja TCGA — The Cancer Genome Atlas (via NCI Genomic Data Commons) Bezpłatna rejestracja
Ewaluacja
| Benchmark / zbiór | Miara | Wartość | Walidacja zewnętrzna | Źródło |
|---|---|---|---|---|
| pan-cancer subtyping (9 cancer types, Providence + TCGA) ↗ | AUROC / balanced accuracy | best in 25/26 tasks vs. HIPT, CtransPath, REMEDIS | tak | Źródło |
| driver-mutation prediction from H&E (18 genes, pan-cancer) | AUROC | reported per gene in paper | tak | Źródło |
Jak uruchomić
# generic timm loader — check the model card for the exact init args and image normalisation
import timm, torch
from huggingface_hub import login
login() # gated repos: accept the licence on huggingface.co first
model = timm.create_model('hf-hub:prov-gigapath/prov-gigapath', pretrained=True)
model.eval()
cfg = timm.data.resolve_data_config({}, model=model)
transform = timm.data.create_transform(**cfg)
# emb = model(transform(tile).unsqueeze(0)) # 1 x D tile embedding
Weights are Apache-2.0 but gated (accept terms on Hugging Face). The repo ships the tile→slide pipeline; keep tile coordinates, the slide encoder needs them.
Status regulacyjny i przeznaczenie
Status regulacyjny cytujemy ze wskazanego źródła i może się zmienić. Modele „tylko do badań” nie służą do decyzji klinicznych.
Ograniczenia i błędy systematyczne
- Jeden system ochrony zdrowia: konwencje skanowania i barwienia Providence dominują w rozkładzie danych.
- Enkoder preparatu jest pamięciożerny; małe laboratoria mogą użyć tylko enkodera kafelków.
- Przewidywania mutacji z H&E są asocjacyjne i nie zastępują sekwencjonowania.
Źródła
Ta strona ma charakter edukacyjny — nie stanowi porady medycznej i nie zastępuje konsultacji z onkologiem. Decyzje diagnostyczne i terapeutyczne podejmuje wyłącznie lekarz specjalista.