Cancer3.AI › AI w onkologii › Modele AI › Virchow2
Model fundamentowy Wagi po akceptacji licencji Tylko do badań pathology

Virchow2

Następca Virchow: ViT-H/14 pretrenowany na 3,1 mln preparatów od około 225 000 pacjentów z 45 krajów, w mieszanych powiększeniach (5×–40×), z augmentacjami dobranymi pod patomorfologię.

🤗 paige-ai/Virchow2 Publikacja { } JSON
110 111 pobrań / mies. ♥ 151 aktualizacja 2024-10-26 po akceptacji licencji

W skrócie

TwórcaPaige / Memorial Sloan Kettering Cancer Center
Wydanie2024-08-01
Licencjacc-by-nc-nd-4.0
DostępnośćWagi po akceptacji licencji
RodzajModel fundamentowy
Status regulacyjnyTylko do badań
Parametry632M

Co robi

Wektory cech kafelków odporne na powiększenie i skaner, pomyślane jako bezpośrednie ulepszenie Virchow w każdym zadaniu na poziomie preparatu.

Zadania, typy danych i nowotwory

ZadanieEkstrakcja cech (embeddingi)KlasyfikacjaDetekcja
Typ danychHistopatologia (WSI)
Zastosowanie kliniczneBadania podstawoweDiagnostyka
NowotwórWiele nowotworów
Wejście224×224 tiles at 5×, 10×, 20× or 40×
Wyjście2,560-dim embedding

Architektura

RodzinaVision Transformer
SzkieletViT-H/14 (Virchow2G: ViT-G, 1.9B)
Parametry632M
PretreningDINOv2 with mixed-magnification tiling and domain-specific augmentation

Dane treningowe

3,1 mln preparatów, ok. 225 000 pacjentów, 45 krajów; H&E i część IHC; największy wieloośrodkowy zbiór pretreningowy w patomorfologii w chwili wydania.

Rozmiar zbioru treningowego3.1M WSIs
InstytucjeMSK and partner institutions worldwide
Populacje / geografiamulti-national

Ewaluacja

Benchmark / zbiórMiaraWartośćWalidacja zewnętrznaŹródło
12 zadan poziomu kafelka (tile-level) w patomorfologii obliczeniowej porownanie z najlepszymi konkurencyjnymi modelami wynik na poziomie stanu wiedzy (state of the art) na wszystkich 12 zadaniach w chwili publikacji; autorzy nie podaja w streszczeniu wartosci metryk ani nazw poszczegolnych zadan nie Źródło
Skala modelu i pretreningu (dane deklarowane przez autorow) liczba parametrow / rozmiar zbioru pretreningowego Virchow2: 632 mln parametrow (vision transformer); pretrening na 3,1 mln preparatow histopatologicznych. W tej samej pracy opisano rowniez Virchow2G (1,9 mld parametrow) i Virchow2G Mini (22 mln, destylacja Virchow2G) — sa to ODREBNE modele, nie warianty tej karty nie Źródło

Jak uruchomić

# generic timm loader — check the model card for the exact init args and image normalisation
import timm, torch
from huggingface_hub import login
login()  # gated repos: accept the licence on huggingface.co first
model = timm.create_model('hf-hub:paige-ai/Virchow2', pretrained=True)
model.eval()
cfg = timm.data.resolve_data_config({}, model=model)
transform = timm.data.create_transform(**cfg)
# emb = model(transform(tile).unsqueeze(0))  # 1 x D tile embedding
Bibliotekatimm

Gated on Hugging Face; non-commercial. Same embedding recipe as Virchow (class token + mean patch tokens).

Status regulacyjny i przeznaczenie

Status regulacyjnyTylko do badań
PrzeznaczenieWydanie badawcze.

Źródło →

Status regulacyjny cytujemy ze wskazanego źródła i może się zmienić. Modele „tylko do badań” nie służą do decyzji klinicznych.

Ograniczenia i błędy systematyczne

  • Ewaluacja na poziomie preprintu w chwili wydania; niezależne benchmarki dopiero się gromadzą.
  • Licencja niekomercyjna.

Źródła

  1. Zimmermann E et al. Virchow2: Scaling Self-Supervised Mixed Magnification Models in Pathology. arXiv 2024
  2. Hugging Face — paige-ai/Virchow2

Ta strona ma charakter edukacyjny — nie stanowi porady medycznej i nie zastępuje konsultacji z onkologiem. Decyzje diagnostyczne i terapeutyczne podejmuje wyłącznie lekarz specjalista.