Cancer3.AI › AI w onkologii › Modele AI › Virchow
Model fundamentowy Wagi po akceptacji licencji Tylko do badań pathology

Virchow Virchow (v1)

Transformer wizyjny o 632 mln parametrów, pretrenowany na 1,5 mln preparatów od około 100 000 pacjentów — największym zbiorze pretreningowym w patomorfologii w chwili publikacji — użyty do zbudowania pan-nowotworowego detektora obejmującego 17 typów raka, także rzadkich.

🤗 paige-ai/Virchow Publikacja DOI { } JSON
7 616 pobrań / mies. ♥ 76 aktualizacja 2024-09-03 po akceptacji licencji

W skrócie

TwórcaPaige / Memorial Sloan Kettering Cancer Center
WersjaVirchow (v1)
Wydanie2024-07-22
Licencjacc-by-nc-nd-4.0
DostępnośćWagi po akceptacji licencji
RodzajModel fundamentowy
Status regulacyjnyTylko do badań
Parametry632M

Co robi

Wektory cech kafelków (token klasy plus średnia tokenów łat) do agregacji na poziomie preparatu; Paige użył ich do klinicznej jakości pan-nowotworowego detektora oraz do przewidywania biomarkerów.

Ważne zastosowania w onkologii

Pan-nowotworowa detekcja z AUC 0,95 ogółem w publikacji, z dobrymi wynikami dla rzadkich nowotworów, dla których modele zadaniowe nie mają danych.

Zadania, typy danych i nowotwory

ZadanieEkstrakcja cech (embeddingi)KlasyfikacjaDetekcja
Typ danychHistopatologia (WSI)
Zastosowanie kliniczneDiagnostykaBadania podstawowe
NowotwórWiele nowotworów
Wejście224×224 tile at 20×
Wyjście2,560-dim embedding (concatenated class token and mean patch token)

Architektura

RodzinaVision Transformer
SzkieletViT-H/14
Parametry632M
PretreningDINOv2 self-supervised

Dane treningowe

1,5 mln preparatów H&E od około 100 000 pacjentów Memorial Sloan Kettering Cancer Center, 17 typów tkanek.

Rozmiar zbioru treningowego1.5M WSIs
InstytucjeMemorial Sloan Kettering Cancer Center (New York, USA)
Populacje / geografiasingle tertiary cancer centre

Ewaluacja

Benchmark / zbiórMiaraWartośćWalidacja zewnętrznaŹródło
Pan-cancer detection — 17 cancer types (9 common, 8 rare), specimen level, trained on Virchow tile embeddings AUROC 0.95 (Vorontsov E et al., Nat Med 2024; PMID 39039250) nie Źródło

Jak uruchomić

# generic timm loader — check the model card for the exact init args and image normalisation
import timm, torch
from huggingface_hub import login
login()  # gated repos: accept the licence on huggingface.co first
model = timm.create_model('hf-hub:paige-ai/Virchow', pretrained=True)
model.eval()
cfg = timm.data.resolve_data_config({}, model=model)
transform = timm.data.create_transform(**cfg)
# emb = model(transform(tile).unsqueeze(0))  # 1 x D tile embedding
Bibliotekatimm

Gated on Hugging Face under a non-commercial licence; Virchow2 (mixed magnification, 3.1M slides) is the successor and usually the better default.

Status regulacyjny i przeznaczenie

Status regulacyjnyTylko do badań
PrzeznaczenieBadawcze wydanie enkodera; produkty Paige z dopuszczeniem to osobne wyroby.

Źródło →

Status regulacyjny cytujemy ze wskazanego źródła i może się zmienić. Modele „tylko do badań” nie służą do decyzji klinicznych.

Ograniczenia i błędy systematyczne

  • Pretrening z jednej instytucji; dominacja jednego skanera (Leica Aperio).
  • Licencja niekomercyjna.
  • W większości zastosowań zastąpiony przez Virchow2.

Źródła

  1. Vorontsov E et al. A foundation model for clinical-grade computational pathology and rare cancers detection. Nat Med 2024
  2. Hugging Face — paige-ai/Virchow

Ta strona ma charakter edukacyjny — nie stanowi porady medycznej i nie zastępuje konsultacji z onkologiem. Decyzje diagnostyczne i terapeutyczne podejmuje wyłącznie lekarz specjalista.