Cancer3.AI › AI w onkologii › Modele AI › CONCH
Model fundamentowy Wagi po akceptacji licencji Tylko do badań pathology

CONCH CONCH (v1)

Model wizyjno-językowy dla patomorfologii: enkoder obrazu i enkoder tekstu trenowane razem na 1,17 mln par obraz–opis, co daje klasyfikację zero-shot i wyszukiwanie obraz–tekst bez etykietowanych preparatów.

🤗 MahmoodLab/CONCH GitHub Publikacja DOI { } JSON
58 735 pobrań / mies. ♥ 204 aktualizacja 2024-05-05 po akceptacji licencji

W skrócie

TwórcaMahmood Lab, Brigham and Women's Hospital / Harvard Medical School
WersjaCONCH (v1)
Wydanie2024-03-19
Licencjacc-by-nc-nd-4.0
DostępnośćWagi po akceptacji licencji
RodzajModel fundamentowy
Status regulacyjnyTylko do badań
Parametry~395M total (image tower ~86M)

Co robi

CONCH umieszcza kafelki i opisy tekstowe w jednej przestrzeni cech. Kafelek można sklasyfikować, porównując go z podpowiedziami tekstowymi („rak przewodowy naciekający” vs „rak zrazikowy”), wyszukać obrazy do zdania albo użyć wieży obrazowej jako mocnego ekstraktora cech.

Ważne zastosowania w onkologii

Oceniony na 14 benchmarkach: podtypowanie, stopniowanie, wyszukiwanie i podpowiedzi segmentacyjne; strona tekstowa pozwala małym zespołom prototypować klasyfikatory z podpowiedzi przed jakąkolwiek adnotacją.

Zadania, typy danych i nowotwory

ZadanieEkstrakcja cech (embeddingi)KlasyfikacjaWyszukiwanie obraz–tekstSegmentacja
Typ danychHistopatologia (WSI)Tekst klinicznyMultimodalne
Zastosowanie kliniczneBadania podstawoweDiagnostykaEdukacja
NowotwórWiele nowotworów
Wejście448×448 tile (image tower) / free text up to the tokenizer limit
Wyjście512-dimensional joint embedding; text logits

Architektura

RodzinaCoCa-style contrastive + captioning vision-language model
SzkieletViT-B/16 image encoder + transformer text encoder/decoder
Parametry~395M total (image tower ~86M)
Pretreningcontrastive alignment + captioning on image–caption pairs, after image-only pretraining

Pary pochodziły z otwartego podzbioru PubMed Central i własnych materiałów edukacyjnych; opisy oczyszczono i podzielono na segmenty istotne patomorfologicznie przed treningiem.

Dane treningowe

1,17 mln par obraz–opis po filtrowaniu (ryciny z otwartej literatury biomedycznej plus instytucjonalne materiały edukacyjne), poprzedzone samonadzorowanym pretreningiem obrazowym na preparatach instytucjonalnych.

Rozmiar zbioru treningowego1.17M image–caption pairs
InstytucjeBWH / MGH; PubMed Central OA figures
Populacje / geografialiterature-derived — global but publication-biased

Powiązane zbiory danych

Ewaluacja

Benchmark / zbiórMiaraWartośćWalidacja zewnętrznaŹródło
zero-shot subtyping (TCGA-derived tasks) ↗ balanced accuracy best among compared vision-language models tak Źródło
image–text retrieval (in-house and public sets) Recall@K reported in paper tak Źródło

Jak uruchomić

# generic timm loader — check the model card for the exact init args and image normalisation
import timm, torch
from huggingface_hub import login
login()  # gated repos: accept the licence on huggingface.co first
model = timm.create_model('hf-hub:MahmoodLab/CONCH', pretrained=True)
model.eval()
cfg = timm.data.resolve_data_config({}, model=model)
transform = timm.data.create_transform(**cfg)
# emb = model(transform(tile).unsqueeze(0))  # 1 x D tile embedding
Bibliotekacustom (conch package, PyTorch)
Sprzętsingle GPU for inference

Instalacja z repozytorium GitHub; wagi gated na Hugging Face. Podpowiedzi zero-shot warto budować według szablonów z repozytorium — sformułowanie zmienia dokładność o kilka punktów.

Status regulacyjny i przeznaczenie

Status regulacyjnyTylko do badań
PrzeznaczenieDo badań; nie jest wyrobem medycznym.

Źródło →

Status regulacyjny cytujemy ze wskazanego źródła i może się zmienić. Modele „tylko do badań” nie służą do decyzji klinicznych.

Ograniczenia i błędy systematyczne

  • Dane z opisów mają skrzywienie publikacyjne: rzadkie jednostki i terminologia nieanglojęzyczna są niedoreprezentowane.
  • Dokładność zero-shot zależy od podpowiedzi; raportuj użyte podpowiedzi.
  • Licencja niekomercyjna.

Źródła

  1. Lu MY et al. A visual-language foundation model for computational pathology. Nat Med 2024
  2. Hugging Face — MahmoodLab/CONCH

Ta strona ma charakter edukacyjny — nie stanowi porady medycznej i nie zastępuje konsultacji z onkologiem. Decyzje diagnostyczne i terapeutyczne podejmuje wyłącznie lekarz specjalista.