Cancer3.AI › AI w onkologii › Modele AI › BiomedCLIP
Model fundamentowy Otwarte wagi Tylko do badań multimodal

BiomedCLIP

Model wizyjno-językowy w stylu CLIP pretrenowany na PMC-15M — 15 mln par rycina–opis z publikacji biomedycznych — z wieżą tekstową PubMedBERT i obrazową ViT-B; obsługuje klasyfikację zero-shot i wyszukiwanie w patomorfologii, radiologii i innych dziedzinach.

🤗 microsoft/BiomedCLIP-PubMedBERT_256-vit_base_patch16_224 GitHub Publikacja { } JSON
249 031 pobrań / mies. ♥ 424 aktualizacja 2025-01-14

W skrócie

TwórcaMicrosoft Research
Wydanie2023-03-02
LicencjaMIT
DostępnośćOtwarte wagi
RodzajModel fundamentowy
Status regulacyjnyTylko do badań
Parametry~196M

Co robi

Osadza obrazy i tekst biomedyczny w jednej przestrzeni; mocny ogólny punkt odniesienia, gdy model dziedzinowy (np. CONCH dla patomorfologii) jest niedostępny lub zbyt restrykcyjnie licencjonowany.

Zadania, typy danych i nowotwory

ZadanieWyszukiwanie obraz–tekstKlasyfikacjaEkstrakcja cech (embeddingi)Odpowiadanie na pytania
Typ danychMultimodalneHistopatologia (WSI)RTGTKLiteratura biomedyczna
Zastosowanie kliniczneBadania podstawoweEdukacja
NowotwórWiele nowotworów
Wejście224×224 image / text ≤ 256 tokens
Wyjście512-dim joint embedding

Architektura

RodzinaCLIP (contrastive image–text)
SzkieletViT-B/16 (224) + PubMedBERT (256 tokens)
Parametry~196M
Pretreningcontrastive on PMC-15M

Dane treningowe

PMC-15M: 15 mln par rycina–opis z 4,4 mln otwartych artykułów PubMed Central, obejmujących ponad 30 typów obrazów.

Rozmiar zbioru treningowego15M image–caption pairs

Powiązane zbiory danych

Ewaluacja

Benchmark / zbiórMiaraWartośćWalidacja zewnętrznaŹródło
zero-shot classification on PCam, RSNA, and other public sets ↗ accuracy above general CLIP and PubMedCLIP (paper) tak Źródło

Jak uruchomić

import open_clip
model, preprocess = open_clip.create_model_from_pretrained('hf-hub:microsoft/BiomedCLIP-PubMedBERT_256-vit_base_patch16_224')
tokenizer = open_clip.get_tokenizer('hf-hub:microsoft/BiomedCLIP-PubMedBERT_256-vit_base_patch16_224')
# image_features = model.encode_image(preprocess(img).unsqueeze(0))
# text_features = model.encode_text(tokenizer(['adenocarcinoma histopathology']))
Bibliotekaopen_clip

Status regulacyjny i przeznaczenie

Status regulacyjnyTylko do badań
PrzeznaczenieBadania.

Źródło →

Status regulacyjny cytujemy ze wskazanego źródła i może się zmienić. Modele „tylko do badań” nie służą do decyzji klinicznych.

Ograniczenia i błędy systematyczne

  • Trenowany na rycinach z publikacji, nie na obrazach klinicznych: rozdzielczość, kadrowanie i adnotacje różnią się od prawdziwych preparatów i badań.
  • Opisy niosą skrzywienie publikacyjne.

Źródła

  1. Zhang S et al. BiomedCLIP: a multimodal biomedical foundation model pretrained from fifteen million scientific image-text pairs. NEJM AI 2025
  2. Hugging Face — microsoft/BiomedCLIP

Ta strona ma charakter edukacyjny — nie stanowi porady medycznej i nie zastępuje konsultacji z onkologiem. Decyzje diagnostyczne i terapeutyczne podejmuje wyłącznie lekarz specjalista.