Cancer3.AI › AI w onkologii › Modele AI › BiomedBERT (PubMedBERT)
Model fundamentowy Otwarte wagi Nie dotyczy clinical-LLM

BiomedBERT (PubMedBERT)

BERT pretrenowany od zera na abstraktach PubMed i pełnych tekstach PMC z biomedycznym słownikiem; podstawowy enkoder do rozpoznawania encji, ekstrakcji relacji i klasyfikacji tekstów onkologicznych i raportów.

🤗 microsoft/BiomedNLP-BiomedBERT-base-uncased-abstract-fulltext Publikacja DOI { } JSON
220 044 pobrań / mies. ♥ 335 aktualizacja 2023-11-06

W skrócie

TwórcaMicrosoft Research
Wydanie2020-07-31
LicencjaMIT
DostępnośćOtwarte wagi
RodzajModel fundamentowy
Status regulacyjnyNie dotyczy
Parametry~110M

Co robi

Ta karta jeszcze tego nie dokumentuje.

Zadania, typy danych i nowotwory

ZadanieEkstrakcja informacjiKlasyfikacjaEkstrakcja cech (embeddingi)
Typ danychLiteratura biomedycznaTekst kliniczny
Zastosowanie kliniczneBadania podstawoweBadania kliniczne
NowotwórWiele nowotworów
Wejścietext ≤ 512 tokens
Wyjścietoken/sentence embeddings

Architektura

RodzinaBERT-base
Parametry~110M
Pretreningmasked language modelling from scratch (domain vocabulary)

Dane treningowe

Abstrakty PubMed (14 mln) plus pełne teksty PMC; dziedzinowy słownik WordPiece zbudowany z korpusu.

Powiązane zbiory danych

Ewaluacja

Benchmark / zbiórMiaraWartośćWalidacja zewnętrznaŹródło
BLURB (biomedical NLP benchmark) average score state of the art at publication tak Źródło

Jak uruchomić

# generic transformers loader — see the model card for the task-specific head and preprocessing
from transformers import AutoModel, AutoProcessor
model = AutoModel.from_pretrained('microsoft/BiomedNLP-BiomedBERT-base-uncased-abstract-fulltext')
processor = AutoProcessor.from_pretrained('microsoft/BiomedNLP-BiomedBERT-base-uncased-abstract-fulltext')
Bibliotekatransformers

Status regulacyjny i przeznaczenie

Status regulacyjnyNie dotyczy
PrzeznaczenieBadawczy enkoder NLP.

Źródło →

Status regulacyjny cytujemy ze wskazanego źródła i może się zmienić. Modele „tylko do badań” nie służą do decyzji klinicznych.

Ograniczenia i błędy systematyczne

  • Tylko literatura angielska; notatki kliniczne i teksty polskie wymagają dalszej adaptacji.
  • Okno 512 tokenów.

Źródła

  1. Gu Y et al. Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing. ACM Trans Comput Healthc 2021
  2. Hugging Face — microsoft/BiomedNLP-BiomedBERT

Ta strona ma charakter edukacyjny — nie stanowi porady medycznej i nie zastępuje konsultacji z onkologiem. Decyzje diagnostyczne i terapeutyczne podejmuje wyłącznie lekarz specjalista.