Benchmark / konkurs Otwarte pobieranie MIT

MedQA (USMLE)

Benchmark egzaminacyjny, na którym Med-PaLM 2, GPT-4 i MedGemma raportują nagłówkową dokładność; przydatny do porównań modeli, nie do oceny bezpieczeństwa klinicznego.

Strona zbioru { } JSON

W skrócie

DostawcaJin et al. (Columbia University)

DostępOtwarte pobieranie

LicencjaMIT

questions (English)12 723

Uwagi o rozmiarzepytania wielokrotnego wyboru z egzaminów lekarskich; także podzbiory w mandaryńskim i tradycyjnym chińskim

FormatyJSON

Typ danychTekst kliniczny

ZadanieOdpowiadanie na pytania

NowotwórWiele nowotworów

Etykiety i adnotacje

Poprawna odpowiedź per pytanie; brak podetykiet onkologicznych, choć wiele pozycji to przypadki onkologiczne.

Szczegóły

Ta karta jeszcze tego nie dokumentuje.

Modele trenowane lub oceniane na tym zbiorze

benchmark MedGemma Google (Health AI Developer Foundations)
benchmark Med-PaLM 2 Google Research

Źródła

Jin D et al. What Disease Does This Patient Have? A Large-scale Open Domain Question Answering Dataset from Medical Exams. 2021

Ta strona ma charakter edukacyjny — nie stanowi porady medycznej i nie zastępuje konsultacji z onkologiem. Decyzje diagnostyczne i terapeutyczne podejmuje wyłącznie lekarz specjalista.