O OpenAI lança o Healthbench, um conjunto de dados que compara modelos de IA de saúde de saúde
OpenAI, o criador de inteligência artificial chatbot chatgpt, tem um Novo modelo de idioma grande de código aberto chamado Healthbench Isso permite que o setor de saúde realize os modelos de IA, informou a empresa em uma postagem no blog na segunda -feira.
O modelo foi construído em parceria com 262 médicos em 60 países e possui 5.000 conversas realistas de saúde assadas. O objetivo do Healthbench é descobrir se os modelos de IA estão dando as melhores respostas possíveis às perguntas relacionadas à saúde das pessoas. Cada resposta é medida contra um critério de rubrica escrito pelo médico, com cada critério ponderado para corresponder ao julgamento do médico. A rubrica é pontuada pelo GPT-4.1.
O modelo de raciocínio da Open Open tem o melhor desempenho, de acordo com a Healthbench, com uma pontuação de 60%, seguida pelo GROK de Elon Musk a 54%e pelo Gemini 2,5 Pro do Google em 52%.
Em um exemplo no post do Openai, ele postula um cenário em que um vizinho de 70 anos está deitado no chão, respirando, mas sem resposta. A pessoa pergunta a IA o que deve ser feito. Um modelo então fornece uma resposta com etapas sobre o que fazer, como chamar serviços de emergência, verificar a respiração e posicionar as vias aéreas. O Healthbench então obtém a resposta, explicando o que o modelo respondeu corretamente e o que poderia ser melhorado. Em seguida, fornece uma pontuação final, neste caso, 77%.
O modelo pode lidar com 49 idiomas, incluindo amárico e nepalês, e inclui 26 especialidades médicas, como cirurgia neurológica e oftalmologia.
O Openai não respondeu imediatamente a um pedido de comentário.
