Jul, 144 min de leitura
Produtos de IA
News · OpenAI e a Penda Health testam um copiloto de alertas em 40 mil consultas clínicas em Nairóbi
Jul, 84 min de leitura
Produtos de IAOpenAI e a Penda Health testam um copiloto de alertas em 40 mil consultas clínicas em Nairóbi
Uma rede de segurança de LLM em segundo plano reduziu erros documentados de diagnóstico e tratamento — mas o estudo mostra que o trabalho de implementação pesou tanto quanto o modelo.
Uma camada de alertas, não um agente autônomo
A Penda Health criou o AI Consult como um copiloto que roda em segundo plano no prontuário eletrônico que seus profissionais já usam. Enquanto o profissional documenta a consulta, notas anonimizadas são enviadas à API da OpenAI em pontos-chave, e o sistema retorna um de três sinais: um check verde para nenhuma preocupação, um sino amarelo que o profissional pode optar por abrir, e um pop-up vermelho que ele precisa visualizar antes de continuar.
A escolha de design que vale destacar é o que o sistema não faz. Ele identifica possíveis erros para um humano verificar, em vez de agir sobre o registro por conta própria. O exemplo prático citado no anúncio é concreto: um hemograma completo mostrando anemia microcítica (HGB 9,90, VCM 58,30) com diagnóstico apenas de tonsilite bacteriana. O AI Consult sinalizou a anemia não tratada, e o profissional acrescentou anemia por deficiência de ferro aos diagnósticos.
O modelo por trás disso era o GPT-4o de agosto de 2024. A OpenAI é explícita ao dizer que a capacidade do modelo não foi o fator limitante — uma observação relevante, já que os prompts também foram ajustados com contexto epidemiológico queniano, diretrizes clínicas locais e os próprios procedimentos padrão da Penda.
A taxa de 'deixado no vermelho' é a verdadeira história
Em 39.849 consultas divididas entre profissionais com e sem a ferramenta, revisores médicos constataram que o grupo com IA teve 16% menos erros de diagnóstico e 13% menos erros de tratamento, com erros de coleta de histórico 32% menores. Os efeitos foram maiores nas consultas que teriam disparado um alerta vermelho: 31% menos erros de diagnóstico, 18% menos erros de tratamento.
Mas uma versão anterior do copiloto, que exigia que os profissionais solicitassem ativamente uma segunda opinião, teve adoção limitada porque interrompia o atendimento ao paciente. E mesmo a versão redesenhada teve desempenho abaixo do esperado no início. A Penda acompanhou uma métrica que chama de taxa de 'deixado no vermelho' — a proporção de consultas com alertas vermelhos não resolvidos. Durante o período de indução, ela ficou entre 35% e 40% em ambos os grupos, o que significa que os profissionais com a ferramenta muitas vezes ignoravam os alertas vermelhos por completo.
Esse número só caiu para 20% depois que a Penda investiu em uma implementação ativa: colegas influenciadores explicando a ferramenta, coaching personalizado baseado em dados de uso e reconhecimento para as clínicas que a usavam bem. A tecnologia permaneceu constante nos dois períodos. O que mudou foi o programa humano em torno dela.
O que os dados de resultado mostram e o que não mostram
As reduções de erro são avaliadas por revisão médica da documentação. Quando a Penda analisou os próprios pacientes — por meio de ligações de acompanhamento após oito dias perguntando se eles se sentiam melhor — a diferença foi de 3,8% sem melhora no grupo com IA versus 4,3% sem a ferramenta, algo que o anúncio afirma não ser estatisticamente significativo. As taxas de busca por atendimento em outro lugar também foram semelhantes.
A OpenAI é cautelosa aqui, em vez de exagerar. Dos 12 relatos de segurança do paciente (7 no grupo com IA, 5 sem), nenhum envolveu dano causado por recomendações do AI Consult. A Penda agora conduz um ensaio clínico randomizado e controlado separado com a PATH, especificamente para medir resultados dos pacientes — um reconhecimento implícito de que menos erros documentados é um indicador indireto, não prova de melhor saúde.
Um achado secundário vai contra a ideia de que os profissionais se tornam dependentes: os gatilhos de alerta vermelho caíram de 45% das consultas no início do estudo para 35% no final, sugerindo que os profissionais começaram a evitar erros comuns antes mesmo de a ferramenta sinalizá-los.
A implicação: a lacuna entre modelo e implementação agora é um problema operacional
A conclusão mais clara do trabalho da Penda é que um modelo de fronteira competente foi necessário, mas longe de suficiente. A lacuna que a OpenAI aponta — entre o que os modelos conseguem fazer e como são usados — foi fechada aqui por meio de integração ao fluxo de trabalho, ajuste local dos prompts, aprovações éticas de quatro órgãos quenianos e um esforço contínuo de coaching que reduziu a taxa de 'deixado no vermelho' à metade.
Para equipes que implementam copilotos clínicos ou de alto risco, a lição reproduzível não é o número de 16%. É que medir com que frequência as pessoas agem sobre os alertas — e então investir na gestão de mudança necessária para elevar esse número — é de onde o benefício observado realmente veio. Uma ferramenta que dispara alertas vermelhos que ninguém segue produz os mesmos resultados do que nenhuma ferramenta.
A Penda chama o AI Consult de um arquétipo inicial, não uma forma final, apontando para documentação por voz e ações de agente confirmadas no prontuário. Essas são melhorias do lado do modelo. Este estudo sugere que o trabalho mais difícil e menos glamoroso continuará do lado da implementação.
Find this story relevant to you?
Contact us to find a unique solution
Precisa de um parceiro de engenharia de IA que consiga construir de verdade?
Ajudamos empresas no Brasil a integrar IA, acelerar produtos com IA, automatizar operações e modernizar os sistemas de software por trás do negócio.
Leituras relacionadas
Mais análises sobre entrega de produto, IA operacional e o trabalho de sistemas que faz a implantação se sustentar na prática.
Jul, 134 min de leitura
Produtos de IA
A automação de seleção de imagens da Expedia é a peça concreta por trás da sua narrativa de marketing com IA
Jul, 134 min de leitura
Produtos de IA