La Chief Digital and Artificial Intelligence Office (CDAO) ha completado con éxito un proyecto piloto del Crowdsourced AI Red-Teaming (CAIRT) Assurance Program centrado en el uso de chatbots con grandes modelos de lenguaje (LLM) en el contexto de la medicina militar. El programa CAIRT apoya al Departamento de Defensa (DoD) en la creación de enfoques ascendentes y basados en el crowdsourcing para garantizar la IA y mitigar los riesgos de la IA. A través del crowdsourcing, los proyectos son capaces de capturar grandes volúmenes de datos e involucrar a una amplia gama de partes interesadas.
Este proyecto piloto CAIRT LLM fue llevado a cabo por Humane Intelligence, una empresa tecnológica que está creando una comunidad de práctica en torno a las evaluaciones algorítmicas, en colaboración con la Agencia Sanitaria de Defensa (DHA) y la Oficina Ejecutiva del Programa, Sistemas de Gestión Sanitaria de Defensa (PEO DHMS). A través de una metodología de red-teaming -utilizando técnicas de adversarios para probar internamente la resistencia del sistema- Humane Intelligence fue capaz de descubrir eficazmente vulnerabilidades específicas del sistema. Además, el red-teaming atrae a participantes que desean comprometerse con las nuevas tecnologías y, como futuros beneficiarios potenciales, tienen la oportunidad de contribuir a la mejora del sistema. Anteriormente, en la primavera de 2024, el CDAO organizó un valioso ejercicio CAIRT utilizando las recompensas económicas de la red-teaming.
En un programa piloto reciente, Humane Intelligence utilizó el crowdsourced red-teaming para dos casos de uso prometedores en el contexto de la medicina militar: el resumen de notas clínicas y un chatbot para asesoramiento médico. Más de 200 participantes, incluidos proveedores clínicos y analistas sanitarios del DHA, la Universidad de Ciencias de la Salud de los Servicios Uniformados y los servicios, tomaron parte en el ejercicio, en el que se compararon tres LLM populares. El ejercicio puso de manifiesto más de 800 hallazgos de posibles vulnerabilidades y sesgos relacionados con el uso de estas capacidades en estos casos de uso prospectivo. Este ejercicio dará lugar a un resultado repetible y escalable a través del desarrollo de conjuntos de datos de referencia que pueden utilizarse para evaluar futuros proveedores y herramientas para la alineación con el rendimiento esperado. Además, estos hallazgos desempeñarán un papel clave en la configuración de las políticas del DoD y las mejores prácticas para el uso responsable de la Inteligencia Artificial Generativa (GenAI), lo que en última instancia conducirá a una mejor atención médica militar. Si estos posibles casos de uso posteriores a la misión incluyen IA cubierta según la definición de OMB M-24-10, seguirán todas las prácticas de gestión de riesgos requeridas.
"Dado que el uso de GenAI para estos fines dentro del DoD se encuentra en las primeras etapas de pilotaje y experimentación, este programa está actuando como un pionero esencial para generar una gran cantidad de datos de prueba, descubrir áreas de consideración y validar opciones de mitigación que darán forma a la investigación, el desarrollo y el aseguramiento futuros de los sistemas GenAI que puedan desplegarse en el futuro". señaló la dirección del CDAO para la iniciativa, Dr. Matthew Johnson.
Como han demostrado el reciente piloto y otros, las pruebas continuas de sistemas LLM y de IA a través del programa CAIRT Assurance serán fundamentales para acelerar la célula de capacidad de IA rápida del CDAO, mejorar la eficacia de la misión GenAI y contribuir a una confianza justificable en todos los casos de uso del DoD.
ACERCA DE CDAO
Lanzada en junio de 2022, la CDAO se dedica a integrar y optimizar las capacidades de IA en todo el DoD. La oficina es responsable de acelerar la adopción de datos, análisis e IA en el DoD, permitiendo la infraestructura digital del Departamento y la adopción de políticas para ofrecer soluciones escalables basadas en IA para casos de uso empresarial y conjunto y proteger a la nación de las amenazas actuales y emergentes.
Pentágono/ gnews- RoZ
FOTO ILUSTRATIVA - pixabay
Spanish 
Czech 
English 
French 
Italian 
German