CDAO sponsert Pilotprojekt zur Bereitstellung von KI im Kontext der Militärmedizin durch Crowdsourcing

Das Büro des Chefs für digitale und künstliche Intelligenz (CDAO) hat ein Pilotprojekt des CAIRT-Programms (Crowdsourced AI Red-Teaming) erfolgreich abgeschlossen, das sich auf die Verwendung von Chatbots mit großen Sprachmodellen (LLM) im Kontext der Militärmedizin konzentriert. Das CAIRT-Programm unterstützt das Verteidigungsministerium (Department of Defense, DoD) bei der Entwicklung von Bottom-up-Ansätzen zur KI-Sicherheit und KI-Risikominderung durch Crowdsourcing. Durch Crowdsourcing sind Projekte in der Lage, große Datenmengen zu erfassen und ein breites Spektrum von Interessengruppen einzubeziehen.

Dieses CAIRT LLM-Pilotprojekt wurde von Humane Intelligence durchgeführt, einem Technologieunternehmen, das in Zusammenarbeit mit der Defense Health Agency (DHA) und dem Program Executive Office, Defense Health Management Systems (PEO DHMS) eine Community of Practice rund um algorithmische Bewertungen aufbaut. Durch eine Red-Teaming-Methode - bei der gegnerische Techniken eingesetzt werden, um die Systemresilienz intern zu testen - war Humane Intelligence in der Lage, spezifische Systemschwachstellen effektiv aufzudecken. Darüber hinaus zieht das Red-Teaming Teilnehmer an, die sich mit neuen Technologien auseinandersetzen wollen und als potenzielle künftige Nutznießer die Möglichkeit erhalten, zu Systemverbesserungen beizutragen. Zuvor, im Frühjahr 2024, hatte das CDAO eine wertvolle CAIRT-Übung veranstaltet, bei der die finanziellen Vorteile des Red-Teaming genutzt wurden.

In einem kürzlich durchgeführten Pilotprogramm nutzte Humane Intelligence Crowdsourced Red-Teaming für zwei vielversprechende Anwendungsfälle im Kontext der Militärmedizin: die Zusammenfassung klinischer Notizen und einen Chatbot für medizinische Beratung. Mehr als 200 Teilnehmer, darunter klinische Leistungserbringer und Gesundheitsanalytiker des DHA, der Uniformed Services University of the Health Sciences und der Streitkräfte, nahmen an der Übung teil, bei der drei beliebte LLMs verglichen wurden. Bei der Übung wurden mehr als 800 potenzielle Schwachstellen und Verzerrungen im Zusammenhang mit der Nutzung dieser Funktionen in diesen voraussichtlichen Anwendungsfällen aufgedeckt. Diese Übung wird zu einem wiederholbaren und skalierbaren Ergebnis führen, indem Benchmark-Datensätze entwickelt werden, die zur Bewertung zukünftiger Anbieter und Tools im Hinblick auf die erwartete Leistung verwendet werden können. Darüber hinaus werden diese Ergebnisse eine Schlüsselrolle bei der Gestaltung von DoD-Richtlinien und Best Practices für den verantwortungsvollen Einsatz von Generativer Künstlicher Intelligenz (GenAI) spielen, was letztendlich zu einer verbesserten medizinischen Versorgung des Militärs führt. Wenn diese voraussichtlichen Post-Mission-Anwendungsfälle abgedeckte KI gemäß der Definition in OMB M-24-10 beinhalten, werden sie alle erforderlichen Risikomanagementverfahren befolgen.

"Da sich der Einsatz von GenAI für diese Zwecke im Verteidigungsministerium noch in einem frühen Stadium der Erprobung befindet, fungiert dieses Programm als wichtiger Wegbereiter, um eine Fülle von Testdaten zu generieren, zu prüfende Bereiche aufzudecken und Abhilfemaßnahmen zu validieren, die die künftige Forschung, Entwicklung und Sicherung von GenAI-Systemen, die in Zukunft eingesetzt werden könnten, beeinflussen werden. stellte fest, dass das CDAO für die Initiative federführend ist, Dr. Matthew Johnson.

Wie das jüngste Pilotprojekt und andere gezeigt haben, wird die fortgesetzte Erprobung von LLM- und KI-Systemen im Rahmen des CAIRT Assurance-Programms von entscheidender Bedeutung sein, um die schnelle KI-Fähigkeitszelle des CDAO zu beschleunigen, die Effektivität von GenAI-Missionen zu verbessern und zu einem begründeten Vertrauen in alle Anwendungsfälle des DoD beizutragen.

ÜBER CDAO

Das im Juni 2022 ins Leben gerufene CDAO widmet sich der Integration und Optimierung von KI-Fähigkeiten im gesamten DoD. Das Büro ist dafür verantwortlich, die Einführung von Daten, Analysen und KI im DoD zu beschleunigen, die digitale Infrastruktur des Ministeriums und die Annahme von Richtlinien zu ermöglichen, um skalierbare KI-basierte Lösungen für Unternehmen und gemeinsame Anwendungsfälle zu liefern und die Nation vor aktuellen und neuen Bedrohungen zu schützen.

Pentagon/ gnews- RoZ

ILLUSTRATIVES FOTO - pixabay