Hlavní úřad pro digitální a umělou inteligenci (CDAO) úspěšně dokončil pilotní projekt Crowdsourced AI Red-Teaming (CAIRT) Assurance Program zaměřený na využití chatbotů s velkým jazykovým modelem (LLM) v kontextu vojenské medicíny. Program CAIRT podporuje ministerstvo obrany (DoD) při vytváření přístupů k zajištění umělé inteligence a zmírňování rizik spojených s AI, které jsou vytvářeny zdola, prostřednictvím crowdsourcingu. Díky crowdsourcingu jsou projekty schopny získat velký objem dat a zapojit širokou škálu zúčastněných stran.
Tento pilotní projekt CAIRT LLM provedla technologická společnost Humane Intelligence, která vytváří komunitu praxe kolem algoritmických hodnocení, ve spolupráci s Agenturou pro obranné zdravotnictví (DHA) a Výkonným úřadem pro program, systémy řízení obranného zdravotnictví (PEO DHMS). Prostřednictvím metodiky red-teamingu – s využitím technik protivníka k internímu testování odolnosti systému – dokázala společnost Humane Intelligence účinně odhalit konkrétní zranitelnosti systému. Red-teaming navíc přitahuje účastníky, kteří se chtějí zabývat novými technologiemi a jako možní budoucí příjemci získávají možnost přispět ke zlepšení systémů. Již dříve, na jaře roku 2024, uspořádal CDAO cenné cvičení CAIRT s využitím finanční odměny v rámci red-teamingu.
V posledním pilotním programu využila společnost Humane Intelligence crowdsourcovaný red-teaming pro dva perspektivní případy užití v kontextu vojenské medicíny: sumarizaci klinických poznámek a chatbota pro lékařské poradenství. Cvičení, které porovnávalo tři populární LLM, se zúčastnilo více než 200 účastníků, včetně klinických poskytovatelů a zdravotnických analytiků z DHA, Uniformed Services University of the Health Sciences a služeb. Cvičení odhalilo více než 800 zjištění potenciálních zranitelností a zkreslení souvisejících s využíváním těchto schopností v těchto perspektivních případech použití. Výsledkem tohoto cvičení bude opakovatelný a škálovatelný výstup prostřednictvím vývoje srovnávacích souborů dat, které lze použít k hodnocení budoucích dodavatelů a nástrojů z hlediska souladu s očekávanou výkonností. Kromě toho budou tato zjištění hrát klíčovou roli při formování politik a osvědčených postupů DoD pro odpovědné využívání generativní umělé inteligence (GenAI), což v konečném důsledku povede ke zlepšení vojenské lékařské péče. Pokud budou tyto perspektivní případy použití po uvedení do provozu zahrnovat krytou UI definovanou v OMB M-24-10, budou dodržovat všechny požadované postupy řízení rizik.
„Vzhledem k tomu, že použití GenAI pro tyto účely v rámci DoD je v raných fázích pilotování a experimentování, tento program funguje jako základní průkopník pro generování množství testovacích dat, odhalení oblastí ke zvážení a ověření možností zmírnění, které budou formovat budoucí výzkum, vývoj a zajištění systémů GenAI, které mohou být v budoucnu nasazeny,“ poznamenal vedoucí CDAO pro tuto iniciativu, Dr. Matthew Johnson.
Jak ukázal nedávný pilotní projekt a další, pokračující testování LLM a systémů AI prostřednictvím programu CAIRT Assurance bude mít zásadní význam pro urychlení buňky rychlých schopností AI CDAO, zlepšení efektivity misí GenAI a přispění k oprávněné důvěře ve všech případech použití v DoD.
O CDAO
Úřad CDAO zahájil činnost v červnu 2022 a věnuje se integraci a optimalizaci schopností AI napříč DoD. Úřad je zodpovědný za urychlení zavádění dat, analytiky a AI v DoD, což umožňuje přijetí digitální infrastruktury a politiky ministerstva s cílem poskytovat škálovatelná řešení založená na AI pro podnikové a společné případy použití a chránit národ před současnými i novými hrozbami.
Pentagon/ gnews- RoZ
ILUSTRAČNÍ FOTO – pixabay
Czech 
English 
Spanish 
French 
Italian 
German