Ringkasan Penyelaman:
- Badan Proyek Penelitian Lanjutan untuk Kesehatan (ARPA-H) telah dimulai suatu program untuk menjaga kinerja peralatan medis yang menggunakan kecerdasan buatan.
- Badan tersebut, yang merupakan bagian dari HHS, mengatakan pada hari Kamis bahwa mereka akan mendanai pekerjaan untuk mengidentifikasi dan mengoreksi otomatis alat-alat berkemampuan AI yang tidak selaras dengan data pelatihan dasarnya.
- Programnya mencerminkan studi yang menunjukkan keakuratan model pembelajaran mesin dapat memburuk seiring waktu karena perubahan faktor-faktor seperti operasi klinis, akuisisi data, dan populasi pasien.
Wawasan Menyelam:
Badan Pengawas Obat dan Makanan telah mengesahkan 950 perangkat medis dengan kemampuan AI/pembelajaran mesin yang terintegrasi. Meskipun ada bukti bahwa akurasi dapat menurun, ARPA-H mengatakan tidak ada model yang menjalani pengujian rutin selama penggunaan klinis untuk memastikannya terus berfungsi seperti yang diharapkan dan tidak ada persyaratan untuk memperbarui AI yang kinerjanya di bawah yang terbaik.
“Intuisi klinis pada bagian [the] “dokter yang menggunakan teknologi” adalah cara utama untuk mendeteksi saat model AI mengalami penurunan, kata ARPA-H. Namun, lembaga tersebut menambahkan bahwa pendekatan tersebut “bisa jadi tidak dapat diandalkan dan sangat bervariasi, yang berarti bahwa penurunan model AI mungkin telah menyebabkan kesalahan diagnosis sebelum diketahui.” ARPA-H mencatat kurangnya solusi teknis yang dapat memperbaiki situasi tersebut.
Badan tersebut telah membuat program Evaluasi Kinerja dan Keandalan untuk Modifikasi Berkelanjutan dan Kegunaan Kecerdasan Buatan (PRECISE-AI) untuk menjawab kebutuhan akan alat-alat baru.
“Alat-alat ini akan memantau kinerja model AI klinis, mengidentifikasi apakah terjadi penurunan kinerja, dan menyediakan kemampuan yang dapat mengoreksi penurunan kinerja tanpa perlu pengawasan manusia, sehingga mengurangi beban pada operator perorangan,” kata lembaga tersebut dalam pemberitahuan tentang peluncuran program tersebut. ARPA-H mengatakan bahwa mereka juga ingin alat-alat tersebut “menyampaikan informasi yang jelas dan dapat ditindaklanjuti tentang sumber penurunan kinerja.”
Program PRECISE-AI empat tahun memiliki lima bidang teknis meliputi aktivitas seperti pemantauan kinerja secara terus-menerus dan mengomunikasikan ketidakpastian model. ARPA-H mengharapkan peserta dalam program ini untuk menghabiskan dua tahun pertama membuat prototipe pendekatan mereka dan dua tahun terakhir mengujinya dalam pengaturan dunia nyata dan mengintegrasikannya ke dalam paket komersial.
Program ini merupakan uji coba awal ARPA-H, yang didirikan oleh pemerintahan Biden pada tahun 2022. Dimodelkan berdasarkan Defense Advanced Research Projects Agency, ARPA-H dimaksudkan untuk “memajukan bidang kedokteran dan kesehatan yang tidak dapat dengan mudah dicapai melalui penelitian tradisional atau aktivitas komersial.”