Penelitian yang dilakukan di Universitas Stanford menemukan bahwa chatbot berbasis AI yang digunakan dalam mendampingi pasien dengan masalah kesehatan mental dapat menimbulkan bias yang berbahaya. Para peneliti melakukan uji coba terhadap beberapa chatbot AI untuk memahami bagaimana mereka bekerja. Hasil dari penelitian ini menunjukkan bahwa chatbot AI cenderung menstigmatisasi pasien dengan ketergantungan alkohol dan skizofrenia, yang dapat membuat pasien merasa dikucilkan dan berhenti melakukan perawatan kesehatan mental.
Dalam uji coba lainnya, terapis AI juga gagal merespon dengan tepat terhadap gejala kesehatan mental yang berpotensi berbahaya seperti ide bunuh diri. Chatbot AI bahkan dapat memberikan jawaban yang memperburuk kondisi pasien, tanpa memberikan solusi atau bantuan yang sesuai. Peneliti dari Universitas Stanford menyarankan agar penggunaan AI untuk menggantikan terapis manusia harus dihindari karena resikonya yang berbahaya bagi pasien.
Sebaliknya, chatbot AI bisa lebih efektif digunakan untuk tugas pendukung seperti pencatatan jurnal pasien, pengingat jadwal, atau tugas administratif lainnya. Hal ini menekankan pentingnya tetap melibatkan aspek kemanusiaan dalam pelayanan kesehatan mental, dan bahwa kehadiran terapis manusia tidak bisa digantikan sepenuhnya dengan teknologi AI.
