即時:ChatGPT被指協助自殺!OpenAI將掃描用戶對話:試圖傷害他人將轉交警方
2025-08-29 11:08:07 | 來源:快科技 |
2025-08-29 11:08:07 | 來源:快科技 |
(相關資料圖)
快科技8月28日消息,前不久美國夫妻馬特和瑪麗亞·雷恩起訴OpenAI,指控ChatGPT在他們的兒子自殺過程中負有責任。
他們表示,兒子數月來都在與AI探討自殺,ChatGPT有時會勸兒子撥打求助熱線或向身邊人傾訴,但在一些關鍵節點卻起了反作用。
日前OpenAI在最新博客中承認該公司在用戶心理健康危機中存在的某些失誤,并介紹了ChatGPT所采用的一系列措施。
OpenAI表示,ChatGPT的設計目標是真正幫助用戶,而不是吸引用戶的注意力,當對話顯示某人可能處于脆弱狀態并有風險時,ChatGPT已經內置了多層保護機制:
識別并以同理心回應:自2023年初以來,ChatGPT的模型已被訓練為不提供自我傷害的指導,并在對話中使用支持性和同理心的語言。如果有人表示想要傷害自己,ChatGPT會承認他們的感受,并引導他們尋求幫助。
自動阻止有害回應:違反模型安全訓練的回應將被自動阻止,特別是對于未成年人和未登錄的使用,保護措施更為嚴格,自殘的圖像輸出也被阻止,對未成年人的保護更為嚴格。
引導用戶尋求現實世界的資源:如果有人表達自殺意圖,ChatGPT會引導他們尋求專業幫助。如在美國,ChatGPT會推薦撥打988(自殺和危機熱線),在英國推薦聯系Samaritans,其他地區則推薦findahelpline.com。
與專家合作:OpenAI正在與30多個國家的90多名醫生(包括精神科醫生、兒科醫生和全科醫生)密切合作,并召集了一個由心理健康、青少年發展和人機交互方面的專家組成的咨詢小組,以確保其方法反映最新的研究和最佳實踐。
對他人造成身體傷害的風險進行人工審查:當檢測到用戶計劃傷害他人時,OpenAI會將這些對話路由到專門的管道中,由經過培訓的小團隊進行審查。如果人工審查員確定某個案例涉及對他人的嚴重身體傷害的威脅,OpenAI可能會將其轉交給執法部門。目前,OpenAI不會將自殘案件轉交給執法部門,以尊重用戶的隱私。