最近,苹果公司发布的三个新功能旨在保护儿童安全.其中一项名为“信息中的通信安全”(Communication safety in Messages),它将扫描13岁以下人士的imessage,以识别和模糊色情图片,并在孩子打开或发送包含此类图片的信息时提醒父母。起初,这听起来像是一个降低年轻人被成年捕食者利用风险的好方法。但这样做可能弊大于利。

虽然我们希望所有的父母都想让他们的孩子安全,但这不是许多孩子的现实。尤其是LGBTQ+青年面临父母暴力和虐待的高风险他们无家可归的可能性是其他人的两倍,他们占寄养系统的30%。此外,他们是更可能发送露骨的图像就像苹果试图发现和报告的那些,部分原因是缺乏性教育。向父母举报孩子的短信行为可能会暴露他们的性取向,这可能会导致暴力甚至无家可归。

这一特征背后的技术不太可能特别准确地检测出有害的露骨图像,这一事实放大了这些危害。苹果将它说,使用“设备上的机器学习来分析图像附件,并确定一张照片是否含有露骨的性内容。”13岁以下的用户通过苹果账户发送或接收的所有照片都将被扫描,如果该账户与指定的家长账户关联,则会发送家长通知。

目前还不清楚这种算法将如何工作,也不清楚它将准确地检测到什么。一些性显式内容检测算法标记基于的内容裸露皮肤的比例.例如,该算法可能会标记一张穿着泳衣的母女在海滩上的照片。如果两个年轻人互相发送一张明星衣着暴露的照片,他们的父母可能会收到通知。

计算机视觉是一个众所周知的难题,而现有的算法——例如用于人脸检测的那些算法——已经知道存在偏见,包括它们本身经常无法识别非白种人的面孔.苹果系统出错的风险特别高,因为大多数学术发表的裸体检测算法被训练成成年人的形象。苹果公司对他们使用的算法没有提供任何透明度,所以我们不知道它的工作效果如何,尤其是在检测年轻人自拍照片方面——这大概是最令人担忧的。

算法准确性的这些问题令人担忧,因为它们可能会让年轻人的期望错位。当我们过分热心地宣称行为是“坏的”或“危险的”——甚至是在青少年之间分享泳装照片——我们模糊了年轻人的识别能力当一些真正有害的事情发生在他们身上时。

事实上,即使有了这个功能,我们也在教育年轻人他们没有隐私权.剥夺年轻人的隐私和同意权恰恰是相反的联合国儿童基金会的循证指南为防止线上和线下的儿童性剥削和虐待建议。此外,该功能不仅有造成伤害的风险,而且它还为更广泛地侵入我们的私人谈话打开了大门,包括政府的入侵。

在设计技术方面,我们需要做得更好,以保证年轻人在网络上的安全。这首先要让潜在的受害者自己参与安全系统的设计。作为一种不断发展的运动设计正义建议说,让受技术影响最大的人参与进来是防止伤害和设计更有效的解决方案的有效方法。到目前为止,年轻人还没有成为科技公司讨论的一部分或者研究人员有。他们需要这样做。

我们还必须记住,技术不能单凭一己之力解决社会问题。重要的是首先将资源和努力集中在防止有害情况上。例如,通过遵循联合国儿童基金会的指导方针和基于研究的建议,扩大全面的、基于同意的性教育项目,帮助青少年安全地了解和发展他们的性行为。

这是一篇观点和分析文章;的观点作者或作者不一定是那些新利18luck体育