随着技术的不断革新，人工智能（AI）的发展和运用已经到了新的阶段。今年2月来，新西兰两家大超市开始试用人工智能识别重复犯罪者。然而，就在最近，这项技术“翻车”了！

资料图

一名新西兰女性在逛超市时，

被错误地识别为“罪犯”，

她说这次经历让她感到“羞辱”。

而这件事也引发了大家的担忧： 这种事情还会发生吗？ 如何预防？未来这项技术会大范围推广吗？如何界定实施标准？

新西兰人生日当天

被人脸识别误认为“小偷”

4月2日，Te Ani Solomon在罗托鲁瓦的New World超市逛街时，被人脸识别错误的认定为“罪犯”。 而那天是她的生日。

图源1 News Solomon说，她提供了身份证明，并试图与工作人员讲道理，告诉他们：她不是闯入超市偷东西的人。 “这似乎并没有改变他们的想法，他们已经根据所看到的情况做出了决定。”

新西兰北岛两大超市

正在试用人脸识别系统

为打击重复零售犯罪，从今年2月份开始，Foodstuffs集团旗下的北岛New World和Pak'nSave超市，正在试用一项人脸识别技术——每个进入参与测试门店的人都将被扫描脸部，并与违规者图像数据库进行比对。 据了解，该数据库由超市鉴别出的有重复违规行为的人所组成，违规行为包括了入店行窃、辱骂或殴打员工或顾客、违反非法侵入通知、抢劫或入室盗窃等。 这些图像可以从监控录像中获取，其先进程度足以识别被头套、眼镜和假发遮住的面孔。

图源Pak'nSave 超市保安人员可以快速获得违规者的相关信息。一旦识别信息匹配，保安就可以采取行动，包括禁止违规者进入门店、将他们赶出、在他们购物时对其进行监控，或在某些情况下报警。 如果没有明显匹配，图像会在几秒钟内被删除。门店之间也不会共享数据，也不会将数据用于任何其他目的。 据悉，这项测试为期6个月，北岛25家New World和Pak'nSave超市参与该项测试。

她担心别人认为

“自己就是小偷”

隐私委员会此前曾对人脸识别技术表示担忧，该技术可能会错误地将女性，特别是有色女性识别为不是她们的人。 Solomon在遇到被人脸识别错误识别之后，参加了Breakfast节目的采访。当记者问到，种族是否是造成她被错误识别的一个因素时，Solomon说这是一个“巨大的因素”。 “不幸的是，如果我们没有围绕这项（技术）制定一些规则和规定，这（可能）将是许多新西兰人的经历。”

图源New World Solomon补充说，她认为超市不应该使用这项技术，因为它存在潜在的偏见。 她说，她现在购物时“担心被贴上小偷的标签”。 隐私专员Michael Webster表示，人脸识别技术存在偏见和错误匹配的问题。如果这项技术在Foodstuffs超市永久使用，他会担心毛利族裔、太平洋岛族裔和印度族裔的购物者。

超市已经向当事人道歉

并表示会采取纠正措施

目前，Foodstuffs集团已经向当事人Solomon道歉，不过，他们称这是“人为错误”，引起了Solomon的不满。 “具有讽刺意味的是，他们将人工智能技术归咎于人为错误。因为他们知道人工智能技术会出现误报和错误。”

图源Foodstuffs NorthIsland 在给Breakfast节目的一份声明中，Foodstuffs发言人表示，顾客“完全有权利”表达不满。 “我们完全可以理解她的反应。当我们犯了错误时，我们会承担责任并迅速采取行动纠正问题。” 他表示，商店已经接受了运营审核，工作人员将接受进一步培训。 “我们向顾客道歉，并将直接联系她，为所发生的事情道歉。”

零售犯罪大幅增加

三分之一是惯犯

此前，北岛Foodstuffs公司法律顾问Julian Benefield在接受Seven Sharp节目采访时表示，他们最近看到零售犯罪统计数据大幅增加。 “仅去年最后一个季度就发生了4719起，其中三分之一是惯犯所为。”

而新西兰并不是唯一一个报告零售犯罪（入店行窃和商店暴力行为）增加的国家。

在英国，这被描述为一场“危机”，袭击零售商工作人员现在已成为一种独立的刑事犯罪。

加拿大警方正在投入额外资源来“打击入店行窃”。在美国加利福尼亚州，零售巨头沃尔玛和塔吉特正在推动加大对零售犯罪的处罚力度。

虽然这些问题与生活成本上升有关，但新西兰零售行业组织指出，以营利为目的的有组织犯罪是主要因素。

因此，考虑到零售犯罪对社会的影响，以及持续监控带来的风险，在评估是否应该使用人脸识别来控制犯罪时就需要特别谨慎。

如何避免错误识别

这种情况发生？

目前，隐私专员Webster已经对Foodstuffs公司的这项测试展开调查，看看是否存在不匹配的情况，以及是否让人们感到不安。同时，Foodstuffs已与隐私专员合作，并对生物识别数据收集和删除协议的保障措施保持透明。 坎特伯雷大学产品设计学院的讲师Mark Rickerby表示，目前缺少的是更加清晰的商店安全响应协议。

资料图 他称，这不仅仅是客户是否同意使用人脸识别的问题。客户还需要知道发出侵入通知后会发生什么，以及发生错误识别时的解决流程。 研究表明，不管是人工智能还是真人决策都可能存在偏见，错误也无法完全避免。 因此，Rickerby认为最重要的应该加强整个系统的弹性和对错误的容忍度。在人工智能安全协议中，需要更详细的保障措施，尊重客户权利并防止刻板印象。

图源Foodstuffs NorthIsland 此前，隐私专员Webster表示，任何无意中受到测试影响的民众都可以向隐私专员办公室提出他们对隐私方面的担忧。

澳洲超市通过监控

来应对零售犯罪

零售商犯罪事件在很多国家都有发生，那么隔壁澳洲是如何做的呢？ Rickerby表示，一些澳洲超市向员工配发人体摄影机（新西兰Woolworths超市也采用了此措施），通过数字技术追踪顾客在店内的活动、自动手推车锁和出口门情况。 Rickerby认为，超市正在向一种监控文化迈进，每一位顾客都被视为潜在的小偷而受到监控。

他表示，目前盗窃和暴力是超市急需解决的问题。但超市需要证明，与其他可替代方法相比，数字监控系统是一种更负责任、更合乎道德、更有效的解决方案。以避免误用、产生偏见和伤害。

这些事情做好了，也将有助于指导监管框架和标准，为公众讨论人工智能的可接受性提供信息，并有助于开发更安全的自动化系统。

据悉，新西兰的产品设计师、软件工程师和数据科学家，将密切关注隐私专员对Foodstuffs面部识别试验的审查结果。

对此你怎么看？