阿里安全图灵实验室的研究人员在一次关于AI视觉稳定性的研究过程中发现,它存在一个非常危险的盲区,利用算法自动鉴别图片关键信息并删除的操作就像给图片“打码”一样,这种行为会让AI视觉系统无法识别该图片的情况发生,如果没有在后续投入应用前及时解决,可能会造成安全隐患。
就在不久前的一次事件中,某知名品牌汽车被曝其自动驾驶系统无法识别白色货车箱体这样类似于“一堵墙”的障碍物。
这个无法被识别的缺点如果在自动驾驶中,行人、车辆被漏检或者未能及时被检测到的话,那就有极大的概率会导致交通事故的产生。
阿里安全图灵实验室的研究人员的研究灵感源自商场中的乐高玩具。并提出“人眼如何识别‘马赛克’式样的玩具?还有《超级马里》,虽然只是由几个简单像素组成,人却可以正确识别这种抽象的表达。AI 模型面对‘马赛克’式的图片,能正确识别吗?”等问题。
尽管大家期望的AI模型具有和人类相当的能力,但想要让其的”抽象能力和联想力”同人类一样的强大,这对于现在的AI模型来说还是非常有挑战的。
一旦我们去除图片中某些关键特征的话,AI模型就无法再正确识别这些图片了。当然“致盲 AI”并不是研究人员的目标,他们只说不断地研究和测试,目的就是为了极可能发现更多关于AI模型的脆弱性,从而进一步提升AI安全性。
相关文章