查看原文
其他

ISACA Blog丨关注人工智能应用中的隐私违规

Guy Pearce ISACA
2024-09-16
曾有人提出,“公民的隐私很重要,而聪明的企业则着眼于如何在遵守监管要求的同时利用数据去发现信息。”因为“聪明的企业”的员工同时也是“公民”,所以一个紧迫的问题是,对于那些更关心生计而不是提出关切或充当吹哨人的员工来说,像人工智能(AI)这样的技术侵犯隐私或违反道德的行为是否真的足够重要,是否可能会给他们带来负面的工作后果?如果一个国家、地区或行业太不成熟以至于没有可以遵守的监管要求,会出现怎样的情况?是否会带来任何后果呢?毕竟,在这种情况下,“聪明的企业”无法可违。 


此外,鉴于法律尚不能解决许多隐私问题,仅仅遵守法规——其中一些法规可能已明显过时,且落后于技术进步的发展——是否对“聪明的企业”进行尽职调查就真的足够了呢?此外,若总部设在其他司法管辖区的机构由于违反与人工智能有关的隐私要求而侵犯当地居民的隐私权,可能当地隐私法律法规对该机构毫无法律效力。 

如果隐私监管和合规要求真的足够解决隐私问题,那么为什么98%的美国人仍然认为他们应该对自己的数据进行共享享有更多的控制权?为什么79%的印度居民仍然对向第三方出售自己的数据感到不安?为什么全世界74%的人仍然对自己的数据表示担忧?因此答案是否定的,仅仅只有隐私监管和合规要求对于解决隐私问题远远不够。特别是对“聪明的企业”来说,肯定不像一些人认为的那么有效。换言之,仅仅遵守隐私合规要求对真正聪明(和有道德)的企业来说是必要条件,但远远不够。 

01引入人工智能(AI)带来的隐私保护挑战

可以说,聪明的企业通过技术措施帮助他们实现战略目标,而构建人工智能系统虽然还处于起步阶段,但可能适用于某些用例。但是企业几乎没有动力“…在他们现有的系统中嵌入隐私保护的要求。近年来,重大隐私泄露事件成为了令人窒息的头条新闻,但最终对涉及的公司的影响微乎其微。” 


从“基于设计的隐私保护”(privacy by design)来看,人工智能与其并没有什么区别,因为隐私保护在人工智能技术的发展中并不处于首要位置。应用人工智能技术处理个人数据会对个人的权利和自由造成高风险,但是这与由于数据泄露所带来的高风险存在差异,对公司应承担的责任来说几乎没有任何影响。人工智能会面临的隐私挑战包括:

  • 数据持久性–由于数据存储成本较低,数据存储时间超过创建时所需的存储时间

  • 数据目的重构–数据使用超出其最初设想的目的

  • 数据外溢–收集的数据对象并非局限于数据收集的目标对象 


通过人工智能收集的数据也会带来一些隐私问题,比如自由给予的知情同意、能够选择退出、数据收集限制、描述人工智能处理过程的性质,甚至能够响应请求对数据进行删除。然而,收集数据的主体可能会产生数据溢出挑战,甚至了解收集他们的数据情况,以便能够响应对他们自己数据的任何请求,或者要求删除这些数据? 


《一般数据保护条例》(GDPR)第22条中规定,除某些例外情况外,“数据主体有权不受完全基于自动处理的决定的约束,包括画像……。”因此,这个要求对向欧盟境内的数据主体应用自动化人工智能算法意味着什么呢?尤其是当人工智能应用过程中存在任何人为干预 - 也许是企业为了绕过完全基于自动处理的要求——“…然而人为干预不能被捏造,并且必然会对结果带来实际的影响。” 

02AI和对隐私和民主的威胁

2017年,《经济学人》发现,世界上有一半国家对于民主的评分比前一年低,主要原因是公民对政府和公共机构的信心受到影响。与此相一致的是,根据Director Journal报道,2017年,加拿大第28任总督阐述全球出现了日益严重且令人不安的不信任的格局,同年发现超过一半的加拿大人对他们的政府、企业、媒体和非政府组织,以及他们的领导并不信任。 

2016年美国总统大选引发的剑桥分析公司丑闻事件中,由于对Facebook用户心理画像以及对人工智能中的隐私保护带来的影响,大大削弱了公民对政府的信心,AI正在通过操纵民主的杠杆继续推动着对民主产生的威胁。另一个例子是,美国Clearview AI公司由于未经加拿大成年人同意的情况下,收集加拿大成年人甚至儿童的照片用于大规模监控和面部识别,并用于商业销售目的,违反了加拿大隐私法,进一步削弱了公民对AI公司的信任和信心,同时也削弱了对整个国家处理直接与隐私和人工智能相关事务能力的信任和信心。顺便提一下,澳大利亚和英国对Clearview AI公司也进行了独立的平行调查。 


加拿大隐私专员办公室就上述事项所作的报告指出,这些信息的收集似乎违反了Facebook、YouTube、Instagram、Twitter和Venmo等服务条款(第6节ii)。此外,尽管Clearview AI公司声称信息在互联网上是免费提供的,因此不需要获得同意,但是加拿大隐私专员办公室认为,特别在对敏感生物特征信息处理时确实需要数据主体的明示同意,包括在此类数据收集,以及数据使用或披露超出个人合理期望(第38和40节)。尽管毫无疑问,面部信息是最敏感的个人数据类型之一,但数据主体是否真正同意其最敏感数据和生物特征数据被用于任何商业目的,而且在未来可以被用于任何其他目的(数字化是永恒的)?答案当然是否定的。 

鉴于“数据是人工智能的命脉”,一些最敏感的数据是个人可识别信息(PII)和受保护的健康信息(PHI)。因此,我们需要检查人工智能使用PII和PHI数据的程度,包括应用生物特征数据,以及确保是否采用了适当的措施,以确保民主的杠杆不被操纵。

03人工智能开发中引入主动识别带来的潜在隐私违规

由于人工智能领域一个关键挑战是其算法的可审计性,那么,我们如何在部署人工智能应用之初判断是否进行了隐私保护呢?无论人工智能算法是否能够持续不断的更新新的信息,我们如何才能了解到人工智能系统真正在对我们认为它在计算的信息进行计算,以及是否从监管和伦理的角度对隐私进行保护呢? 

人工智能的一个主要问题是它是可被复制、强化或放大不利偏见的影响。根据数据收集的性质,这种偏见可能会扩散,这一过程也可能导致诸如上文提到的数据外溢的问题。 

对现有用于识别隐私和其他漏洞的审计方法所面临的挑战,即仅仅在部署系统后且已经意识到其带来的负面影响时,才能识别出风险。因此,尽管内部审计通常作为第二道防线,但在人工智能领域,审计仅作为必要而非充分的控制措施。事实上,机构需要一个更广泛的制衡体系对人工智能领域的审计进行补充。当AI审计框架为SMACTR时,审计从业人士可以将COBIT框架作为一个出发点来应用:

  • “管理创新”(APO04),特别是“监控创新的实施和应用”的管理实践(APO04.06),在这种情况下,人工智能是创新的应用。 

  • “管理业务流程控制”(DSS06),特别是“确保信息事件的可追溯性和问责性”的管理实践(DSS06.05),说明了数据和信息收集的性质及其流程。 


请注意,不仅问责制是一个治理架构,而且DSS06.05同时也包含一个隐私架构 - 尽管是有限的 – 与判断数据和应用数据以及数据结果保留要求有关。这是因为,当基于原始目的收集和处理的数据过期时,对这些个人可识别数据的保留期限就会成为一个隐私问题。 

04人工智能中的隐私保护

人工智能中的隐私保护与通常意义上的数据隐私是不同的。人工智能中隐私保护的挑战之一是如何制定适当的法律法规要求进行隐私保护,同时又不扼杀人工智能技术的进步。通过扫描机制以使人工智能工具了解数据所处的环境,以及数据本身的性质和如何使用它们新增人工智能功能,都会对数据所处的环境带来风险。以这篇文章上文中提出的数据溢出为例,传统意义上的同意对于希望使用个人数据的机构来说是不够的,因为在数据外溢问题上未获得同意;外溢数据受影响的数据主体在这个问题上没有发言权,因为他们甚至不知道自己参与其中。 


尽管同意的要求是知情和自由给予的,但是同意其实并不如人们所认为的那样有力。Clearview AI公司的示例表明,未按照加拿大隐私专员办公室的要求获取同意。类似的,微软删除了它的数据库中1000万张面部照片,这些照片曾被多家机构使用,因为这些照片中涉及到的大多数人其实并不知道他们的照片已经被包括在内。 

在民主方面,通过人工智能工具收集或访问的数据来源,以及数据是如何影响党派的选举结果,都需要获得更深入的监管要求和/或政策关注。事实上,党派的选举结果至少与基于设计的隐私保护七大原则之一相矛盾,其目的是实现正和的结果,而不是以一个政党取胜而牺牲另一个政党的利益,后者产生的结果是零和结果,而不是期望的正和的结果。 

尽管大多数机构可能会在使用敏感个人信息时考虑隐私合规性和道德规范,但人工智能领域应用到内容和规模上,面临的挑战可能会有很大不同。IT治理专业人士和隐私专业人士的职责是确保这些基于人工智能的隐私挑战受到适当的监督。 

编者注:本文于2021年5月28日首次发表于ISACA官网ISACA Now Blog。尾注略。 


作者:Guy Pearce,CGEIT,CDPSE。 

翻译:唐雅琪(Andrea Tang), CIPP/E, CIPM,ISO 27001 LA,ISACA微信公众号特邀通讯员小组组长,任职于安永企业咨询有限公司。 

校对:蔡俊磊(Joe Cai),CDPSE、CISA、CISM、CGEIT、CRISC、Cybersecurity Audit、CISSP、CIPP/E、FIP、CIPM、CIPT、CIPP/A、EXIN DPO、ISO 27001 LA,ISACA中国技术委员会主任,ISACA微信公众号特邀通讯员,ISACA上海社区Leader,数据保护和隐私合规从业者。
继续滑动看下一个
ISACA
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存