从娱乐、出行到日常消费，人工智能正在悄然改变着我们的生活。大家可能已经习惯智能“美颜”后的自己，享受“刷脸支付”的便捷，甚至和Siri聊起了家常。而当AlphaGo击败人类围棋大师，人工智能利用深度学习能力挑战人类记忆高手，人们又不得不对这一由人类创造的“智能”产生莫名恐惧：我们一手创造了“它”，但当“它”超过了人类的一般认知，我们还能否有效地控制“它”？当某型号飞机自动驾驶系统在错误的信号下撞向地面后，人们开始严肃的讨论人工智能的边界以及监管路径。 

从人工智能的研发、应用和监管多个环节出发，类似的讨论集中在人工智能的伦理原则、安全管控、决策机制、数据合规等不同方面。本文将作为“智创未来：人工智能的伦理与合规”系列的开篇介绍目前人工智能的发展现状和主要应用场景、主要国家对于人工智能的伦理关注以及现有法律法规对人工智能的监管“抓手”。 

人工智能的发展现状 

1. 人工智能的技术体系架构和重要要素

发展人工智能，离不开计算算力、算法、数据三大要素。[1]其中，计算算力是人工智能发展的主要助推力，人工智能的核心技术算法为人工智能应用落地提供了保障，而海量数据为算法模型提供基础，是人工智能前沿技术发展的重要资源。当前，人工智能基础算法较为成熟，深度学习的人工智能算法快速发展；而数据的价值在人工智能时代也日益凸显，成为企业的重要资产，并为更高级的算法提供素材。[2] 

2. 人工智能进入产业化应用阶段

总的来说，人工智能产业链可分为基础层，技术层和应用层。其中基础层提供计算力，由数据中心及运算平台构成，技术层解决技术开发与输出，开发面向不同领域的技术，应用层主要为行业提供服务、产品，其核心在于提供商业化解决方案。目前人工智能技术在很多产业和领域已经得到广泛应用，人工智能应用层面的创业者利用海量数据和市场优势，将人工智能技术直接用于终端产品层面的研发，助力人工智能进入产业化应用阶段。[3] 

技术层面上，智能语音、自然语言处理和计算机视觉等基础应用技术日臻成熟，逐渐形成了商业和产业化模式，多个科技巨头都在该层面深度布局。而应用层的企业则利用人工智能技术针对不同场景或行业领域研发产品或提供服务，其中，与技术相关的应用领域和应用场景包括：

第一，智能语音技术被广泛应用于智能家居、智能车载、智能客服等领域，例如，个人智能语音助手，特别是智能手机的语音助手，极大地提高了手机的易用性；智能音响在播放音乐之外，还可以连接和控制智能家居终端设备的各类产品，为家庭日常交互提供便利。除智能语音技术之外，其他的人机交互技术还处于初期发展阶段，例如近年来体感交互游戏推陈出新，但多数游戏的体验感欠佳。[4]

第二，自然语言处理技术的应用方向主要包括文义解析、机器翻译以及信息的过滤与检索，其中机器翻译是近来的热门应用方向，但受制于语义理解及分析的复杂性，机器翻译的质量还有待提高。

第三，计算机视觉的应用较为宽泛，应用领域包括安防、交通、医疗、互联网消费等，例如，我国火车站通过摄像头采集旅客人脸信息，与身份证人脸信息进行验证；用户通过在电商平台上传意向产品或类似产品的照片进行搜图购物；游戏玩家通过AR、VR游戏享受沉浸式游戏体验等。

第四，知识图谱被广泛应用于智能搜索，知识问答、个性化推荐领域，并可辅助行业进行大数据的分析与决策，如各大视频平台利用其注册用户的观看行为建立知识图谱，分析用户喜好并进行相关内容的推送。[5]

除此之外，多个行业利用复合型的人工智能技术实现产品的更新迭代，例如智能机器人、自动驾驶等。

人工智能技术引发的伦理关注 

站在普通公众的视角，我们一边感叹于人工智能的强大能力，另一边也不由得对其模拟人类心智思维的“黑科技”充满敬畏。人们谈人工智能越多，似乎越容易陷入“人机对立”的焦虑：当人工智能未来能够发展出具有自我意识的产品，是否应当被赋予人类同等的权利？人工智能的产物未来是否可能会与人类形成对立？当具有自我意识的人工智能产品作出侵害他人权益的行为，谁应该承担起这份责任？当下，人工智能技术进入新的发展阶段，并快速渗透各行各业，融入人们日常生活，这些“终极拷问”已不仅仅出现在影视作品创造的“高科技幻影”中。一方面，公众对于人工智能技术的认知有限，迅速发展的人工智能技术使得公众产生了恐慌心理，导致人们认为人工智能技术成果的难以预测、量化和评估；而另一方面，人类的认知能力本身具有社会局限性，每一个特定的历史阶段所取得的知识成果都受到时代条件的局限，因此，我们客观上也难以准确评估和完整预测人工智能的发展可能存在的风险。 

正是意识到人工智能发展的不确定性，多数国家在鼓励人工智能技术开发应用的同时，也从国家政策、法律法规层面对于人工智能的发展方向给予指引。国务院于2017年7月发布的《新一代人工智能发展规划》已认识到人工智能发展可能引发方方面面的社会问题，例如可能改变就业结构、冲击法律与社会伦理、侵犯个人隐私、挑战国际关系准则等，将对政府管理、经济安全和社会稳定乃至全球治理产生深远影响。因此，国务院要求在大力发展人工智能的同时，必须高度重视可能带来的安全风险挑战，确保人工智能安全、可靠、可控发展，提出要重视人工智能法律伦理的基础理论问题研究，并且要有步骤地建立起人工智能伦理规范和政策法规体系，加大对数据滥用、侵犯个人隐私、违背道德伦理等行为的惩戒力度。[6]2019年6月17日，国家新一代人工智能治理专业委员会发布《新一代人工智能治理原则——发展负责任的人工智能》，提出了人工智能治理的框架和行动指南，强调了和谐友好、公平公正、包容共享、尊重隐私、安全可控、共担责任、开放协作、敏捷治理等八项原则。[7]

国际社会对于人工智能的伦理探讨也由来已久。2016年8月，联合国教科文组织（UNESCO）和世界科学知识与技术伦理委员会（COMEST）联合发布了《机器人伦理报告初步草案》（Preliminary Draft Report of COMEST on Robotics Ethics），讨论了机器人的制造和使用促进了人工智能的进步，并审视了机器人的应用以及人类与机器人互动所可能产生的伦理问题。[8]美国电气和电子工程师学会（IEEE）也从2016年开始致力于人工智能在技术和伦理考虑方面的标准制定工作，并于2016年12月发布的《合伦理设计：利用人工智能和自主系统最大化人类福祉的愿景》（Ethically Aligned Design, A Vision for Prioritizing Human Well-being with Autonomous and Intelligent Systems）第一版，旨在鼓励科技人员在人工智能研发过程中优先考虑伦理问题，并就人工智能及自主系统涉及的伦理问题进行专题性阐述。[9]目前该文件的第二版已于2017年12月发布。[10]随着理论研究的不断深入，近年来，不少国家和地区基于对人工智能伦理规范的长期研究，在形成人工智能未来发展的伦理性准则或要求方面有了最新进展。下表对于2019年以来部分国家和地区在人工智能伦理准则方面的最新文件进行了总结和梳理。

规范人工智能技术应用的法律规则和难题

可以看出，各国、各地区已经从国家政策和原则导向的高度，尝试对人工智能的未来发展划出一条“伦理”界限。在基本原则的设定上，各国一致强调人工智能发展应当“以人为本”、“合法合规”，寻求人工智能的公平、透明和安全的成长环境，一方面为人工智能向健康、可信赖的方向发展提供引导，另一方面则有助于帮助公众深化对人工智能技术的认知，消除因技术的未知而带来的社会焦虑与群体恐慌。这些基本的伦理准则并不是“纸上谈兵”，实际上基本的精神已经贯穿在规范人工智能技术发展与应用的行为要求和法律文件中，并随着社会对人工智能技术认知的不断加深而更加具象和细化。当然，规则的落地也往往遇到诸多实践难题，如何确保在多方利益主体诉求中寻求各方利益的平衡，仍旧值得我们深思与探讨。

立足于人工智能技术应用的不同场景，各国及行业立法和监管层面均以“以人为本”原则为起点，保障人的主体权益保护的具体落实。例如：

·  机器学习：数据保护与行业发展的平衡 

人工智能技术的发展离不开数据。前述《人工智能：澳大利亚的伦理框架》也强调了数据在人工智能技术发展进步中的核心地位。基于深度学习的人工智能技术，需要基于大量的数据基础，通过计算找寻数据中的规律，运用该规律对具体任务进行预测和决断。这一学习过程则不可避免要求企业充分挖掘、采集和处理数据，以为机器的深度学习提供“养分”。此时，则需要站在人工智能技术发展“合法合规”的原则角度，充分审视企业在为人工智能的学习训练收集数据的过程中，其手段、方式等是否符合法律要求。例如，当企业以爬虫方式从公开网站获取数据时，如果采取了不当措施导致被采集的网站经营者权益遭受侵害的，则应当承担相应的法律责任。结合我国司法实践，针对不当采取爬虫技术抓取数据而损害他人权益的行为，既可从反不正当竞争的角度，对于该种行为予以民事侵权上的苛责；在情节严重的情况下，例如使用技术手段规避或突破他人网站设置的技术保护措施的手段抓取数据的，甚至可能构成侵入计算机信息系统等犯罪行为；而在抓取的数据属于他人采取技术措施保护的个人信息的情况下，也将可能落入侵犯公民个人信息罪的范畴，从而需要承担相应的刑事责任。正是注意到爬虫等自动化数据采集手段对于多方利益带来的困扰，我国在最近颁布的《数据安全管理办法（征求意见稿）》中为自动化采集划出“红线”，[15]在刑事责任之外，以行政性规范要求的方式力求实现自动化数据采集的规范运作。

·  人脸识别：个人数据权益与公共安全监控的冲突

如前所述，计算机视觉技术已经开始广泛应用。在金融、移动、安防等产业，人脸识别是当前商业成熟度较高的计算机视觉产品，广泛应用于账号身份认证、手机刷脸解锁、人流自动统计和特定人物甄别等诸多场景。[16]然而，人脸识别技术由于涉及人们面部生物特征的采集与识别，具有极高的隐私敏感性；如稍被滥用，则可能对公民隐私保护产生极大威胁。正是考虑到技术不成熟和技术滥用可能导致的隐私威胁，部分国家、地区开始对公权力机关使用人脸识别技术进行执法活动予以限制和禁止。2019年7月17日，美国的奥克兰市通过一项法案，包括警察在内的市政机构人员将被禁止获得或使用人脸识别技术，成为继今年五月份旧金山和六月份萨默维尔后，美国第三个禁用人脸识别技术的城市。[17]奥克兰市议会主席在其报告中表示，人脸识别技术通常并不准确，可能具有入侵性，且缺乏统一标准。报告进一步指出，错误的人脸识别可能导致滥用武力、错误监禁，且可能加剧种族偏见问题。[18]从公权力的角度，人脸识别技术确乎为公共安全监控提供了更加高效、便利的途径，在我国已被使用于诸多安监及犯罪侦查场景，例如火车站进站验证、酒店入住验证、犯罪嫌疑人面部匹配等。而另一方面，人脸识别涉及较高敏感度的个人隐私信息，以实现公共安全防控目的而过多采集和处理公民隐私信息，是否合乎必要原则仍有待商榷；而当技术由于本身局限性而做出错误决策，导致公民主体权益受损时如何弥补，也为人脸识别技术的应用提出了难题。 

·  自动化决策：机器决策下的个人主体权益保障

在人工智能算法应用于自动化决策的场景下，相关法律法规从保障主体权益的角度，立足于公平原则，对企业应用自动化决策技术提出了具体要求。我国《电子商务法》第十八条要求电子商务经营者在根据消费者的兴趣爱好、消费习惯等特征向其提供商品或者服务的搜索结果时，应当同时向该消费者提供不针对其个人特征的选项。当前，电子商务经营者积累了大量用户个人信息、交易记录等，并利用大数据对消费者进行个人画像，通过自动化决策技术，能够实现为消费者呈现个性化的搜索展示，实现精准营销。这种“区别化”对待的方式，极易因自动化决策程序的算法设置而缩减甚至抹杀用户全面了解商品价格、商品信息的机会，从而对其知情权和公平交易的权利造成侵害。据此，法律要求电子商务经营者应同时为消费提供非基于自动化决策的商品搜索结果，以实现尊重和平等保护消费者合法权益。类似的，在《信息安全技术 个人信息安全规范》中，明确提及如果当仅依据信息系统的自动决策而做出显著影响个人信息主体权益的决定时（例如基于用户画像决定个人信用及贷款额度，或将用户画像用于面试筛选），个人信息控制者应向个人信息主体提供申诉方法。这一要求旨在确保当主体权益因自动化决策结果而受到影响时，保障受影响的主体质疑自动化决策所做结论的权利。 

当然，对于人工智能引发的问题思考不止步于此。当下，随着人工智能产品越来越趋于复杂化，各类技术的交叉使用、技术的更新迭代必将引发更多的社会问题。而不同学科也在基于不同角度去审视，去一遍又一遍地给予人工智能未来征途以“灵魂敲打”。站在法学领域的高度，上至人工智能是否能够具备法律意义上的“人”的资格这一总括性问题，下至人工智能的“创作”可否受到保护、人工智能侵害他人权益如何进行责任分配等这些具象化问题，均会随着技术的脚步迈向更高层次、更广领域的思考与讨论。这些问题均离不开对人工智能技术的透彻理解。从上述各国人工智能伦理性问题研究的最新进展也可以看出，多数国家对于算法的透明性和可解释性提出了明确要求，这也是解决因算法引发歧视性问题的一个有效路径。我们将在未来的系列文章中与大家做深入的分享和探讨。

——— 本文作者 ———

宁宣凤

合伙人

合规业务部

susan.ning@cn.kwm.com

宁宣凤律师是合规业务部负责人，宁律师的主要执业领域为网络安全与数据合规。宁律师曾为多家国内外知名企业提供数据合规尽职调查、风险评估、合规体系建设等法律服务。作为国内最早涉足该类法律实务的律师之一，宁律师在为客户提供网络安全与数据合规法律咨询服务方面有着丰富的经验。

吴涵

合伙人

合规业务部

wuhan@cn.kwm.com

吴涵律师的主要执业领域为网络安全与数据合规。吴律师曾多次协助客户进行自查并完善网络安全和数据合规体系，为客户提供网络安全和数据合规培训等。项目涉及金融支付与清算、保险、网约车平台、消费电子、互联网广告、日化等行业。

陈胜男

律师

合规业务部

刘阳璐

律师助理

合规业务部

[1]https://tech.huanqiu.com/article/9CaKrnK59Wb

[2]http://www.caict.ac.cn/kxyj/qwfb/bps/201809/P020180906443463663989.pdf

[3]https://www2.deloitte.com/content/dam/Deloitte/cn/Documents/innovation/deloitte-cn-innovation-ai-whitepaper-zh-181126.pdf

[4]http://www.caict.ac.cn/kxyj/qwfb/bps/201812/P020181227308307634492.pdf

[5]http://www.cesi.ac.cn/images/editor/20180124/20180124135528742.pdf

[6]http://www.gov.cn/zhengce/content/2017-07/20/content_5211996.htm

[7]http://www.most.gov.cn/kjbgz/201906/t20190617_147107.htm

[8]https://unesdoc.unesco.org/ark:/48223/pf0000245532

[9]https://standards.ieee.org/content/dam/ieee-standards/standards/web/documents/other/ead1e.pdf

[10]https://standards.ieee.org/news/2017/ead_v2.html

[11]https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai

[12]https://www8.cao.go.jp/cstp/english/humancentricai.pdf

[13]https://www.pdpc.gov.sg/-/media/Files/PDPC/PDF-Files/Resource-for-Organisation/AI/A-Proposed-Model-AI-Governance-Framework-January-2019.pdf

[14]https://consult.industry.gov.au/strategic-policy/artificial-intelligence-ethics-framework/supporting_documents/ArtificialIntelligenceethicsframeworkdiscussionpaper.pdf

[15]《数据安全管理办法（征求意见稿）》第十六条规定，网络运营者采取自动化手段访问收集网站数据，不得妨碍网站正常运行；此类行为严重影响网站运行，如自动化访问收集流量超过网站日均流量三分之一，网站要求停止自动化访问收集时，应当停止。

[16]参见信通院《人工智能发展白皮书产业 应用篇》

[17]Oakland bans the use of facial recognition, becoming third US city to do so, see at https://www.foxnews.com/tech/oakland-bans-facial-recognition-third-us-city

[18]Oakland bans use of facial recognition technology, citing bias concerns, see at https://www.sfchronicle.com/bayarea/article/Oakland-bans-use-of-facial-recognition-14101253.php

感谢关注金杜研究院