论文精粹|INFORMATION
姚万勤:对通过新增罪名应对人工智能风险的质疑
管理员 发布时间:2019-06-20 23:27  点击:2771

 【摘要】 在人工智能技术取得突破性发展的同时,诸多法律风险也伴随而生。因此,如何应对这些风险逐渐成为近期刑法学界关注的重点。虽然在学界有学者主张通过新增罪名进行规制的观点越来越有力,然而,一方面,对人工智能的风险以及风险类型尚未进行深入分析就贸然增设罪名,不仅违背了刑法的谦抑性原则,而且也背离了超前立法理念,其正当性饱受诟病;另一方面,从人的属性视角分析,人工智能并不符合人的本质特征,就此肯定其具有犯罪主体资格也不妥当。因人工智能的风险不同大致可以区分为“使用人工智能造成事故的风险”和“利用智能机器人进行犯罪的风险”两种场域,且在现行民法以及刑法体系之下均能得到有效解决,因而没有必要通过增设刑法罪名来予以应对。

   【中文关键词】 人工智能;谦抑性;超前立法;侵权责任;间接正犯

   

   一、问题的提出

   

   随着人工智能技术突飞猛进的发展,目前各大科技公司积极推进人工智能应用已经成为既定的战略目标。如百度公司积极拓展无人驾驶技术的发展和应用无疑向世人表明,未来是人工智能逐步取代人类的时代。然而,在人工智能不断为人类生活提供便捷的同时,也逐渐引起世人的忧虑——未来的人工智能在高度智能化后是否会杀害或者伤害人类?人类对此担忧并非“无病呻吟”“空穴来风”,从人工智能概念诞生直至今日近七十年的发展过程中,因其伤人或者致人死亡的事件并不鲜见。如1978年受到电磁波干扰的切割机器人转身切割工人;1989年机器人向战胜自己的围棋冠军古德科夫释放强电流并致其死亡。[1]

   上述人工智能僭越法律规范的伤人或者杀人举动,逐渐引发了我国刑法学界新一轮的关注和思考,即我国目前刑法对人工智能犯罪这一新的挑战是否能从容应对?如果不能,又该如何予以规制?对此,目前学界主流观点认为,刑法立法的滞后性明显未能给处罚人工智能犯罪提供足够的立法支撑。因此,有学者认为,由于智能刑事风险的不确信和结果发展的漫长过程,对人工智能犯罪立法化将变得必要且有意义。[2]更有学者主张通过增设刑法罪名来规制或应对人工智能的刑事风险。[3]在具体的罪名设置上,有学者认为,暂时可以考虑设立“滥用人工智能罪”和“人工智能事故罪”。[4]在人工智能大力发展而相关理论研究未能提供妥当的应对策略的当下,上述观点较易引起学界的共鸣。但是在我国目前的刑法体系之下,特别是人工智能的法律主体性地位尚未得到承认,就此主张通过增设刑法罪名予以应对的方案是否具有妥当性,值得商榷。因此,笔者拟对我国目前法律体系进行层层解析,以期在我国目前法律体系之下就如何应对人工智能的风险提供合理的解决方案。

   

   二、立法入罪的正当性质疑:基于二元视角的阐释

   

   在未来人工智能时代,不排除会大范围出现滥用人工智能进行犯罪的情形,但就刑法而言,并非针对新出现的问题或风险均需通过增设罪名来予以应对。因为增设罪名的做法不仅可能违反了刑法的谦抑性原则,而且也可能不符合超前立法理念。本文将从上述两个方面具体检讨其立法正当性问题。

   (一)有违刑法谦抑性原则

   是否应当设立新的罪名进行规制首当其冲涉及的是刑法的谦抑性问题。所谓刑法的谦抑性是指,“立法者应当力求以最小的支出——少用甚至不用刑罚(而用其他刑罚替代措施),获取最大的社会效益——有效地预防和控制犯罪。”[5]正如日本学者所言,“刑法不应以一切违法行为、一切有责行为为当然对象,只限于在必要的不得已的范围内才应该适用刑罚。”[6]一般而言,刑法谦抑性原则具体包含了刑法的补充性、不完整性和宽容性三个方面的内容。该原则“不仅仅是约束刑法解释者的一个原理,而且对于刑事立法者也同样具有约束的作用。”[7]具体就人工智能来说,增设罪名的做法并未遵守刑法谦抑性原则。

   首先,增设新的罪名进行规制违反了刑法的补充性。刑法的补充性强调的是,刑法作为惩罚措施严厉的部门法,只能“在其他手段如习惯的、道德的制裁即地域社会的非正式的控制或民事的规制不充分或者其他统治手段(如私刑)过于强烈有代之以刑罚必要时才开始发挥作用。”[8]也就是说,在是否增设新的罪名方面,也应当考虑其他的手段(如道德、民法以及行政法等措施)是否能发挥作用,如果不能才需要考虑增设新罪名。虽然目前人工智能在某些方面确实超过了人类的能力和水平,但是目前人工智能的应用范围有限,因此其侵犯人类的利益主要限于侵犯他人民事权利领域,且该种侵权通过民法也能得到有效救济。退一步而论,就算在未来,人工智能侵犯他人的生命、身体健康以及财产成为了普遍现象,但是通过我国刑法罪名体系同样可以进行有效规制。[9]所以增设罪名的做法首先有违刑法补充性原则。

   其次,增设新的罪名进行规制违背了刑法的不完整性。即便刑法对危害社会的行为有所规定,也不意味着刑法对任何问题均需要实现无遗漏的规定。因此,“作为补充性的结果,作为刑法处罚的对象的行为是不完全的。换句话说,刑法并不是将所有的违法、有责行为都予以处罚,只限于将可罚的并且被规定了的行为作为处罚的对象。”[10]目前,司法实践中并未大范围地发生人工智能刑事犯罪的迹象,未来其是否能产生自主意识并进行大规模犯罪也不明确。而且即便存在人工智能犯罪问题,是否通过增设罪名的做法就能解决所有问题,也存在较大疑问。所以不得不说,在相关前提性条件尚不明朗之时,就此主张通过立法规制的做法有违刑法的不完整性。最后,增设新的罪名进行规制违背了刑法的宽容性。“由于刑罚手段具有残忍性、毁灭性、违背人性的一面,如动用剥夺人身自由、剥夺财产、甚至剥夺生命的手段,这种手段本身是十分残忍的并且是毁灭性的。”[11]因此,对于发生了危害社会的行为或者说具有社会危害性的行为在动用刑罚的问题上也应保持必要的克制。即使存在损害的结果,也不意味着对行为人判处刑罚就能取得良好的效果。例如,“2016年特斯拉汽车公司生产的‘型号S’的电动汽车在自动驾驶模式下行驶时,与其他汽车相撞,造成驾驶座位上的一名男子死亡。”[12]如果对该事件首先就主张动用刑法来解决,不仅会遏制科学技术的进步和发展,而且也存在打击面过宽的弊端。因此在本文看来,对于类似事件应先通过民事赔偿程序解决较为妥当,如果能取得良好的效果,就不应动用刑法介入。

   (二)违背超前立法理念

   就主张对人工智能风险增设罪名规制的学者来说,超前立法是另一个重要的理论根基。例如有学者指出,“将滥用人工智能行为纳入刑法规制的范围属于适当的前瞻性立法,是在充分考虑人工智能时代所带来的种种变化后做出的恰当选择。”[13]

   然而,目前学界关于立法应采取何种模式还存在“滞后性立法”“超前立法”以及“同步性立法”的争议。“滞后性立法”主张立法只能成熟一条制定一条,其基本理由为:“对于急剧变革的社会,只有先经过社会实践的探索,取得了经验,才能将这种成熟的、肯定的经验用法律的形式固定下来。”[14]主张“超前立法”的学者认为,“刑事立法不但要强调实践性,而且要有超前性,”[15]其基本理由有二:“其一,法律是施行于制定后的未来社会,所以法律应该依未来社会条件为依据;其二,社会发展是有规律的,而且这种规律是可知的。”[16]“同步性立法”主张立法既不能超前、又不能滞后,必须与变化的社会现实同步,其基本理由为:“滞后立法不能发挥法律应有的作用,不利于法制建设,超前立法不符合客观实际,法律难以贯彻执行。”[17]

   可以说,上述三种立法模式均存在于我国刑事立法之中,特别是“滞后性立法”和“同步性立法”是最为常用的两种立法模式。由于超前立法是以对未来社会的前瞻性预测作为立法依据,存在误判的可能,所以对待超前立法,一方面,不应期望过高。因为在社会基础不成熟或者尚未形成之前就增设相关罪名,不仅存在压缩个人自由权利的弊端,而且因误判通过的立法可能会沦落为阻碍社会发展的“恶法”。例如我国在1997年修改刑法时,因对金融市场规律和现状超前预测而增设了诸多罪名,现在反而成为了压制金融发展的“罪魁祸首”。[18]另一方面,也不应完全否定。“超前立法并不是脱离社会现实,而是立足于社会现实对社会发展的前瞻。”[19]因而在某些特定领域针对特定事项有时确实存在超前立法之必要。只要对社会发展趋势把握精准,那么这种超前立法就是科学的,也应得到承认和认可。

   虽然伴随着人工智能发展而产生的诸多风险在一定程度上令人担忧,但是是否有必要通过超前立法予以应对还需要从以下两个方面进行检讨:“一方面,法律意欲推行的行为模式是否符合现实社会发展所提出的要求或符合其发展方向;另一方面,这种行为模式是否符合大多数人的价值观。”[20]具体就人工智能来说,显然无进行超前立法之必要,基本理由有二:首先,大力发展人工智能技术符合社会发展的趋势。目前无论是中国还是世界其他发达国家,都在大力发展人工智能,人工智能不仅在聚合信息方面表现出了人类无法比拟的优势,而且在未来造福人类的应用前景同样令人期待。例如,将人工智能广泛运用到医疗领域,不仅可以在短时间内寻找到人类难以跟踪的海量的最新治疗方案,而且还能通过高超的分析能力精确判断病症以及相关治疗方案的合理性,能为人类提供最佳的治疗方案。虽然人工智能存在“导致他人伤亡”的风险,但是这种风险在刑法领域一直被视为“可允许的危险”。也就是说,如果综合考量该技术对人类有利,那么为了社会进步就该容忍这项技术所带来的风险。例如,自动驾驶虽有发生交通事故的危险,但其不仅减轻了人们的驾驶负担,且与人类驾驶相比也大大降低了事故发生率。因此,通过利益权衡判断,显然人工智能这种技术对社会的发展更为可期、有利,那么我们就有必要忍受因发展该技术所带来的合理风险。其次,法益侵害原则是判断是否有必要进行刑事立法的实质根据,只有对法益造成了严重危害或威胁才考虑增设相关罪名,这符合大多数人的刑事立法观。人工智能在目前尚未普及到社会的各个层面和领域,未来能否全面普及也不明确。况且从目前来看,人工智能不仅产生风险的范围较小,而且产生这种风险的源头主要是人类对人工智能程序的不当设置所致,因此该风险仍然是一种可控的风险。通过增设罪名予以应对的方案,不仅与增设罪名的实质根据相背离,而且也违背了社会公众的刑事立法价值观。

   总而言之,虽然超前立法在某种情况下能够反映我国未来社会的发展趋势和特点,迎合人工智能这一时髦话题,但是未来能在多大程度上实现智能化并不明确。此外,超前立法还存在误判的可能,所以草率地增设相关罪名予以应对的方案不仅对问题的解决毫无裨益,反而可能会造成刑法立法的虚置。

   

   三、人的属性之分解:人工智能不具备犯罪主体资格

   

   纵观世界各国承认人工智能主体性地位的做法,存在两种:一是通过立法予以确定。如沙特通过立法授予了Sophia (索菲亚)沙特国籍。二是虽然本国立法对其主体性地位缺乏规定,但是通过政策大力支持发展人工智能并赋予其相应的主体地位。我国目前并未通过上述任何一种方式承认人工智能的主体性地位,所以我国的犯罪主体原则上仍然是达到刑事责任年龄并具有刑事责任能力的自然人。[21]亦即行为人只有具备了刑法意义上辨认和控制能力,才有可能构成犯罪并最终承担刑事责任。此外,对行为人判处刑罚也意味着相应主体尚需具备受刑能力。如果通过增设罪名来应对人工智能的风险,就必然需要在目前理论体系下深入论证“人工智能能否成为犯罪主体”以及“是否具备受刑能力”这两个命题。显然,目前主张增设罪名的学者不仅承认人工智能的主体性地位,而且还承认其具备受刑能力。理由为:“智能机器脑可以像人脑一样进化,产生自主意识和意志,并通过深度学习机制与嵌入成长经历,达到甚至超越人类的思维水平,有可能以‘人工人’的方式成为人类社会中新的一员。”[22]对此笔者不敢苟同,下文将逐步进行分析。

   (一)人工智能不具备辨认和控制能力

   就我国而言,人工智能在法律属性上是否属于“人”还存在不同见解。肯定说的学者认为:“智能机器人不仅未来越来越像人,而且还会拥有人类的智商和情商。”[23]“智能机器人越来越像人”说的是人工智能具备了人类的外形特征,如Sophia (索菲亚)就是以女性形象出现在公众视野,惟妙惟肖;而“具有了人类的智商或情商”说的是人工智能具备了人类的实质特征。但是基于以下理由,笔者认为,很难将人工智能视为我国刑法意义上的“人”。

   首先,人工智能不具备辨认能力。所谓辨认能力是指行为人具备对自己的行为在刑法上的意义、性质、后果的分辨认识能力。承认人工智能具有犯罪主体资格最为有力的根据在于:“智能机器人能够辨认自己行为的性质、意义、后果,甚至在对行为导致结果的可能性认识方面,其精确程度可能超越人类。”[24]其辨认能力主要是通过电子眼的方式来“眼观八方”。[25]笔者并不否认人工智能在某方面的精确度超出了人类水平,但这并不意味着人工智能就可以与人类相等同。基本理由有二:其一,人工智能归根结底不具有人的理性能力。虽然哲学上对理性具有多元化的理解,“但是近代哲学上的理性内蕴系指广义之理性,亦即人之自然本性,或人之区别其他动物之特性。”[26]“人只能是目的,此外之一切仅仅是手段,而作为目的存在并得到尊重的,唯有理性堪当此位。”[27]目前人工智能可以划分为“强人工智能”[28]与“弱人工智能”[29]两种基本类型,无论哪种类型的人工智能与人类相比,可能在某一方面均具有超越人类的某种分析能力和决策能力,然而即便如此,也不意味着人工智能就此获得了人之理性。换句话说,无论是强、弱人工智能,其仅仅是人类通过技术改造世界的结果罢了,并不具有人之理性,所以很难将其视为“人”。其二,如果将“超越人类能力”作为判断“辨认能力”的根据,那么“人”的范围将无限扩大,显然也不妥当。例如,计算机在上世纪就已完全具备了超越人类的分析能力,即便将计算机外观制造的如何类似人类的体貌特征,也很难说计算机就具有了人类的辨认能力。再者,现实中还存在大量超出人类某个方面能力的动物,如搜毒犬具有比人类发达的高级神经活动机能,有很强的搜索灵活性和奔跑能力,那么也不能就此肯定该搜毒犬就是“人”。其三,“人工智能不具备辨认能力的最主要因素是其无法正确、全面地理解人类语言。”[30]虽然目前的人工智能与人类存在交互式的沟通经验,但是由于人工智能需要通过海量语言数据库来实现这一目标,从而导致了缺乏语言情景环境的人工智能不能有效识别某些特殊用语的核心含义,那么与人类相比的话,就不能对任何理性命题都能给予正确的回应。例如,机器人Tay将“大屠杀”理解为一种正当的行为虽然荒谬,但也是其对人类语言理解的局限使然。[31]

   其次,人工智能不具备控制能力。所谓控制能力是指行为人具备决定自己是否以行为触犯刑法的能力。对此,主张增设罪名的学者主要是以“无人驾驶”为切入点,认为在几公里的范围内,通过人工智能能够清楚地计算出多少红绿灯,也能判断出具体的时速,对障碍物做出判断以及如何进行有效地避免。[32]然而,将人工智能所具有的分析能力以及计算能力作为判断其具有控制能力的关键并不妥当,理由如下:其一,该种观点将某种程序设定的结果理解为控制能力,实际上缩小了人的控制能力的范围。所谓人的控制能力就是人能够基于对事实的认知并能做出决定的能力,其范围是开放的,而非封闭的。也就是说,人的控制能力体现在社会生活的方方面面,而不是只局限于道路交通等某些特定领域。如果将其局限在某一领域,实际上不当地缩小了人的控制能力的范围。其二,这种观点实质上表明了,人工智能会随着人类不同的设定而表现出不同的状态,因而会导致对控制能力判断的恣意。例如,对从事不同工种的人工智能需要根据行业特点设置不同的程序,那么因为行业不同可能其控制能力的内容也呈现出较大差异;并且,一旦离开了人类设定的特定程序或者程序失灵或无效,该人工智能无法发挥作用,那么也就意味着该人工智能不再具有控制能力。例如,如果离开了道路交通领域以及特定的程序设定,那么原先设定道路驾驶程序的人工智能就会完全沦为无控制能力的状态,而一旦其回到特定的领域或者恢复了原先的程序设定,该人工智能又获得了相应的控制能力。这种随意的变动显然不利于在实体法上具体进行判定。总之,人工智能所表现的智能化并不是认定其具备了人类控制能力的前提和基础,其在特定的程序设定下所从事的特定事项或者工作实质上只是人类自我控制能力的拓展而已。

   (二)人工智能不具备受刑能力

   当然,支持通过新增罪名规制的学者认为,人工智能在社会关系中占据着重要的地位且可以视为社会的成员,未来的人工智能与人类形成相互依存、合作的关系,也标志着赋予其社会成员资格十分必要。[33]从而主张增设“删除数据、修改程序、永久销毁”等刑罚方式来实现对人工智能的刑罚处罚,且通过对人工智能适用刑罚来实现一般预防与特殊预防的价值。[34]退一步而论,即便认为人工智能具备了独立判断以及辨认和控制自己行为的能力,那么是否对刑罚体系进行变革就肯定人工智能获得了受刑能力呢?答案是否定的。

   在刑法学界如何理解受刑能力也存在各种争议。例如,有学者认为,“受刑能力是指有效地接受刑罚执行之能力。”[35]如果由于某些特殊的原因导致受刑人丧失了辨认能力或控制能力,那么就意味着该行为人无受刑能力。[36]另有学者主张:“所谓受刑能力,是指行为人对刑罚的适应能力。具体包含了‘行为人对刑罚的接受能力’以及‘行为人对刑罚的承受能力’两个方面的内容。”[37]除此之外,还有学者将刑事责任能力与受刑能力等同使用,在其看来,责任能力就是刑罚能力、受刑能力或者刑罚适用性。[38]

   上述观点可以概括为两种立场,一是将刑事责任能力与受刑能力予以区分的立场,另外则是将两者混同的立场。当然,对于受刑能力定位与阐释与新派或者旧派学者所支持的不同理论体系密不可分。在主张以意志自由为立论基础的旧派学者看来,刑事责任能力就是指犯罪时行为人所具有的辨认以及控制能力。而在新派学者看来,刑事责任能力并非只是行为时所具有的能力,在其刑罚执行时所具有的能力也应当包括在内。笔者认为,将两者混同的观点不具有合理性,首先,混同的观点完全无视责任中的非难要素。众所周知,责任的非难要素因新派和旧派主张的理论不同而结论有所差异,但是归责的基础具有共同性,即需要从客观面和主观面两个方面来予以考察。而混同论的观点并不能完全兼顾责任中的非难因素。其次,混同论的观点实质上是将责任能力的判断时点往后推延,因而最终得出的结论也不妥当。特别是对限制刑事责任能力人来说,表现尤为明显。例如,行为人在限制刑事责任能力(如间接性精神病人发病)期间致人重伤,但是侵害行为结束后经过一个星期的治疗已经痊愈,那么根据混同论的观点,其在受刑期间已经具备了完全刑事责任能力,可以认定其构成故意伤害罪。这种处断结论显然与我国刑法规定不相一致。

   我国目前的通说将刑事责任能力理解为犯罪能力,而受刑能力则成为刑罚论中重要问题点。[39]众所周知,刑罚的本质是痛苦,是与犯罪相关联并给犯罪人带来痛苦的制裁措施。[40]那么,受刑能力无非是犯罪人对刑罚这种剥夺性痛苦的一种感受和承担的能力。就人工智能来说,显然不具有受刑能力,基本理由有二:首先,人工智能不能感受到刑罚所带来的痛苦。刑罚的痛苦包括两个方面的内容:“其一是直接或者间接造成自然人身体感受上的痛苦,其二是通过剥夺或者限制社会活动资格造成情感上的痛苦。”[41]由于人工智能没有如人类一样的感官系统,因而目前刑罚剥夺性痛苦无法对其发挥功效。此外,尚未承认其主体资格,也会导致无法通过对其剥夺相应资格来实现刑罚的痛苦。其次,人工智能并不具有承担刑罚的能力。“接受刑罚表明犯罪者作为理性者、具有责任能力者而实施行为,因而接受刑罚的宣告与执行也是犯罪者的权利。”[42]目前我国刑罚种类除“死刑、无期徒刑、有期徒刑、管制、拘役”五种主刑外,还包括“罚金、没收财产和剥夺政治权利”三种附加刑。对于五种主刑来说,或许通过损坏人工智能勉强能够实现惩罚的功能,但是对于附加刑来说,也就意味着执行的不可能,因为人工智能不仅不拥有财产的权限,而且我国也未承认其公民主体资格,所以其并不享有任何政治性权利。因而对人工智能适用刑罚的必要性将大大降低。

   再者,对人工智能或者智能机器人实施刑罚就理所当然地能实现刑罚的功能和目的吗?众所周知,刑罚的功能和目的主要包括“特殊预防”与“一般预防”两个方面。“特殊预防”旨在“以刑罚作为威吓与矫治行为人的手段,并帮助其改过自新,使其得以再度适应社会的共同生活,从而收到预防犯罪的效果。”[43]“一般预防”是通过刑罚相威胁并处以刑罚来实现“建立和增强市民对‘法律秩序的稳定及效力的信任’,”[44]从而警示世人不要重蹈覆辙。无论是“特殊预防”还是“一般预防”均需要通过“刑罚执行”这一媒介来予以实现。即便通过改革刑罚体系、建立特有的人工智能刑罚执行体系也不可取,理由有三:其一,刑罚体系的建构不是一蹴而就的,其建构的基础是与犯罪主体受刑能力以及社会发展现状遥相呼应。[45]既然人工智能无法感受到这种剥夺性痛苦,那么即便对其增设“删除数据、修改程序、永久销毁”等刑罚执行措施,也无非是毁灭机器的表现,而难以上升到刑罚剥夺性痛苦的层面。其二,就人工智能单独设计一套刑罚系统也违反了刑罚节俭性原则。变更现有的刑罚执行系统意味着:不仅需要国家对该领域配备新的相关部门和机构,而且也需要修改刑法、刑事诉讼法等相关法律来保障落实。而这将是对我国现有司法系统以及法律固有运作方式的“伤筋动骨”式的变革,徒增了国家的财政以及人力负担。其三,根据我国刑事诉讼法之规定,未经审判不得确认任何人有罪成为了保障人权的一条重要准则。那么,对人工智能进行刑罚惩罚也就必然需要经过法院对其审理宣判后才能进入到刑罚执行阶段。而对人工智能进行审判不免使人类深感文明的倒退。“文明作为一个与野蛮、愚昧和无知相对应的概念,作为标志着人类社会进步的程度和开化的状态,是社会经济和人类理性发展到一定程度的产物。”[46]人类社会不断进化的过程实质上是人类文明逐步提升的过程。显然,对人工智能进行审判与欧洲中世纪发生的一系列对动物进行审判并最终做出判决的荒唐案件如出一辙。例如,1471年,瑞士的一只公鸡下了一枚蛋,法院审理后认为其违反了自然法则而对其判处死刑;1519年意大利法庭对毁坏庄稼的鼹鼠判处“驱逐出境”的刑罚。[47]据此可见,对人工智能进行审判,不仅是对人类文明秩序的公然违反,而且将人之外之物设定为犯罪主体,也会使预防犯罪的刑罚目的流于形式、置若罔闻。[48]

   总而言之,关于“人”的定义历来就充满了争议,不同的学者所下的定义也不尽相同。例如,帕斯卡尔说:“人是能思想的芦苇。”[49]马克·吐温说:“人是唯一知道羞耻或者需要羞耻的动物。”[50]这些定义无非是在描述“人”的某个方面特征,并不全面。直到客观唯物主义的出现,马克思通过三个层面阐释了“人”的本质属性,“从劳动层面揭示了人与动物的不同;从社会性层面揭示了人与人之间的关系;从人自身发展的角度界定人的自身需求是人的本质。”[51]综合来看,人工智能不仅无法自发地进行劳动,而且与其他人沟通交流都需要依靠人类事先设定好程序。最为关键的是,即便人工智能的思辨能力突飞猛进,但是与人类的社会和文化属性仍然存在不同,人工智能本质属性仍然是自然性和机械性。[52]虽然人工智能具备了人类的某些特征、甚至具有超越人类的某些能力,但很难涵盖人类的全部特征,承认人工智能的犯罪主体性的观点确实存在以偏概全的嫌疑。

   

   四、路径选择:规制人工智能风险的应有立场

   

   我国目前运用人工智能所产生的风险大致可以区分为两种类型:其一是使用人工智能所产生的事故风险;其二是利用人工智能进行犯罪的风险。虽然笔者在前文中已经否定了通过增设罪名规制上述风险的合理性,但不主张对上述风险放纵不管。那么,又该如何在我国法律体系下规制人工智能所具有的风险呢?笔者认为,因危险场域的不同也大致可以区分为以下规制立场:

   (一)使用人工智能产生的事故风险及其规制

   对此,首先涉及到的问题便是,人工智能是产品吗?“毫无疑问,无论是在强弱人工智能阶段,人工智能均是经过人类加工、制作而成的智能设备。”[53]如果进入到销售领域,那么就意味着人工智能属于产品的范畴。在司法实践中,因人工智能造成的安全事故的严重程度不同,大致可以区分为“侵权责任”以及“刑事责任”两种情形。

   1.使用人工智能造成的侵权责任之规制。因人工智能产品而导致的侵权该如何承担相应的责任则无太多现成的规则可言。目前我国的人工智能虽然通过智能系统发挥作用,但在本质上仍然停留在工具阶段,与传统的产品并未存在差异。[54]当然,承认人工智能可以承担赔偿责任的学者认为,可以强制人工智能的使用者购买强制性保险,或者在使用人工智能之前向银行转入存款,以便发生损害赔偿之时可以从中支取。笔者不赞成该种观点,理由如下:首先,我国目前并未承认人工智能的主体资格;其次,这种主张实质上最终还是由人工智能的使用者来承担相应的责任。所以解决方案不免多此一举。[55]因此,本文主张,“当涉及人工智能的事故是由于产品缺陷造成的,如不正确的编程、不充分的指示、流通环节中的毁损或者其他与产品缺陷本身有关的原因,那么责任将会被分配给产品流通环节中的某个主体:设计者、制造商、销售商等等。”[56]因此,在使用过程中造成侵权时的责任分担应把握以下规制重点:

   首先,涉及到人工智能侵权责任分担的最为重要的主体——生产者。就人工智能的生产者而言,主要是提供人工智能这一终端产品的一方,具体包括提供人工智能的硬件以及软件等。产品责任是一种特殊的侵权,如果是终端产品的人工智能(如智能机器人)存在缺陷,“那么无论生产者有无过错,都应当承担侵权责任”。[57]当然,如果是销售者通过正当渠道购买该产品的,消费者也可以先向销售者请求赔偿,销售者在履行了赔偿责任后有权向生产者追偿。此外,值得注意的是,如果生产者在生产之初直到销售后一段时间内并未发现产品的瑕疵或者问题,但是其后因为偶然机会获悉了这种瑕疵后并未采取任何补救措施,导致他人遭受人身伤害或者财产损失的,生产者也需要就此承担赔偿责任。[58]为了鼓励先进技术的研发或投入使用,法律也同时规定了“当前科学水平尚不能发现缺陷”的免责事由。但是,免责事由的举证责任在生产者,如果其不能提供相应的证明仍需承担不利的后果,即仍然需要对他人的损害承担赔偿责任。

   其次,销售者在市场中一般是出售商品并赚取中间的差价,是生产者与消费者的重要桥梁,因而在一定的条件下,销售者也需要对相关的侵权行为承担相应的责任。根据我国侵权责任法的规定,地位特殊的销售者承担的是过错责任。因此,销售者只有在因自己的过错使产品产生瑕疵并造成他人损害的,才应承担侵权赔偿责任。这是销售者最主要的也是最常见的承担责任的方式。根据过错责任原则,产品是否有缺陷以及产品缺陷与损害结果之间的关系一般是由使用者承担举证责任。此外,还存在两种特殊的责任承担形式:其一是,销售者不能指明缺陷人工智能的生产者也不能指明缺陷的人工智能产品供货者的,也需要对损害承担赔偿责任。其二是因运输者、仓储者等第三人的过错使人工智能的产品存在缺陷并造成他人损害的,此时,受害者可以向产品的生产者、销售者要求赔偿。[59]

   最后,在特定的场合下,相关的使用者因有无雇佣关系,发生侵权行为时所承担的责任形式也存在差别。具体可以区分为以下几种情形:其一,雇员执行职务造成侵权,雇主承担责任的范围。这种情形一般被称为雇主责任,亦即,雇员在职务范围内实施侵害他人权益的行为,应由雇主对雇员的行为承担责任。[60]同样,按照我国侵权行为法理论,受雇人由于执行雇佣活动致人损害,其雇主承担的是替代的赔偿责任。但是,如果雇员在“从事雇佣活动中”存在故意或者重大过失,那么雇主在承担连带赔偿责任后,有权向雇员追偿。[61]其二,非雇佣关系使用者造成侵权时的责任范围。鉴于人工智能这一产品的特殊性,除了需要证明传统的侵权责任的成立要件之外,特别在侵权责任的因果关系证明中还需要重视以下几点:人工智能致人损害时的相关功能是否已经启用?相关功能与损害后果之间是否存在因果关系以及程度如何?如果最终得出的结论与人工智能毫无关系的话,那么应由该使用者对该损害结果自行承担相应的责任。如该使用者造成自己损害的,那么就应自行负责,如果使用不当造成他人损害的,应当由该使用者对他人承担损害赔偿责任。

   2.使用人工智能造成的重大责任事故之规制。如前所论,未来的人工智能极有可能替代人类从事各种繁重的体力劳动。那么,在劳动作业过程之中由其造成的重大责任事故又该如何规制,同样较为棘手。本文立足于人工智能是产品这一基础之上,那么由其导致的重大责任事故,可以通过重大责任事故罪追究其背后的负责人、管理人等相关责任人员的刑事责任。“所谓重大责任事故罪是指在生产、作业中违反有关安全管理的规定,因而发生重大伤亡事故或者造成其他严重后果的行为。”[62]因此,在具体的定性过程中需要重点把握以下几点:首先,处罚的对象只限于背后操纵人工智能的人员以及对该生产作业负有高度监督义务的负责人、管理人等。其次,利用人工智能进行操作的时间也只应限于在生产、作业的过程中。再次,一定是发生了“造成1人以上死亡或者3人以上重伤”的重大伤亡事故或者“造成直接经济损失100万以上”等严重后果的情形。最后,背后操作的人员以及相关的负责人、管理人的主观方面只能是过失。

   (二)利用人工智能进行犯罪的风险及其规制

   目前人工智能的刑事风险主要是犯罪人将人工智能当作犯罪工具予以利用。笔者认为,根据我国刑法的规定以及刑法相关理论,也能得以妥善处理。

   长期以来,利用他人进行犯罪在刑法理论中是当作间接正犯的重要问题予以对待的。对于间接正犯的正犯性,在较早时期是通过“工具理论”来说明的。“工具理论”将“被利用者视为利用者的刀枪棍棒对待”,既然“利用刀枪棍棒的行为符合构成要件,那么也能肯定利用他人的行为符合构成要件”。[63]但是“工具理论”不能为所有的间接正犯类型提供妥当的理论支撑。对于利用幼儿或者无辨认控制能力的自然人,尚可通过工具理论来加以阐释说明,但是对于利用“有故意而无目的”或者“有故意而无身份”的人实施犯罪的情形,“工具理论”似乎无法圆满地作以诠释。[64]因为此时的被利用者是具有意识的人,明显与单纯的工具不同。

   为了克服“工具理论”的不足,如有学者反对将了解情况并具有责任能力的人视为间接正犯的工具,试图通过建立各种规则来解释构成要件的具体内容,但是效果并不理想。[65]其后在德国取而代之的是“支配理论”的兴起。该理论不仅划定了间接正犯的合理处罚范围,而且将正犯限定为在犯罪中处于核心地位的人。为了进一步明确支配的类型,罗克辛教授将“支配理论”进一步发展为“犯罪事实支配理论”,在罗克辛教授看来,对犯罪事实起支配地位的人是正犯,而间接正犯属于支配性正犯,具体包括“‘通过强制达成的意思支配’、‘通过错误达成的意思支配’以及‘通过权力组织的支配’”三种类型。[66]犯罪事实支配理论不仅明确了直接正犯的处罚根据和范围,而且兼顾了被利用者具有主体性意识的间接正犯之类型,较为妥当。

   至此,利用人工智能进行犯罪又该如何处断呢?笔者认为,无论是“承认人工智能具有犯罪主体资格”还是“否认人工智能具有犯罪主体资格”,在“犯罪事实支配理论”支配下均能得出妥当的结论。首先,就算承认人工智能具有犯罪主体资格,那么利用人工智能进行犯罪也主要是行为人通过对人工智能设定特别程序使之做出某类特定的侵害行为,而这无非是自然人操纵的结果,此时人工智能也只是对真相缺乏认识的实施者而已,最终应当由对犯罪的进程起绝对支配作用的背后自然人承担相应的刑事责任。比如,利用人工智能进行抢劫的,成立抢劫罪;利用其进行盗窃的,成立盗窃罪。其次,如果否认人工智能具有犯罪主体资格,那么被用来犯罪的人工智能只是单纯的犯罪工具而已,利用者才是完全支配犯罪进程的核心人物,应当承担直接正犯的刑事责任。例如,利用人工智能进行抢夺的,那么利用者即为抢夺罪的直接正犯。所以无论是持上述何种立场和见解,在犯罪事实支配理论之下,只是思考的路径存在不同,最终的处理结果并无多大差异。

   此外,有学者认为,随着人工智能的发展会给侵财案件的定性带来困难。在该学者看来,目前因人工智能在侵财犯罪中的不同作用而被区分为“以人工智能为对象的侵财犯罪”与“利用人工智能进行侵财犯罪”两种基本类型。[67]该学者进一步认为,对该两种类型犯罪的定性在我国目前刑法体系之下并不能得以有效解决,因而需要对我国刑法进行立法调整予以完善。[68]然而,本文认为,在我国目前刑法体系下,对上述两种类型的财产犯罪的定性并无特别疑难之处。首先,对“以人工智能为犯罪对象”类型来说。在该学者看来,目前司法实践中“非盗即骗”的处理模式不能给定性带来指导性的价值。但是这种论断并不妥当。笔者认为,对于该种类型的犯罪可以根据以下情况区分不同类型,因而可能成立不同的罪名:(1)有成立传统财产犯罪的空间。是否构成传统财产犯罪的罪名完全取决于“人工智能”是否具有财物属性。众所周知,“通常意义上论及的财产罪对象的财物之属性主要涉及到三个方面:一是财物的存在形态;二是财物的价值;三是财物的他人性。”[69]具体就人工智能而言,目前因载体不同而可能被评价为财产,例如当下的某些智能机器人,其不仅具有千奇百怪的物理存在形态,而且也是他人所有的有价值的财物,显然充足了上述财物判断的三个要件,所以完全可以评价为财产犯罪的对象。盗窃、抢劫、抢夺这些人工智能及其产品,完全可以按照盗窃罪、抢劫罪、抢夺罪等进行处罚。那么,成为问题的是,(2)以“当下的ATM机、手机银行、支付宝等人工智能程序”为侵害对象实施的犯罪。例如,该学者认为此时该类人工智能依然是机器,因此立足于“机器不能被骗”,认为目前刑法对该问题的处理便显得束手无策。[70]对此,笔者认为,机器到底能不能被骗无论是在域外还是在我国刑法学界,均尚存争议。[71]然而,归纳争议问题的核心可以发现,“机器能否被骗”以及“被骗后该构成何罪”取决于诈骗罪中“处分意识要否”以及该如何解读。主张“处分意识不要说”的学者认为该种情形成立诈骗罪,而主张“处分意识必要说”的学者认为该种情形成立盗窃罪。笔者认为,诈骗罪与盗窃罪的区分核心在于,行为人是否基于错误认识而处分了财物,而“处分意识”作为判断“处分行为”的核心要素,其承载着区分此罪与彼罪的重要功能,因而“处分意识必要说”一直以来是我国刑法的通说立场。因此,行为人“欺骗”人工智能这种特殊机器获取相应财物的行为,显然成立盗窃罪较为妥当。此外,比较盗窃罪与诈骗罪的法定刑设置来看,即使对其按照盗窃罪论处,也能实现处罚的均衡,不存在放纵犯罪人的嫌疑。所以对于该种情形在目前刑法理论体系下也能得出妥当的结论,并不存在如论者所担忧的处罚困境之问题。

   其次,对“利用人工智能进行侵财犯罪”的类型来说。因人工智能处于“强弱阶段”不同而表现出人类对其控制力也不尽一致。就强人工智能来说,人工智能可以通过自我学习能力而不断进化,但就弱人工智能来说,依然需要人类对其设定程序。显然,我国目前依然处于弱人工智能阶段。那么,对于利用人工智能进行侵财犯罪也不会存在司法适用的困境。例如,对人工智能设定程序使其实施盗窃、抢夺以及抢劫等行为,如前所论,即便承认人工智能具有犯罪主体资格,根据犯罪事实支配理论的观点来看,此时的利用者属于支配性的间接正犯,用相关的财产犯罪罪名对利用者进行处罚即可。如果不承认人工智能具有犯罪主体资格,利用者便成立相关财产犯罪的直接正犯。因此,无论基于何种立场,只是处理路径存在不同,并不会导致处理结论存在多大差异,更不会产生处罚的困境。

   

   结 语

   

   肇始于人工智能第三次浪潮取得的诸多技术的实质性突破,一方面,人工智能确实在某些领域为人类的工作和生活提供了诸多便利;另一方面,由于人工智能的相关技术尚不完善,特别是“黑暗算法”的存在致使人们担忧未来人类是否能真正控制人工智能。当然,主张通过新增罪名应对人工智能风险的做法无非是对现代风险社会中风险的担忧。特别是在当代社会中,“尽管人们拒绝刑法以专制主义时代那种暴力镇压的‘刀把子’形象出现,但却又期望刑法在控制社会风险上能够有所担当。”[72]那么,是否意味着通过增设罪名就能一劳永逸地克服或解决这些问题呢?答案是否定的。笔者认为,作为新兴领域的人工智能的风险,除了需要通过法律进行规制之外,在技术层面也应及时、妥当地解决好颇为棘手的难题。如果在技术上人类能控制人工智能,那么所有的风险都能在法律的框架内得到有效地化解。总而言之,人工智能如果在国家既定的框架内发展,即便因为技术不成熟而造成了诸多失范、产生了诸多风险,但是在我国目前法律体系下均能得到妥当且有效地处理,因而没有必要通过新增罪名来予以应对。

   

   【注释】 *西南政法大学法学院讲师,法学博士。本文系“2018年西南政法大学人工智能法律研究教师研究创新资助项目”(2018-RGZN-JS-YB-06)以及“西南政法大学2018年校级课题资助项目”的阶段性成果之一。

   [1]赵磊、赵宇:《论人工智能的法律主体地位》,载岳彩申、侯东德主编:《人工智能法学研究》,社会科学文献出版社2018年版,第22页。

   [2]参见陈伟等:《人工智能刑事风险的治理逻辑与刑法转向》,《学术界》2018年第9期,第86页。

   [3]参见刘宪权:《人工智能时代的刑事风险与刑法应对》,《法商研究》2018年第1期,第3-11页;王肃之:《人工智能犯罪的理论与立法问题初探》,《大连理工大学学报(社会科学版)》2018年第4期,第53-63页;吴允锋:《人工智能时代侵财犯罪刑法适用的困境与出路》,《法学》2018年第5期,第165-179页;王燕玲:《人工智能时代的刑法问题与应对思路》,《政治与法律》2019年第1期,第22-34页。

   [4]参见前引[3],刘宪权文,第8-9页。

   [5]陈兴良:《本体刑法学》,商务印书馆2001年版,第76页。

   [6][日]大塚仁:《刑法概说(总论)》,冯军译,中国人民大学出版社2003年版,第24页。

   [7]徐卫东、李洁等:《刑法谦抑在中国——四校刑法学高层论坛》,《当代法学》2007年第1期,第5页。

   [8]刘树德:《罪状建构论》,中国方正出版社2002年版,第64页。

   [9]本文将在第四部分详细阐释人工智能所具有的风险类型以及如何规制。为了避免重复论述,此处不再展开,敬请读者甄别。

   [10]黎宏:《日本刑法精义》,中国检察出版社2004年版,第32页。

   [11]魏东:《保守的实质刑法观与现代刑事政策立场》,中国民主法制出版社2011年版,第79页。

   [12][日]小林正啓:《自動運転車の実現に向けた法制度上の課題》,《情報管理》60卷(2017—2018)4号,第32页。

   [13]前引[3],刘宪权文,第9页。

   [14]张根大、方德明、祁九如:《立法学总论》,法律出版社1991年版,第91页。

   [15]王作富主编:《刑法完善专题研究》,中央广播电视大学出版社1996年版,第14页。

   [16]前引[14],张根大、方德明、祁九如书,第92页。

   [17]前引[14],张根大、方德明、祁九如书,第91页。

   [18]参见姚万勤:《高利转贷除罪化实证研究》,《政治与法律》2018年第3期,第39页。

   [19]蒋晓伟主编:《法理学》,同济大学出版社1999年版,第293页。

   [20]前引[19],蒋晓伟书,第293页。

   [21]值得注意的是,我国刑法以处罚自然人犯罪为原则,以处罚单位犯罪为例外。此处关于人工智能是否具有犯罪主体资格,只是涉及自然人犯罪主体,并不涉及单位犯罪问题。

   [22]刘宪权、胡荷佳:《论人工智能时代智能机器人的刑事责任能力》,《法学》2018年第1期,第44页。

   [23]前引[22],刘宪权、胡荷佳文,第41-42页。

   [24]前引[22],刘宪权、胡荷佳文,第42页。

   [25]参见刘宪权:《人工智能时代机器人行为道德伦理与刑法规制》,《比较法研究》2018年第4期,第49页。

   [26]刘放桐:《超越近代哲学的视野》,《江苏社会科学》2000年第6期,第38页。

   [27]刘云生:《近代人格理论建构与人工智能民法定位》,载岳彩申、侯东德主编:《人工智能法学研究》,社会科学文献出版社2018年版,第75页。

   [28]例如,我国有学者认为,所谓“强人工智能”是指在配备恰当的程序之后,加之正确的输入与输出,本身就拥有与人类意义相同的心智,可以呈现各种认知状态。参见商卫星:《意识新论——以认知科学为背景》,武汉出版社2015年版,第277页。当然,基于下文的分析,笔者否定“强人工智能”具有与人类相同的心智。

   [29]目前学界对“弱人工智能”的认识并无多大争议,一般是指在设计和编制的程序范围内执行人类的指令,通过其有限的智慧解决一些智力问题。参见[日]松尾丰:《人工智能狂潮:机器人会超越人类吗?》,赵函宏、高华彬译,机械工业出版社2016年版,第35-36页。有学者进一步指出,弱人工智能的智能是表面的,而非实质性的,现有的人工智能技术都是弱人工智能。参见王宏生等编著:《人工智能及其应用》,国防工业出版社2006年版,第303页。

   [30]姚万勤:《防范人工智能法律风险应把握好三个重点》,《人民法院报》2019年1月28日,第002版。

   [31]参见前引[30],姚万勤文,第002版。

   [32]参见前引[22],刘宪权、胡荷佳文,第42页。

   [33]参见刘宪权、朱彦:《人工智能时代对传统刑法理论的挑战》,《上海政法学院学报》2018年第2期,第49-50页。

   [34]参见刘宪权:《人工智能时代我国刑罚体系重构的法理基础》,《法律科学》2018年第4期,第53页。

   [35]黄丁全:《刑事责任能力研究》,中国方正出版社2000年版,第15页。

   [36]参见前引[35],黄丁全书,第15页。

   [37]禹奇才主编:《广州大学2008届优秀毕业论文(设计)选集》,兵器工业出版社2008版,第186页。

   [38]参见蔡墩铭:《刑法总论》,三民书局股份有限公司1995年版,第168页。

   [39]参见赵星、胡宗金:《刑法责任论的新展开》,知识产权出版社2015年版,第187页。

   [40]参见[德]费尔巴哈:《德国刑法教科书》,徐久生译,中国方正出版社2010年版,第135页。

   [41]皮勇:《人工智能刑事法治的基本问题》,《比较法研究》2018年第5期,第157页。

   [42]陈家林:《外国刑法通论》,中国人民公安大学出版社2009年版,第39页。

   [43]林山田:《刑法通论(下册)》(修订十版),北京大学出版社2012年版,第278页。

   [44][德]冈特·施特拉腾韦特、洛塔尔·库伦:《刑法总论Ⅰ——犯罪论》,杨萌译,法律出版社2006年版,第14页。

   [45]例如,我国古代确立的“笞、杖、徒、流、死”封建五刑一直延续使用到清末变法时期。封建制五刑之所以长时期存在,无非是与当时的社会现状相吻合。因此,在社会基础尚未发生变革之前,我国也应在很长的时间内维持目前的刑罚体系。

   [46]方世南:《马克思关于人类文明多样性思想初探》,《马克思主义研究》2003年第4期,第71页。

   [47]参见杨国辅、杨莉编:《世界法律奇闻百科全书》,四川文艺出版社1988年版,第75页。

   [48]参见陈立、黄永盛:《刑法总论》,厦门大学出版社2005年版,第173页。

   [49]崔宝衡、王立新主编:《世界散文精品大观·爱情篇》,花山文艺出版社1993年版,第162页。

   [50]朱建颂:《漫漫求知路:园丁杂文集》,华中师范大学出版社2013年版,第81页。

   [51]杨兰:《马克思怎样界定人的本质》,《人民论坛》2018年第8期,第102-103页。

   [52]参见张劲松:《人是机器的尺度——论人工智能与人类主体性》,《自然辩证法研究》2017年第1期,第54页。

   [53]刘小璇、张虎:《论人工智能的侵权责任》,《南京社会科学》2018年第9期,第108页。

   [54]参见李晟:《略论人工智能语境下的法律转型》,《法学评论》2018年第1期,第99页。

   [55]参见储陈城:《人工智能时代刑法归责的走向》,《东方法学》2018年第3期,第30页。

   [56]〔美〕 John Frank Weaver:《机器人也是人——人工智能时代的法律》,郑志峰译,元照出版有限公司2018年版,第36-37页。

   [57]国家法官学院案例开发研究中心编:《中国法院2013年度案例:侵权赔偿纠纷》,中国法制出版社2013年版,第43页。

   [58]具体可参见《侵权责任法》第43条之规定,具体条文为:“因产品存在缺陷造成损害的,被侵权人可以向产品的生产者请求赔偿,也可以向产品的销售者请求赔偿。产品缺陷由生产者造成的,销售者赔偿后,有权向生产者追偿。”

   [59]当然,在生产者或者销售者赔偿后,有权向运输者、仓储者等第三人追偿。

   [60]参见前引[56], John Frank Weaver书,第32-33页。

   [61]参见胡岩编著:《中国侵权责任法案例教程》,知识产权出版社2011年版,第36页。

   [62]张明楷:《刑法学(下)》(第五版),法律出版社2016年版,第728-729页。

   [63]前引[62],张明楷书,第401页。

   [64]吴飞飞:《身份犯论——基于犯罪形态视野的考察》,中国检察出版社2014年版,第110页。

   [65]参见[日]市川啓:《間接正犯概念の淵源とその発展について·概論》,《立命館法学》2018年1号(377号),第134页。

   [66]Vgl. C. Roxin, Strafrecht Allgemeinei Teil, BandⅡ, C. H. Beck,2003, S.23.

   [67]前引[3],吴允锋文,第165页。

   [68]参见前引[3],吴允锋文,第174页。

   [69]姚万勤、陈鹤:《盗窃财产性利益之否定》,《法学》2015年第1期,第53页。

   [70]参见前引[3],吴允锋文,第170页。

   [71]对于该问题具体可以参见我国张明楷教授与刘明祥教授的相关论述,张明楷教授一直主张“机器不能被骗”,而刘明祥教授主张“机器可以被骗”。相关论述可参见刘明祥:《用拾得的信用卡在ATM机上取款行为之定性》,《清华法学》2007年第4期,第22-28页;张明楷:《也论用拾得的信用卡在ATM机上取款的行为性质——与刘明祥教授商榷》,《清华法学》2008年第1期,第91-108页。

   [72]姜涛:《风险刑法的理论逻辑——兼及转型中国的路径选择》,《当代法学》2014年第1期,第89页。

   【期刊名称】《当代法学》【期刊年份】 2019年 【期号】3





本文责编:陈冬冬
发信站:爱思想(http://www.aisixiang.com),栏目:天益学术 > 法学 > 刑法学
本文链接:http://www.aisixiang.com/data/116698.html 

转引日期:2019年6月20日

文献数据中心|DATA CENTER

© 2009-2024 吉林大学理论法学研究中心版权所有 请勿侵权 吉ICP备06002985号-2

地址:中国吉林省长春市前进大街2699号吉林大学理论法学研究中心 邮编:130012 电话:0431-85166329 Power by leeyc