算法经济背后隐含的风险以及作恶的可能应引起关注

算法经济大大提高了市场经济的匹配效率和交易成本。人们一方面欢迎和享受智能算法带来的便利，另一方面又担心被智能算法所取代，导致个人价值的丧失。而且，随着算法经济的快速发展，算法的渗透性和影响力越来越强，潜在的风险和作恶的可能性也越来越引起人们的关注。”2021年9月3日，中国***科技监督局局长姚前在中国服务贸易委员会2021年金融服务专题展期间举办的“2021中国国际金融技术论坛”上表示。

姚前说，第一个是算法滥用。算法规则的背后是商业利益。为了利益**化，该算法可能违反社会公平、道德和人性。例如，当大数据被煮熟时，老客户对于相同商品或服务的价格高于新客户。只推荐可能给人们带来商业利益的东西，而不是最合适和合适的东西。它可能会滥用人的弱点，过度刺激、说服和诱导顾客，使人们习惯于被喂饱，不知不觉地对算法推出的产品上瘾。只有算法逻辑，而不考虑人性，将人们疏远为简单的数据、商品和工具。算法的具体原理和参数只能由运营企业中的少数人知道，这可能导致利益占用问题。一些企业可能会利用算法作恶，比如推送耸人听闻的虚假信息以扩大流量；推荐假冒产品。

二是算法偏差。算法的数据可能不全面，从片面的数据中得到的结果必然会导致一些偏差。算法的设计者是人，算法设计者甚至企业管理者和价值观的偏见可能嵌入到算法中。算法的“技术光环”容易让人们盲目追随所谓的“科学”，但本质上，有些算法在很大程度上是无法解释的，比如类似“黑箱”的机器学习算法；机器学习算法侧重于相关性分析而不是因果分析，这可能导致错误的连接和判断；基于历史数据的机器学习算法隐含着“过去决定未来”的逻辑。用历史宿命论来定义和标记每个人也是一种偏见。

此外，算法的差距也值得关注。算法通常是秘密、专利或商业秘密。即使它是开放的，也不是每个人都能理解它，因为技术门槛太高了。这形成了新的数字鸿沟。不了解算法的人可能不知道他们的利益何时受到损害。即使他们知道，他们也可能无法提供证据和对抗。

姚前还表示，在特定领域，算法也可能导致特定风险。例如，在金融领域，智能算法给出的资产配置建议可能是与金融机构利益高度相关的产品，涉嫌利益侵占；智能算法形成信息茧屋，强化投资者偏好，容易掩盖金融风险的复杂性，诱使过度消费和负债，甚至误导投资者；如果智能算法进行甄别，将损害投资者的公平性；智能算法的收敛会导致“羊群效应”，并增加金融顺周期风险。

由于算法背后存在一些风险，各国监管机构密切关注算法中隐含的风险。例如，《欧盟通用数据保护条例》（gdpr）第22条限制自动决策。如果包括数据分析在内的自动决策将具有法律效力或对数据主体产生类似的重大影响，数据主体有权不受上述决策的限制。另一个例子是，为了在投资顾问中应用智能算法，美国证券交易委员会（SEC）、英国金融业监管局（FINRA）和澳大利亚证券投资委员会（ASIC）发布了针对智能投资顾问的具体监管指南。

对中国来说，也采取了一些措施。2018年发布的《关于规范金融机构资产管理业务的指导意见》也提出了避免智能算法、羊群效应等相关规定的顺周期风险。2020年12月，**中央发布《建设法治社会实施纲要（2020-2025）》，提出制定和完善算法推荐、深度伪造等新技术应用的标准化管理办法，加强大数据、云计算、人工智能等新技术研发和应用的标准化指导。网络信息办公室就《互联网信息服务算法推荐管理规定》征求公众意见，指出算法推荐服务商应履行算法安全的主要责任，建立健全相应的管理制度，制定和披露算法推荐的相关服务规则，配备与算法推荐服务规模相适应的专业人员和技术支持。坚持主流价值取向，加强信息内容管理。同时，算法推荐服务提供商不得利用算法实施自我优惠、不正当竞争、影响网络舆论或逃避监督。

“总的来说，智能算法已广泛应用于许多行业。考虑到其巨大的生态规模、潜在的风险和社会影响，它们不容忽视。我国的算法监督体系正在逐步完善，但具体内容有待细化和完善。从机制上看，算法监督的具体内容至少包括以下内容。”姚前说。

第一，信息披露，即作为算法的设计者和控制者，相关主体和利益相关者应披露算法设计、实施和使用过程中可能存在的偏差和漏洞、数据来源以及对个人和社会的潜在危害。

第二，解释，即作为采用算法自动化决策的组织，相关主体和利益相关者有义务解释算法的运行原理和算法的具体决策结果。

第三，留痕迹可审计，即对算法系统的设计、测试、运行性能和变化进行全程记录、监控和审计。

第四，查询和上诉，即确保受到算法决策负面影响的个人或组织有权对算法提出质疑和上诉。

第五，内部治理。相关实体应建立清晰有效的内部治理框架、内控机制和责任制度，防止算法滥用，防范算法风险，提高算法对抗性，避免算法攻击。

第六，加强行业自律。通过行业自律机制，加强算**理和算**理建设。

姚前说，不可否认，该算法催生了一种新的经济模式，带来了整体社会效益的提高。它有其独特的优势，但“一个优势必须有一个劣势”。近年来，算法滥用、算法邪恶、算**理和算**理等问题引起了广泛关注。在1844年的《经济学与哲学手稿》中，马克思对机器工业化时代的人类“异化”现象提出了警告。正如机器流水线在工人之上，算法也可能在众生之上，其中的风险也值得关注和警惕。因此，加强算法监管以应对新技术不仅是一种适应性政策，也是一种必然举措。