我院院长方兴东教授和研究员钟祥铭、宋珂扬的论文《Sora与新控制危机——理解智能传播时代风险的新机制、新治理和新逻辑》发表于《传媒观察》2024第5期。

现刊出全文，以飨读者。

作者简介

方兴东：浙江大学传媒与国际文化学院常务副院长、乌镇数字文明研究院院长

钟祥铭：浙江传媒学院新闻与传播学院助理研究员，乌镇数字文明研究院研究员

宋珂扬：浙江大学传媒与国际文化学院博士研究生，乌镇数字文明研究团队成员

编者按

ChatGPT和Sora相继问世，开启了AIGC全面主流化进程，人类社会也将面临新一轮控制危机和控制革命。乌镇数字文明研究院院长方兴东教授、研究员钟祥铭和博士研究生宋珂扬在《传媒观察》2024年第5期刊文，从传播主导权力运行的视角，来解析智能传播的机制及其社会影响，为理解社会的控制危机和控制革命，提供了新的分析框架。根据风险成因和机制，该文将Sora等AIGC可能带来的风险从低到高分为行为性失调、功能性失调、结构性失调和颠覆性失调四类。智能时代风险的核心是：在数字技术实现高度互联的背景下，人类之间合作与自我管理的基本层面出现了问题。因此，积极构建新的全球性高效协作治理机制，应该成为头等大事。

观点精粹

1.有效应对Sora等引发的危机，需要深刻理解人机融合下全新的社会关系、社会结构和社会运行机制，理解新的特性、逻辑和规律。

2.关键基础设施的整体性变革和重构，既是AI技术发展的基础，也是其带来结构性风险的根源。

3.如果AI技术的发展导致机器具有高度的自主性和智能，就可能会使人类逐渐处于边缘化地位，失去对自身命运的控制权。

4.AI治理的本质并不是技术本身，而依然还是人，是人与人之间的合作。

关键词

Sora；控制危机；控制革命；AIGC；智能传播；AI治理

引用格式

①方兴东，钟祥铭，宋珂扬.Sora与新控制危机——理解智能传播时代风险的新机制、新治理和新逻辑[J].传媒观察,2024(05):59-70.

②方兴东，钟祥铭，宋珂扬. (2024).Sora与新控制危机——理解智能传播时代风险的新机制、新治理和新逻辑.传媒观察(05),59-70.

论文正文

随着ChatGPT、Sora等生成式AI技术与应用相继走向实用化，人类社会信息传播迎来了新的谷登堡时刻。Sora打通文本、图片、音频、视频等各类媒介之间的界限，实现全方位数字化对接与转换，标志着智能传播打通“最后一公里”，为全面主流化做好了基本的技术条件。但是，生成式AI技术固有的不确定性、不可解释性和不可预测性，交织着幻觉（hallucination）、黑箱、深度伪造、军备竞赛、版权与隐私、偏见与歧视、智能鸿沟以及各种滥用问题，给信息传播、社会运行和人类社会带来全新风险。

Sora实现了“模拟现实世界”的多模态内容生产，预示着智能体（AI Agent）成为具备全方位信息和内容生产的行为体。一旦技术成熟，智能体可以轻松超越人类，成为信息生产的主导性主体，而彻底改变整个人类信息传播的范式与格局，从此进入真正高度多元主体的复杂传播系统时代。主体的转移、主体地位的转换以及多元主体联动耦合的新系统体系，将带来信息传播效率、速度和丰富性的极大改进，也将带来社会运行和社会架构新的变革因素，风险也随之剧增。

詹姆斯·贝尼格（James Beniger）将现代社会视为一种开放的信息处理与控制系统。在《控制革命：信息社会的技术与经济起源》（1986）一书中，贝尼格用“控制的革命”这一概念阐发了信息革命、信息社会、技术化社会的动力机制。他认为，自19世纪到20世纪中叶的工业时代开端，不论是电报、电话、无线电和计算机等信息通信技术，还是生产流水线和科学管理等生产管理技术，以及调查统计与户籍档案制度等社会管理技术，纵贯其中的就是控制的革命。贝尼格提出，19世纪以来，城市化带来的陌生人社会和现代工业化大生产导致了一系列的“控制危机”，信息技术的发展就是对它们的回应。由此从电报、无线电到计算机和互联网等信息技术的发展，导致了一系列“控制革命”。

随着ChatGPT、Sora的相继问世，AIGC全面主流化进程开启，人类社会也将面临新一轮社会的控制危机和控制革命。目前针对风险与危机的思考及其对策，大多局限于如何使用技术本身，如何理解这场控制危机的成因、提供科学理性的理解框架，并为最严重的可能性风险设置必要的“护栏”，时不我待。

一、生成式AI风险的本质：新一轮控制危机与控制革命

迄今围绕生成式AI风险的研究，基本都停留在技术及其应用的管控层面，这是一种刻舟求剑式的误区。我们必须超越技术、跳出技术本身，站在新技术引发社会关系、社会结构及其社会运行的潜在变革和可能风险的角度，才可能豁然开朗。

生成式AI风险的本质，是人类将面临新一轮控制危机与控制革命。这里所谓的“控制”不是技术控制，而是维持人类生存与社会运行的基本社会控制能力。要有效应对这场危机，我们首先需要比较工业时代与数字时代两次危机的异同。简·梵·迪克在《网络社会》中认为，我们正处于第二次控制危机之中，它源自现代经济对复杂过程控制的需求。而第一次传播革命的产物现在反而成为了障碍，需要通过第二次传播革命来解决。他提出应对这场危机的三大革新：建设弹性的网络组织、新的交通和传播基础设施以及更加碎片化和个性化的传播方式。显然，他提出这一框架时互联网革命才刚刚开启，对于数字时代这一轮危机的认识为时尚早，智能革命还难以预见。但他从传播角度分析控制危机的方法，为我们提供了一个有益的观察视角。

我们可以通过比较工业时代和数字时代两次控制危机的相似之处和不同之处来更好地理解当前的挑战。工业革命期间的控制危机来源于控制的组织和传播方式滞后于物理生产、能源提炼和运输的规模、速度和复杂性。其最终通过以官僚组织、交通和传播的基础设施的出现、大众传播和大众研究等三个革新为标志的控制革命予以解决。为了解决这些问题，还出现了一系列控制技术上的创新，包括科学管理、移动式装配线、自动控制技术、数据统计与生产质量控制、市场反馈和人际关系科学等。与第一次基于经济考量的控制危机相反，我们当前正在经历的这次危机是由传播引发的。以Sora为代表的媒介生产自动化与媒体形态一体化的生成式AI技术正式开启新谷登堡时刻，通过数据和算法实现了信息传播的指数化增长，代表着人类传播的又一次根本性变革。人在信息传播中固有的主体地位被颠覆并重构，AI生成内容将占据绝对主导，一个全新的人机融合的合成社会即将到来。如今，社会系统中的行动者、社会关系、社会结构与功能等正经历着深刻变化，使社会系统的认识、研究和治理均面临着重大挑战，随之而来的控制危机正不断凸显：技术、应用和用户以及风险都是全球性的，而治理却是碎片化的；深度造假、混合和合成媒体（hybrid and synthetic media）等应用将对社会、社会关系、民主和法治产生重大影响；人类在人机融合进化中的处境和地位问题，成为越来越重要的研究领域。技术变革导致传播变革，进而引发社会变革。我们面对的是一场从技术开始，但远远超出技术本身，深刻影响社会组织和结构的变革。有效应对这场危机，不仅需要技术上的革新，更需要在社会结构和全球治理层面上的深思和重构。

要有效应对Sora等引发的危机，需要深刻理解人机融合下全新的社会关系、社会结构和社会运行机制，理解新的特性、逻辑和规律，并从中找到风险与危机的正确应对之道。仅仅将目光局限在不断变化的各种新兴技术本身，不但可能如缘木求鱼而难以有效解决，更可能延误关键战机。

首先，这一轮控制危机与革命要解决人机融合的社会何以可能的问题。埃森哲首席技术和创新官Paul R. Daugherty等人从商业和经济变化的角度，认为人工智能范式转变的本质是组织内所有业务流程的转变。然而，从人机协作到人机融合，机器必将成为信息和内容的主导性生产者，人在社会中的角色与位置转变也将成为最基础性的挑战。机器自主性、智能性的形成，使其成为与人共同进行社会治理的行动者，成为社会主体的一部分。人机关系演变为人机深度融合状态。人机融合智能可能会产生一种新型的逻辑关系、合作模式，超越了传统的人与机器之间的关系。

其次，第一轮控制危机与革命影响范围是有限的，有着鲜明的地域性或国家性。而新一轮变革的范围是超越边界的，有着天然的全球性。信息和数据的跨境流动，全球产业链中深度集成的计算能力，以及由全球性知识网络支撑的关键人工智能算法，这些都带来了前所未有的直接风险及由人工智能发展引发的深远结构性风险。新旧叠加的风险，无法通过单一国家，也无法通过现有治理结构来解决。现阶段的全球AI治理面临风险全球化与治理分散化的显著矛盾，我们迫切需要建立一个有实际效力的全球人工智能治理框架来应对这些挑战。

最后，社会技术系统理论框架难以解释当前正在发生的新一轮的控制危机。行动者网络理论、网络物理社会系统理论（cyber-physical social systems theory）和社会机器、人机网络等现有理论，将机器视为一个单一的实体“技术”，排除了机器的多样性、自主性和异质性，并且经常将网络效应和突发结果排除在讨论之外，忽略了多人和机器大规模共存和交互的所有情况。正如Milena Tsvetkova等人所认为的那样，在AI变得更加复杂和先进并被广泛传播之前，发展一种新的“人机社会学”（sociology of humans and machines）的时机已经成熟。毕竟，生成式AI表现出的涌现行为本身需要解释，难以预测的智能体又将极大地增加理解人机社会系统动态和模式任务的复杂性。

二、理性分析：以Sora为代表的生成式AI背后的风险、机理与类型

工业时代的第一轮控制危机驱动了传播革命，而数字时代这一轮革命是快速爆发的智能传播革命，驱动了整个社会的控制危机。我们必须将目光从技术转移到潜在的社会关系和新的社会形态。通过控制技术本身的应用并不能真正控制危机，更无法有效解决技术引发的社会问题。今天人类通过互联网元架构奠定的全球开放一体化基础设施，已经将全球70%以上人口高度联网在一起。因此，解决的复杂度和难度显然比上一轮要大得多，风险也比上一轮要严重得多。这一新的危机生成机制和时代背景，决定了危机与风险的形成与扩散具有工业时代初期所不具备的全球性、广泛性、即时性和系统性。

曼纽尔·卡斯特说，传播即权力。传播是社会权力的运行方式，是人类社会存在的方式。而技术提供了冲击现有体制的反权力的崛起。从权力视角解析智能传播的机制及其社会影响，为我们理解控制危机和控制革命提供了新的分析框架。人是以往信息传播中内容生产的主体，也是社会权力的基石。但随着以ChatGPT、Sora为代表的智能传播的主流化，特别是，当智能体成为新的主导性主体，也就意味着智能传播是人类社会权力的一次大重构，人类主导的社会生活的诸多权力，将大规模“移交”给机器。智能传播在重构社会权力结构的同时，也带来了一系列新的社会风险。

近年来，关于AI相关风险的公共辩论持续高涨，但讨论往往围绕两个极端，一是如AI导致失业这一类温和的AI风险，二是与所谓的“回形针最大化器”（paperclip maximizer）思想实验相关的灭绝风险。为此，Alexey Turchin和David Denkenberger尝试提出一个新的分类方法来全面探索AI的一系列灾难性风险。他们发现，AI风险领域十分复杂且多样化。这些风险并没有一个简单的解决方案，必须针对AI发展水平进行定制。Haiman Wong等人将AI风险分为数据滥用和隐私侵犯、负责任的AI风险、安全漏洞和意外的技术滥用以及AI安全危害等五个相互依存的关键类别。其关注到不同风险类别之间存在的关联性，但缺乏一种用于解释不同风险之间清晰的逻辑关系。基于上述研究，我们试图将风险按从低到高、从简单到复杂，划分为行为性风险、功能性风险、结构性风险和灭绝性风险等四大类别。引发的问题和风险也对应分为行为性失调、功能性失调、结构性失调和颠覆性失调四类。从个体行为到社会结构，再到人类存续的整体风险；从行为性风险可能导致功能性失调，而结构性失调可能加剧灭绝性风险。这种分类方式不仅为理解AI风险提供了一个清晰的框架，还可以在某类风险成为严重威胁之前采取预防措施。如及时调整或干预行为性风险，防止某些功能性和结构性问题的发生。

行为是指人们一切有目的的活动，理解起来相对简单。而结构和功能之间的关系，稍显复杂。结构是关键，也是核心，且结构决定了功能。也就是说，要想知道功能是如何实现的，得弄清事物的结构。功能是作用、效用或某种能力，它由结构决定。我们常常说什么东西具有什么效用，这种效用就是要素结构的外在化表现。

从医学角度看，如果把人的身体比喻成电脑的话，那么结构性问题就像是硬件问题，而功能性的问题就像是软件问题。要解决结构性问题和功能性问题，前者需要医生，后者需要治疗师。当然两者可能存在复杂的交错。从社会学角度看，结构是功能的载体，功能是结构运行的结果。结构不涉及价值，是描述性概念。功能则涉及价值，是解释性概念。社会结构是恒定的社会关系。社会学在使用社会结构一词时，主要用它说明社会关系的性质、类型、范围、层次等。结构与功能还是帕森斯结构功能主义的两个基本概念。结构指社会行动中由各个单位结合而成的形式，功能指社会系统中的各个构成单位在维持社会均衡整合的运转中所起的不同作用。社会行动由人际互动所构成，这种人际互动按照一定规律，有一定的模式，家庭、经济、教育、政治等制度就是社会结构的一定方面，它们的组成单位有各种不同的角色。社会是一种非常严密的组织，各部分各单位之间相互联系、不可分割。由此可见，结构是一系列相对稳定和规范化的社会或具有相对持久的规范的系统。结构功能行为辩证统一准则认为，有什么样的结构就会产生什么样的功能、什么样的行为，具有同样功能的系统不一定具有相同的结构，但为了实现复杂系统的功能，总要落实一种相同的结构，虽然并不是唯一的结构。

当然，行为性、功能性、结构性和灭绝性四类风险的划分更多是原则性的，根据风险的主要特点而简单划分。事实上，现实中的风险更为错综复杂，彼此之间很难有清晰界限，而是相互交织、相互融合和相互转化。划分的目的主要是便于分析，了解各类风险的内在机制，并形成有效的对策。

三、低强度：行为性失调与行为性风险

Sora作为全新的信息传播方式，相应的行为规范和法律制度有着相当的滞后性，还缺乏清晰的边界，这为技术的滥用创造了条件。Sora等生成式AI带来的行为性风险与之相伴而生，主要包括低成本且高效率的全新虚假信息生产、深度伪造技术嵌入以及诸多失范和滥用等。

行为性风险是指相对明确且容易识别的风险，与具体的行为本身相结合，往往是一次性的，风险扩大的可能性有限，容易被控制和应对。其形成的首要原因是智能体取代人成为信息传播行为体，在过去的人类信息传播中，人始终是信息生产和传播的关键主体，人的环节成为信息生产和传播控制和监督的关键所在。而智能体的爆发将彻底改变这一格局，并由此产生各类风险与问题。

当然，行为性风险的背后并不仅仅是机器本身，还依然有着人的因素。主要表现在AI技术被犯罪分子和恶意行为者等群体滥用。著名神经学家安东尼奥·马西奥（Antonio Macio）的研究表明，机器或许在线性推理和另辟蹊径寻找答案上比人类更胜一筹，但是机器不具备情感。因此，不必担忧机器会因为仇恨而杀害人类。如果这种担心有朝一日成为现实，那倒更有可能是因为机器执行了杀害人类的程序。特别是，继ChatGPT出现后，Sora的诞生再次拓宽了AI的应用场景，同时也打开了“潘多拉魔盒”，为犯罪分子提供了更新更高级的工具。英国伦敦大学道斯未来犯罪中心认为，人工智能在犯罪活动中有三种执行途径：犯罪工具、犯罪活动的目标以及背景。该研究确定了20种由AI驱动的未来犯罪类型，其中“音视频冒充”“欺骗人脸识别”这两类将在Sora技术的支持下取得快速发展。在没有相应治理策略的情况下，如果Sora开放给公众使用，就可能极大限度地降低犯罪门槛和犯罪成本。

Taís Fernanda Blauth等人认为“AI犯罪”这一术语无法涵盖所有可能的情况，并非所有使用AI技术造成的有害行为都符合立法中犯罪的定义。相反，“恶意使用”和“恶意滥用”更广泛地描述了使用AI技术来增强、促成或加剧个人或组织的有害行为。他们将AI驱动的攻击看作是“恶意使用”，包括完整性攻击，例如对抗性示例可以操纵ML模型，导致模型犯错误分类等错误，微软的Tay就是一个例子。随着算法交易的兴起，股市也总在有意无意之间遭受高速崩盘。欺骗和网络钓鱼的聊天机器人也不容忽视，Cyber lover使用自然语言处理技术定制对话，诱使人们在聊天过程中分享个人信息或点击欺诈链接。“恶意滥用”是指利用人工智能模型的漏洞进行犯罪，恶意行为者使用人工智能开发算法或社交机器人来操纵公众舆论。如剑桥分析公司（Cambridge Analytica）利用脸书平台上的一个心理测验应用程序，通过获取用户和他们的朋友圈数据，构建了庞大的选民画像，并据此进行了针对性的政治广告宣传。此外，AI系统的恶意滥用还加速了对错误信息和假新闻的创建及传播。ChatGPT4.0的出现给错误信息和假新闻的创造提供了一个“图文并茂”的快速通道，而Sora的诞生或将使得错误信息和假新闻的制作更加“绘声绘色”，传播效果也将表现得“更好”。在Sora诞生之前，“深度伪造”（Deepfakes）技术就可以创建超现实的图像和视频，例如Deepswap、BasedLabs AI Face Swapper、Vidnoz等都能根据已有视频或图片进行换脸。与之不同的是，Sora可以创造一个“新世界”。目前Sora生成的视频还是“默片”，而AI语音克隆公司ElevenLabs为Sora的演示视频生成了配音，且音效与视频完美匹配。倘若不法分子将三者融合使用，危害不容小觑。

风险不是静态的，它与技术一样，不断演进。其基本趋势是，风险将随着智能传播的不断深入而与日俱增。比如，技术的不可解释性，尤其是深度学习模型，被认为是“黑箱”模型，它们的决策过程通常难以解释或理解，而这种不可解释性将会导致信任问题，限制人们对该技术的采用和应用。而且，未来技术将呈现越来越强大的自主性。AI系统开始具备“独立思想”，导致其行为超出设计者的意图和控制，以致难以预测系统将做出的决策，增加管理和控制这些系统的复杂性。同时，犯罪意图的确定也变得日趋困难。人类将扮演部署、编程或监督AI的角色。牛津大学互联网研究所的Thomas C. King等人将扮演这类角色的人定义为人类代理人（human agent），并认为人类代理人的犯罪意图可能与AI的犯罪行为脱钩。由于AI系统十分复杂，人类代理人很难完全掌控已形成一定自主意识的智能体的行为。这种情况下，人工智能犯罪（AIC）很难进行责任界定与分配，从而导致惩罚目标不清晰或惩罚力度不相称。Sora或为深度伪造技术推波助澜。深度伪造技术可用于各种恶意目的，包括金融诈骗和政治操纵，还被用来制作未经同意的色情材料以进行骚扰或勒索，甚至可用于篡改医疗扫描等成像数据，以损害卫生基础设施。部分不法分子通过对训练数据“投毒”，利用人工智能系统的漏洞进行欺骗或操纵攻击。就像微软的聊天机器人“Tay”被操纵发表种族主义言论一样，Sora可能升级社交机器人样态，出现“拟人、拟态、拟景”的视频式社交机器人，升级认知战的武器。攻击者可以对输入数据进行逆向工程让AI系统显示特定行为，从而使人难以辨别其真实性，使得这种风险容易逐步上升为功能性和结构性的风险。

四、一般性：功能性失调与功能性风险

掀起这一轮生成式AI风暴的OpenAI公司首席执行官萨姆·奥特曼，虽然对于AI风险给予了很克制的表达，但是他也坦承，让他在AI方面夜不能寐的危险是“非常微妙的社会失调”，这可能会使系统造成严重破坏。“有些东西很容易想象，哪里出了问题。我对杀手机器人在街上行走的方向不太感兴趣，我更感兴趣的是非常微妙的社会失调，我们只是把这些系统放在社会上，并没有特别的恶意，事情就会变得非常糟糕。”在迪拜举行的2024世界政府峰会上，奥特曼再次呼吁成立一个像国际原子能机构这样的机构来监管AI，因为AI的发展速度可能比世界预期的要快。

社会失调是指构成社会的各基本要素、各子系统之间的关系失去平衡，导致社会无法发挥其正常功能的状态。其主要包括社会关系的失调和社会结构的失调。社会失调显然是一个很中性的学术表达，还无法清晰地呈现出真正的风险所在。这是当下研判AI风险的客观现实，但也有其淡化风险的意图。奥特曼认为需要成立一个国际性的组织来监管，那么这种失调至少是功能性的。同时，AI不能被简单地看作是封闭的技术系统。即便在功能层面，它们也必须被视为复杂的、开放的社会技术系统，这些系统依赖并与更广泛的物质基础设施、社会、政治和经济机构及组织互动。

功能性风险涉及数据问题、算法错误、设计缺陷、软硬件故障以及与人类交互的问题。许多计算机和数据科学家已经意识到，数据往往是有偏见的，算法有时会造成伤害。在信息失真或误导性信息的生成方面，算法、数据库管理等错误导致系统误解用户的请求，进而误导用户。而基于不完整或不准确的数据生成误导性的信息，如大语言模型一本正经地胡说，导致AI系统产生错误的理解或做出错误的决策。刻板印象的生成则是由算法强化偏见造成的，某些AI系统在做出决策时可能会基于歧视性的偏见或者不公平的标准，继而导致对某些群体的不公正对待。但这些行为决策往往是可以根据人的主观意识形态发生改变的。例如，在使用ChatGPT4.0生成图像时，用户可以细化描绘或多次指令，使得图像的呈现更贴合需求。当指令人判断出得到的回答是错误的，则可以选择错误生成按钮提示智能模型，从而再次生成，直到得到令人满意的“回答”。在这一阶段，人仍然是信息传播的主体，拥有一定程度的风险控制能力。一旦数据问题、算法错误、设计缺陷或软硬件故障导致AI系统多次生成刻板或歧视内容，且无法根据修改指令生成确切回答，就将被视为是功能性风险的一种表现。Sora是在DALL·E和GPT模型的研究基础上构建，使用了DALL·E 3的重述技术，将视频和图像表示为小的数据单元，即补丁（patches），每个补丁类似于GPT模型中的令牌，进而处理不同尺寸和长宽比的视觉数据。因此，无论是在语料库、算法，还是用户互动等层面，Sora数据库中不可避免地内含西方意识形态，会影响倾向性并主导价值观的形成。因此，不同文化背景下的价值观和实践也是需要考虑的。约瑟夫·希发基思认为需要注意确保AI系统的性能提升与人类控制的缺失之间达到平衡。在AI技术应用中，人类需要保持对系统的控制和监督，以确保其符合人类的价值观和伦理标准。与其他AI技术一样，Sora在决策和行为过程中也存在违背伦理道德原则的可能性，这将导致社会对其产生不满和抵触。

Sora正在超越传统民族国家限制，其发展需要大量数据支持，涉及到跨国界的数据流动、合作研发等。Sora系统可能会收集、存储和处理用户的个人信息，如果这些信息未经充分保护，就可能会导致隐私泄露和侵犯，使得它们容易受到恶意攻击或者被用于攻击其他系统，产生数据泄露和系统瘫痪等问题，继而引发社会恐慌和安全隐患。由此可见，数据隐私安全和伦理道德问题需要全球性的控制。更值得注意的是，Kate Crawford发现，在机器学习偏差的研究中，人们过于聚焦“分配伤害”（harms of allocation），即AI系统不平等的分配结果，而对“再现伤害”（harms of representation），即AI系统在再现社会身份时的不准确或歧视性表现所造成的伤害，关注不足。由于“再现伤害”是长期的、难以形式化的、分散的和文化性的，因此从潜在伤害的角度来界定偏见，突显了社会而不仅仅是技术方法对于预期和管理AI风险的重要性。

五、高强度：结构性失调与结构性风险

奥特曼所说的“社会失调”显然更可能指向社会的结构性失调。也就是说，通过技术和功能性的举措难以应对和解决的风险，需要全球性的统一监督和联手合作，才可能得到控制。结构性风险包括高复杂性、多重不确定性、重大模糊性以及对来源系统之外的其他系统产生的越界影响，与整个系统紧密相关。它通常是由系统内部组成部分的相互联系和依赖性而产生，并影响整个系统的稳定性，且当一个组成部件失败时会造成连锁反应。由于这些特点，结构性风险超出了现有风险管理的范畴，为政策制定在风险评估和风险治理方面带来了新的、未解决的挑战。而非结构性风险则不会对整个系统造成影响。

结构性风险重要的成因不是简单新技术和新应用的形成，而是关键基础设施发生了整体性的变革和重构。近年来，研究者开始将目光转向对结构性人工智能风险的关注。以往事故与滥用的二分法掩盖了包括人工智能在内的技术如何经常以微妙的方式塑造“结构”创造风险。从结构性视角来考察某些风险，意味着探究结构性因素如何导致或者影响这些风险的产生，即技术如何以可能具有破坏性或有害的方式塑造更广泛的环境。比如，铁路作为第一次世界大战爆发原因的重要性受到历史学家和政治学家的激烈争论，但这也说明了铁路等技术，即使没有被故意滥用并按照预期运行，也可能产生深远的影响，达到负面效果。

关键基础设施的整体性变革和重构，既是AI技术发展的基础，也是其带来结构性风险的根源。随着新的应用程序正在将人工智能推向主流，人工智能对网络和基础设施的影响正在成为关键议题。对大语言模型（LLM）数据库进行实时、低延迟处理以提高动态响应能力的需求正在对数据中心和网络产生重大影响。这意味着现有的数据和传播基础设施必须进行彻底的改造和扩展，以满足对更强的硬件、更大的网络带宽、边缘计算能力的发展以及更高的功耗等新的人工智能需求。人工智能的实用性取决于速度、容量和智能，它需要处理来自各种来源的大量数据，并满足实时大数据传输的要求。这需要一个弹性和强大的网络基础设施，以及提供快速、低延迟连接的云系统，这些系统要自动化、开放和灵活。

与此同时，随着新技术被融合进现有系统，基础设施的复杂性增加。技术之间的互操作性问题可能导致系统脆弱性，增加了在多组件相互作用时出现故障的风险。新技术的广泛应用使得社会对基础设施的依赖性增加。一旦这些基础设施出现问题，可能引起连锁反应，影响到更广泛的社会系统。特别是，基础设施更新周期大幅缩短，在没有完全理解新技术的前提下就急于将其部署到关键系统中，可能导致社会系统性风险。因此，在人工智能、电信和关键基础设施等错综复杂的发展中，需要一个全面的监管框架来平衡促进创新和确保关键基础设施的安全性和弹性。

结构性风险也有高低之分。有些是非紧迫性的，但也是很关键的，比如由于智能技术发展不平衡、应用不均衡的全球性智能鸿沟问题。而严重的、不可逆和不可控的结构性问题有可能威胁人类文明乃至整个人类的生存。这就是人们担忧的这一轮人工智能浪潮可能带来的灭绝性风险。

六、超强度：颠覆性失调与灭绝性风险

“结果只是一个时间问题，但机器对世界及其居民拥有真正至高无上地位的时刻将会到来，这是任何一个真正有哲学头脑的人都不会质疑的。”这是小说家塞缪尔·巴特勒（Samuel Butler）在其1863年的文章《机器中的达尔文》中的论断。他也被视为是最早对高度先进的机器可能对人类构成生存风险表示严重担忧的作者之一。随着ChatGPT和Sora的出现、AI技术更新换代的加速，人们普遍担心已经迎来类似核武器危及人类生存的“奥本海默时刻”。欧盟委员会玛格丽特·维斯塔格（Margrethe Vestager）认为，大型数字平台“挑战民主”，而“通用人工智能”是“挑战人类”。人类从来没有“面对过如此强大且没有明确目的的技术”。人工智能正在像80年前的原子武器一样迅速而具破坏性地迎来一个“新世界”。被称为“人工智能教父”的计算机科学家、神经网络之父杰弗里·辛顿（Geoffrey Hinton）表示，人工智能可能发展到对人类构成“消灭人类”威胁的地步，“并非不可想象”。他因此辞掉谷歌的工作。“我对自己的毕生工作，感到非常后悔。”他认为，数字智能终将取代生物智能。接受了海量网络信息训练的AI会比人类更聪明，因而能够轻易操纵人类——这是超级智能接管人类控制权的路径之一。早在2002年哲学家尼克·博斯特罗姆（Nick Bostrom）就曾表示，通用人工智能（AGI）的实质性进展可能导致人类灭绝或不可逆转的全球灾难。深度学习三巨头之一的Yoshua Bengio认为，AI安全与核武器问题非常相似。世界上的AGI项目越多，对人类来说就越危险。因此，应该和通过国际条约来控制核武器数量一样，去控制AGI项目的扩散。“这不是国与国之间的对抗，而是人类与机器之争。所有人都应该同舟共济，患难与共。”

对于AI对人类带来颠覆性甚至灭绝性的风险，这类最严重的警告其实由来已久。早在2014年，英国理论物理学家斯蒂芬·霍金（Stephen Hawking）就在接受采访时警告称，“全面发展AI可能会预示着人类的终结。”霍金在《简明回答大问题》一书中写道：“我们可能会面临智能爆炸，最终导致机器的智能超过我们的智能。”同时，他警告称，不认真对待AI带来的风险，可能会成为“我们有史以来犯下的最严重的错误”。

霍金的警告随着以ChatGPT和Sora为代表的生成式AI的突破，得到越来越多人的响应。“只有当我们确信它们（AI）的影响是积极的并且它们的风险是可控的时候，才应该开发强大的AI系统。”2023年3月，伊隆·马斯克（Elon Musk）和苹果联合创始人史蒂夫·沃兹尼亚克（Steve Wozniak）等数千名科技专家一起签署了一封公开警告信，呼吁停止开发比OpenAI的GPT-4聊天机器人更强大的AI系统，并至少暂停6个月。哲学家苏珊·施耐德（Susan Schneider）在《人造的你》（Artificial You）一书中探讨了人类心智的未来，通过考察AI算法背后的哲学问题，分析了AI最棘手的潜在影响。作者认为，如果对人类心智的本质还没有更进一步的理解，我们就不应该进行上述研发和应用的尝试。对潜在的哲学问题把握不足，我们对AI和大脑强化技术的运用就可能出现问题，甚至导致人的痛苦和消亡。美国国务院委托Gladstone AI公司撰写的一份报告，为美国政府高层提供关于AI机遇和风险的咨询。该报告基于一年多以来对200多人的采访得出，采访对象包括来自领先AI公司的高管、网络安全研究人员、大规模杀伤性武器专家和政府内部的国家安全官员。报告认为，快速发展的人工智能可能对人类构成“灭绝级”威胁，因此美国政府必须采取干预措施。

如果AI技术的发展导致机器具有高度的自主性和智能，就可能会使人类逐渐处于边缘化地位，失去对自身命运的控制权。AI系统在日常生活中的广泛应用可能使社会过度依赖技术，降低人类自身能力和智慧，从而导致技术失控和社会脆弱性增加。随着机器变得更加智能，人类可能会将决策控制权交给它们，从而导致人类依赖机器并沦为次要地位。AI时代无数现代机械和数据驱动的依赖，让人类得以生存和相互联系在一起。它使得我们的栖息地向信息圈转变，具有深厚的生态本质。现如今，AI成为我们社交网络中普遍的一部分，人类对其的依赖是可以预见的，且会更加常规化。大多数依赖关系都是把信任作为前提，无论信任是否自愿，它都与依赖所承担的风险和收益相关，至于依赖的水平则取决于从技术到人类的权力分散。数据依赖性和数字空间的快速扩展使这些依赖性在我们的生活中进一步根深蒂固。因为害怕失去AI带来的便利等一系列利益，人类对AI的依赖已经脱离了简单的社会功能。因此，在人机关系中很难主动对依赖关系施加控制。对AI的依赖将对社会价值观产生一定影响，从而导致社会关系的失调，甚至重塑社会。但对AI的依赖性并不完全是消极的。当AI依赖性得到适当校准、公开实施和公平分配时，它们有潜力解决许多紧迫的全球挑战。

AI的武器化正在成为现实，而自主武器中AI的应用或将给人类带来意想不到的、不可预见的、前所未有的破坏性后果，AI技术的快速演进超出了现有法律和伦理框架的调整速度。传统的威慑理论假设建立在核武器基础上，其威慑效果来自于相互保证的毁灭性报复能力。而自主武器和AI技术的发展正在导致不对称的威慑关系。AI技术的潜在变革性质可能会改变战略威慑的本质，而拥有先进技术的国家能够获得战略优势。这种技术差距会破坏传统的相互保证毁灭的威慑模式，创造出新的威慑动态。

马斯克在Abundance峰会“人工智能辩论”研讨会上表示：“我认为AI有可能终结人类文明。我可能同意Geoffrey Hinton的观点，这个概率大约是10%到20%左右。”当然，他也补充说：“我认为积极的可能性场景要大于消极的可能性场景。”

七、人机融合时代全新的全球协作机制何以可能

贝尼格认为，正是对控制危机的应对导致了控制革命，人们开始有意识地从调控社会与物质系统的需求出发，通过对信息的收集、贮存、处理和传播，运用科学管理、数量规划和基于信息的决策等“有形之手”（visible hands），使各种系统更具有目的性与合理性，从而实现对整个社会系统的控制。梵·迪克注意到，被贝尼格视为控制革命解决途径的三个系列革新却在各行其道，需要第二次传播革命来解决。如其所言，“新媒体网络是解决这些问题的重要工具，这些网络能够支持组织的灵活性、有效性和生产力，能够改善各种各样的后勤处理过程，能够用信息运输来取代货物和人们交通，还能够有效地到达一部分正在交流的消费者。”他强调了新媒体网络在解决组织和社会控制问题中的重要作用。但他当时可能没有预见到智能传播兴起带来的新一轮控制危机。

许多关注AI风险的学者认为，最好的方法是进行大量研究来解决困难的“控制问题”。例如程序员可以实施哪些类型的保护措施、算法或架构，以最大限度地提高其递归改进的AI的概率；哪些社会措施、军备控制方法，以及如何从国际关系等角度减轻AI带来的风险，等等。与此同时，AI研发进程正引发围绕安全和伦理等问题所展开的正反两方的激烈辩论。爱尔兰独立报发表评论称：“机器学习有望从根本上重塑一切事物的未来，无论好坏，就像互联网在一代人之前所做的那样。然而，正在进行的转型可能会让互联网看起来像是一场热身表演。人工智能有能力扩大和传播我们所有的人类弱点。现在是时候制定新的规则和工具，为用于训练人工智能系统的数据集和决策演算中内置的价值提供更大的透明度。”经济学家Julien Serre警告说，我们迫切需要改进我们处理AI的方式：“我们需要尽快推动建立新机构。欧洲可以在这方面发挥主导作用。它的首要任务必须是促进既有竞争力又负责任的科技产业。欧洲必须确保当前开发和部署更强大数字工具的竞赛不会变得无法控制。”与之相对的是，比尔·盖茨认为，暂停人工智能的呼吁不会解决挑战。“这些事情有巨大的好处，我们需要做的是找出棘手的领域。”法国观点报（L'Opinion）则认为不需要暂停：“鉴于经济、法律和地缘政治挑战，很明显，我们现在需要的不是暂停，而是加速。生成式AI提供的可能性是未知领域，但我们不应阻碍这个新的狂野西部的开拓者，而应让竞争自行组织起来，同时监管机构定义管辖界限。”

面向公众的AI工具和产品正以难以置信的速度推广到日常技术领域，从办公软件到搜索引擎，再到政府本身的运作，并迅速成为监管、法律和在线隐私等问题的最新数字前沿。人工智能在各个领域的迅速融合，促进了治理领域从单纯的规划向行动的转变。借助AIGC的能力，恶意行为者已经在实施犯罪并传播错误和虚假信息，各国政府都在努力跟上步伐，加快了倡议、制度和治理机制的推进。2023年10月“一带一路”国际合作高峰论坛期间，中国发布《全球人工智能治理倡议》，并在其中提出“积极支持在联合国框架下讨论成立国际人工智能治理机构，协调国际人工智能发展、安全与治理重大问题”。同年11月初，人工智能安全峰会在英国布莱切利公园举行，包括中国、美国、英国和欧盟在内的超25个国家和地区代表参与，发表的《布莱切利宣言》认为，对于前沿人工智能技术有意识滥用或者无意识控制方面的问题，可能会引发巨大风险。宣言提出，针对世界范围内“共同关注的人工智能安全风险”，各国可能会制定基于风险的政策、细化风险等级以及治理方式，从而加强安全、促进发展。

2024年欧洲通过了第一个《人工智能法案》（AI Act），标志着对人工智能应用进行全面法规约束的重要一步。该法案将人工智能的应用分为不可接受风险、高风险、有限风险和低风险或最小风险四种类型。法案把与人类交互的系统（即ChatGPT这一类聊天机器人）、情感识别系统、生物识别分类系统以及生成或操纵图像、音频或视频内容（即Sora这一类的“世界模拟器”）视为“有限风险”，将受到有限透明度义务的约束。“高风险”是指对人们的安全或基本权利产生不利影响的AI系统，具体分为两类：一是作为产品的安全组件，二是属于欧盟健康和安全协调立法的系统（例如玩具、航空、汽车、医疗器械、电梯）。另外，对人们的安全、生计和权利构成明显威胁造成不可接受的风险的AI系统被法案规定禁止AI实践，例如部署有害的操纵性“潜意识技术”的AI系统；利用特定弱势群体（身体或精神残疾）的AI系统；用于社会评分目的公共机构或代表其使用的AI系统；用于执法目的的公共可访问空间的“实时”远程生物识别系统等。值得注意的是，欧盟《AI法案》也并未将自主武器系统明确列为“高风险”的应用程序。

2024年3月10日-11日的“北京AI安全国际对话”，数十位AI领域的中外专家共同拟定并签署了《北京AI安全国际共识》，提出AI风险红线及安全治理路线，同时呼吁：“在人工智能安全研究与治理上的全球协同行动，是避免不受控制的前沿人工智能发展为全人类带来生存风险的关键。”“生成式人工智能具有大规模善恶的巨大潜力。它的创造者自己也警告说，规模更大、可能带来灾难性的后果存在的风险就在眼前。”2024年3月21日，联合国大会未经表决一致通过了一项具有里程碑意义的决议，呼吁抓住“安全、可靠和值得信赖的”AI系统带来的机遇，让AI给人类带来“惠益”，并以此促进可持续发展。这是联合国大会首次就监管AI这一新兴领域通过决议。

过去一项技术的演进是一个相对缓慢的过程，我们有足够的时间去把握合适的时机。而在全球50亿网民高度互联的今天，随着以ChatGPT和Sora为代表的生成式AI的超速引爆，我们很难再有从容把握时机的“缓冲期”。

首先，建设全球性高效率协作机制网络迫在眉睫。要应对新的人机融合的复杂形势，必须建立一个开放透明的、相对完备的真正多利益相关方治理机制。AI作为一种社会赋能的技术，其发展的关键是它的多利益相关方如何去协作实施多方共治和自适应的敏捷治理。除了企业自身，更需要科学家、技术界、政府、行业组织、社会等层面全面参与，形成安全与发展、商业利益与公共利益能够有效制衡的治理机制，防范重大的不可预估的危险与后果。目前除了缺乏机制，更重要的是机制的碎片化，缺乏强有力的行业组织和国际组织的协同，使得各企业都在各行其是，存在着诸多不可知、不可预见、不可统筹的各类风险。因此，需要继续加强并发挥类似联合国或者联合国教科文组织（UNESCO）等机构或者欧盟、G20等强有力的多边机制的统筹协调作用。

其次，关注人机生态的多样性，为人机深度融合做好准备。智能机器正在通过改变社会学习动态并产生新的游戏策略、科学发现和艺术形式来改变人类文化的传播和创造。了解人机复杂的相互作用，以及它们随着时间的推移的共同进化，对于管理和治理智能传播和人机融合社会至关重要。最后，加强多学科研究与合作，大力推动人机社会系统研究，鼓励社会科学家、技术专家、伦理学家、政策制定者等不同领域的专家合作，共同研究和制定人机社会系统的理论和实践方法。创立新的学术领域和课程，如人机社会学，专注于AI和社会的交互，并研究AI带来的新型社会关系和结构。

智能传播标志着社会权力的一次重大转移。从过去人与人之间的关系，极大扩展到人与人、人与机以及机与机之间的关系，尤其是人机之间的共通。但究其本质，依然是人与人之间的共通、全球协作何以可能的命题。AI治理的本质并不是技术本身，而依然还是人，是人与人之间的合作。智能时代的风险，核心还是在数字技术实现高度互联的背景下，人类之间合作与自我管理的基本层面出现了问题。包括人与人之间的共通，国与国之间的共通，尤其是中美之间的共通。只有根本解决好全球合作的问题，AI再如何发展，终究可以找到正确的应对之道。但是，全球合作机制的缺失，风险就将越来越不可预知。因此，人工智能最大的风险并不仅仅是技术本身，更重要的是对人类合作的新考验。风险在于人本身，解决之道也在于人本身！Sora带来的新控制危机和控制革命，归根结底，本质依然是人类与生俱来的有效自我管理的基础性挑战。