二级新增内容(2025-08-29)

2025-08-29

PS:动态内容更新是CAIE考纲的补充学习内容,将实时跟进知识更新,请务必重视。

内容更新:

一、人工智能的发展历程

1.模型发展新动态

2025 年以来,AI 模型领域持续革新。OpenAI 于 8 月 5 日开源 GPT - OSS - 120B(1170 亿参数)和GPT - OSS - 20B(210 亿参数),采用 MoE 架构和 MXFP4 量化,在提升性能的同时,降低了部署成本,为中小企业和研究机构提供了更强大且经济的模型选择。8 月 8 日,GPT - 5 震撼发布,整合多模态能力,通过统一架构和智能路由系统,实现了编程、医疗、视频分析等领域能力的飞跃,其API价格较前代降低 80%,大幅提高了性价比,加速了 AI 在各行业的普及。Google DeepMind的Genie 3世界模型于8月 5 日推出,能依据文本提示实时生成可交互3D环境,支持自然现象模拟和历史场景还原,在游戏、教育、机器人等领域展现出巨大的应用潜力。

2.技术演进新方向

随着模型规模和复杂度的增加,对计算资源的需求呈指数级增长,促使高效计算架构和算法的研究成为热点。同时,为提升模型的可解释性和安全性,相关技术的研发也在加速推进,如通过可视化技术展示模型的决策过程,采用加密技术保护数据隐私等。

二、联邦学习

1.定义

联邦学习是一种新兴的人工智能基础技术,其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下,在多参与方或多计算结点之间开展高效率的机器学习。其中,联邦学习可使用的机器学习算法不局限于神经网络,还包括随机森林等重要算法。联邦学习有望成为下一代人工智能协同算法和协作网络的基础。

2.联邦学习的系统构架

以包含两个数据拥有方(即企业A和B)的场景为例介绍联邦学习的系统构架,该构架可扩展至包含多个数据拥有方的场景。假设企业A和B想联合训练一个机器学习模型,它们的业务系统分别拥有各自用户的相关数据。此外,企业B还拥有模型需要预测的标签数据。出于数据隐私保护和安全考虑,A和B无法直接进行数据交换,可使用联邦学习系统建立模型。联邦学习系统构架由三部分构成:

(1)加密样本对齐: 由于两家企业的用户群体并非完全重合,系统利用基于加密的用户样本对齐技术,在A和B不公开各自数据的前提下确认双方的共有用户,并且不暴露不互相重叠的用户,以便联合这些用户的特征进行建模。 (2)加密模型训练: 在确定共有用户群体后,就可以利用这些数据训练机器学习模型。为了保证训练过程中数据的保密性,需要借助第三方协作者C进行加密训练。以线性回归模型为例,训练过程可分为以下4步:

· 协作者C把公钥分发给A和B,用以对训练过程中需要交换的数据进行加密。

· A和B之间以加密形式交互用于计算梯度的中间结果。

· A和B分别基于加密的梯度值进行计算,同时B根据其标签数据计算损失,并把结果汇总给C。C通过汇总结果计算总梯度值并将其解密。

· C将解密后的梯度分别回传给A和B,A和B根据梯度更新各自模型的参数。

迭代上述步骤直至损失函数收敛,这样就完成了整个训练过程。在样本对齐及模型训练过程中,A和B各自的数据均保留在本地,且训练中的数据交互也不会导致数据隐私泄露。因此,双方在联邦学习的帮助下得以实现合作训练模型。

(3)效果激励: 联邦学习的一大特点就是它解决了为什么不同机构要加入联邦共同建模的问题,即建立模型以后模型的效果会在实际应用中表现出来,并记录在永久数据记录机制(如区块链)上。提供数据多的机构所获得的模型效果会更好,模型效果取决于数据提供方对自己和他人的贡献。这些模型的效果在联邦机制上会分发给各个机构反馈,并继续激励更多机构加入这一数据联邦。以上三部分的实施,既考虑了在多个机构间共同建模的隐私保护和效果,又考虑了以一个共识机制奖励贡献数据多的机构。所以,联邦学习是一个“闭环”的学习机制。

3.联邦学习优势

(1)数据隔离,数据不会泄露到外部,满足用户隐私保护和数据安全的需求。

(2)能够保证模型质量无损,不会出现负迁移,保证联邦模型比割裂的独立模型效果好。

(3)参与者地位对等,能够实现公平合作。

(4)能够保证参与各方在保持独立性的情况下,进行信息与模型参数的加密交换,并同时获得成长。

4.联邦学习分类

联邦学习(Federated Learning, a.k.a. Federated Machine Learning )可以分为三类:

(1)横向联邦学习(Horizontal Federated Learning): 适用于参与者的数据特征重叠较多,而样本ID重叠较少的情况。比如有两家不同地区的银行,它们的用户群体分别来自各自所在的地区,相互的交集很小。但是,它们的业务很相似,因此,记录的用户特征是相同的。此时,我们就可以使用横向联邦学习来构建联合模型。“横向”二字来源于数据的“横向划分(horizontal partitioning, a.k.a. sharding)”。联合多个参与者的具有相同特征的多行样本进行联邦学习,即各个参与者的训练数据是横向划分的,称为横向联邦学习。横向联邦学习也称为特征对齐的联邦学习(Feature - Aligned Federated Learning),即横向联邦学习的参与者的数据特征是对齐的。横向联邦使训练样本的总数量增加。其学习过程为:参与者在本地计算训练梯度,使用加密,差分隐私或秘密共享技术加密梯度的更新,并将加密的结果发送到服务器;服务器在不了解有关任何参与者的信息的情况下,聚合各用户的梯度更新模型参数;服务器将汇总结果模型发回给各参与者;各参与者使用解密的梯度更新各自的模型。

(2)纵向联邦学习(Vertical Federated Learning): 适用于参与者训练样本ID重叠较多,而数据特征重叠较少的情况。比如有两个不同的机构,一家是某地的银行,另一家是同一个地方的电商。它们的用户群体很有可能包含该地的大部分居民因此用户的交集较大。但是,由于银行记录的都是用户的收支行为与信用评级,而电商则保有用户的浏览与购买历史,因此它们的用户特征交集较小。“纵向”二字来源于数据的“纵向划分(vertical partitioning)”。联合多个参与者的共同样本的不同数据特征进行联邦学习,即各个参与者的训练数据是纵向划分的,称为纵向联邦学习。纵向联邦学习也称为样本对齐的联邦学习(Sample - Aligned Federated Learning),即纵向联邦学习的参与者的训练样本是对齐的。纵向联邦使训练样本的特征维度增多。其学习过程为:第一步,第三方C加密样本对齐,是在系统级做这件事,因此在企业感知层面不会暴露非交叉用户;第二步,对齐样本进行模型加密训练,合作者C创建加密对,将公钥发送给A和B;A和B分别计算和自己相关的特征中间结果,并加密交互,用来求得各自梯度和损失;A和B分别计算各自加密。

(3)联邦迁移学习(Federated Transfer Learning): 当参与方的数据在样本和特征上都存在较大差异时适用。例如,医疗影像领域中,不同医院的设备、成像技术、病例类型都有所不同。联邦迁移学习先选择一个在大规模通用数据集上预训练好的模型,将其分发给各参与医院。各医院基于本地数据对模型进行迁移学习,比如进行特征提取或微调模型的最后几层,使其适应本地数据特点。然后,各医院将模型更新上传,通过隐私保护技术进行交换和聚合,共同优化模型。

三、符号策略在不同场景下的具体应用技巧

1.文生文场景

(1)指令与内容分隔: 在文生文任务中,当需要模型对一段给定文本进行特定处理,如总结、改写、续写等,使用特殊符号清晰分隔指令与文本内容能显著提升模型理解的准确性。

以三重引号(""")为例,当要求模型总结一篇新闻报道时,输入格式可为:

<代码开始>请对以下新闻进行总结。"""[新闻报道具体内容]"""<代码结束>。

这种方式为模型提供了明确的结构标识,模型能够迅速识别出需要处理的文本范围,避免因指令与内容混淆而导致理解偏差。相比于直接将指令与文本连在一起输入,使用分隔符号可使模型生成的总结更贴合要求,关键信息提取更精准。

(2)复杂任务层级划分: 对于涉及多个步骤或子任务的文生文场景,如要求模型先分析文本情感,再根据情感倾向进行创意写作。此时可采用多级分隔符号来构建任务结构。

例如:<代码开始>主任务:进行创意写作。子任务1:分析以下文本情感。"""[待分析文本]"""子任务2:根据子任务1的情感分析结果,以积极情感为例,创作一篇短文。"""[创作要求及相关提示]"""<代码结束>。

通过不同符号(此处外层用冒号、内层用三重引号)对主任务、子任务及对应文本内容进行分层,模型能够有条不紊地执行复杂任务,生成逻辑连贯、符合预期的结果。

2.文生图场景

(1)风格与内容界定: 在文生图过程中,用户往往需要指定图像风格(如写实、卡通、油画等)以及具体内容描述。使用特定符号可清晰区分风格指令与内容指令。

比如,以尖括号(<>)界定风格,以井号(###)界定内容,输入可为:<代码开始>请生成一幅<卡通风格>的图像,内容为###一只在花丛中飞舞的蝴蝶###<代码结束>。

这样模型能够准确把握用户对图像风格和内容的双重需求,生成的图像在风格和内容呈现上更能满足用户期望,避免出现风格与内容不匹配的情况。

(2)细节与整体把控: 当生成复杂图像,需要详细描述多个元素及其相互关系时,可利用符号组合来突出重点和层次。

例如,用XML风格标签来标识不同图像元素,用引号来包裹元素的具体描述。输入为:<代码开始>请生成一幅包含以下元素的图像:"""一个坐在长椅上的女孩,穿着红色连衣裙""","""长椅旁边有一棵盛开的樱花树""","""天空中有几只飞翔的小鸟"""<代码结束>。

这种方式有助于模型梳理图像元素之间的空间关系和细节特征,生成更具层次感和丰富度的图像。

3.文生视频场景

(1)镜头与场景描述: 在文生视频任务中,需要对视频中的镜头切换、场景设定等进行详细描述。使用分隔符号可以清晰划分每个镜头的内容和持续时间等信息。

例如,用方括号([])表示镜头,用分号(;)分隔不同镜头描述。输入可为:<代码开始>[镜头1:时长3秒,画面为阳光照耀下的城市街道,人群来来往往;镜头2:时长5秒,画面切换到一个公园,孩子们在草地上玩耍]<代码结束>。

通过这种方式,模型能够按照用户设定的镜头顺序和参数生成视频,保证视频的流畅性和逻辑性。

(2)情节与节奏控制: 对于具有故事情节的视频生成,可利用符号来标记情节发展的关键节点和节奏变化。

比如,用感叹号(!)来强调关键情节,用破折号(-)来表示情节过渡。输入为:<代码开始>生成一个讲述冒险故事的视频。!主角踏上冒险之旅,遇到神秘老人-老人给予主角神秘地图!主角根据地图找到宝藏<代码结束>。

模型根据这些符号提示,能够在生成视频时更好地把握情节的起伏和节奏,使视频更具吸引力。

四、对抗性设计中针对逃逸攻击、梯度欺骗、供应链污染等防御体系的详细构建方法

1.针对逃逸攻击的防御

(1)输入过滤与验证: 构建一个严格的输入过滤系统,对用户输入进行预处理。采用正则表达式匹配和语义分析相结合的方式,识别并拦截可能包含逃逸指令的输入。例如,对于常见的逃逸关键词(如“忽略之前所有限制”“重新定义你的规则”等)进行精确匹配,一旦检测到此类关键词,立即阻止输入进入模型。同时,利用自然语言处理技术对输入进行语义理解,判断输入的整体意图是否存在逃逸风险。如果输入语义混乱、逻辑异常或明显试图突破模型规则,也将其视为可疑输入进行拦截。

(2)强化模型约束: 在模型训练过程中,引入额外的约束机制,使模型对逃逸攻击具有更强的抵抗力。例如,通过对抗训练的方式,将逃逸攻击样本作为负样本与正常样本一起输入模型进行训练,让模型学习到如何识别并拒绝逃逸攻击。同时,对模型的输出进行后处理,检查输出是否符合模型的预期行为和安全策略。如果输出出现异常或违反预设规则,如生成敏感信息、不当内容等,对输出进行修正或屏蔽。

(3)监控与预警: 建立实时监控系统,对模型的输入输出进行持续监测。通过分析输入的频率、模式以及输出的质量、合规性等指标,及时发现潜在的逃逸攻击行为。一旦检测到异常情况,立即触发预警机制,通知相关人员进行处理。例如,当发现某个用户在短时间内频繁输入具有逃逸攻击特征的内容,或者模型输出中出现大量异常结果时,系统自动发出警报,以便安全人员及时采取措施,如封禁可疑用户、暂停模型服务进行安全检查等。

2.针对梯度欺骗的防御

(1)梯度验证与修正: 在模型训练过程中,对计算得到的梯度进行验证和修正。通过计算梯度的统计特征(如均值、方差、范数等),建立梯度的正常范围模型。当计算得到的梯度超出正常范围时,怀疑可能受到梯度欺骗攻击。此时,可以采用多种方法进行处理,如对梯度进行裁剪,使其回到正常范围内;或者通过与历史梯度数据进行对比,判断当前梯度的合理性,若不合理则进行修正。例如,当梯度的范数突然异常增大时,可能是攻击者故意注入了异常梯度,此时可将梯度范数限制在一个合理的阈值内,以保证模型训练的稳定性。

(2)随机化与扰动: 在模型训练过程中引入随机化和扰动机制,增加攻击者实施梯度欺骗的难度。例如,对输入数据进行随机变换(如随机裁剪、翻转、添加噪声等),使攻击者难以准确预测模型的输入,从而无法针对性地构造欺骗性梯度。同时,在计算梯度时,对梯度进行随机扰动,如添加高斯噪声,使得攻击者难以通过精确控制梯度来欺骗模型。通过这种方式,即使攻击者试图注入欺骗性梯度,由于输入和梯度的不确定性,其攻击效果也会受到极大影响。

(3)模型鲁棒性训练: 采用鲁棒性训练方法,提高模型对梯度欺骗攻击的抵抗能力。例如,使用对抗训练技术,让模型在与攻击者对抗的过程中不断学习和适应,增强自身的鲁棒性。具体做法是,在训练过程中,同时训练一个攻击模型和一个防御模型,攻击模型试图生成欺骗性梯度来误导防御模型,而防御模型则努力识别并抵御这些攻击。通过这种对抗训练的方式,防御模型能够逐渐学会如何识别和应对梯度欺骗攻击,从而提高整个模型系统的安全性。

3.针对供应链污染的防御

(1)数据来源审查: 对用于模型训练的数据来源进行严格审查,确保数据的安全性和可靠性。建立数据供应商评估机制,对数据供应商的信誉、数据收集和处理流程进行全面评估。只选择那些符合安全标准和道德规范的数据供应商合作,避免使用来源不明或存在安全隐患的数据。同时,对收集到的数据进行质量检测和安全筛查,检查数据中是否存在异常值、错误标注以及潜在的污染数据。例如,通过数据分析技术检测数据中的数据分布是否合理,是否存在大量重复或相似的数据,以及是否包含敏感信息等。

(2)模型验证与审计: 在模型训练完成后,对模型进行全面的验证和审计,检查模型是否受到供应链污染的影响。可以采用多种验证方法,如使用独立的测试数据集对模型进行评估,检查模型在不同任务和场景下的性能表现是否正常;对模型的参数进行分析,查看参数是否存在异常变化或不合理的取值。同时,建立模型审计机制,定期对模型的训练过程和数据使用情况进行审计,确保模型训练过程符合安全规范,没有使用被污染的数据。例如,通过审计模型训练日志,检查数据的来源、使用方式以及训练过程中的参数更新情况,发现潜在的安全问题并及时进行处理。

(3)安全供应链管理: 建立完善的安全供应链管理体系,对整个模型开发和部署过程中的各个环节进行安全监控和管理。从数据收集、预处理、模型训练、模型评估到模型部署,每个环节都制定严格的安全标准和操作流程,并进行定期的安全检查和审计。同时,加强与供应链上下游合作伙伴的沟通与协作,共同建立安全防护机制,确保整个供应链的安全性。例如,与数据供应商签订安全协议,明确双方的数据安全责任;与模型部署平台合作,加强对模型运行环境的安全防护,防止模型在部署过程中受到供应链污染的攻击。

完 谢谢观看