近期,我们与天津大学材料学院合作的论文《Degradation grading of organic coatings via explainable vision–impedance multimodal zero-shot learning》被 Corrosion Science 接收(文章号 113980,DOI: 10.1016/j.corsci.2026.113980)。作为本研究的共同第一作者,我主要负责其中的计算机算法与大模型框架设计部分。本文将跳出纯材料学的实验细节叙事,从计算机科学与 AI for Science (AI4S) 的视角,梳理我们是如何处理涂层图像、电化学阻抗谱与大语言模型 (LLM) 推理之间的对齐问题的。
业务背景与算法挑战
在海洋工程中,有机涂层是保护金属结构免受腐蚀的物理屏障。处于海水飞溅区的涂层由于受到物理冲刷、紫外线辐射、干湿循环和高浓度氯离子渗透的综合影响,会逐渐发生退化。目前,工业界对涂层失效程度的评估主要依赖 GB/T 1766-2008 等标准进行人工目视检查,依据变色、起泡、锈蚀等指标给出综合等级。这种方法在工程落地中存在主观经验带来的评估差异问题。
引入传统人工智能视觉技术(如 CNN 或 YOLO)可以识别锈斑等表面形貌,但涂层失效是一个涉及电解质渗入和界面电化学反应的复杂过程,仅依靠视觉图像难以捕捉内部机制。电化学阻抗谱 (EIS) 能够反映涂层的屏蔽性能,但阻抗演化特征与具体涂层体系高度相关,且难以直接映射到宏观国标评级中。已有的评估方法多将视觉与电化学数据独立处理,缺乏从宏观形貌到微观动力学参数之间的因果解释。
从算法设计角度,这类海洋暴露实验的数据获取成本高、周期长,不适合依赖大规模标注数据进行端到端的有监督学习或微调。虽然通用视觉语言模型 (VLM,如 Gemini 3 Pro) 具备多模态理解能力,但模型内部缺乏对腐蚀动力学和国家标准条款的物理先验知识。直接输入图像和曲线数据容易导致模型产生幻觉,且在专业术语理解上存在错误率。
因此,本研究选择冻结大模型参数,将领域知识以结构化证据的形式放置在模型外部。我们提出了 ZRF-EK (Zero-shot Reasoning Framework with Expert Knowledge) 框架,让模型在受控上下文中完成推理。
实验数据基础
研究采用三种涂层体系:环氧铁红 (EIR)、环氧富锌 (EZC) 和醇酸铁红 (AIR)。涂层制备于 Q235 碳钢基体上,尺寸为 200 mm × 100 mm,厚度约 70 μm。样品放置在青岛黄海飞溅区暴露 1、3、6、9 个月,并采集未暴露样品作为参考。数据采集涵盖了基于 NIKON D40 的表面图像,以及浸泡在 3.5% NaCl 溶液中测得的 EIS 数据 (频率范围 10⁵ 到 10⁻² Hz)。这为多模态对齐提供了完整的物理实证基础。
ZRF-EK 框架设计:证据组织与推理约束
ZRF-EK 框架不要求模型直接理解原始像素或光谱,而是通过三个阶段完成证据翻译与逻辑推理。
第一阶段:模态知识封装 (MKE)
该阶段负责将非结构化数据转化为带有物理与标准语义的描述。在视觉端,使用 YOLOv10 检测锈斑和起泡等缺陷,通过后处理算法计算锈蚀面积比例和起泡密度,并将其与 GB/T 1766-2008 的定量阈值映射,生成符合标准的文本描述。在电化学端,提取极化电阻 ()、有效电容 ()、10 Hz 相位角 (-) 和低频阻抗模值 () 等参数。根据腐蚀电化学规则,这些数值被转化为涂层保护机制状态的文本,例如将 的大幅下降解释为屏障功能失效。此时,Measurement Model 作为无模型的光谱分解工具使用,不赋予 Voigt 元件直接的物理含义,避免过度解释 EIS 结果。
第二阶段:跨模态证据集成 (CEI)
视觉证据、电化学证据以及 GB/T 1766-2008 的单项指标定义被序列化为一个采用 JSON 结构的样本分析档案 (specimen analysis record)。这种结构化处理使得异构数据处于同一个推理上下文中,为后续模型的归因分析提供了可引用的依据。
第三阶段:引导式因果推理 (GCI)
基于 Gemini 3 Pro 平台,设计了层级化的思维链提示策略。推理过程被严格限制为三步:模型复述并确认两类证据内容;建立微观参数与宏观形态之间的因果映射(如解释电化学屏障失效如何导致宏观锈蚀等级达到 Ri3);最后按照标准条款输出综合等级与诊断报告。这一阶段将专家的诊断逻辑转化为强制模型执行的计算步骤,保证了输出的可追踪性。
结果验证与机制解释
图像量化统计显示了各涂层的退化差异。EIR-3 的锈蚀覆盖比例为 1.06%,至 9 个月 (EIR-9) 上升至 11.61%。AIR 退化更快,AIR-1 锈蚀面积即达到 2.16%,AIR-6 达到 64.89%。
电化学参数的演化支持了图像观察。随着暴露时间增加,EIR 的 从 降至 , 从 升至 ,反映了屏蔽性能的逐步丧失。相比之下,EZC 涂层中的锌颗粒提供了阴极保护效应,其低频阻抗在整个暴露期间保持较高水平,表面亦无明显起泡。AIR 的 则在 6 个月内快速降至 ,对应电解质的大量渗透。
在综合评级测试中,ZRF-EK 对 12 个海洋暴露样本给出的评级结果,有 10 个与人工依据标准评定的等级完全一致(一致性 80.2%)。在少数出现偏差的样本(如 AIR-1 和 EIR-9)中,模型给出的综合评级比专家低一级。这说明在多个失效模式交织的高严重性场景下,人类专家往往根据关键风险项上调严重程度,而基于严格规则汇总的模型判断相对保守。
为了在物理机制层面验证模型推理的准确性,研究应用 Young model 对 EIS 高频数据进行拟合,提取了涂层与基体界面的电阻率 。EZC 的 在 9 个月内维持在 级别;EIR 的 呈现超过三个数量级的下降;AIR 的初始 较低且持续快速下滑。这些电阻率变化趋势与 ZRF-EK 输出的评级及机制解释相吻合,证明系统捕捉到了涂层失效的物理本质。
重新审视 AI4S 落地模式
从大模型回归证据链
作为这篇论文的算法负责人,在跑通 ZRF-EK 框架后,我倾向于将这项工作视为一种 AI4S 落地模式的切片,而不是单纯的“利用大模型实现腐蚀评级”。
科学与工程场景中的数据具有周期长、获取成本高、来源分散且解释门槛高的特点。涂层暴露实验需要在青岛附近的黄海飞溅区进行 1、3、6、9 个月的长时间测试,配套收集图像、EIS 数据并获取人工评级。这类数据分布与互联网任务存在本质差异,难以直接套用端到端的大规模监督学习模式。
在工程实践中,更可行的路径是将大模型放置于证据链的后端,前端依靠确定性模块完成数据处理。我们将整体架构解耦为五个层级:
- 数据层:保留样品编号、涂层体系(EIR、EZC、AIR)、暴露时间、测试溶液(3.5% NaCl)、频率范围(10⁵ 到 10⁻² Hz)等元数据。这是确保后续模型输出可复核的物理基础。
- 证据生成层:图像侧依赖 YOLOv10 进行缺陷识别与定量统计;电化学侧使用 Measurement Model 等工具提取 、、 等参数。原始数据在此被转化为可审查的定量特征。
- 标准与知识层:包含 GB/T 1766-2008 的等级规则与腐蚀电化学解释机制。这一层决定了数值特征能否合理映射为“涂层屏蔽性能下降”等专业描述。
- 推理层:模型接收已被约束的证据档案(Sample Analysis Dossier),执行复述证据、建立因果映射、输出标准化评级的受控推理。
- 复核与治理层:将 AI 输出定位为初评,保留专家对边界样品和异常样品的复核机制,同时记录检测模型与提示词版本,确保工程复现的可追溯性。
这个分层架构确立了系统的边界:当综合评级出现偏差时,可以明确追溯是视觉检测精度下降、EIS 拟合异常,还是标准映射出现了逻辑断层。
设计妥协与真实的工程限制
在将系统从理论推向落地的过程中,我们触碰到了该模式的多个具体限制。这些限制揭示了“零样本(zero-shot)”概念在垂直领域应用时的真实代价。
知识封装设定了认知天花板
MKE 阶段将原始数据翻译为证据陈述,这一操作在提升模型输出质量的同时,也将系统的认知边界锁死在人工规则内。以 为例,规则将其下降至特定阈值翻译为“屏障功能失效”。这种判断依赖特定涂层体系的经验设定。通用大模型原本具备的跨领域迁移能力,被外部规则重新压缩至已知体系内,系统以牺牲泛化能力为代价换取了可解释性。
跨模态对齐停留在语义拼接阶段
视觉图像反映的是宏观表面 200 mm × 100 mm 区域内的形貌,而 EIS 测试获取的是整个涂层/电解质界面在 10⁵ 到 10⁻² Hz 频域内的整体响应。两者在空间与时间尺度上并不对等。当前的融合机制是将两类证据转化为文本描述后置于同一 JSON 结构中。这种对齐依赖大模型的语义联想,并未在底层信号层面实现真实的物理融合。当异构数据出现退化方向上的矛盾时,单纯的文本拼接难以支撑模型做出准确判断。
80.2% 一致性背后的主观弹性
框架在综合评级上取得了与专家判断 80.2% 的一致性。剩余的偏差集中在综合等级环节,且模型判断普遍比专家偏保守(如在 AIR-1 和 EIR-9 样本中出现 Δ = -1 的降级评估)。综合评级动作本身包含主观弹性,专家在观察到核心失效模式时会倾向于上调风险等级,而模型严格遵循多项指标加权计算。这一差异表明,强制模型 100% 贴合单一人工标签可能导致对特定评估者偏好的过度拟合。
实验室数据与现场数据的分布鸿沟
研究所用数据采集自受控条件。工业现场面临的随机光照、遮挡、表面污损等因素会直接造成 YOLOv10 检测精度的衰减。由于系统的鲁棒性受制于最前端的视觉检测环节,图像质量的退化将导致 MKE 阶段输入错误的定量证据,从而使得后续逻辑严密的推断失去意义。
大模型能力的降级调用
在当前的受控流程中,模型的决策空间被极度压缩。缺陷量化、阈值判断和等级映射均由前置规则完成,模型更多承担了“规整文本生成器”的角色,将离散证据转化为连贯的诊断报告。在容错率极低的工业场景下,这种保守设计是必要的,但也使得模型真实的知识推理潜力未得到充分释放。
EIS 机制解释的不确定性
EIS 无法直接观测腐蚀形态,不同涂层体系可能呈现相似的阻抗响应。本研究中,Measurement Model 仅作为无模型的光谱分解工具(model-free spectral decomposition tool)运行,在缺乏独立形态学证据时,Voigt 元件不被直接赋予确定的物理意义。这确立了 EIS 作为机制侧辅助证据、而非独立定级依据的定位。
系统维度的静态局限与维护成本
当前框架仅能评估孤立时间点的样本状态,无法预测“继续暴露三个月后的等级演变”。工程现场亟需的剩余寿命评估,依赖于时序证据链的构建及电化学动力学建模的引入。此外,随着标准修订和新涂层体系的加入,人工编写的规则与提示词需要持续投入算法人力进行维护。建立可插拔的知识模块库(pluggable knowledge modules)是系统走向长期应用的基础。
所谓“零样本”,并非指模型无需任何物理先验即可完成专业任务,而是指在不更新模型自身参数的前提下,通过对外部知识的结构化重组驱动推理。大模型在 AI4S 的落地中并非全能专家,将其安置于受约束、可审计的证据链后端,是现阶段更为务实的工程选择。