Kirin SoC 中双 ISP 架构详解：并行融合与多任务控制的工程实现

关键词：Kirin SoC、双 ISP 架构、并行处理、图像通路调度、多摄系统、ISP Fusion、任务隔离、低功耗优化

摘要

随着多摄系统逐渐成为智能手机标配，单一 ISP 已难以满足并行处理、多帧融合和实时 AI 分析的性能需求。海思 Kirin SoC 在 Kirin 980 起引入双 ISP 架构，至 Kirin 990 和 Kirin 9000 系列进一步扩展了其并行能力和智能调度机制，成为当前高端移动影像系统的重要支撑模块。本文基于多个终端项目的调测实践，全面解析双 ISP 架构在物理层设计、任务分配、数据流同步、Buffer 管理与能耗控制等方面的实现方式。结合主副摄独立调度、RAW 并行处理、多任务融合等实际应用场景，本文将呈现双 ISP 架构在实战中的高效表现与调优策略。

目录

  1. Kirin 平台双 ISP 架构演进背景与系统级设计目标

    • 从 Kirin 970 单 ISP 到 Kirin 990 双 ISP 的升级动因
    • 面向多摄系统的架构演化趋势与设计思路

  2. 硬件结构与数据通路分布：双 ISP 的物理封装与互联机制

    • ISP0 与 ISP1 的内部路径、DMA 接口与 DRAM 映射
    • 中央控制器调度结构与仲裁模块工作原理

  3. 并行处理机制：多 Sensor 输入的任务分发与链路隔离

    • 多路 MIPI 接入时的 ISP 通路划分策略
    • 高低功耗通道协同设计与实时任务动态切换

  4. 多帧合成与并行调优：双通路 RAW 数据融合机制实战

    • 高动态场景下的双 ISP 同步处理路径构建
    • RAW Fusion 模式下的帧延迟控制与色彩一致性优化

  5. Buffer 分配与通道复用：多任务场景下的共享与隔离策略

    • ISP 共享中间缓存机制与高优先级任务抢占控制
    • 典型拍照+人脸检测并发场景的 Buffer 规划经验

  6. 双 ISP 与 AI 模块协同：面向 NPU/DPU 的上下游图像分发策略

    • ISP 分支结果与 AI 模型输入的精准映射关系
    • 使用 AI ISP 分流模式提升识别与渲染效率

  7. 工程案例分析：基于 Kirin 9000 的三摄融合成像路径部署实录

    • 主摄+超广角+长焦的分流处理与主路径回归逻辑
    • 实拍测试中的通路负载均衡与功耗压测反馈

  8. 未来趋势与开发建议：多 ISP 架构在中端平台下的迁移与裁剪思路

    • 异构 ISP + 可编程算子 + 算法硬化趋势解析
    • 如何在有限硬件资源下构建轻量高效的双路径图像系统

第 1 章 Kirin 平台双 ISP 架构演进背景与系统级设计目标

在智能手机进入多摄时代之后，传统单 ISP 架构已难以满足多路高分辨率图像并发处理的带宽与时延要求。Kirin 平台自 Kirin 980 开始引入“双 ISP”（Dual ISP）架构设计，到 Kirin 990、9000 系列实现了更高级别的 ISP 解耦与智能调度能力，逐步形成了面向多任务、多 Sensor、高带宽场景的系统级图像处理能力。

演进背景

Kirin 970 时代，单 ISP 模块面对 1.0μm 主摄 + 辅助景深摄像头的配置尚可胜任。但随着 4800 万像素及以上主摄的普及、120 度以上超广角模组以及潜望式长焦摄像头加入，多 Sensor 并行处理成为标配。此类场景下，单 ISP 容易出现以下瓶颈：

  • 图像处理延迟上升，帧间对齐能力下降
  • Sensor 数据需串行进入 ISP，存在等待队列
  • 多帧 HDR 或夜景合成任务资源调度冲突严重
  • Buffer 管理压力加剧，容易出现掉帧、画面撕裂

为解决上述问题，Kirin 980 起引入双 ISP 架构，每个 ISP 模块拥有独立的前后处理单元、DMA 接口和配置通道，并可由中央控制模块进行灵活调度，满足多路 Sensor 的并发接入与处理需求。

系统级设计目标

Kirin 双 ISP 架构的设计目标明确聚焦以下几方面：

  1. 多通路图像并发处理能力提升

    • 支持至少 2 路高像素（4000 万像素以上）Sensor 同时工作
    • 满足多摄同步曝光、多路径实时预览需求

  2. 任务隔离与 QoS 调度能力增强

    • 支持 ISP 任务优先级配置与资源隔离
    • 降低主通路任务被副摄干扰的风险，提高稳定性

  3. 带宽压力分散与低功耗运行机制

    • 独立 DMA 模块将图像数据分散写入 DRAM
    • 根据通路繁忙情况动态唤醒或关闭部分 ISP 资源

  4. 兼容未来多模态 Sensor 接入需求

    • 支持 RGB+Mono、RGB+IR、双 RGB 等异构 Sensor 路径部署
    • 面向 AI 任务设计图像处理路径的可编程入口

这一体系化设计，使得 Kirin 平台的双 ISP 能够在保障性能的同时控制功耗，是目前国产 SoC 中图像处理架构集成度最高、调度灵活性最强的代表之一。

第 2 章 硬件结构与数据通路分布：双 ISP 的物理封装与互联机制

Kirin 系列的双 ISP 架构采用物理上完全分离、逻辑上可协同的设计策略，即 ISP0 与 ISP1 拥有各自的完整 Pipeline 与硬件控制通路，在 SoC 芯片内部以高带宽总线与共享调度模块实现互联。

硬件封装与核心资源

每个 ISP 实体模块包含如下功能单元：

  • RAW 解码与预处理模块（黑电平校正、Bayer 通道解包）
  • 多级降噪与边缘增强引擎
  • HDR 与多帧融合模块
  • AWB、AE、AF 模块（可独立运行）
  • 输出格式转换与 Buffer 写入单元（YUV、RAW 等）

在芯片层级，ISP0 和 ISP1 分别连接独立的 DMA Engine，通过 AXI 总线与 DRAM 控制器通信，每条路径可同时进行图像读写和中间帧缓存交换。此外，两路 ISP 与 MIPI RX 接口通过配置切换逻辑进行物理绑定，以适配不同的 Sensor 接入方式。

通路互联机制与共享资源

尽管两路 ISP 独立运行，但系统级调度器（Camera Controller + Central ISP Arbiter）可动态决定任务派发位置，甚至允许数据路径交叉，如：

  • Sensor A → ISP0 → AI → Encode
  • Sensor B → ISP1 → ISP0（HDR Fusion）→ Display

为实现上述路径协同，Kirin 平台提供如下互联机制：

  1. Frame FIFO 共享：ISP0 可读取 ISP1 输出的中间帧作为输入，反之亦然
  2. 控制同步通道：统一调度器将帧时间戳、帧索引、校准信息广播至两路 ISP，确保多帧合成的图像一致性
  3. 资源仲裁与优先级控制：主通路（一般为主摄）ISP 可抢占系统资源，副通路进入低优模式，避免性能争用

硬件设计上，两路 ISP 并非完全对等。例如，Kirin 990 中 ISP0 通常具备更多算子支持与扩展模块，而 ISP1 更偏向高速通路任务，适合处理预览、辅助对焦等低延迟路径。这种异构化分工也为任务调度策略提供了更高灵活性。

第 3 章 并行处理机制：多 Sensor 输入的任务分发与链路隔离

在实际产品中，Kirin SoC 所面对的典型使用场景包括主摄、超广角、长焦、人像镜头等多 Sensor 同时开启。双 ISP 架构的核心价值之一，就是提供了任务分发机制与链路隔离能力，确保每一路 Sensor 数据在高速传输与处理过程中互不干扰。

多路 MIPI 接入与 Sensor 绑定策略

Kirin 平台支持多达四路 MIPI-CSI 接口，分别可以通过物理配置绑定至 ISP0 与 ISP1 通道。Sensor 的具体绑定关系通常基于以下原则进行分配：

  • **高优主摄路径（如 IMX686 64MP）**绑定至 ISP0，具备最大算力与算子支持
  • **副摄路径（如 S5K3L6 广角）**绑定至 ISP1，优先处理实时预览或辅助任务
  • 对于高帧率或慢动作视频应用，选择资源空闲的 ISP 通道以防止通道拥塞

硬件上，每路 MIPI 接口配套一个 DMA 通道，并配置 Sensor 时钟与 MIPI Lane 数，确保高像素 Sensor 在并发情况下数据完整传输。

通道隔离与任务调度机制

为了确保并行处理不发生资源冲突，Kirin Camera Controller 会对当前任务进行评估，并将任务映射至合适的 ISP 通路。调度逻辑通常包括：

  • 帧速率优先级匹配：高帧率任务分配给延迟路径更短的 ISP1
  • 数据体积权重分配：高分辨率输出优先落入具备大缓存的 ISP0
  • 算子需求分析：需要执行多级 HDR、降噪等重任务的图像优先指派至具备完整算子模块的通路

每一路通道具有独立的 ISP 上下文，包括 ISP 参数表、Buffer 分配表、3A 状态同步表等。硬件调度器在处理每帧图像时会按照任务上下文激活对应链路，避免跨通道配置污染。

在多任务实时运行场景下（如拍照预览+AI识别），两个 ISP 通路可以并发处理两种任务流，典型如：

  • 主摄（拍照）：ISP0 → RAW Pipe → HDR Fusion → YUV Output
  • 副摄（AI 识别）：ISP1 → YUV Pipe → Resize → NPU 输入接口

通过此类通路隔离机制，Kirin 平台有效提升了图像处理并发能力，同时降低了动态任务切换所带来的系统延迟。

第 4 章 多帧合成与并行调优：双通路 RAW 数据融合机制实战

多帧合成（Multi-Frame Fusion）是提升弱光成像质量的重要手段，尤其在夜景模式中，多帧采集与融合成为必备流程。Kirin 的双 ISP 架构为这一需求提供了完整支持，可将不同 Sensor 或同一 Sensor 多帧数据并行处理后进行融合，从而提高动态范围与图像细节保留度。

RAW Fusion 模式下的架构执行路径

Kirin 990 开始正式引入 RAW Fusion 模式，在该模式下：

  • 两帧以上的 RAW 图像数据由 Sensor 连续采集
  • 分别由 ISP0、ISP1 进行前处理（如去噪、伽马校正）
  • 然后交由中央控制模块进行帧间匹配与融合（Fusion Core）

例如，在暗光拍照场景下，ISP0 处理曝光正常帧，ISP1 处理长曝光帧，最终融合模块结合两路帧数据完成：

  • 明暗区域分离
  • 帧间运动补偿（防止鬼影）
  • 动态范围融合
  • 色彩曲线重建

Fusion Core 所执行的算法依赖于算法固件版本和厂商调优策略，融合过程一般发生在 YUV Pipe 之后或 DPU 模块之前，具体位置由驱动配置控制。

帧延迟控制与色彩一致性优化

在多 ISP 并行处理过程中，存在一个工程关键问题：两路 ISP 输出的图像帧是否一致，尤其在帧同步和色彩曲线还原环节，误差容易导致合成图像出现色偏或伪影。

为确保一致性，Kirin 平台使用如下机制：

  • 统一 3A 状态分发机制：ISP0 输出的 AE/AWB 结果作为 ISP1 输入帧的参考，避免曝光色温漂移
  • RAW 通道时间戳对齐机制：对拍摄时间差异进行补偿，以缓解动态场景下的帧融合错位问题
  • 共享校准曲线（LUT）机制：通过主通路将色彩调校参数广播到副通路，使得输出 YUV 图像保持色调一致

在实拍测试中，经过合理配置的 RAW Fusion 模式，可将夜景暗部细节提升 2~3 档亮度，同时保持边缘锐利与噪点可控。该能力已在多款 Kirin 990/9000 系列终端量产中稳定运行。

第 5 章 Buffer 分配与通道复用：多任务场景下的共享与隔离策略

双 ISP 架构下的 Buffer 管理设计是保障系统稳定性和实时性的关键一环。在多摄并发、高分辨率处理和实时 AI 推理等场景中，Kirin 平台采用分级缓冲机制与动态通道复用策略，确保图像数据在高速处理链路中高效流动，避免发生缓存冲突、数据丢失或帧乱序等问题。

多级缓存体系结构

Kirin SoC 的图像缓存体系主要分为三层：

  1. ISP 内部 SRAM Cache：用于短时图像片段与算法中间结果存储，容量小但延迟极低
  2. DRAM 共享 Buffer（ISP Buffer Pool）：由 Camera Controller 管理的图像帧共享区，支持 ISP0/ISP1/DPU/NPU 等模块共享访问
  3. Display/Encode 专用 Buffer：绑定在显示与编码引擎之后，仅用于最终输出路径，带宽隔离以防干扰其他任务

在分配策略上，Kirin 平台为每一路 ISP 通道预分配基础 Buffer 池，并在运行时根据任务优先级、帧率、分辨率动态扩展。例如，在三摄并发拍照模式下，系统会为主摄保留至少 3 帧 YUV 缓存，而副摄路径可能使用共享缓存，提升空间利用率。

Buffer 冲突规避与任务隔离实践

多任务同时占用 Buffer 时容易出现帧覆盖、解码错位等问题。为解决此类冲突，系统采用以下工程策略：

  • Buffer 锁机制：ISP 输出帧在交由下游模块处理前加锁，处理完毕后释放；避免异步通道误用已写入帧
  • 任务优先级标签：每一帧图像附带 task_priority 字段，高优先级任务的帧在调度器中具备缓存抢占权
  • 帧引用计数机制：多模块（如 DPU 与 AI）共享某一帧图像时，使用引用计数防止提前释放

实际部署中，以“拍照 + 人脸识别 + 视频预览”三任务并发为例：

  • ISP0 承担主摄路径，输出至拍照通道，缓存池为独立三帧 YUV
  • ISP1 输出视频帧至 DPU，同时向 AI 模块复制 1/2 尺寸裁剪帧进行人脸识别
  • 缓存资源通过动态 FIFO 管理器实时调整，防止帧阻塞与丢帧

该机制在 HarmonyOS 及 Android 平台下均可稳定运行，并已通过华为终端平台多机型兼容性验证。

第 6 章 双 ISP 与 AI 模块协同：面向 NPU/DPU 的上下游图像分发策略

图像链路中的智能任务处理正逐渐成为 Camera 系统的标配功能，从基础的人脸识别、人像分割，到更复杂的 VLOG 构图、手势识别等，都依赖于 ISP 与 NPU/DPU 的协同调度能力。在 Kirin 双 ISP 架构中，系统通过路径分流、算子插入与同步控制机制，实现图像数据向 AI 模块的高效分发。

NPU 接入路径与任务划分逻辑

Kirin NPU 接收来自 ISP 的 YUV 帧输入，其数据路径可从 ISP0 或 ISP1 输出，具体分配依据以下因素：

  • 图像类型与大小：主摄图像需进行场景理解或构图分析，优先走 ISP0；前摄人脸任务可走 ISP1 简化路径
  • AI 模型复杂度：轻量人脸识别模型可快速从 ISP1 输出路径加载；超分、分割等复杂模型通过 ISP0 输出中间高质量图像帧

在任务划分中，ISP 控制器需完成：

  • 帧时间戳校对：确保模型输入帧为当前场景最新画面
  • 任务类型映射：识别当前是人像背景分割、AR追踪还是VLOG自动剪辑，调用不同模型
  • 模型资源调度：将任务加载至合适的 NPU 核心，配合 DPU 渲染模块同步执行

DPU 图像增强模块的数据耦合方式

DPU 模块位于图像后处理链路，用于完成背景模糊、边缘增强、颜色重映射等视觉优化操作。在双 ISP 架构中，图像处理路径可能分散到两个 ISP，因此 DPU 模块需要支持多输入同步接入，并进行帧级融合或叠加处理。

典型协同流程如下：

  1. ISP0 输出主图帧（YUV）
  2. ISP1 输出辅助图帧（如人像 Mask、景深图）
  3. NPU 提供人脸区域坐标或分割结果
  4. DPU 根据坐标与 Mask 执行背景模糊或高光渲染
  5. 最终输出至 Display 或 Encode 模块

该路径可支持每帧完整图像处理耗时控制在 20~30ms 范围内，满足 30fps 实时处理需求，并可通过 AI 模型轻量化进一步压缩延迟。

在多个项目实测中，Kirin 平台的 ISP–NPU–DPU 全链路协同机制，在弱光人像、人景分离与视频增强中表现稳定，且支持在线模型切换与回滚，具备极高的产品适配灵活度。

第 7 章 工程案例分析：基于 Kirin 9000 的三摄融合成像路径部署实录

在 Kirin 9000 平台上部署三摄融合成像系统，是目前高端终端对 Camera 能力的一项典型要求。主摄 + 超广角 + 潜望长焦的组合，带来了更复杂的图像调度结构，对双 ISP 并行处理、Buffer 管理、算法插入和通路协同提出了高度挑战。以下结合实际量产机型的调测流程，展开完整部署路径说明。

硬件路径规划与通道绑定策略

以某款基于 Kirin 9000 的旗舰终端为例，其 Camera 系统包含三颗主 Sensor，分别为：

  • 主摄（50MP，IMX700）
  • 超广角（16MP，OV16A）
  • 潜望长焦（12MP，S5K3K1）

平台将主摄通过 MIPI-CSI-0 接入 ISP0，超广角与长焦则通过 MIPI-CSI-1 与 CSI-2 分别绑定至 ISP1 的两个输入端口。路径配置如下：

  • ISP0：主摄主路径（RAW 输出 + 多帧 HDR + AI 支持）
  • ISP1：超广角与长焦的动态切换（预览 + 辅助视角）

所有路径在平台 Camera HAL 中注册为独立逻辑通路，由系统调度器根据 FOV、焦段与光照条件自动切换激活状态。

三通路数据调度与融合策略

系统启动三摄模式后，将按如下处理路径执行任务：

  1. 主摄由 ISP0 独占通道，执行高质量 RAW HDR 合成与降噪
  2. 超广角或长焦每次仅激活一路，由 ISP1 动态接入进行低延迟处理
  3. 所有输出 YUV 图像进入 Fusion Controller 统一对齐视角、曝光与色彩，再输出至主显示通路

关键点在于，三通路调度必须实时同步，防止帧序错位或色彩不一致。工程上采用如下机制：

  • AE/AWB 数据同步：主摄计算结果回写到 ISP1 通路，保证副通路曝光一致
  • 通用 Gamma LUT 共享：使得三路图像色调风格统一
  • 尺寸匹配与边界裁剪策略：DPU 端实现图像几何对齐，防止超广与主摄画面边缘错位

最终，系统可实现无缝变焦（0.6X–5X）、三摄自动切换与图像风格一致性控制，且总帧延迟控制在 40ms 以内，达到可商用性能标准。

第 8 章 未来趋势与开发建议：多 ISP 架构在中端平台下的迁移与裁剪思路

尽管当前双 ISP 架构主要部署在旗舰级 SoC 上，但随着中端机型对多摄、AI 拍照和低功耗的需求日益增长，多 ISP 架构正逐步向中端平台迁移。在开发策略与架构规划上，也需做出更具针对性的裁剪与优化。

向中端平台下沉的结构适配策略

海思在规划 Kirin 中端系列芯片（如 Kirin 820）时，保留了部分双 ISP 架构特征，但进行了适配性裁剪：

  • 保留主 ISP 完整能力，副 ISP 精简为高帧率简化路径
  • 合并部分共享 Buffer 资源，以减少内存使用量
  • 降低 AI 调用密度，仅在前后摄拍照模式下启用分支推理路径

这类裁剪在保证基础图像能力的同时，控制了芯片面积与功耗，是多 ISP 架构向低成本平台普及的关键。

面向异构处理平台的协同路径设计建议

未来的 Camera 系统设计趋势可归纳为以下几点：

  1. 多 ISP + AI 协同走向可配置模块化：支持动态切换处理单元，按需加载算子与路径
  2. AI 模型向 ISP 内部嵌入迁移：提升低延迟图像处理效率，如在 ISP 中直接部署轻量识别模型
  3. 异构协同调度框架泛化：打通 CPU/DSP/NPU/DPU 的调度边界，使资源调度更加弹性化
  4. SoC 级跨域调试能力增强：为终端厂商提供更丰富的图像路径仿真、功耗模拟与调试工具链支持

从当前行业动向来看，Camera 系统正从“图像处理链路”演进为“视觉感知平台”，多 ISP 架构将不再只是解决带宽问题的硬件冗余方案，而是深度融入 AI 感知流程的核心模块。对于开发团队而言，理解其运行机制与调度策略，将是未来移动影像系统架构设计的重要能力基础。

本文转自 https://zhxin.blog.csdn.net/article/details/148677089，如有侵权，请联系删除。