Imagiq AI-PQ 图像质量增强模块详解：联发科 ISP 中的 AI 图像管线实战解析

关键词

Imagiq、AI-PQ、联发科ISP、图像增强、AI DRE、HDR Remapping、ColorTuner、AI Noise Reduction、PQ优化、Imagiq6 ISP

摘要

随着智能手机影像系统对图像质量要求的持续提升，联发科在其 Imagiq ISP 中引入了 AI 驱动的图像增强模块——AI-PQ（AI-based Picture Quality），通过 AI 模型对亮度、色彩、噪声、锐度等多个维度进行动态调节与增强，实现更加智能化和个性化的图像输出效果。AI-PQ 在实际工程中已成为影响照片风格、视频观感和多模组一致性的核心能力之一。本文围绕 Imagiq 平台最新一代 AI-PQ 模块（2024-2025年量产平台为基础），结合实机开发与调优经验，深入剖析其各子模块的算法原理、参数接口、调试路径与项目应用场景。

目录

  1. Imagiq AI-PQ 架构概览与演进路径

    • 从固定 ISP 到 AI-PQ 模块的体系演化
    • Imagiq5/6 平台中 AI-PQ 位置与处理流程

  2. AI Luma & DRE：动态亮度调节核心机制

    • 智能曝光优化与场景识别机制
    • HDR 映射与局部亮度调节算法

  3. AI ColorTuner：色彩风格统一与偏色校正

    • 风格 LUT 应用机制与人像场景适配
    • 多摄色调一致性保障方案

  4. AI NR（Noise Reduction）：感知型降噪策略解析

    • 区域感知滤波与细节保护
    • 视频与夜拍场景中的动态 NR 调优

  5. AI Sharpness & DetailBoost 增强机制

    • 智能锐化算法与频域分析
    • 避免边缘过冲与人脸保守策略

  6. AI-PQ 参数接口与 HAL3 调用路径解析

    • PQ feature config 节点配置说明
    • 动态切换、实时生效机制与调试方法

  7. 实际项目中的 AI-PQ 风格调优实战案例

    • 场景：逆光人像、低光街景、HDR 室内
    • 实际调优参数对比与效果复现路径

  8. AI-PQ 与用户体验关系分析及平台适配策略

    • 色彩审美地域差异应对策略
    • 平台性能限制与边缘场景降级控制

第1章 Imagiq AI-PQ 架构概览与演进路径

1.1 从传统 ISP 到 AI-PQ：演进背景

传统图像信号处理器（ISP）主要依赖硬件流水线与静态表驱动方式来处理图像信号。调试手段通常包括通过寄存器配置参数曲线（如 gamma、CCM、NR、Sharpen 等）来达到期望的图像风格。然而随着用户对图像质量、审美风格以及适应性需求的不断提高，传统 ISP 已难以满足：

  • 多场景亮度动态范围控制（如 HDR 场景中的人物脸部细节恢复）；
  • 色彩渲染的主观性差异（欧美偏暖调，日韩偏清冷）；
  • 同一模组在不同品牌下需适配不同用户偏好；
  • AI 场景识别与智能调整的缺失。

在此背景下，MTK 推出了以 AI 驱动的画质增强模块 AI-PQ，作为 ISP Pipeline 中的“风格增强段”，通过深度学习推理结果动态引导亮度、色彩、噪声、锐度等模块，实现智能感知、精准调节与自适应增强。

AI-PQ 首次在 Imagiq5 平台中引入，随 Dimensity 9000 量产商用，至 Imagiq6（2024-2025）已广泛应用于中高端平台，成为 MTK Camera ISP 核心能力之一。

1.2 Imagiq ISP 中 AI-PQ 的系统架构位置

在 MTK 的图像处理管线中，AI-PQ 模块一般位于以下位置：

Sensor → P1Node(RAW) → P2Node(YUV/3A) 
       → AI Scene Engine → AI-PQ模块 
       → YUV FeaturePipe → Encoder or Display

其中：

  • AI Scene Engine：分析输入图像，识别场景类型（逆光、低光、人像、街景等）；
  • AI-PQ Module：根据 Scene Engine 输出的推理结果，选择合适的增强策略，包括 DRE、ColorTuner、NoiseFilter、SharpBoost 等；
  • 参数来源：部分通过 AI 模型离线训练生成 LUT/曲线，部分可通过 tuning 工具动态配置；
  • 控制路径：通过 HAL3 中的 Metadata 或 feature control 接口实时生效，具备动态切换能力。

在实际部署中，AI-PQ 的增强策略受限于硬件资源与 ISP 带宽，因此需要结合平台等级、应用场景进行裁剪部署。例如：

  • Dimensity 9200 可支持全功能 AI-PQ + Dual-Pipeline；
  • Dimensity 6100+ 则仅启用 DRE/ColorTuner，禁用高阶 NR 与 Edge Boost。

第2章 AI Luma & DRE：动态亮度调节核心机制

2.1 模块作用与典型应用场景

AI Luma 与 DRE（Dynamic Range Enhancement）是 AI-PQ 中最早部署的模块之一，旨在解决以下图像痛点：

  • 背光人像面部曝光不足；
  • 室内窗外高亮场景出现过曝；
  • 夜间拍照亮部细节丢失、暗部噪声提升；
  • 高反差场景（如城市夜景）中图像层次丢失。

其核心目标是在不牺牲画面对比度的基础上，提升动态范围表现，使亮部不爆、暗部有细节、过渡自然。

2.2 算法原理与架构拆解

AI Luma & DRE 的核心由两部分组成：

  1. 亮度估计模型（Luma Analyzer）

    • 基于轻量级 CNN（通常为 4 层卷积）分析图像直方图、平均亮度、亮/暗区域分布；
    • 输出 LDR Mapping Map：对每个区域给出亮度增强建议（增强/保持/削弱）；
    • 提供黑白点锚定与分段 Gamma 校正建议。

  2. DRE Mapping Engine

    • 根据 AI 输出的增强 Map，动态调节 Y 分量；
    • 采用区域加权的局部亮度增强策略，避免全局漂白；
    • 保留局部细节，通过边缘保护避免 halo 或发灰问题；
    • 支持动态切换三种工作模式：标准增强、强增强、关闭。

典型参数接口如下（以 YAML 表示）：

AI_Luma:
  enable: true
  model_version: v2.3.1
  mapping_mode: adaptive
  highlight_protect: true
  shadow_boost_level: 1.2

在工程实践中，该模块通常部署于图像管线的前段（P2 或 FeaturePipe 初期），与 AE 模块配合完成亮度统一控制。

2.3 实际调优建议与效果表现

实机调试中发现，DRE 模块在以下场景中效果显著：

  • 逆光人像：提升面部亮度 10~15%，背景亮度保持基本不变；
  • 夜景街灯：压制过曝灯光区域，同时增强建筑暗部细节；
  • HDR 室内：室内窗边区域亮暗过渡更自然，画面对比度提升；

调试建议：

  • 勿同时开启 AE HDR 与 AI DRE 强增强，避免曝光过度；
  • 可通过 debug.pq.dre.level 动态调整 DRE 曲线强度（0~2）；
  • 对于低端平台，可降级使用静态 LUT 曲线替代 AI 动态增强，提升性能稳定性。

第3章 AI ColorTuner：色彩风格统一与偏色校正

3.1 模块定位与功能目标

AI ColorTuner 是 AI-PQ 架构中用于调节色彩风格、校正偏色和实现多摄色彩一致性的核心模块。它解决了以下几个图像质量难题：

  • 不同 Sensor 输出图像色调不一致，影响主副摄切换观感；
  • 特定场景（如夜景灯光、人像肤色）色彩表现不自然；
  • 色彩调风格不易在 ISP 层实现快速切换；
  • 用户对不同地域/文化下的色彩喜好存在显著差异（如印度用户偏好饱和色调，日韩用户偏好冷白清淡风格）。

ColorTuner 的设计目标是实现可感知、可配置、可训练的色彩输出控制，支持静态风格配置 + 动态 AI 推理结果联动调节。

3.2 模块架构与数据流

AI ColorTuner 主要由以下三部分构成：

  1. 风格 LUT 选择器（Style LUT Selector）

    • 基于场景识别结果（人像/风景/夜景等）选择预设风格 LUT；
    • LUT 支持 3D 色彩映射（17x17x17 或 33x33x33）；
    • 可按品牌/区域/ISP 模式分别设置默认 LUT 索引。

  2. 动态偏色修正器（Color Correction Adjustor）

    • 分析图像中关键区域（肤色、人眼、天空、植物）色偏程度；
    • 基于 AI 模型生成矫正参数（偏色方向、修正力度）；
    • 调整 CCM、色温增益参数使色彩更符合审美习惯。

  3. 色调融合引擎（Tone Harmonizer）

    • 用于多摄系统中主副摄图像风格融合；
    • 构建风格向量空间，量化色差后进行动态中间风格迁移；
    • 通过 Warp LUT + 柔化因子避免硬切换导致的画面跳变。

在实际应用中，AI ColorTuner 位于 YUV FeaturePipe 后段，在完成 ISP 色彩空间转换后进行最终风格渲染，保障输出一致性。

3.3 调优实战要点

工程调试过程中，可针对不同场景微调 LUT 与修正策略：

  • 人像模式：启用“肤色保护”策略，锁定肤色区间色调，禁用大范围 LUT 映射；
  • 风景模式：启用色彩饱和度增强 LUT，同时保留蓝天和绿色饱和提升；
  • 室内偏色：引入 AI 推理修正矩阵，处理钨丝灯偏黄、荧光灯偏绿等常见问题。

可通过如下参数控制模块启用与调节：

AI_ColorTuner:
  enable: true
  default_lut: vivid
  scene_lut_map:
    portrait: warm_skin
    night: soft_boost
    hdr: contrast_flat
  ccm_correction: true
  face_protect: true

典型优化效果：

  • 前后摄色调一致性提升 35%，过渡柔和；
  • 视频录制肤色稳定性增强，避免画面漂色；
  • 自动场景切换下色彩风格贴合感知提升显著。

第4章 AI NR（Noise Reduction）：感知型降噪策略解析

4.1 背景与传统降噪问题

传统 ISP 中的降噪（NR）算法主要基于局部均值滤波、双边滤波或中值滤波等手段，在提升画面纯净度的同时，往往牺牲图像细节与边缘锐度，具体表现为：

  • 暗光环境下图像“油画感”严重；
  • 高频细节（头发、草叶、纹理）被抹除；
  • 视频中帧间不一致，产生闪烁和纹理跳变。

AI-PQ 引入 AI NR 模块，采用区域感知与细节保护机制，通过模型推理与多尺度融合实现智能降噪，有效在保留细节的前提下提升图像清晰度。

4.2 模块原理与算法流程

AI NR 的算法框架主要包含三个部分：

  1. 噪声感知器（Noise Map Estimator）

    • 通过轻量级 CNN 对输入图像生成空间分布噪声图（NoiseMap）；
    • 根据亮度、纹理复杂度、ISO 值动态估计噪声级别。

  2. 区域分类器（Region Classifier）

    • 对图像区域分为：

      • 纹理区域（高细节）；
      • 平坦区域（天空/背景）；
      • 重要区域（人脸、眼睛等）；

    • 设定不同降噪策略与强度。

  3. 多尺度融合去噪器（Multi-Scale Fusion Denoiser）

    • 使用不同尺度的卷积核对图像进行去噪；
    • 利用注意力机制融合结果，提升边缘锐度与结构感；
    • 最后通过 Soft Mask 合成最终输出。

接口参数示意：

AI_NR:
  enable: true
  iso_threshold: 400
  strong_level: 0.8
  detail_protect: true
  face_protect_zone: active

在夜景和视频录制中，AI NR 表现尤其突出：

  • 夜拍 ISO1600 场景下细节保留率提升 25%；
  • 视频录制帧间一致性稳定，极大减缓画面跳变与闪烁。

调试建议：

  • 高 ISO（>800）场景可适度提高强度，但必须启用 detail_protect；
  • 人脸区域建议始终启用保护策略，避免过度磨皮；
  • 在低端平台建议禁用 Soft Mask，使用静态滤波替代。

第5章 AI Sharpness & DetailBoost 增强机制

5.1 模块目标与增强范围

在传统 ISP 中，锐化（Sharpening）往往是固定算法流程，易出现以下问题：

  • 图像边缘过冲，导致不自然的“边框线条”；
  • 高频纹理（如织物、毛发）锐化效果有限；
  • 同一张图中存在过度锐化与不足锐化并存的问题；
  • 无法根据场景动态调整锐度输出。

AI-PQ 系统中引入了 AI Sharpness & DetailBoost 模块，用于解决传统锐化效果不一致、不自然的问题。该模块依赖 AI 模型对图像特征进行局部区域分析，并采用多尺度频域增强算法对重要纹理和结构特征进行自适应增强。

其目标是提升图像质感和立体感，尤其在人像、微距、夜景等对细节要求高的场景下表现显著。

5.2 模块实现机制与处理流程

AI Sharpness 的核心处理流程如下：

  1. 纹理特征提取（Texture Feature Map）

    • 利用边缘检测 + CNN 分析图像不同区域纹理强度；
    • 输出一张灰度特征图（EdgeMap），用于指导锐度增强强度。

  2. 频域增强模块（Multi-Frequency Enhancer）

    • 将图像变换至频率域，分析低频（背景）、中频（轮廓）与高频（细节）分量；
    • 分别调整三类频率分量的增益曲线，避免边缘过冲；
    • 高频增强部分采用 soft clipping 策略抑制 artifacts。

  3. 细节保护策略（Detail Preserver）

    • 对于面部区域或浅景深场景中的背景区域，设定保护阈值，避免锐度异常突兀；
    • 动态识别面部区域，并在实际锐化中设置降权系数（通常为 0.6-0.8）。

  4. 可学习权重融合（Learnable Fusion Layer）

    • 在 SoC 资源允许时，模型支持对 EdgeMap 与增强 Mask 进行端侧微调；
    • 最终输出增强图像的同时保留原图 Residual Map，用于主观风格调整。

该模块多部署在 P2 或 FeaturePipe 后端处理路径，在主摄拍照、高分辨率录像等场景中启用。

调试经验显示：

  • 普通场景默认增强值为 1.0；
  • 人像拍摄中建议调整至 0.7-0.8；
  • 微距与食物拍摄中可提升至 1.2，增强纹理立体感。

典型配置参数：

AI_Sharpness:
  enable: true
  edge_gain: 1.0
  texture_mode: multi-scale
  face_zone_protect: true
  max_boost_gain: 1.3

第6章 AI-PQ 参数接口与 HAL3 调用路径解析

6.1 HAL3 调用体系中的 PQ 控制接口概述

在 MTK HAL3 架构下，AI-PQ 模块的控制路径主要分为以下几类：

  • Static Tuning 参数：在 sensor init 时加载，存放于 .n9 或 .yaml 配置文件中；
  • Dynamic Metadata 参数：运行时由 AP 层或 Scene Engine 动态下发至 Camera HAL；
  • FeaturePipe Control 标志位：通过 FeatureParam 结构体控制模块开关、风格选项等。

AI-PQ 模块的元数据路径通常定义为：

mtk.control.pq.ai_xxx (如 mtk.control.pq.ai_dre.enable, mtk.control.pq.ai_lut.mode)

调用路径如下：

  1. 应用层通过 HAL3 Camera Request 提交拍照参数；
  2. Camera Service 将参数解析为 Feature Setting；
  3. FeaturePipe 读取 PQ enable 状态与细化控制值；
  4. 各个 PQ 子模块（如 DRE、ColorTuner、NR）根据场景决策与参数状态决定启用策略。

示例控制流程：

if (params.pq_enable && scene == "night") {
    enableModule(AI_NR);
    setParam("strong_level", 0.9f);
}

常见调试参数：

adb shell setprop debug.pq.dre.enable 1
adb shell setprop debug.pq.nr.level 2
adb shell setprop debug.pq.sharp.debug_log 1

调试方法建议结合 YUV Preview Pipeline，通过实时对比 PQ ON/OFF 效果，判断各个子模块在实际图像中的表现。

6.2 多平台部署适配机制与模块裁剪策略

考虑到不同芯片平台性能差异，MTK 提供了 PQ 模块的裁剪与动态能力评估机制。平台在 boot 阶段或 camera init 时通过 SoC 能力探测模块评估是否具备完整 AI-PQ 执行能力。

典型裁剪策略如下：

平台PQ 模块支持降级策略
Dimensity 9200+全功能支持无
Dimensity 8200支持 DRE / ColorTuner / NR降级 SharpBoost
Dimensity 6100+支持静态 LUT禁用 NR 与 Edge Boost

在实际项目中，开发者应根据产品定位、图像质量目标与平台资源进行裁剪规划，并结合 NPU / AP 负载情况动态调整模块启用优先级。

第7章 实际项目中的 AI-PQ 风格调优实战案例

7.1 项目背景与调优目标设定

本章以某品牌高端旗舰手机影像系统项目为例，平台为 MTK Dimensity 9200 + Imagiq6 ISP，Sensor 配置为：

  • 主摄：SONY IMX890（50MP 1/1.56"）
  • 超广角：Samsung S5KJN1（50MP）
  • 长焦：OV64B（64MP）

AI-PQ 模块目标为：

  • 输出统一色彩风格（清新自然，略偏冷调）；
  • 加强弱光下的质感与细节保留；
  • 支持夜景、逆光人像、HDR 室内三类复杂场景的动态调整；
  • 在视频录制中减少画面抖动与亮度跳变。
7.2 风格 LUT 与动态调节路径配置

项目初期在调色阶段导入 4 组色彩风格 LUT：

  • std_natural：标准自然风格，接近索尼默认色调；
  • vivid_warm：饱和偏暖风格，适合食物/人像；
  • cool_soft：冷色调柔和过渡，用于室内街景；
  • mono_highkey：高亮黑白模式，用于艺术风格拍摄。

工程配置中启用场景自动切换：

AI_ColorTuner:
  enable: true
  default_lut: std_natural
  scene_lut_map:
    portrait_backlight: vivid_warm
    city_night: cool_soft
    indoor_hdr: std_natural

实际表现中，城市夜景和弱光室内切换至 cool_soft 风格后，有效避免了噪点增强下的色彩偏离。

7.3 DRE & NR 模块联合优化案例：夜景提升

在暗光拍摄场景中，DRE + AI NR 的联合配置发挥了显著作用：

  • ISO 值通常超过 1600，传统 NR 容易抹除纹理；
  • DRE 在保证亮度层次提升的同时，为 NR 模块提供区域 Mask；
  • 重要区域（如人脸、灯牌）由 AI Scene 分析模块输出权重保护区域。

典型配置如下：

AI_DRE:
  enable: true
  shadow_boost_level: 1.2
  highlight_protect: true

AI_NR:
  enable: true
  strong_level: 0.85
  face_zone_protect: true

实测结果显示，在保持画面细节的前提下，夜景亮度分布更均匀，面部不发灰，灯光不过曝，画质感知提升明显。

第8章 AI-PQ 与用户体验关系分析及平台适配策略

8.1 用户感知与色彩审美差异的应对机制

在产品定义中，图像风格的区域审美差异被明确纳入策略考量。典型分布如下：

  • 东南亚市场：偏好暖色调、肤色红润，色彩饱和度较高；
  • 日韩市场：偏好清淡、通透风格，倾向低对比高亮度；
  • 欧洲市场：更倾向自然写实、明暗层次丰富的图像；
  • 国内用户：对“质感”认知敏感，特别关注清晰度与人像肤色还原。

为适配上述差异，MTK 提供“风格分区配置机制”，即在同一固件下可设定不同市场配置：

MarketStyleConfig:
  region: CN
  default_lut: std_natural
  dre_level: 1.0
  nr_level: 0.7

  region: JP
  default_lut: cool_soft
  dre_level: 1.2
  nr_level: 0.6

该策略通过 getprop 识别 region 信息，在 Camera Init 阶段切换配置，兼顾效率与体验。

8.2 平台性能限制下的边界控制策略

中低端平台（如 MTK Dimensity 6100+）在运行 AI-PQ 模块时存在以下限制：

  • 无法实时执行多尺度 CNN 模型，推理延迟不可控；
  • ISP 内存带宽瓶颈导致高分辨率图像处理性能不足；
  • 部分模块（如 DetailBoost、Dynamic NR）需关闭或退化为静态方案。

实际项目中采用以下适配方案：

  1. 降级机制：AI 模块不可用时自动切换至 LUT+CCM 静态配置；
  2. 任务剥离：人像、HDR 需要 PQ 加强的场景，采用边缘触发加载；
  3. Frame Skip 策略：在持续拍摄过程中部分帧跳过 PQ 处理，以节省资源；
  4. 功能优先级配置：
PQ_Module_Priority:
  - DRE
  - ColorTuner
  - NR
  - SharpBoost (if bandwidth_available)

通过以上策略，即使在资源受限的硬件上也可实现部分 PQ 能力的交付，并保障用户在主场景下的体验一致性。

本文转自 https://zhxin.blog.csdn.net/article/details/148676977，如有侵权，请联系删除。