红枫原色影像图像传感器示意图

来源：华为终端视频号

据华为官方介绍，红枫原色摄像头能够准确捕捉环境光谱，为主摄、超广角、长焦微距摄像头提供更加真实的色彩输入，从而拍出“所见即所得”的照片和视频。

红枫原色影像原理

来源：华为发布会

在实际拍摄中，应对复杂环境光和大面积纯色场景时，能够实现色彩更真实，光影更通透。

红枫原色影像样张

来源：华为发布会

拍摄舞台人像时，能够捕获更加丰富的色彩和光源细节，从而更好还原人物肤色，提升画质。对于红色、橙色等近似且复杂的灯光效果也能够精准还原。

红枫原色影像样张

来源：华为发布会

本质上，这颗150万像素的红枫摄像头是首次应用于手机中的多光谱成像摄像头。当前常用的Bayer阵列图像传感器只有RGB三个颜色通道，也就是只有红、绿、蓝三波段的光谱分辨能力。多光谱甚至高光谱，则是将颜色通道数增加到了几个或几十个，从而具有更高的光谱分辨能力，能够采集更多光和颜色的有效信息。

多光谱升维采样

来源：与光科技

其实这并不是华为首次推出光谱影像单元。2018年，华为推出的P20首次搭载了色温传感器。根据芯智讯拆解，华为P20 Pro的颜色传感器是由艾迈斯（ams）提供的TCS3430，作用是在不同照明条件下实现精准的颜色和环境光感测，使得拍摄时可以更精准调节白平衡。

华为P20 色温传感器

来源：华为发布会

ams TCS3430框图

来源：ams官网

2021年，华为推出P50 Pocket，首创超光谱超级影像单元，光谱硬件由10通道多光谱传感器、闪光灯、3200万像素超光谱摄像头、超光谱补光灯构成。其中3200万像素超光谱摄像头+超光谱补光灯构成了一个紫外相机，相当于把手机图像传感器的滤光片换成只允许紫外光通过的滤光片。因此，这里的“超光谱”是指超越“肉眼可见”，可以发现可见光之外（紫外光）的细节，带来肉眼“看不到的真实”，并非物理定义上的超光谱，其定义在第三章具体介绍。

华为P50 Pocket 超光谱超级影像单元

来源：华为发布会

紫外荧光摄影

来源：华为官网

华为在其旗舰机型中陆续搭载了色温传感器、8通道多光谱传感器、10通道多光谱传感器。不断升级环境光谱采集系统，核心就在于提升光谱采样与分析能力，将色彩还原重点转向环境色，相比传统白平衡算法更为真实地再现“拍摄时的记忆色”，从而实现“所拍即所见”。

华为多光谱传感器的升级

来源：华为发布会，与光科技整理

当然，多光谱对影像效果的提升不仅只有华为关注到了。随芯片化光谱系统方案的愈发成熟，光谱传感器在手机上早已兴起。各大手机厂商在旗舰机型中均已采用过环境光/多光谱色温传感器。

iPhone X搭载了ams为其定制开发的6通道多光谱传感器，包括紫外光、红光、绿光、蓝光、和两种近红外光。可利用该传感器感知环境光CCT水平，进而调整显示颜色和亮度。至iPhone 14系列，苹果首次配备双环境光传感器，同时改善亮度调节和后摄曝光。

iPhone X中的环境光传感器

来源：网络

OPPO Find X5 Pro在业界首次搭载13通道光谱传感器，给相机系统带来精准的色彩表现，同时也还原更真实的环境光源信息，改善白平衡效果。

OPPO Find X5 Pro中的13通道光谱传感器

来源：OPPO官网

vivo X90则是采用自研VCS仿生光谱技术。由于普通图像传感器的color filter光谱与人眼差异较大，自研VCS仿生光谱技术通过改进color filter，让传感器接收的原始信息不断接近人眼，实现更好的噪声表现和色彩还原，前置优化光信号。

vivo VCS仿生光谱技术

来源：vivo官网

计算成像在手机影像中的应用：

华为 XD Fusion Pro

来源：华为发布会

苹果 Deep Fusion

来源：苹果发布会

荣耀融合计算摄影技术

来源：网络

OPPO超光影图像引擎

来源：OPPO官网

Xiaomi AISP

来源：网络

影像效果历来是手机的核心卖点，光谱成像芯片能够获取的有效色彩数据，远高于RGB图像传感器，从而在光源识别、白平衡优化和色彩重建方面有天然的应用优势。

白平衡是消除色偏的过程，使照片中的白色更接近人眼看到的白色。在不同光源下，人眼可以轻松辨别白色，而自动白平衡（AWB）拍摄的照片可能会出现蓝色、橙色甚至绿色的色偏。在没有白色且色彩饱和度高的场景中，现有的AWB算法通常难以准确识别白点。应对此类场景，与光科技的多光谱成像芯片能够获取更丰富的光谱数据，精确分类光源，从而解决白平衡失效问题。

对纯色场景拍摄，白平衡恢复效果

来源：与光科技

对激光投影图像拍摄，实现高饱和度色彩还原

来源：与光科技

未来：光谱成像赋予手机更多实用功能

提升色彩表现只是光谱成像芯片在手机应用中的一个方面。未来，光谱成像芯片将在手机成像领域持续成为热点。例如，肤色检测、健康监测、物质鉴别、AIGC等应用，预计在不久的将来就能在手机上实现。这些创新应用将大大扩展手机的功能和用户体验，推动手机成像技术进入新的发展阶段。

肤色还原：在人像摄影中，更准确地捕捉人物肤色细节，从而帮助调整肤色色温，呈现更加自然和真实的肤色效果。

采用与光科技光谱成像模组拍摄，精准还原肤色光谱

来源：与光科技

皮肤检测：通过手机拍摄即可对皮肤进行检测，例如，拍摄红区图识别皮肤干燥、敏感等症状，拍摄棕区图提前发现皮肤暗沉、色斑等问题，方便用户进行皮肤管理。

采用与光科技光谱成像模组对皮肤红区图、棕区图拍摄

来源：与光科技

材质识别：检测和区分不同材质的光谱特征，如纹理、颜色、反射率等。可以在手机上集成区分金属、塑料、纺织品等不同材质的功能。

采用与光科技光谱成像模组拍摄区分真假水果，实现材质识别功能

来源：与光科技

AIGC：光谱成像能够提供图像生成所需的更准确的环境光、颜色、纹理等信息，例如采用光谱成像准确还原口红和皮肤的颜色，使得线上试装效果更贴近真实。光谱有望成为AIGC全新的物理输入维度。可用于提升图像增强识别、图像编辑功能、以及AR体验等。

口红试装示意图

来源：网络、与光科技整理

未来，随着光谱功能在手机中的渗透率持续提升，光谱成像芯片在手机领域市场空间广阔。根据敏感性分析，广发证券发展研究中心提出手机光谱成像芯片市场规模未来有望提升至5~10亿美金。

手机光谱成像芯片市场规模敏感性测算

来源：广发证券发展研究中心

当然，产品化的创新与发展，离不开科学技术的持续探索和进步，科学家们对于芯片化光谱技术的攻关，已经持续了近半个世纪。

光谱反映了光波与物质相互作用的丰富信息，每种物质都有特征吸收、发射或散射光谱，因此光谱也被称为物质的“指纹”，通过光谱分析可以鉴别物质并确定其化学组成。

光谱的构成

来源：网络

随着遥感技术的兴起，人们期望同时探测物体的图像和光谱信息，这催生了光谱成像技术，它能够获得包含二维空间和光谱信息的三维数据立方体，超越人眼感知能力，在疾病诊疗、精准农业、食品安全、天文探测等诸多领域有着重要的应用前景。如下图中，与光科技创始团队采用自研的光谱成像芯片对活体大鼠实时光谱成像，通过光谱重构算法恢复光谱图像和包含601个波段的数据立方体，图中选取了选择了5个单波长光谱图像，实现了大鼠脑部血红蛋白及其衍生物的特征光谱的动态变化观测。

与光科技创始团队对大鼠脑血管光谱成像，同时获取图像和光谱信息

来源：Cui K, et al.Optica 9, 461-468 (2022)

传统光谱成像技术基于传统棱镜色散、光栅衍射或干涉原理，需要精密的器件和足够的光程来将不同波长的光分开，一般采用空间扫描或波长扫描的模式，无法实时获取视野场景中各像素点的光谱信息。从原理上导致光谱成像仪器，体积庞大、价格昂贵，成像速度缓慢，是光谱成像技术长期存在的痛点。

根据光谱分辨能力的不同，可以将光谱成像划分为多光谱成像、高光谱成像和超光谱成像。具体来说，通常采用工作中心波长与分辨率的比值来进行区分。

光谱成像分辨率示意图

来源：Vines & Zhang Grass Research 2022, 2:1

得益于加工技术的进步和计算机能力的提升，芯片化光谱技术得到快速发展。早期微型光谱仪的发展主要依赖于20世纪80年代到21世纪初微制造领域的突破，光刻和蚀刻工艺的进步以及MEMS技术的持续发展使得复杂的微型色散器件、滤光器件和傅里叶变换系统的制造成为可能。

过去十年，计算能力的大幅度增强、计算成本的大幅度降低、压缩感知和深度学习等数学工具的发展为片上光谱仪的发展注入了新的活力。由于光谱仪的性能不仅可以通过增强硬件设备实现，也可以通过软件的优化实现，因此计算光谱仪成为了最具有发展前景的研究方向。近年来，研究人员相继提出了一系列新型光谱仪，例如量子点光谱仪、纳米线光谱仪、超表面光谱仪等。

1980s~至今，关键微型化光谱仪技术发展

来源：Yang et al., Science 371, eabe0722 (2021)

简单来说，光谱成像分为分光和成像部分，分光部分完成光谱维获取，成像实现对目标的空间维成像。在分光部分，与光科技布局了多种光谱分光技术，其中创始团队的超表面技术被《Science》综述论文引用为领域内最领先的研究成果之一（如上图）。在成像部分，与光科技采用CMOS图像传感器采集调制光信号，通过自主研发的光谱重建算法，实现空间阵列化的光谱成像。此外，与光科技与图像传感器厂商深度合作，共同拓宽CIS的光谱性能边界，致力于开拓更广阔的光谱应用市场。

与光科技的计算光谱成像芯片成果，源于清华大学微纳光电子学实验室，由清华大学电子工程系黄翊东教授领衔。团队提出了基于超表面宽带调制和计算光谱重建的片上光谱成像，研制出国际首款实时超光谱成像芯片，为实现消费级的光谱芯片提供了一种极具前景的方案。

超表面光谱成像芯片及光谱重构算法示意图

来源：Yang, J. et al. Chip 2, 100045 (2023)

与光科技创始团队进一步利用ADMM-net实现了对户外驾驶场景的实时光谱成像，光谱成像速率达到约36帧/秒，天空和白色车辆的光谱具有明显的差异，有望解决自动驾驶场景中同色异谱的识别问题。此外，具有视频帧率的高空间分辨快速光谱成像，也展示出与光的实时光谱成像芯片在机器视觉领域的巨大应用潜力。

户外驾驶场景的实时光谱成像结果

来源：Yang, J. et al. Chip 2, 100045 (2023)

黄翊东，清华大学学术委员会副主任、长江学者特聘教授、美国国家工程院外籍院士、国际光学委员会副主席，曾任清华大学电子工程系主任和清华大学天津电子信息研究院院长。黄翊东教授带领团队致力于“光芯片“研究20余年，取得了一系列领先的研究成果。黄翊东教授始终坚持通过创新走在前沿，在全球范围内创造不会被卡脖子的引领技术。

黄翊东教授

来源：清华大学电子工程系

崔开宇，清华大学电子工程系长聘副教授、周炳琨学者，国家级青年人才。主要的学术方向为基于半导体周期微纳结构的光电子器件，特别是基于光子晶体、光声晶体、超表面的新型智能感知光电子器件。崔开宇副教授致力于让光谱芯片成果从实验室走向实际应用，带领团队在生物医学、自动驾驶等领域开展了诸多探索。

崔开宇长聘副教授

来源：清华大学电子工程系

与光科技产品矩阵

来源：与光科技