经过几天抢救,司机终于醒了过来,当他一看见灯光时,就面露恐惧。经事后调查,当夜,微醺的越野车司机在城市道路上一路开着刚改造酷毙了的250 W远光灯炫耀,没成想,小轿车司机那么不经照,直接撞上了他心爱的坦克越野。
3、抗“眩”的导弹
2030年某抢滩行动。游击队盘踞小岛日久,仰仗从A国进口了一大批激光对抗武器而自得。进口这些装备时,队长范日文亲眼见证了这批货瞬间能让导弹放飞自我,一阵目眩头昏后,迷失方向,指哪落哪。
抵抗住抢滩前的密集导弹攻击,就意味着政府军根本没能力打进来。今天是政府军抢滩的日子,范日文按照A国军事顾问科学部署好激光对抗装备,提前摆好了庆功酒宴。
激光干扰
9:15,政府军的导弹如蝗虫一般飞向游击队方向时,A国的激光对抗武器开启了绚丽无比的对抗模式,一束束激光脉冲“稳准狠”地“击中”导弹,座海蟹“哈哈哈”一声长啸,等着“蝗虫”被诱落……
可是,灾难像节气一样如期而至,政府军的导弹竟然没有受到干扰一般,直捣范日文的老巢,范日文也身负重伤,倒地后直呼政府军的导弹“逆天”了!原来,政府军早就把“逆光”成像技术应用到制导武器中了。
一.
什么是逆光
“逆光”,这个在维基百科里都很难查到的词多活跃在摄影界里,尤其是各种手机拍照测试中,各种逆光拍人像、拍风光的摄影技巧令人目不暇接,却极少有出现在其他光电成像领域中,尽管它很重要。可能正因为重要,解决手段很少,大家有意无意地回避了,比如“规避角”这样的词就很能说明问题。“规避”一词其实就是告诉你“我惹不起还躲不起吗?”,是一种典型的被动妥协。
那么,什么是逆光?逆光到底带来了哪些挑战呢?
所谓逆光,就是观测时朝着光源(如太阳等)方向正面迎对。
我们都有抬头看太阳这样的经历,那强烈的光直入眼睛时的那种酸楚,让人难以忍受。就连在大太阳底下拍合影时,坚持几秒钟的眼睛睁大就会让你有跟摄影师拼命的冲动。于是,我们会学着孙悟空的样子手搭凉棚(减少光的射入),眯着眼睛(缩小光圈),小心翼翼地看上一眼天上的太阳赶紧躲避(切断光路),这个时候你甚至会感慨,就连孙悟空的火眼金睛也难以对抗太阳的光芒。
总结一下,对待强光的途径无非两个:衰减光通量和切断光路。
衰减光通量最简单的办法是缩小光圈,摄影中拍太阳就采用这样的方式,导致的结果是太阳看清楚了,其他有用的信息没了,目标还是没看到。当然,还有日冕仪观察日冕的方法,可是,日冕仪要求目标要处于相对静止状态才行,视场固定。
(a)日冕仪(b)日冕仪拍摄图像
不敢直面面对,那只能躲,切断光路;躲就意味着会丧失良机,要挨打。规避角,也许叫“龟避角”更合适,它的出现直接告诉我们在这个区域内我们束手无策,敌人来了,我们得“龟”避起来,高喊一句:“君子报仇,X年不晚!”之类,实则无招。可是,你还要想到,对你来说是逆光,对敌人来说,人家可是顺光,看你看得清清楚楚,双方处于不对等状态。
那么什么是规避角呢?规避角是以探测器视轴为旋转轴的某一圆锥角范围,允许强光入射的最小角度。为了更形象的解释规避角,我们以太阳规避角为例进行介绍。如下图所示,令卫星从A1开始太阳规避,此时利用“视轴偏置”的方法可以使相机视轴与太阳矢量夹角保持在不小于最小太阳规避角的水平,太阳规避期间仍可以看到部分地球,可以对部分区域成像。当卫星到达B1点时,太阳矢量与相机视轴夹角已临近遮光罩的最小太阳规避角,相机无法继续工作,卫星进入了非成像区。随后卫星到达C1点时,进入阴影区,由于无光照,相机可以正常成像,卫星恢复以轨道坐标系为基准的对地姿态。
太阳规避角示意图
对于汽车而言,逆光看不清了,必然很危险;如果汽车的摄像头也考虑规避角的话,那么面对那些成天打着远光灯的坏家伙,根本躲不了。
那么,我们该怎么应对逆光呢?下面,我们来分析一下逆光成像的本质。
二.
逆光成像的本质
逆光成像的本质其实是极高动态范围成像。
什么是动态范围呢?在图像处理和摄影领域中,动态范围(dynamic range)是指图像中最亮和最暗区域之间的亮度差异的度量。更具体地说,动态范围表示在图像中可以捕捉到的亮度级别的范围。动态范围越大,图像中包含的亮度级别就越广,细节也更丰富。图像的动态范围可以用20﹡log10(Imax/Imin)来表示。
输入信号的动态范围可以是无限的,因为亮度可以从零(没有光子)变化到宇宙中最亮的物体产生的强度。也就是说理论上,信号的最小值应该为0,此时动态范围为无穷大。但是,输出信号的动态范围是有限的。可是,探测器有基底噪声的存在,直接宣告“无穷动态范围”失效。
这是因为噪声的存在,零亮度不会产生零电荷;在高亮度时,因为具有完整的阱容量,亮度增加到某个点以上将不再产生相应的电荷增加。因此,CCD/CMOS的动态范围是满阱容量与本底噪声的比值,即像素可以产生的最大输出信号电平除以即使像素没有入射光也将产生的信号电平。
注意,这仅仅是CCD器件本身的动态范围,在量化时,还会受到量化数模转换(ADC)的影响,也就是说,一只90 dB动态范围的高性能CCD,如果采用8位的ADC,实际上只能得到48 dB的动态范围,牺牲了42 dB。所以,大马拉大车不行,这也是我们看到很多高性能的探测器芯片会有12、14甚至16位的信号输出,以适应高动态范围。
同时动态范围也会受到CCD器件满阱容量的影响。满阱容量是每个像素可以容纳的最大检测信号量,是指物理上多少电子可以放入像素的存储区域,并且仍然能被准确读取,这受相机像素的物理结构限制。如果一个像素饱和了,则不再继续进行光电转换,那么图像的灰度值就不能被准确地记录。而更高的满阱容量通常意味着更高的动态范围。
满阱容量和动态范围之间的关系。图1A:较低的满阱容量使图像失去了明亮的信号信息。图1B:较高的满阱容量使图像获得从弱信号到亮信号的全部信息
那么,逆光到底需要多高的动态范围呢?这个问题还真不太好说,我们估算过,在太阳强逆光情况下需要的动态范围超过200 dB。普通探测器一般具有60 dB左右的动态范围,100 dB以上已属优秀。
看来,提高动态范围的压力也不能全压给探测器,那我们该怎么办?
三.
全链路解决逆光问题的思想
随着空间光学的全面发展,逆光成像必然会成为一个研究热点。目前逆光成像的种类有:强度衰减成像技术、HDR技术成像、事件相机成像、超大动态范围探测器技术、基于全链路的逆光计算成像技术,下来我们对各个方法进行逐一介绍。
1. 强度衰减成像技术
“金环日食”对于许多天文爱好者来说乃是一大绝美奇观,“环食恒久远,一刻永流传”,如此罕见的天文现象,很多人都想留下一点纪念。那么,如何才能让瞬间变成永恒呢?
我们知道,太阳的能量极强,如果将千倍万倍的太阳光汇聚到一点,是可以直接烧穿纸片的,更何况是人的视网膜,所以用探测器观测或拍摄日食本身就是一件很危险的事。那么是否有一种办法,能够衰减强烈的太阳光线,让我们能够安全地观测到这一绝美奇观呢?于是,巴德膜便应运而生。
巴德膜其实是一种镀了金属的树脂膜,手感类似于塑料膜。但这样一个“塑料膜”的作用却非同小可,它能够做到减光10万倍,也就是使得透过的光是总光量的10万分之一,能够保护眼睛和仪器不受伤害。而且,巴德膜本身是银色的,反光很厉害,可以把很多光线和红外线都反射出去,所以即便是在阳光下暴晒,温度升高也不会太多。有了这样一个好东西,我们只需要把它安装在物镜前端,就可以来用肉眼或探测器观测日食了。
然而,巴德膜在消减光线和有害辐射的同时,可能降低被摄物的反差,导致其无法观测到暗目标的细节信息。因此,巴德膜也不是完美的,它的问题在于只能观察到亮目标而不能看暗目标。
巴德膜(左) 利用巴德膜的拍摄效果(右)
当然,现在的数码相机也敢直面太阳,拍出太阳黑子清晰可辨的太阳照片,时刻最好是黄昏。在疫情西安封城时,我几乎每日黄昏盯着太阳拍,打发无聊的时光。你看,太阳黑子都能看到。
2.HDR技术(High Dynamic Range Imaging)
喜欢摄影的朋友对于HDR功能可能会比较熟悉,当拍照时如果正好面对着亮光,曝光时间短的情况下,周围景物不清晰,曝光时间长一点,亮光又会太突出,这时只需要打开相机的HDR功能就可以拍一张清晰的相片,那么这个HDR到底是怎样做到这一点的?
传感器单次曝光捕获的动态范围有限,不同的曝光量捕获的亮度范围不同,通过对同一场景以不同的曝光量多次曝光(即包围曝光),实现覆盖整个场景的亮度范围,最终将这组覆盖场景亮度范围的图像合成为一张HDR图像。
HDR图像
那是不是只要有足够多的不同曝光条件下的图像,就可以获得超高动态范围的图像?其实并不是这样,从下图中我们可以很明显的发现,在强光照射的情况下,我们无法获得弱目标的信息。毕竟HDR只是对现有信息进行更好的整合,无法展现出用于合成的图像中没有的信息,因此它的动态范围是存在极限的。
同时由于这种方法在使用时需要拍摄一系列相片,如果在这一过程中相机发生了抖动或者目标发生了运动,那么相片就会产生运动模糊或者鬼影(同一目标出现在不同位置),鬼影是阻碍HDR成像发展的一大难点。
拍摄时抖动的HDR图像
3. 事件相机成像
常见的事件相机
对于逆光成像中的一些场景,如高速运动、迅速的亮度变化,高动态范围等等,基于帧的普通相机是无法完成的。因此需要一种具有低延迟、高动态范围、低功耗、高时间分辨率等优势的事件相机来完成。
事件相机,简单来说就是只有当镜头中像素亮度变化才会触发信号的相机,而传统相机是固定帧率采集图像。说得大白话一点就是,“只有运动才看得见,不动就是一片黑色”。这样的好处其实也很明显,就是响应快、低功耗,特别是在做动态物体捕捉的时候,有着先天的优势。
它之所以能做到“仅感知运动物体”,是因为当某一像素在一瞬间光照强度发生了微弱的改变,事件相机将会记录下这一像素所在的位置、发生时刻和极性(增大或减小),并记为一个“事件”。另外,由于所有的像素都是独立工作的,所以事件相机的数据输出是异步的,在空间上呈现稀疏的特点,这也正是事件相机优于传统相机之处。这种成像范式的好处是可以大大减少冗余数据,从而提高后处理算法的计算效率。
普通相机在高速运动状态下会出现运动模糊,而事件相机则很好的解决了这个问题。如下图所示,分别是普通相机和事件相机拍摄到晚上有行人在汽车前奔跑的画面,可以看到普通相机出现了明显的曝光不足和运动模糊,而事件相机则很清晰如图是利用事件相机记录大动态范围成像的成像结果。
普通相机和事件相机成像效果对比
然而,事件相机也存在许多问题,当它在记录事件时,在亮度过低的情况下,曝光时间过长可能会导致内部相机电容强行重置,导致信息丢失,而且无法满足实时拍摄的要求。而且,事件相机在逆光条件下拍摄目标时,尽管保留了目标的轮廓信息,但目标大部分有效的细节信息已经丢失,这为后续目标关键部位的识别和确认带来很大困难。
4. 超大动态范围探测器技术
对于我们而言,日常生活中可以接触到的最强的光源就是太阳,那现有的技术可以实现对着太阳进行逆光成像吗?要知道自然光的跨度约超过200 dB,现有的技术远远达不到要求。既然HDR技术的算法有极限,那我们还得从探测器入手,但是现有的探测器的光敏性是固定的,对于过强的光会出现饱和像素,那我们能否设计一个对不同光强会有不同光敏性(如同人眼一样)的探测器?
人眼的光感受器包括视杆细胞和视锥细胞两种,前者光灵敏度高、用于探测弱光,后者则用于捕获强光,尽管两者均只有40 dB的探测范围,但通过负反馈调节不停地更新成像范围可以实现超过160 dB的探测范围。其原理主要是依靠水平细胞的负反馈来实现两种细胞工作状态的切换,当人眼处于暗场时,视杆细胞占据主导,随着时间推移光感色素不断再生将视觉灵敏度慢慢提高;人眼处于明场时,视锥细胞占据主导,光感色素不断漂白,使光灵敏度降低到人眼可接受的程度,降低强光的损伤。
人工模拟视网膜中光感受器和水平细胞的视觉自适应(暗适应和光适应)机制
科研人员受此启发设计一种新型超大动态范围仿生探测器,从而人工模拟视觉适应机制。这种新型超大动态范围仿生探测器基于MoS2光电晶体管阵列,通过主动引进电荷陷阱捕获成像光所转化的电子,并由电压控制调控释放量以实现探测器光敏性的改变,通过施加不同的栅极电压来控制同一器件中的暗适应和光适应程度。通过这种方式,探测器模拟了视网膜中的光感受器和水平细胞,成功实现了具有199 dB感知范围的仿生传感器内视觉自适应器件。
仿生视觉传感器阵列的暗适应和光适应测试
然而,这种通过模拟人眼视网膜的暗适应和光适应机制虽然扩展了探测器对于不同光照条件的感知范围,但其探测器规模极小,只能覆盖几十个像元,器件随时间的灵敏度变化不明显,这导致了它的成像时间长达120 s,以及弱光和强光下灵敏度差距大。
5. 基于全链路的逆光计算成像技术
那么计算成像对逆光问题有更好的办法吗?
之前几期文章中我们反复强调计算光学成像注重全链路一体化设计,现在就是发挥“团队”力量的时候了:后端探测器承受不了的压力可以分担给前端光学系统,得到一种基于全链路的逆光计算成像技术。
计算成像链路示意图
在光学成像中,探测器在成像链路中发挥着采集信息的关键作用,将光信号转化为电信号。在强逆光等极限条件下对目标信息进行获取,其光子能量过强足以打破或改变探测器的原子结构,破坏感光元件,改变感光元件特性,使其无法正常的工作使用。
为了避免光线能量太强对探测器产生不可逆损坏的情况,可利用计算光学成像技术对全链路进行一体化设计。在成像链路中添加了可编程空间光调制器,通过空间光调制器对入射光信号进行编码与调制,改变原始光场的能量分布形式,使得强逆光区域衰减、目标区域增强,两者间高维度信息比得到增强,从而将探测器的压力分担给整个光学系统中。之后使用光场恢复的自适应算法,进一步对目标进行显著性增强,从干扰背景中凸显目标特性,实现目标从干扰背景中的分离和探测,完成大动态范围成像。
大动态范围成像效果
在传统的探测方式下,大动态范围成像条件下的暗弱目标完全看不到相应的信息。我们利用光场调制投影技术,构建大动态条件下目标信息非线性变换模型,打破传统“点”到“点”的传统线性成像机理,实现从“点”到“面”的非线性变换机理研究,在仅使用普通工业相机的前提下扩展动态范围,实现对120 dB以上场景成像!
传统探测结果
调制后探测图
复杂目标
解译结果
四.
逆光成像面临的挑战
我们讨论了许多种逆光成像的方法,从传统的衰减式到大动态范围探测器再到基于全链路的逆光计算成像技术,它们以不同的视角一定程度上解决逆光问题,但离真正好用、一法应万变的逆光成像还有不小的差距。下一阶段的逆光成像技术一定要保证兼容普通场景,既能应对逆光场景又能对普通场景进行高质量的、高分辨的成像。而这就牵扯到何时采用逆光成像模式、何时又切换到一般成像模式的问题。“精识时机,达幽究微”,若不能把握恰当的时机,迟来的逆光成像反而会成为一种干扰,毕竟它本该应对的“强敌”转瞬即逝,一拳打在空处可不好受。
传统光学系统设计方法已经历经了几百年的打磨完善,上可九天揽月下可五洋捉鳖,却唯独拿逆光没办法,因为镜头只扮演着汇聚能量、决定视场的角色,至于能看多强/弱全凭探测器能力。在之前“光学系统设计,何去何从?”中我们已经认识到,未来的光学一定要敢于越界、善于越界:光学系统要抢探测器的活,探测器也做原来系统才能做的事(就像是曲面探测器),这也是我一直在大力推广和践行的。与常规成像相比,逆光成像还处于初期阶段、缺乏智能性,下一步如何使逆光成像系统具备智能处理能力,自适应地选择是否进行特定目标的补光、增强目标信息占比,对无论是超强还是极弱亮度目标内部的细节清晰成像是极为重要的发展方向之一,也是我们现在努力的方向。
总结起来无非三点:在光路和探测器上的高动态调制、自适应环境的成像模式切换和高分辨率逆光成像。
五.
“逆来顺受”的好相机
“逆来顺受”不是个好词,尤其会涉及到道德和苦难等事宜。但是,对于一个好的相机来说,“逆来顺受”却达到了很高的境界,它的涵义是既能顺光成像,也能抵御逆光这类的强光干扰。那么,很显然这个相机就必须要有“好脾气”去适应这样的环境,于是,我们就需要相机“动脑子”。
在摄影相机中,动态范围往往与感光度ISO对应,它实际上是一个分段函数,根据光强不同可以自动切换不同的ISO进行拍摄,其依据就是感光度的测量。对于“逆来顺受”的好相机而言,实时测出动态范围,适时切换“顺光”还是“逆光”的工作模式,无比重要。在这里,我们更呼唤新型探测器,从机制上能够保证环境的适应性,能够做到120 dB以上甚至200 dB的动态范围。当然,这些事情,已经在我们策划的路上,我会在先进探测器的篇章中进一步阐述。
最后,我以李白的“侠客行”作为结尾,希望我们能够像《侠客行》中的狗杂种石破天那样,另辟蹊径解读侠客岛上的“侠客行”古诗和“太玄经”中蝌蚪文,摆脱思想的约束,尤其是专业的约束,多想一想“从来如此,那便对吗?”,追求大道至简,敢于创新,做到“深藏身与名”,而不是去炫耀“十步杀一人”的名号。
侠客行
唐·李白
赵客缦胡缨,吴钩霜雪明。
银鞍照白马,飒沓如流星。
十步杀一人,千里不留行。
事了拂衣去,深藏身与名。
闲过信陵饮,脱剑膝前横。
将炙啖朱亥,持觞劝侯嬴。
三杯吐然诺,五岳倒为轻。
眼花耳热后,意气素霓生。
救赵挥金槌,邯郸先震惊。
千秋二壮士,烜赫大梁城。
纵死侠骨香,不惭世上英。
谁能书阁下,白首太玄经。
下篇预告:光学“合不成的孔径”
光学合成孔径是光学人的梦想。雷达合成孔径技术已经成熟应用,但同为电磁波的光,却为什么那么难?本篇将从合成孔径的概念、发展现状和存在的问题出发,研究从计算成像的角度发展光学合成孔径,探索光学合成孔径的发展路线。
作者团队简介
邵晓鹏,教授,西安电子科技大学光电工程学院院长,西安市计算成像重点实验室主任,173重点项目首席,科普作家。主要研究方向:计算光学成像技术、光电图像处理与模式识别、光电仪器研制与测试。现任国家部委专业组专家,中国光学工程学会常务理事、中国光学学会理事、陕西省光学学会副理事长、陕西省光学工程学会副理事长、西安市激光红外学会副理事长;光场调控及其系统集成应用福建省高校重点实验室学术委员会主任;国防工业光电信息控制和安全技术等10余个重点实验室学术委员会委员。《Advanced Imaging》主编,《Ultrafast Science》副主编,《应用光学》副主任委员,《激光与光电子学进展》《光学精密工程》《光子学报》《系统工程与电子技术》《数据采集》《光电技术应用》《激光与红外》《集成技术》《西安电子科技大学学报》等期刊编委。
刘金鹏,副研究员,华山准聘副教授,硕士生导师,现工作于西安电子科技大学光电工程学院计算成像研究所。主要研究方向为强对抗环境下计算成像。近年来主持国家自然科学基金青年、国家重点项目子课题等多项国家及省部级项目,参与面上项目、863项目等课题。在散射成像、光场调控与分析等方面开展研究,并发表多篇OPTICS EXPRESS、OPTICS LETTERS等SCI期刊论文,任Scientific Report、OPTICS EXPRESS、Applied Optics等期刊审稿人。
相萌,准聘副教授,现工作于西安电子科技大学光电工程学院计算成像研究所。
主要从事计算成像在空间遥感、工业检测、生物医学等典型交叉学科的应用研究,具体研究方向为光学合成孔径成像、傅里叶叠层超分辨成像等;近年来主持或参与了包括国家自然科学基金、JKW预研基金、高分辨率对地观测系统重大专项、重点实验室基金等国家及省部级纵/横向项目十余项。在Optics Letters、Frontiers in Physics等国内外重要学术期刊共发表SCI论文多篇,任Optics Letters, Applied Optics,JOSA A等多个国际期刊审稿人。
中国激光杂志社招聘
工作地点:上海
1. 中/英文刊编辑
组稿、论文评审与期刊出版
2.出版编辑
稿件格式审核、编辑加工、校对
3.新媒体编辑
新媒体内容策划、生产、传播
点击了解详情
简历请发送至
zhouxiaoying@clp.ac.cn
邮件标题:应聘职位—姓名
End
首发前沿光学成果,放送新鲜光学活动
如需转载,请直接留言。
商务合作:季先生 18018304797
免责声明
本文中所出现的所有图片均为转载,如涉及版权等问题,请作者在20个工作日之内来电或来函联系,我们将协调给予处理(按照法规支付稿费或删除)。
最终解释权归《中国激光》杂志社所有返回搜狐,查看更多