近日,鼠界也迎来了虚拟现实时代。
是的,虽然并不是每个人类都拥有VR头显,但老鼠已经有了。
最近,康奈尔大学的研究者,为小鼠专门研制了一款沉浸式虚拟现实头显MouseGoggles。
MouseGoggles能够生成高性能的VR场景,如虚拟线性轨迹、视觉刺激。
这样,研究者就能在虚拟现实环境中,对小鼠进行视觉刺激、行为训练等实验,更深入地研究它们的大脑功能和行为反应。
另外,研究者还用了2-光子钙成像和海马电生理实验,来验证眼镜设计的功能,然后对小鼠进行了虚拟线性轨迹行为训练实验和逼近视觉刺激行为实验。
鼠用头显,尺寸小一些
所以,老鼠戴的头显长啥样?
跟咱们人类差不多,也就是尺寸小一些。
这种鼠用头显,会固定在小鼠头部,这样就能在宽视野中,提供一种独立的双眼视觉刺激。
在研究中,通过海马记录、联想奖励学习和先天恐惧反应,小鼠经历了一番身临其境的VR体验。
而简单的开源系统、极低的成本和头显紧凑的尺寸都表明:从此以后,VR可以在神经科学中广泛采用了。
也就是说,从此以后也许每个鼠鼠都能有VR头显戴了!
小鼠特制全景VR
当然,给鼠鼠设计VR头显,并没有想象得那么容易。
在实验动物中引入VR头显,就需要有一个头部固定的装置,能够记录下复杂认知任务背后的神经过程。
VR需要让实验者能完全控制小鼠的视觉体验,而且实现在现实世界的实验中无法实现的操作。
传统的VR,依赖于由投影仪屏幕或 LED 显示器阵列组成的全景显示屏,这些显示屏距离小鼠的眼睛10-30厘米,以保持在小鼠的景深范围内。
这就需要比小鼠大几个数量级的显示屏,而这会导致系统复杂、成本高昂、光污染严重,很难集成到多个神经记录的装置中。
此外,固定的实验设备(如摄像头、舔舐口、显微镜物镜)都会阻碍小鼠的视野,可能会降低在虚拟环境中的沉浸感。
怎么办呢?研究者从人类的VR方案中得到了启发。
如图1a所示,研究者使用小型圆形显示器和短焦距菲涅耳透镜,设计出了非常适合小鼠眼睛生理学的目镜。
透镜对显示屏的球面变形,使小鼠每只眼睛的角度分辨率接近恒定,达到每度1.57个像素(ppd),奈奎斯特频率为每度0.78个周期(cpd)。
这略高于小鼠视觉0.5cpd 的空间敏锐度,视场(FOV)的覆盖范围达到了140(o)(图1b-c)。
光学设计使显示屏接近无穷远焦点(图1d),而这,就是小鼠视觉的最佳焦距。
这种系统的独特之处就在于,可以单独控制每只眼睛的显示内容,还可以调节耳机间距,获得更大的俯视刺激。
这有什么用呢?
要知道,这种俯视刺激,极大模拟了动物猎食时的感受,这对它们很重要。
而这样,也克服了全景VR的限制。
为了给目镜显示器生成图像和视频,研究者设计了两种控制系统。
第一种是将单个显示器连接到高速微控制器,这非常适合视觉神经科学中常用的简单单目视觉刺激实验(图1f,左)。
第二种,则是使用新颖的分屏显示驱动程序,将两台显示器连接到树莓派Raspberry Pi 4上(图1f,右)。
研究者用了视频游戏引擎Godot,来快速构建三维环境、编写实验范例,并通过逐帧同步,与外部设备进行低延迟输入/输出通信。
而MouseGoggles采用双眼视口和定制着色器,将Godot 3D环境映射到目镜上(图1g),这样就能以80 fps的速度生成高性能VR场景,输入到显示的延迟时间小于130 毫秒。
通过将树莓派(Raspberry Pi)与目镜分离,整个单目和双目显示系统就都可以安装在由3D打印部件组成的单个外壳中,配以较小的耳机外形尺寸。
效果如何
所以,这个专为小鼠设计的VR头显,效果如何呢?
为了验证它的功能,研究者把小鼠麻醉,固定头部,然后对它们进行了视觉刺激。
在这个过程中,对视觉皮层进行了双光子钙成像。
单目显示器会使用蓝色刺激来激发V1神经元,可以计算出,V1 L2/3神经元的刺激调谐特性,几乎与之前使用传统显示器时相同。
各项结果显示,这个显示器能为小鼠的视觉系统产生聚焦、高对比度的图像。
也就是说,对于头部固定的小鼠,MouseGoggles能有效地向它传递虚拟空间信息。
鼠鼠听话吗
所以,戴上VR头显后的小鼠,是否能被调节行为呢?
为了评估人类通过VR头显调节小鼠行为的能力,研究者对小鼠进行了为期5天的线性轨道位置学习训练。
如图3a所示,如果小鼠在特定虚拟位置舔食,就会获得液体奖励。
果然,在第4、5天的时候,小鼠果然对奖励区有了明显的舔舐偏好。
这就表明,VR中的空间学习,对小鼠是有效的。
而且,与全景显示器比,VR头显有一个好处,就是可以让小鼠更大程度上地沉浸在虚拟环境中,因为头显可以有效地阻挡不相干的和相互冲突的视觉刺激。
为了确定这种更身临其境的VR头显是否可以引发小鼠的先天行为反应,研究者向从没有戴过头显的小鼠展示了一个巨大的视觉刺激(图3e)。
几乎所有戴着头显的小鼠,都显出了惊吓反应(快速跳跃、踢腿、背部拱起、尾巴收起)。
而在传统的基于投影仪的VR系统上进行的几乎相同的实验时,小鼠就没有被立刻吓到。
总之,与全景显示系统相比,这种VR头显不仅可以进行传统的小鼠神经科学和行为实验,还为头部固定的先天行为新实验打开了大门。
接下来,我们完全可以进一步改进小鼠VR技术,比如多感官VR、瞳孔跟踪或自由行走VR,并且让头显越做越小。
想戴VR,先开个颅
不过,做实验鼠鼠,也没那么容易。要接受上述这些实验,鼠鼠们还得经过一番「改造」。
为了固定住头部,小鼠会先被异氟醚麻醉。
注入镇痛剂后,它们的头皮会被消毒,然后研究者会沿着颅骨矢状线,切出一个12-15毫米的小切口,以露出足够多的颅骨。
然后,手术刀会划过头骨表面,去除骨膜。待头骨完全干燥后,研究者会涂上一层厚厚的黏合剂。
就在这层黏合剂上,小鼠的头部会被放置一个特别定做的钛制头板。
然后小鼠会被送回加热垫上的笼子里休养身体,至少一周后,才会参与VR实验。
总之,想要戴VR,还得先接受个开颅手术,鼠鼠也是不容易啊。