基于FPGA的双图像传感器设计方案

本文关于传感器及高质量及数据方面的免费优秀学术论文范文，关于传感器论文范文素材,与基于FPGA的双图像传感器设计方案相关学士学位论文范文，对不知道怎么写传感器论文范文课题研究的大学硕士、本科毕业论文开题报告范文和文献综述及职称论文的作为参考文献资料下载。

摘 要 ：本文介绍了在Lattice FPGA平台上实现的双图像传感器设计方案.该方案通过处理两个图像传感器的数据来对改善最终的图像数据.

关 键 词 ：双图像传感器；FPGA；Lattice；MachXO2

DOI: 10.3969/j.issn.1005-5517.2012.10.013

当人们考虑有两个图像传感器的应用时,首先很可能想到的是一个三维摄相机.不过,也有许多设计可以通过使用来自两个图像传感器的数据进行改善；一个例子是汽车司机录像机（CDR）的黑盒子,这通常是安装在后视镜附近,拥有两个摄像机（图1）.一个摄像机朝向挡风玻璃,而另一个摄像机指向司机.在本地的存储器芯片中存储摄像机的视频,如果有意外事故或疑问,可以进行检索.

两个摄像机和其数据的其他应用包括对监视的精确分析,在车中对行人的检测.在这些设计中,这两个相机的输出被用来创建一个包括深度感知的算法.有了这些数据,处理器可以非常精确地“看到”图像和从阴影或其他物体中辨别出人.

所有这些设计都要求有一个图像信号处理器（ISP）.然而,一个ISP支持两个传感器并不简单.虽然大多数ISP可以支持两个图像传感器的吞吐量,绝大多数ISP器件已经设计成只有一个传感器接口.即使有两个端口的ISP往往不能组合在一起,同时处理两个图像,或者,如果他们能做到,往往是非常昂贵的.

除了这个ISP接口被限制为只处理一个图像传感器之外,更高分辨率的图像传感器构成了另一个设计挑战.从历史上看,通过统一的CMOS并行总线（图2）,所有高达720p30分辨率的图像传感器都被连接到ISP.

对于720p60和更高的分辨率,图像传感器无法通过CMOS并行总线进行高质量的传输.因为并行总线速度必须高于70MHz,开关噪声导致图像传感器的质量下降.为了解决这个问题,图像传感器供应商引入串行而非并行总线来传输数据.然而,由于许多ISP器件只设计成采用并行总线,需要将新的传感器的串行总线转换到这个并行总线（图3）.

图1 汽车司机录像机

最后,对于需要3D算法的应用,这两个图像传感器必须同步工作.这不容易做到,因为每个传感器的制造商都有自己的方法和格式.例如,一些图像传感器使用I/O引脚来进行触发,而其他制造商则使用I2C,SPI或两者兼而有之.几乎所有的ISP都面临着设计挑战,以支持多种模式,从而确保各种传感器是同步的.

一些ISP厂商都试图来解决这个问题,通过提供两个独立的接口和两个处理引擎来支持两个图像传感器.但是,结果是构成了一个非常昂贵的ISP器件,不仅图像处理能力远远超过实际的需求,而且对软件开发人员而言,配置和编程更加复杂.

如果一个设计正确地支持格式化两个传感器,使它们同步,在数据发送到ISP之前以正确的格式将数据合并,所有这些双图像传感器的挑战都是可以克服的.如前所述,目前许多ISP可以处理两个传感器的吞吐量.关键问题是同步接受图像,用正确的格式,以及送至正确的总线.最具成本效益的设计解决方案是使用一个小的FPGA和帧缓冲存储器.

图4展示了一个具有成本效益的解决方案,同步,合并和输出正确的格式到ISP.通过利用低成本FPGA,如莱迪思的MachXO2和一种廉价的LP SDRAM器件,两个图像传感器可以桥接到一个ISP.FPGA设计需要包含以下功能：首先,它必须从ISP接口接至I2C或SPI寄存器配置.对于这两个传感器,此配置设置是相同的.FPGA则需要发送串行配置数据（I2C或SPI）到两个传感器,并确保它们被正确地配置.在这一点上,两个传感器将有相同的配置,但他们仍然需要同步.对每一个特定的传感器制造,MachXO2 FPGA的灵活性能够实施必需的独特控制.为了确保驱动每个传感器的时钟完全一样,FPGA还将输出时钟到两个传感器.一旦两个传感器被设置和同步,这两个传感器便开始传输图像数据.

然后FPGA将需要在I/O单元和逻辑结构中解串化的高速串行图像数据,因此它可以转换这个传感器的数据流为并行格式.然后MachXO2 FPGA寻找适当的控制字符,所以对于每个传感器,它能够识别帧的起始和行的起始.这通常是通过寻找控制字符或命令序列来完成的.一旦检测到传感器的图像数据,FPGA可以提取原始图像数据,并开始使用低功耗SDRAM存储器来存储帧.当然,在FPGA中需要一个LP SDRAM存储器控制器,用来正确地读写图像数据.FPGA执行的下一个功能是整理这个帧格式到所需的输出格式.例如,一个流行的格式是自上而下的配置,另一个是并排的配置（图5）.

在传送集成的传感器数据之前,FPGA中的传感器数据要转换成Bayer模式图像格式.这将确保正确的RGB颜色传递到ISP.有了已知的正确图像和输出格式配置,然后MachXO2 FPGA用并行总线输出格式化的数据到ISP.外部LP SDRAM用于缓冲传入的帧,由于前一帧已被送出.通常情况下,LP SDRAM运行两倍快的输出时钟到ISP.为了确保ISP的读取和识别数据,FPGA输出被设计成模仿并行图像传感器的输出.也就是说,FPGA产生时钟、帧有效、行有效,通常以一个12位数据总线送至ISP.

莱迪思半导体公司和Aptina已经实现了这个设计.通过使用莱迪思MachXO和两个Aptina的9MT024图像传感器,这个设计是一个非常符合成本效益的解决方案,几乎所有的ISP都可以接受.配置传感器的所有主要功能,对它们进行同步,然后实施合适地格式化输出图像数据.

图2 通过CMOS并行接口连接ISP

图3 转换到并行总线

图4 FPGA设计解决方案

图5 输出格式