东方锐智—让教育更美好

当前位置:锐智首页 > 技术博文-嵌入式 > 正文
嵌入式车牌识别系统的设计及实现
时间:2013-07-25 00:00:00 来源:网络 作者:东方锐智

1、引言

    随着我国国民经济的高速发展,国内高速公路、城市道路、停车场建设越来越多,对交通控制、安全管理的要求也日益提高,智能交通系统(Intelligent Transportation Systems,简称ITS)已成为当前交通管理发展的主要方向,而车牌识别(License Plate Recognition,简称LPR)系统技术作为智能交通系统的核心,起着举足轻重的作用,它在高速公路、城市道路和停车场等项目管理中占有无可取代的重要地位[1-2]。

    本文所研究的车牌识别系统,正是在这样的背景下提出来的,对于目前LPR作为ITS中的核心关键技术,具有相当大的理论和现实意义。本系统所设计的是一个基于DSP和FPGA的嵌入式车牌识别系统[3-4],该系统不同于传统的车牌识别系统,具体实现过程将在下文详细描述。

    2、系统结构设计

    传统的车牌识别系统主要采用摄像头、视频采集卡、工控机几个主要模块搭建出来的方法来实现,其优势是实现容易,但是成本高、实时性不强、安装和维护不便。而在本文系统设计中,摒弃了传统的模式,采用TI公司的TMS320C6713B高性能(强大的并行运算能力)DSP作为识别算法的运行硬件平台,Altera公司性价比很高的Cyclone系列EP1C12Q240型号的FPGA作为协调整个系统的工作与相关的图像采集及控制,再加上一些外围器件(FLASH、SDRAM等)共同构成本嵌入式车牌识别系统硬件平台,如图1所示。

    与传统的车牌识别系统不同,该系统无需计算机即可实现车牌图像的采集、识别、输出结果,具有识别性能高、环境适应性强、安装维护简单、成本低等特点。其中采用以DSP和FPGA作为核心的系统设计最大优点是结构灵活、通用性强、适合于模块化设计,从而能够实现高效率的算法和实时控制;同时其开发过程可以并行进行。

                                                                                               图1 车牌识别硬件框图

 

    2.1 视频输入模块

    目前,世界上实际应用的电视信号制式主要有NTSC制、PAL制和SECAM制3种,世界上大多数国家采用PAL制,我国也采用PAL制,此系统采用的摄像头输出的视频信号就是标准的PAL制式。

    PAL电视制式规定,场扫描频率为50Hz,每秒扫描25帧图像,每帧包括奇、偶两场图像,每帧图像的扫描行数为625行。电视信号由“图像信号”和确保同步的“复合同步信号”以及消除扫描逆程回扫线的“复合消隐信号”等辅助信号构成。PAL制电视信号转化为数字视频信号后,一般输出数据格式符合ITU656 YUV4:2:2标准,输出一帧图像的625行数据中,其中有效图像数据占572行,其他为场消隐信号;同样,每行有效的图像数据也只有720个象素。

    本系统中输入是PAL制式的模拟图像数据,必须要经过A/D转换才能供后续系统处理。此系统选用的视频解码芯片(A/D)是Philips公司的SAA7113H[5],支持标准的PAL制式视频信号输入。输入可以为4路CVBS或2路S视频(Y/C)信号,通过内部寄存器的不同配置可以对输入进行转换,输出8位"VPO"总线及一些场、行同步控制信号,其中输出图像数据为标准的ITU656 YUV4:2:2格式。SAA7113H内部具有一系列寄存器,可以配置为不同的参数,对色度、亮度等的控制都是通过对相应寄存器改写不同的值,寄存器的读写需要通过I2C总线进行。由于TMS320C6713有自带的I2C总线接口,所以系统设计里,利用DSP通过I2C总线对SAA7113H进行配置控制,简易了系统的设计[6]。

    SAA7113H的VPO[7:0]总线以及RTS0、RTS1、LLCLK与FPGA相连,通过DSP的I2C总线把其中的RTS1、RTS0分别配置成场、行同步信号,只有在行场同步信号都同时有效时,才是有效的图像数据输出,否则一般为图像的消隐信号。此时我们只要根据LLC时钟来对VPO总线上的数据来采集即可得到完整的图像数据(720*572大小)。SAA7113H与DSP和FPGA的连接方式如图2所示。

                                                                             图2 SAA7113H与DSP和FPGA的连接示意图

 

 

    经过实际操作,通过DSP的I2C总线对其进行正确配置,然后由Verilog编写的FPGA程序来进行图像数据的采样,再用Quartus II自带的SignalTap II Logic Analyzer(逻辑分析仪)对波形进行相应的分析,验证了系统中一些重要的信号,结果显示是正确可行的。图3显示的行、场同步信号RTS0、RTS1与VPO数据输出的关系,达到了预期的结果。 

                                                                          图3 行场同步信号(RTS0、RTS1)及VPO波形

 

 

    2.2 DSP功能模块

    DSP作为本系统的核心芯片,主要有两方面的关键技术:一是DSP硬件平台的搭建;二是DSP程序的开发,包括DSP的算法移植及底层驱动编写。

    2.2.1 DSP硬件搭建

    TMS320C6713B是TI公司的一款高性能的32位浮点DSP[7]。其工作频率最高可达300MHz,每秒可执行2400MIPS和1800MFLOPS,非常适合在大数据量的图像处理场合中使用。集成了丰富的片上外设,包括PLL、多通道EDMA控制器、多通道缓冲串口(MCBSP)、I2C接口、HPI接口、EMIF接口等。其中32位高性能外部存储器接口(EMIF)能与SRAM、SDRAM、SBSRAM等同步/异步存储器进行很方便的无缝连接接口,兼容8/16/32位外部存储器总线[7]。本系统上的FLASH、SDRAM及FPGA都挂在DSP的EMIF总线上,方便DSP对其访问和操作:

    (1)DSP与FLASH接口:FLASH是一种高密度、非易失性的电可擦写存储器,主要用来存放一些应用程序和其他信息,保证掉电不丢失数据。本系统采用的FLASH芯片为SST公司的SST39LF1601,其容量为2M字节,可在3V~3.6V电压下工作,存取速度为70ns。并把FLASH映射在DSP的CE1空间上,对应的映射地址为0x90000000-0x901FFFFF。其中映射到CE1空间的好处是方便程序的BOOTLOADER,因为DSP上电复位后,DSP内部的EDMA控制器默认会把CE1空间的1KB数据拷贝到地址0处的内部存储器中去,然后运行。所以只要把应用程序烧写到FLASH中,系统就可以脱离计算机正常运行。这里FLASH的另一个作用是保存用于车牌处理算法的一些字符模板信息、特征点信息以及一些用户信息。

    (2)DSP与SDRAM接口:SDRAM是同步动态随机存取存储器(Synchronous Dynamic RAM)的缩写,其主要特点为:一是同步访问,读写操作都需要时钟;二是动态存储,芯片需要定时刷新。TMS320C6713的内部存储空间容量无法满足系统程序的需要,而需要外扩高速存储器来提供系统程序的运行空间。此系统中,使用了一片Hydix公司的16位SDRAM HY57V641620,其容量为8M,用于DSP对车牌进行处理时的数据暂存,并把它映射到DSP的CE0空间上,对应的地址为:0x80000000-0x807FFFFF。其工作时钟由DSP提供,本系统设置为100MHz。通过配置DSP的EMIF控制寄存器,可以设置SDRAM的各种参数。

    (3)DSP与FPGA的连接:FPGA从视频流中捕获了车牌图像,如何让DSP获取该图像信息进行处理工作,也是本系统设计的一个重点。SBSRAM (Synchronous Burst Static RAM),即同步突发静态存储器,其最大的优点就是支持同步突发访问,访问速度高,而且属于静态RAM,不需要刷新。所以,相对DSP来说,本系统把FPGA配置成SBSRAM来进行访问,会相对简单些,并把其映射到DSP的外部CE3空间。由于本系统设计时,对从FPGA读取的图像数据是以行单位来计算的,每次在FPGA内部存满一行数据,FPGA就发一个中断信号给DSP,让DSP从中把数据通过EMIF口读走,而这里一行的图像数据的信息量为720*8bit,所以系统设计中,地址总线只用到了10位,而数据总线只用到了8位,对应的映射到DSP的存储地址为0xA0000000-0xA00003FF(1K Byte大小),这种设计方法很大程度上方便了DSP对FPGA的访问操作,FPGA与DSP的连接如图4所示。

                                                                                           图4 FPGA与DSP硬件连接示意图

 

 

    2.2.2 DSP软件编写

    DSP作为信号处理芯片,在处理各种信号方面都有着强大的优势。本系统中,大部分图像处理算法(车牌定位、分割、字符识别等)都在其上实现。在搭建好良好的硬件平台后,接下来要做的就是对DSP的编写,这里主要有两块程序的编写:算法的移植和底层驱动的开发。

    CCS(Code Composer Studio)是TI公司推出的一套集成开发环境,用它来开发TI的DSP芯片应用程序;其中CCS 中集成的DSP/BIOS[8]是TI公司为C5000系列和C6000系列数字信号处理芯片量身定制的一个嵌入式实时操作系统内核,具有图形化界面、代码快速成型功能以及完备的API函数库等优势,可极大的方便应用系统的开发和在线调试。本系统就是采用CCS2.2中自带的DSP/BIOS操作系统进行程序的开发,使用任务、线程、旗语、邮箱等进行一系列编程,方便的控制程序的实时调度运行。

    (1)算法移植:一般算法的编写都会在Matlab上实现,虽然它是一种类C语言,但和标准的C相比还是有着很多的差异,而且Matlab中往往提供了各种信号处理的工具箱,如图像处理、神经网络、小波变换等等。我们只要简单的调用这些函数来,带入几个参数即可以方便的进行各种信号处理。所以,当把这些算法移植到本系统的DSP中时,一些函数还得重新编写,还有编程格式、风格都要有所更改,有些地方为了提高算法的效率,充分利用DSP的资源,还应该把部分代码编写成汇编语言等等。当把整个算法都移植完后,最后封装成一个函数,这样更易于整个算法的维护及调用。然后,当触发条件满足时,用DSP/BIOS中的某个任务来调用这个算法处理函数来完成对车牌图像的识别。

(2)底层驱动的开发:底层驱动的编写采用CCS自带的CSL(Chip Support Library)来进行底层驱动开发,CSL提供一系列应用程序接口(API,Application Programming Interface)用于配置和控制DSP片上外设,从而简化了DSP片上外设的开发工作,大大缩短了开发周期。

    2.3 FPGA功能模块

    FPGA是英文Field Programmable Gate Array的缩写,即现场可编程门阵列,它是在PAL、GAL、EPLD等可编程器件的基础上进一步发展的产物。FPGA的使用非常灵活,同一片FPGA通过不同的编程数据可以产生不同的电路功能。FPGA在通信、数据处理、网络、军事和航空航天等众多领域得到了广泛应用。

    本系统设计中,FPGA作为图像采集、存储以及传输的核心模块,协调及控制着整个系统的正常运行,起着非常重要的作用。本系统选用了Altera公司性价比较高的Cyclone系列中的EP1C12Q240型号FPGA。该FPGA共有52个存储块,共239616bits。通过QUARTUS II自带的MegaWizard工具可以将每个块配置成不同的存储模式,如单口RAM、简单双口RAM、移位寄存器、ROM和FIFO等,这样有利于本系统在采集图像时暂存图像数据及把FPGA作为SBSRAM供DSP访问的设计。该FPGA有着片上足够多的IO口也为本系统以后扩展留下了空间。

    这里与FPGA相连的器件有:SAA7113H、SDRAM、DSP以及MAX3232。由于FPGA纯粹是一个编程器件,其IO脚可以配置成任何我们需要的信号,与任何接口可以相接,所以硬件接口设计上比较简单。难点在于编写各种通信协议和不同的接口进行无缝传输。整个FPGA的程序设计总体框图5所示:方框内的部分为FPGA的各个模块以及它们之间的相互连接。方框以外的部分是FPGA的外围器件。 

                                                                                        图5 FPGA的程序设计总体框图

 

 

    该FPGA系统在整个车牌识别系统中起到图像的采集、缓存和传输的功能。当车辆检测器的感应信号sensor_cmd信号有效时,启动SAA7113H_INTERFACE模块内部的状态机进行图像的采集工作,SAA7113H_INTERFACE模块从SAA7113H的视频流中检测到场开始信号时,开始一帧图像数据的传输。由于视频流为PAL制,所以一帧图像分为奇场和偶场两场图像数据。

    系统采用了乒乓结构的设计方法,这种典型的设计方法在“以面积换速率”的FPGA设计方法中经常得到应用。由于EP1C12Q240C8内部共有52个存储块,共239616bits,所以在FPGA内部设计一个小存储量的RAM是可行的。系统中设计了两块720*8bits(每行图像数据大小)的空间,这两个存储器的写时钟信号是SAA7113H输出时钟LLC的2倍。SAA7113H INTERFACE模块通过与SAA7113相连的VPO总线,采集标准的YUV4:2:2的Y分量(只采集Y分量目的是得到灰度图像),即其中的亮度信号,一行的图像含有720个亮度信息,亮度信息的位宽为8位。当FPGA_RAM1的图像行满时,发出行满信号ram1_full给DSP_INTERFACE模块,在DSP_INTERFACE模块中将该信号转好为中断信号n_int_pulse以通知DSP调用EDMA获取该行的图像。同时进行内部RAM的切换,把下一行数据写入FPGA_RAM2中,保证一边DSP在读取一行图像数据,一边FPGA在写入下一行图像数据给另一个RAM ,以完成一次乒乓操作。

    DSP在完成车牌图像的处理后,将车牌图像的识别结果通过EMIF写回到FPGA的DSP_INTERFACE模块内部的寄存器里,并通过UART模块获取这些寄存器的值,通过UART传到PC。

    图6所示波形是图5内部框图中的其中一个SAA7113_INTERFACE模块在Modelsim上的仿真波形,从仿真波形中看出,与实际SAA7113输出波形是符合的,达到我们预期的结果。

                                                                                  图6 SAA7113_INTERFACE仿真波形

 

 

    3、结论

本文所设计的基于DSP和FPGA的嵌入式车牌识别系统,具有速度快、稳定性高、体积小、功耗低等特点,为车牌识别算法提供一个较好的验证平台,如图7所示。经过验证,该车牌识别系统能够实现实时的图像采集、传输、识别。从时间上来考虑,在DSP内部单对一幅车牌图像完成处理(定位、归一化、特征提取与编码)只需不足400ms的时间,速度上来说是非常快的;从识别率上来考虑,只要算法达到一定的要求,经过该车牌识别系统运算后,识别率也是能达到非常高的。总之,该系统在车牌识别方面有着一定的应用价值。

最后,作为一个可以实际使用的车牌识别系统,在以后的系统设计中,还需要增加用于网络通讯的部分、及一些更智能化的功能,如液晶显示、声音提示等等。总之,嵌入式车牌识别系统是当前智能交通应用领域的重要研究课题之一,拥有广阔的应用前景。

       图7 车牌识别系统实物图


学员感言
【13期嵌入式-江信程】
申请免费试听
姓名:
手机:
Q Q: