车牌(自动)识别系统，简而言之是基于各种图像处理算法，对前端摄像机抓取到的车辆图片进行分析，进而从中提取出诸如车牌号(英汉字符及数字)、车牌颜色，甚至车型、生产厂家、车辆颜色等信息，实现准确锁定车辆“身份”，并与相应车辆的道路行驶信息联系起来，最终实现对上路车辆的智能自动管理。
车牌识别系统主要由触发机制、图片抓取以及图片识别三大模块组成。为得到优质的原始图片，需要事件触发与车牌抓取的默契配合，其最终实现的效果将依据所涉硬件设备的性能(摄像机、镜头、图像处理芯片、抓拍控制机构、触发和照明及控制设备等)、图像识别算法的优劣、工程架构和安装等，此三部分相辅相成，共同影响着系统最终的识别率以及使用效果。
触发&检测机制
所谓检测，通俗地说在相应事件发生时能准确采集到相关信息，亦即当需抓拍的路段出现车辆，且当车辆进入最佳拍照范围时，检测设备发出相应信号，控制系统接收到该信号，会控制摄像机抓拍，且同步启动照明系统。此步骤尽管不是整个车牌识别过程中最难实现的，却是其成功应用的第一步，故也发展出了几大不同的技术形式：
地感线圈+车辆检测器：优点是灵敏度和准确率高(一般可达99%)，且投入少，故应用最为广泛。但其剖路施工量较大、后期维护难度也大。且由于地埋，易受路面环境等因素影响;
雷达：优点是受气候温度影响较小，已在我国东北地区成为主流应用，在深圳等大型城市也因为架构较为简便有占有率上升的趋势。灵敏度和捕获率不及地感线圈，且因为基于微波技术，故可能存在一定误码率;
智能视频侦测：简单说来，其是直接集成在摄像机内部或者构建在前端工控机内的一个功能强大的综合事件侦测“软件”，对道路视频信息进行实时识别检测，一旦在分析过程中发现“车辆”，便进行视频跟踪，当视频检测到相应的车辆进入到最佳的拍照范围时，便触发相应抓拍及后续的车牌识别行为，优点是无需硬件施工，比较灵活。目前较好的智能视频侦测技术其灵敏度和捕获率也可达到95%以上，且因为性能更加稳定卓越，应用愈加广泛，常被应用于压线、违章变道等综合检测系统中，具有更宽广的应用灵活性和多样性，但是技术难度也更大。其缺点是较易受天气环境的影响。
目前国内主流车牌识别厂商，通常会把地感线圈等硬件检测技术和智能视频侦测技术做为互备份，自动切换。
图像抓取
俗话说巧妇难为无米之炊，对于车牌识别系统，虽然各种图像识别算法不断推陈出新，一定程度上补救了原始图像可能的质量缺陷，但也必将牺牲一定的识别准确率。反过来，在识别技术相对成熟稳定的情况下，对前端摄像机以及配套设施的合理选择与架构，即最大限度提高原始图片的质量，可在提升系统识别率上达到事半功倍的效果。而这一步中起到决定性因素的除了摄像机本身，更有补光设备等。
摄像机
车牌识别与车牌在图片中占据的横向比有关，一般需求在60～100个像素，最大不高于300(根据识别软件厂家的研发能力而不同)。一条标准车道(3.75～4.5米)大概占据800个横向像素，故而两百万的高清摄像机可兼顾到1～2条车道，五百万则可以兼顾2～3条车道的信息，亦即在提供更优质图像的同时，高清摄像机也节省了前端硬件的投入。
从标清到高清，前端摄像机像素上的革命性升级，也给车牌识别带来了革命性发展，据此凌云光子技术集团客户经理王锐更深入到了感光传感器的角度：“CMOS可提高图像质量，解决CCD诸如成本偏高、帧率限制等固有弱势。可以说，CMOS或将引领未来的高端高清摄像机市场，而尖端的CMOS技术，会对车牌识别起到很好的推动作用。”另一方面，浙江大华技术股份有限公司产品经理朱克玉则表示了不同的看法：“考虑到行业应用需求，因为CCD传感器灵敏度相对较高，且能有效避免移动物体的成像变形等问题。至少在目前，在智能交通领域采用CCD传感器机会较多。”
除了高清趋势，针对车牌识别系统的需求，前端摄像机必须允许用户自行设置快门、增益等图像参数，以得到最佳图像效果，同时还需具备优秀的低照度、灵敏度、稳定性及白平衡效果，并具备二次开发的能力，方便工控机或内嵌抓拍处理器获取摄像机的参数信息，或写入配套的算法。最后，其需具备丰富的I/O接口，以便接入地感线圈、闪光灯等外围设备。
辅助硬件
目前我国对于车牌识别准确率的标准是白天不低于95%、夜晚不低于80%，由此可见夜间识别率存在大幅的降低，究其原因，还是图片的质量问题，当然这里的影响因素较为单一，即光照。
针对这一问题，算法方面一直有所升级，可在一定程度上降低噪点并提亮抓拍到的图片，但针对夜间光照度差的情况，更多的升级选择在硬件上。除了在摄像机方面采用灵敏度更好的尖端CCD、CMOS芯片(当前选用灵敏度更好的CCD仍较多)及大口径镜头，以提升相机的夜间灵敏度。更多的还在于夜间补光设备的选择与安装。通过立杆高度与补光灯角度的配合，获得科学的补光效果，尽量使光线正面打到车牌上，而在补光灯的选择上也经过了一定的发展：
闪光灯(气体灯)：峰值亮度高，优点是可以拍摄到驾驶室的人。但平均寿命短，光污染大，对人眼有一定损伤，甚至可能影响驾驶员的驾驶安全。目前我国部分城市已有相关硬性要求出台，限定了闪光灯的使用范围;
LED频闪灯：能与摄像机保持同步，亮度优于常亮灯，也具备爆闪的方式，亦可看清驾驶室，相对而言安全性更好，只是图片质量会比闪光灯稍差。
除了补光方式的演变，博康智能产品经理王朝英还补充道：“安装上可从过去摄像机位置固定的静态方式，慢慢发展为搭配云台，以配合运动车辆来进行更好的抓取。”
算法
目前车牌识别系统的软硬件相对而言都较为成熟，其中图像识别的过程虽然根据各个厂家的研发能力与侧重点有所不同，但其大致过程可总结为如下五个步骤：
图像的预处理：对采集到的图片的背景以及噪声进行处理，方便后续工作;
车牌定位：通过形态学滤波等方式，使车牌区域连通，并根据车牌的先验知识，对联通区域进行筛选;
车牌校正：捕捉到的车牌可能跟摄像头存在角度差，用相应算法进行变换校正;
车牌分割：对车牌进行投影分析的时候，根据车牌字符之间的宽度使之分割成一个个字符;
字符识别：模板匹配，对分割来的字符进行归一化，与标准字库里的字符进行逐一比较识别。
“近年来出现了一些较新的识别算法与技术，如扩展小波分析、Fractal、Morphology、Retinex、超分辨率以及遗传和神经网络算法等。其中Fractal算法广泛用于图形/图像处理和纹理分析，将杂乱无章随意性很强的事物以数学的方法加以规范和描述，在分析和描绘自然现象上有独到之处。Retinex是基于人类视觉系统的图像增强理论，可以在动态范围压缩、边缘增强和颜色恒常三个方面达到平衡，具有很广的应用前景。而超分辨率算法，可以以人为的方式模拟地恢复出图像获取过程中丧失的一些信息，使数字图像能够还原为原始信息。这些算法和理论在未来图像处理技术发展的道路上都可能产生很大的影响。”大华产品经理朱克玉对于近年来出现的算法做了如上归纳。
而杭州中威电子股份有限公司工程师陈芝斌则进一步补充了国外的相关进展：“YuniaoCul提出了一种车牌识别系统，在车牌定位以后，利用马尔科夫场对车牌特征进行提取和二值化，对样本的识别达到了较高的识别率。EunRyung等利用图像中的颜色分量，对车辆牌照进行定位识别，其中提到了三种方法：以Hough变换为基础的边缘检测定位识别;以灰度值变换为基础的识别算法;以HLS彩色模式为基础的车牌识别系统，它们的识别率分别为81.25%、85%、91.25%。”
架构
算法优劣决定了最终的图像识别效果，但是用户通常都只需接触成熟的图像识别软件或说模块，能做的选择或很少。相对而言，更该考虑的是如何根据自身需求选择合适的架构模式：
1、外围
通俗来说即图像识别模块安装或集成在前端，优点是处理器可直接对未经压缩保留了所有信息的原始视频流或图片进行识别。此方式在一定程度上提升了识别率，且由于无需经过网络传输，其具有较好的实时性。卡口系统要求必须集成在前端，以免造成重要识别结果的延迟。此方式还可进一步细分：
一体化识别摄像机模式，亦即直接把识别模块、抓拍控制和车辆检测、照明控制集成在摄像机内部，优点是可以简化系统结构，安装调试相对比较简洁，但是相应地对识别模块和抓拍控制的DSP芯片的处理能力、算法等提出了较高的要求。另一方面其采用SD卡进行暂存，容量小且在紧急状况时可能存在安全隐患。此类型车牌识别方式以海康、大华为代表;
嵌入式主机+摄像机模式，识别模块、抓拍控制和车辆检测、照明控制都集成在专门的工控机内，其环境适应性好，拥有更丰富的硬件资源，信息存储容量与安全性能都更好，故此目前行业应用得也比较多，代表厂商如博康。
2、内场
图像识别模块集成在后端控制中心等处，原始图片或视频流压缩后经过网络传输到后端进行识别，具有一定的延迟性，但该类方式，基于强大的计算机处理能力，故辨识精度和速度都要高，一套系统能识别多台摄像机图像。其维护较为方便，但辨识率受制于视频流压缩，且存在网络延迟的问题。
系统综合应用
目前车牌识别系统的识别准确率普遍能做到全天识别率92%以上。
内外有别
早在上世纪八十年代，国外便已经有一些零散的将图像处理技术应用于车牌识别领域，但是由于我国的车牌格式和国外有较大的差异，所以对于国外的车牌识别系统的技术研究，只能进行参考，不能直接应用。恒业智能安防(深圳)有限公司智能交通事业部产品经理张咏对此进行了较为详尽的分析：“我国的车牌识别系统，除需求识别英文字母及阿拉伯数字，还要对车牌颜色，汉字等信息进行识别，故此涉及到的算法建模也更多，相应的这方面的技术也可以说是独大，故此国内的应用基本以国产为主。如今可说国内外的技术相差不大，但是因为对颜色有识别要求，夜间补光不方便采用红外，加上国内车况普遍较差(车辆污损、有意遮拦等)，故夜间车牌识别率会稍逊于国外。”
升级与应用
车牌识别存在清晰度与视域的矛盾、处理速度与识别率的矛盾、以及硬件性能与性价比的矛盾。目前两百万、五百万像素摄像机可实现普遍的识别需求，至于是否升级到八百万像素产品，需结合识别效果与投入进行综合考量。只能说选取最优的硬件设备与软件进行结合，以实现最好的识别效果，盲目升级硬件没有实用意义。
另一方面，苏州科达科技有限公司软件工程师罗成对软件方面可能的升级发展进行了简要总结：“在正常图片的识别上已难有大的发展，但是对于一些恶劣场景，比如过暗、过亮、雾天等会影响车牌识别的情况，以及污损车牌、部分遮挡车牌、阴影车牌等状况，可通过相关算法技术的升级，提升这些场景下的识别率。”
系统与子系统
车牌识别系统给了智能交通相关系统智能化的可能，但单独的车牌识别没有意义，必须与其他系统进行结合，通过提供底层数据，成为大型车辆管理系统里的底层核心系统。如今道路管理中的卡口等各类子系统已出现大融合的趋势，即卡口、电子警察、事件监测等子系统，形成一个综合检测系统。市场也已形成共识，未来道路上涉及到车辆的系统都会有一个车牌识别系统的参与，通过车辆的唯一ID——车牌来进行车辆管理。甚至把识别技术从机动车拓展到非机动车以及行人，实现对路面信息的全局监控，为道路管理者以及事件参与者带去更好的管理及出行体验。
