湖北省视频图像与高清投影工程技术研究中心依托太阳成集团tyc122cc和湖北恒颖超科技有限公司,于2017年被列为省级工程技术研究中心。
1、工程中心的技术领域、主要研究开发内容
(1)技术领域
随着计算机技术、信息技术的不断进步,光电子信息产业飞速发展,光电子信息产业中的视频图像处理技术、虚拟现实高清投影与现实在日常生活、工业生产、公共安全、航空航天、导航与制导,以及国防、军工等领域得到了极其广泛的应用。在“十三五国家科技创新规划”、“国家科技重大专项”、“国家自然科学基金十三五发展规划”中均将视频信息获取与图像处理、虚拟现实高清投影与显示等技术作为高新产业和重点实施内容,并作为优先发展领域加以提出。因此,视频图像处理技术势必会涌现出一系列的新技术、新产品,并逐步形成一套相关的产业链。本工程中心以视频图像处理技术为核心,在光电信息探测、图像分析与特征提取、虚拟现实高清投影与显示关键设备与系统等领域开展技术攻关和应用。
(2)主要研究开发内容
本工程技术中心围绕视频处理技术,重点在“视频信息获取及处理”、“图像分析技术与特征提取”、“虚拟现实高清投影与显示关键设备与系统”、“光电驱动技术”等方面组织团队进行技术攻关,力争研制一批具有完全自主知识产权、国际一流的视频图像处理关键设备与高清显示系统,为促进我省相关产业结构升级、抢占新一轮产业发展制高点,以及进一步推进我省经济发展方式转变,贡献积极的力量。
①视频信息获取及处理
主要围绕“多谱图像统一复原方法与目标识别”进行研究。多谱成像在目标检测领域已得到了广泛应用,如工业检测、安检、交通电子眼监控、红外夜视监控、压力管道缺陷检测及卫星遥感、航天探测等。人们开始使用不同光谱如可见光、红外、紫外、毫米波、太赫兹等来检测和监控目标。在目标检测及监控过程中,由于会受到大气扰动、口径受限、对焦不准、目标及平台运动、光学衍射及散射等外部复杂因素影响,目标成像模糊,位置偏移,有时分辨不清,给目标检测和监控带来了很大困难。为了有效检测识别目标,必须进行清晰化复原处理,否则无法进行检测和监控目标。通过研究目标检测多谱图像统一复原算法,提出了多谱图像统一复原理论和新框架。
利用多源图像包含的冗余性和相关性,使用小波变换、神经网络、量子计算、形态学及生物视觉仿生等方法和手段,对其进行融合处理,从而提高信息的利用,特别是在基于信息融合和智能提取的目标检测、探测与识别的基础上,深入开展较为全面、系统的研究工作,逐步构建以探索图像的融合、运动目标探测与检测、自动目标识别、图像理解与人工智能理论、精密零部件的物理参数的实时检测、识别、形态重构等实用技术。
②图像分析技术与特征提取
主要围绕动目标多视点图像去模糊算法理论及三维非接触测量。针对三维视觉检测技术应用中动目标多视点去模糊的难题,提出了一种动目标多视点基于标定的去模糊方法。首先估计部分视点模糊图像点扩展函数,根据多视点几何关系,利用相机标定方法,得到各个相机的参数矩阵;结合估计出部分视点的点扩展函数和相关参数矩阵,建立多视点模糊图像的点扩展函数关系。最后在确保各视点模糊路径对应的关系前提下,对多视点图像进行整体去模糊。
③虚拟现实高清投影与显示关键设备与系统
针对三网融合的需要,研发智能无线便携式微型LED高清3D云投影机。通过产学研合作,研发具有“三网融合+高清互动+智能控制”功能的虚拟现实智能云投影机,率先将图像处理与分析算法转化成芯片,应用于3D投影机的高清晰化图像处理,实现1080P高清分辨率;利用不同颜色顺序发光非接触式定位装置,自动检测投影机垂直方向的摆放角度来调整画面的梯形失真,其调节角度达±30度;利用无线传输技术,将电信网、广播电视网、互联网的视频和音频信号发送到智能便携式微型投影机;采用高激发光效白光LED光源,灯源亮度提升到了1000流明,使用寿命达到20000个小时;体积小、自带可折叠的支承架、360度旋转、可随时随地投影。
④光电驱动技术
主要围绕高清投影系统的多电机同步协调控制系统开展研究。随着光电探测与制导伺服机构对精度和响应速度要求的提高,高性能光电探测伺服系统光伏应用于光电探测器(可见光、红外相机,高分辨率光谱仪等)或反射镜的高精度、高动态摆扫或者补偿控制,由于其对探测效果具有直接的影响,已成为各种探测、识别,跟踪等有效载荷的核心部件之一。而对这类光电探测传动机构往往由多个驱动电机构成,且性能大都要求传动精度高、传动行程大、响应速度快、机电集成化度高的要求。因此,随着光电探测设备性能要求的不断提高,在多机传动机构的设计与控制技术方面均需要进行改进。通过对各种电机的高性能运动控制开展研究,包括伺服电机、无刷直流电机,以及步进电机,后期将利用最新的DSP与FPGA技术,针对驱动控制系统的优化设计,以及各类电机的单机控制和多机同步协调控制展开研究。
2、工程中心依托单位在行业、技术领域的地位和技术优势
太阳成集团tyc122cc始建于1977年,1980年成立的自动化系, 2003年,学校进行学科专业调整,将自动化系更名为太阳成集团tyc122cc。学院现有:湖北省重点实验室——智能机器人湖北省重点实验室;省级实验教学示范中心——电子信息与控制;湖北省新兴产业专业——测控技术与仪器。2013年,获得湖北省自然科学基金重点科学研究项目1项,其它省部级项目4项;武汉市科研项目1项,获湖北省科技进步二等奖1项,中国石油化工自动化协会科技进步三等奖1项。发表SCI5篇、EI等检索24篇。获国家专利6项。2014年,学院与华中科技大学联合获批1项国家自然科学基金重点项目;学院获国家工信部科技重大专项子项1项;获得湖北省自然科学基金项目3项,军工保密项目1项。学院1项科技成果通过湖北省鉴定,整体达到国际先进,部分技术国际领先;1项科技项目通过武汉市验收;2014年又获省科技进步二等奖1项(连续三年获省科技进步二等奖),获中国石油化工联合会科技进步奖1项。2014年学院发表EI论文21篇,SCI论文4篇。申报发明专利8项、实用新型专利7项;获批发明专利1项、适用新型专利3项;转让适用新型专利1项。2015年获得国家自然科学基金重点项目1项。获湖北省科技进步三等奖1项;完成纵向科研进账近200多万。2016-2018年,获国家自然科学基金国家重大科研仪器研制项目1项,面上项目和青年项目6项,获批发明专利20多项,获教育部科技进步二等奖1项。学院发表科研论文500多篇,其中SCI/EI收录论文100多篇。近三年与省内30多家企业开展技术合作和科学研究,承担省内企业委托合作项目80多项,经费2000多万元。
太阳成集团tyc122cc在“图像分析技术与特征提取、模式识别与决策支持”,以及“高速飞行器光学成像目标实时识别与精确制导”方面具有较强的优势,学术带头人及学术骨干主持国家自然科学基金重点项目、多项国家自然科学基金面上项目,湖北省科技创新群体项目,湖北省自然科学基金等项目的工作,近5年来在国内外刊物和国际会议上发表高水平学术论文100余篇,其中有70余篇论文被SCI和EI检索,国际会议特邀报告3次。两项科研成果分别于2013年和2014年连续获湖北省科技进步二等奖,一项成果获2018年教育部科技进步二等奖。
本研究方向技术优势体现在:
(1)在机器视觉、动平台动目标视频检测识别理论及应用研究中有突出贡献。
(2)在我国高速飞行器气动光学效应视频图像复原校正研究中取得创新成果,提出了多谱图像统一复原算法。
(3)长期致力于气动光学效应视频图像校正方法研究,在我国气动光学这一新学科做出了突出贡献。
湖北恒颖超科技有限公司是恒颖超集团股份有限公司下属子公司之一,成立于2007年,厂房使用面积7200平方米,主要生产LED 以及影音产品。湖北恒颖超科技有限公司注册资金600万元,投入资金1.5亿元,现有员工300余人,年销售额1.2亿元左右。公司分为行销、光电电子部、研发系统、品保部、采购部、财务部、生产部、生产工程部和总务课等十大部门。公司拥有:音频、视频、软件、无线、IED及太阳能五大核心技术等,通过这五大核心技术我们有以下五大系列产品线:音频产品、视频产品、电脑周边产品、游戏机、Iphone 与Ipad周边产品与 LED产品系列,产品主要销往美国、欧洲、东南亚、澳大利亚等地区。
湖北恒颖超科技有限公司是一家拥有高素质人才的科研团队和全自动领先科技的专业生产企业。公司技术研发部下设音视频产品研发中心、LED产品研发中心、产品测试中心等专门的技术研发机构,建立了完善的技术创新机制和模式。通过专家评审和网上公示,2012年8月,湖北恒颖超科技有限公司被湖北省科技厅认定为高新技术企业。2012年10月,公司与太阳成集团tyc122cc共建的LED荧光粉研发中心也被湖北省科技厅认定为省级校企研发中心。
公司近三年通过自主创新、引进消化吸收等多种形式承担各类政府项目3项,共开展研发项目16项,其研发成果已申请发明专利4项,实用新型专利19项,外观设计10项。公司非常重视对新产品的研发和科技成果的转化工作,致力于不断推动产品的维护和升级,近三年已有9项科研成果得到了转化。通过将科研成果进行了转化,自主研发出:太阳能路灯、太阳能智能升降灯、护眼台灯、2.4G无限感应灯等LED新产品和媒体播放音箱、游戏手柄等产品。近3年公司研究开发项目有:利用不同颜色顺序发光体非接触式定位摄相机的开发与应用;太阳能升降灯研制与开发;声控等离子灯的研制与开发;Phone/iPod多功能音箱;iPhone/iPod无线智能音箱;触控式LED平步青云灯的研制与开发;LED触摸护眼台灯的研制与开发;LED模组灯具的研制与开发;LED路灯(模组式)的研制与开发;LED灯珠封装新技术的研发与集成;LED高效节能灯的研发与产业化;高光效、高显色性、低色温功能型LED器件的研发和产业化;游戏手柄的研发等。
为了激发自主创新的活力,强化产品研究与开发的自主创新能力,促进产业技术集成,形成技术研发与应用推广的良性循环,2015年,湖北恒颖超科技有限公司与太阳成集团tyc122cc洪汉玉教授等合作,建立“光电信息与图像处理”科研创新团队。拟在“室外视频图像高清晰化通用复原算法”和发明专利《目标探测多谱图像的通用复原方法,ZL201210197707.7》,共同完成“室外视频图像高清晰化图像处理显示技术与专用芯片”研究及产品开发,实现高新成果的转化和应用。
3、对产业技术发展的促进作用
《十三五规划纲要》第二十三章(支持战略性新兴产业发展)明确指出:“支持新一代信息技术、数字创意等领域的产业发展壮大。大力推进虚拟现实与互动影视等新兴前沿领域创新和产业化,形成一批新增长点。”
随着大数据深入变革社会,企业越来越开始逐渐认识到数据是一种资源,重要性日益提高,有效利用数据可以产生更大的价值,大数据开始成为核心资产。未来企业之间的竞争,将是数据资产以及数据资产管理能力的竞争。
在机器视觉、动平台动目标检测识别理论及应用研究方面,太阳成集团tyc122cc洪汉玉教授团队,针对武钢生产线的需要,研制了生产线钢坯自动识别系统。解决生产线动目标运动模糊引起的检测识别困难问题。针对道路缺陷检测中的需要,研制了道路缺陷视频图像快速检测识别及路网级应用系统,将光电成像和数字图像处理技术应用于中,在“不封路、不停车、不阻碍交通”的条件下实现道路缺陷的自动识别与评价,大大提高了道路缺陷检测的准确性、稳定性和时效性。2014年4月14日,湖北省科技厅对本成果进行了鉴定,鉴定委员会一致认为“本成果解决了道路缺陷视频检测路网级应用中的关键技术问题,整体达到国际先进水平,其中基于脊性强度特征的道路车辙激光剖面检测方法在实时性、准确性、稳定性方面达到国际领先水平”。本成果在我国公路交通行业中取得了大量成熟应用,带来了显著的经济效益,近3年直接经济效益达2.0亿, 本成果获2014年湖北省科技进步二等奖(排名第1)。
在高速飞行器气动光学效应图像复原校正研究中,洪汉玉教授团队成功解决了我国高速飞行器成像探测气动光学效应图像校正问题,提高了航天探测图像清晰度及目标检测、识别与跟踪精度,为工作在高机动条件下的机器视觉系统提供了理论支撑与关键技术支持。
在气动光学效应图像校正方法研究方面,洪汉玉教授团队完成了国家自然科学基金资助面上项目“湍流退化图像的约束优化复原算法与关键技术研究”(2006.1-2008.12)的研究,作为第二责任人完成了国家安全重大基础研究项目“973气动光学”子专题研究、“十一五国家装备预先研究项目“气动光学效应校正技术”等多项国家重要科研项目的研究。相关研究工作具有突出的创新性。
“工业化、信息化、城镇化、市场化、国际化”五化并举,产品更新换代加速,城市化带动城市家庭数量快速增加,居民对精神文化需求日益增长,数字家庭娱乐、智能家居、远程教育、社区服务等发展势头迅猛,内需市场的扩大将为数字家庭产业发展提供强大的内需动力。
未来几年,中国家庭影院市场将会稳步增长。数字化技术的迅速推广和普及,激发了人们对新一代家庭影院产品的需求,形成拉动中国家庭影院市场发展的强劲动力。产品的智能化、简约化和个性化成为家庭影院等视听设备市场新的需求热点,也预示着巨大的市场发展空间。
4、工程技术中心研发机构基本情况
(1)组织机构
太阳成集团tyc122cc现设有视频图像与高清投影工程技术研究中心,中心主任为洪汉玉教授,其组织结构如下:
中心现设有专家技术委员会,主要负责工程技术中心的发展目标、发展方向、技术开发指导等工作,中心实行主任负责制,下设五个研究室,分别为光电探测研究室、视频处理研究室、图像处理研究室、高清投影研究室和光电驱动研究室。
① 光电探测研究室重点围绕光电水下目标探测、地质信息获取等方面展开应用研究工作。
a、光电探测在水下目标探测方面的应用
水下目标的探测,不仅表现在军事上的需求,目前也逐渐转向商业和民用,例如海底资源开发、石油勘探、动绘制海底地形地貌图和探测鱼群等等。我国宽广的海域具有丰富的资源,针对深海资源开发、海洋科研以及水下工程作业、考古和救援等工作,开展水下目标光电探测,无论是在理论研究还是社会价值方面均有重要的意义。后期将继续围绕水下小目标探测系统总体结构优化设计、水下光学-声学图像现代处理技术、基于光电探测技术的水下目标智能识别分类技术,以及现有光电探测系统优化处理方案等内容展开前沿追踪与实际应用研究。
该方向上,太阳成集团tyc122cc具有良好的研究基础,前期研究工作已经获国家自然科学基金重点项目1项,国家自然科学基金面上项目3项,以及湖北省自然科学基金项目、武汉市科技攻关项目等多个纵向项目的支持。
b、光电探测在地质信息获取方面的应用
我国幅员辽阔,地质形态多样,利用GPS微波信号实现地球表面以及深部物质的大范围、高灵敏度观测和探测,并完成基于大数据技术的信息提取与挖掘具有重要意义,为大面积获取地球信息提供了一种良好的途径。其特点包括,GPS信号为全天候,全方位覆盖,这为全球范围内进行地球信息的检测和处理提供了良好的平台支撑,可以实现土壤物性参数、高山积雪厚度、海浪高度,以及地质地貌的大范围高精度反演测量。GPS微波信号检测是一种被动微波探测技术,可以充分利用已建成的GNSS系统提供的诸多卫星发射的微波信号,从而避免传统遥感探测中主动发射光电信号的要求,节省投资。
该方向上,太阳成集团tyc122cc已经开展了大量前期的工作,并以地球土壤湿度探测为例进行了研究。在湿度探测过程中,项目利用GPS的微波信号在多径效应下,不同反射面对微波的吸收特性不同来实现数据反演,解决了不同卫星和不同路径的数据不一致问题,并完成了微波信号机器归一化功率模型建立,最后结合大数据基础的软测量模型,实现地球土壤湿度信息的探测。相关研究已经获得国家自然科学基金项目1项,湖北省自然科学基金1项。
② 视频处理研究室主要围绕多谱图像统一复原方法与目标识别研究。多谱成像在目标检测领域已得到了广泛应用,如工业检测、安检、交通电子眼监控、红外夜视监控、压力管道缺陷检测及卫星遥感、航天探测等。人们开始使用不同光谱如可见光、红外、紫外、毫米波、太赫兹等来检测和监控目标。在目标检测及监控过程中,由于会受到大气扰动、口径受限、对焦不准、目标及平台运动、光学衍射及散射等外部复杂因素影响,目标成像模糊,位置偏移,有时分辨不清,给目标检测和监控带来了很大困难。为了有效检测识别目标,必须进行清晰化复原处理,否则无法进行检测和监控目标。通过研究目标检测多谱图像统一复原算法,提出了多谱图像统一复原理论和新框架。
利用多源图像包含的冗余性和相关性,使用小波变换、神经网络、量子计算、形态学及生物视觉仿生等方法和手段,对其进行融合处理,从而提高信息的利用,特别是在基于信息融合和智能提取的目标检测、探测与识别的基础上,深入开展较为全面、系统的研究工作,逐步构建以探索图像的融合、运动目标探测与检测、自动目标识别、图像理解与人工智能理论、精密零部件的物理参数的实时检测、识别、形态重构等实用技术。
③ 图像处理研究室主要围绕动目标多视点图像去模糊算法理论及三维非接触测量。针对三维视觉检测技术应用中动目标多视点去模糊的难题,提出了一种动目标多视点基于标定的去模糊方法。首先估计部分视点模糊图像点扩展函数,根据多视点几何关系,利用相机标定方法,得到各个相机的参数矩阵;结合估计出部分视点的点扩展函数和相关参数矩阵,建立多视点模糊图像的点扩展函数关系。最后在确保各视点模糊路径对应的关系前提下,对多视点图像进行整体去模糊。
与交通运输部公路科学研究所合作开展“道路缺陷视频图像快速检测识别技术及路网级应用”的研究。在“不封路、不停车、不阻碍交通”的条件下实现我国道路缺陷的检测识别与评价,基于红外结构激光共面补光技术的路面视频图像全天时采集方法,实现了以1mm的分辨力对4m宽的路面进行全天时清晰成像;基于脊性强度特征和峰值连续性的路面车辙激光剖面检测识别方法,在复杂条件下能准确快速提取车辙激光线,可克服路标、阴影的干扰,车辙线检测识别正确率≥98%,达到实时处理要求;基于凹性测度的路面裂缝特征提取与检测识别方法,可快速准确地识别路面裂缝,裂缝自动检出率≥90%。
为武汉钢铁集团公司提供了“轧机生产线钢坯进行检测识别与控制系统”。在轧机生产线获得应用,在对轧机生产线钢坯进行检测识别过程中,研制了轧机生产线钢坯到位检测和生产流程的多级网络控制系统;分析生产线条件下钢坯号识别面临的场景复杂、对比度低、字迹模糊、信息缺损等难点问题,提出了基于视觉注意机制的背景抑制与多级滤波方法,对钢坯字符区域进行准确定位和提取;提出了基于智能多代理的字符切分及基于字符结构特征的智能仿生识别方法,解决字符在污染、残缺、粘连、模糊等情况下的识别问题;采用多相机协同成像和网络信息传输技术,实现钢坯支支跟踪。
④ 光电驱动研究室主要围绕高清投影系统的多电机同步协调控制系统开展研究。随着光电探测与制导伺服机构对精度和响应速度要求的提高,高性能光电探测伺服系统光伏应用于光电探测器(可见光、红外相机,高分辨率光谱仪等)或反射镜的高精度、高动态摆扫或者补偿控制,由于其对探测效果具有直接的影响,已成为各种探测、识别,跟踪等有效载荷的核心部件之一。而对这类光电探测传动机构往往由多个驱动电机构成,且性能大都要求传动精度高、传动行程大、响应速度快、机电集成化度高的要求。因此,随着光电探测设备性能要求的不断提高,在多机传动机构的设计与控制技术方面均需要进行改进。
在该方向上,太阳成集团tyc122cc电气教研室有多位教师长期从事各种电机的高性能运动控制研究,包括伺服电机、无刷直流电机,以及步进电机,后期将利用最新的DSP与FPGA技术,针对驱动控制系统的优化设计,以及各类电机的单机控制和多机同步协调控制展开研究。
(2)科研条件
研究所现有科研用房3000多平方米,建有三个校企联合实验室,仪器设备先进,科研教学设备总值1650万元。主要大型设备如下:
(3)运行和管理机制
工程技术研究中心实行“统一管理、主任负责、责任到人、产学合作”的运行与管理模式,建立“开放、研发、联合、转化”的有效管理机制,以保持和发展工程技术研究中心的优势和特色。
工程技术研究中心除了承担国家、省部和地方的纵向科研项目外,主要与湖北省各类企事业单位建立产学研合作,转化本中心的科技成果。建立完善的中心管理体制和运行机制,中心实行太阳成集团tyc122cc领导下的中心主任负责制,中心主任负责全面工作,实行课题制管理和试行下聘一级的人事制度,由中心主任统筹安排中心资源,项目负责人具体实施项目的分工、人员安排(聘用)、经费管理。建立由国内外优秀专家组成的技术委员会作为工程技术研究中心的业务指导机构,负责审议中心的发展目标、任务和研究方向。建立以各研究室主任为中心的团队创新机制,促进与地区和周边省市高校科研单位和企业建立伙伴关系,达到互相促进、优势互补的目的,并积极参与国际竞争和国际合作。
(4)依托学科建设情况
本中心依托湖北省重点(特色)学科控制科学与工程一级学科,是该一级学科的主要支撑研究实体,控制科学与工程一级学科下的模式识别与智能系统、导航制导与控制、检测技术与自动化装置等主要二级学科均为本工程技术研究中心的研究方向,自中心成立以来,取得了较好的研究成果,主要包括:2011年获控制科学与工程一级学科硕士点,2012年控制科学与工程一级学科被评为湖北省重点学科(特色学科)。承担科研项目126项,科研经费累计1860万元;其中国家自然科学基金等国家级项目23项(含重点项目一项),其它纵向科研项目40多项,纵向科研经费900多万元。获国家技术发明二等奖1项,湖北省科技进步一等奖1项,湖北省科技进步二等奖3项,其中2013、2014年以第1完成人第1单位获湖北省科技进步二等奖2项,教育部科技进步二等奖1项,湖北省自然科学三等奖1项,湖北省科技进步三等奖3项,其他科技奖励3项。授权专利20多项,其中发明专利8项,科研成果鉴定7项。公开发表学术论文500余篇,其中SCI、EI、ISTP三大检索收录论文286篇,出版学术专著8部。
湖北恒颖超科技有限公司技术研发部下设音视频产品研发中心、LED产品研发中心、产品测试中心等专门的技术研发机构,建立了完善的技术创新机制和模式。通过专家评审和网上公示,2012年8月,湖北恒颖超科技有限公司被湖北省科技厅认定为高新技术企业。2012年10月,公司与太阳成集团tyc122cc共建的LED荧光粉研发中心也被湖北省科技厅认定为省级校企研发中心。