基于FPGA原型验证系统的图像处理解决方案

视觉是人类最高级别的感知，以视频、图像等形式为信息载体可以创造出丰富多彩的应用。视觉信息处理技术的实现和发展极大改变了现代社会的生产活动：智能设备的拍照和视频、医学成像、人脸识别、科学可视化、行车记录、安防监控、国防探测、太空探索等前沿领域无不渗透着视觉信息处理技术，视觉信息处理已无处不在，并形成庞大的上下游产业。

随着算法水平不断进步和计算机处理能力以及存储能力的提升，再加上市场日益增长的消费应用升级的推动，从真实世界中得到的视觉信息数据通过ADC采集、再到数字化的算法处理分析、再经过DAC的转换输出技术，已经发展到相当复杂的水平，其中图像传感器采集数据的像素不断提升，图像信号处理器能够实现自动对焦、自动曝光、坏点去除、镜头阴影矫正、去马赛克、颜色矫正、伽马矫正、降噪、数据的压缩和存储等各种功能，满足更前沿的应用场景使得当前图像处理设计需要支持复杂多样的功能，同时当前数字图像处理的应用越来越趋向于小型化SoC系统以适应移动互联网的蓬勃发展，实现多重功能和高集成度需求使得当前的SoC设计复杂度指数级提升，同时对设计的仿真验证提出了更高要求，不仅需要对图形处理设计模块进行大量测试验证，还需要对目标SoC进行充分的评估和验证。

图像处理技术市场应用

亚科鸿禹VeriTiger®原型验证系统图像处理解决方案

图像处理是最直观可视的应用功能实现，FPGA原型验证系统利用真实的传感设备和输出显示设备提供直观可视的DUT执行结果展现，是最适合进行图像处理设计功能验证的手段。亚科鸿禹VeriTiger®原型验证系统为各类图像处理设计提供高性能原型验证解决方案。

VeriTiger®图像处理原型验证解决方案整体框架

VeriTiger®原型验证系统图像处理解决方案的硬件环境由VeriTiger®原型验证母板、配套功能子卡、采集摄像头、输出显示器、数据传输连接线组成，通过子卡提供真实的外设来构建设计原型，进行功能验证并提供深度调试。配合我司自研软件ProtoWizard®可以进行时钟电压的配置，bit文件的烧录以及统一的子卡管理。

为应对不同的视觉信息处理场景，图像处理SoC设计会选用各种类型的接口协议以满足对采集像素、传输速度、集成度等的不同需求。DP、HDMI、MIPI是当前最为常见的多媒体处理接口类型，亚科鸿禹基于VeriTiger®原型验证平台，提供成熟的DP、HDMI、MIPI子卡硬件以及工程方案。在SoC原型验证过程中，采用VeriTiger®原型验证平台和相关子卡组成完整的验证解决方案，进行SoC相关场景接口的验证，可极大缩短原型验证平台的搭建时间，提升验证效率，从而进一步缩短SoC的开发时间。

“DP外设验证需求” 解决方案：

通过亚科鸿禹自研的HSMGT-DSIP、HSPI2-GPIO等子卡完成原型环境创建，启动工程验证。HSMGT-DSIP为DISPLAY输入输出子卡，该方案支持Xilinx原生的DISPLAY协议，通过调用Xilinx提供的DisplayPort 1.4 RX Subsystem和DisplayPort 1.4 TX Subsystem IP，选择本地或AXI4-Stream视频输入接口，支持MST和SST输出。其中包含一个专用输入DP接口和一个专用输出DP接口，一组GPIO。使用时可单独开发DP的TX发送端或RX接收端功能；RX端可将HPD、AUX等信号抓取，针对调试DP握手时遇到的问题提供更多的解决思路。 

 TX工程整体结构如下图：

视频数据由Stream Pattern Generator产生，通过CRC校验后传输给TX Subsystem，经过处理后给到Video PHY Controller，最后通过DP Mainlink输出。

 RX工程整体结构如下图：

数据由DP Mainlink进入，经过Video PHY Controller处理后给到RX Subsystem，随后进行EDID等数据的确认，建立握手后数据经过CRC校验，给到ILA。

»»方案适用于验证：大型视频处理系统中串行数字视频数据接收和发送的插件设计。

“HDMI外设验证需求” 解决方案：

通过亚科鸿禹自研的HSMGT-HD20等子卡完成原型环境创建，启动工程验证。HSMGT-HD20子卡为HDMI2.0输入输出子卡。该方案通过调用Xilinx提供的HDMI Transmitter/Receiver Subsystem IP，从PHY层接收捕获的TMDS数据，然后从HDMI流中提取视频和音频流，并将其转换为视频和音频流，以便进行视频、音频的处理，随后由HDMI Transmitter Subsystem将处理好的视频和音频流传输到HDMI流，从而完成视频流的传输，可选择AXI4-Stream、Native Video作为HDMI 1.4/2.0子系统的视频接口。该子卡包含一个专用输入HDMI接口和一个专用输出HDMI接口，一个时钟芯片，一个显示端口重定时器。该子卡输出为TI的PHY，输入直接接到了FPGA的MGT通道。使用时可以单独开发HDMI的TX或者RX功能；TX端挂载了显示端口重定时器，支持高达6Gbps的数据速率。搭配时钟芯片，可满足不同分辨率输出下所需求的时钟速率。

 下图为该工程整体结构：

 工程支持两种工作方式：

1. Passthrough工作模式。

该模式下，视频数据通过Source端给入HDMI RX Subsystem，经过处理后由HDMI TX Subsystem输出到Sink端，完成视频数据的接收和发送。

2. TX工作模式。

该模式下，视频数据由MicroBlaze产生，经过处理后通过HDMI TX Subsystem输出到Sink端。

»» 方案适用于验证：HDMI视频系统中HDMI接收和发送的插件设计。

“MIPI（Mobile Industry Processor Interface）外设验证需求”解决方案：

MIPI移动产业处理器接口(Mobile Industry Processorinterface)是为移动应用处理器制定的开放标准。现代移动应用设备由于高分辨率的要求，现在基本上都是基于MIPI协议来实现的。 方案通过亚科鸿禹自研的HSPI2-MIPI等子卡完成原型环境创建，启动工程验证。HSPI2-MIPI子卡为MIPI摄像头子板，用于视频接收。该方案采用MIPI CSI-2 RX Subsystem IP，该子系统从MIPI CSI-2摄像机传感器捕获图像，并输出AXI4- Stream视频数据，以便进行图像处理。该子系统允许快速选择顶级参数，并自动完成大部分较低级别参数化，AXI4-Stream视频接口允许与其他基于AXI4-Stream的子系统无缝连接。该子卡包含两路MIPI微型接头，支持ov9281，ov9280；两路FPC接口，支持ov5640；支持三路MMCX差分对。两种不同的摄像头接口，为客户提供了不同的选择。

 工程整体结构：

数据通过Sensor采集后给到 MIPI CSI-2 RX Subsystem，经过Sensor Demosaic，将拜尔图像传感器捕获的图像还原出符合色彩显示设备的真实世界色彩后给到VDMA，VDMA将视频数据缓存并输出。输出视频数据格式支持AXI-Stream和MIPI PHY形式。

»» 方案适用于验证：高集成度、高传输速率要求的移动设备图像处理设计。

VeriTiger®图像处理原型验证解决方案硬件环境

VeriTiger®原型验证图像处理解决方案原型实现

随着应用需求的多样化，图像处理设计类型随之多样化，除了以上成熟工程方案，我们提供快速高效的功能子卡设计服务，以满足不同类型图像处理设计用户的验证需求。欢迎联系我司销售部门获取产品资料、对接项目需求：hypersilicon@hypersilicon.com

亚科鸿禹--一站式平台化SoC/ASIC仿真验证产品及解决方案

无锡亚科鸿禹电子有限公司，专注于基于FPGA的SoC/ASIC原型验证和硬件仿真加速EDA工具的研发应用，致力于加速数字芯片设计研发，为前沿客户提供“一站式平台化的SoC/ASIC仿真验证产品及解决方案”。公司拥有超百人的人才团队，研发部署由具有20余年国际仿真验证从业背景的领域专家领衔，核心成员具有平均超过15年国内外知名EDA企业从业经验。公司与清华大学、合肥工业大学、江南大学等知名高校在EDA技术研发和人才培养方面保持长期产学研合作，共同推动国产EDA产业进程，助力中国半导体产业发展。公司的VeriTiger®系列原型验证产品和Semu®硬件仿真加速器广泛服务于国内外知名集成电路设计企业、知名院校和研究所，应用于5G、人工智能、自动驾驶、AIoT、存储等前沿领域，全球累计客户超500家。