与Xilinx SoC和修订堆栈加速嵌入式视觉集成

FPGA的设计策略正在发生变化，特别是在嵌入式视觉系统领域。新的设计解决方案利用集成硬件加速的基于软件的系统，允许更快的开发，但也需要新的设计方法和工具。Xilinx和Avnet合作提供了一个全面的系统环境，以帮助设计师跟上这些新兴的趋势。

具有可编程逻辑的SOC是实时嵌入式视觉系统的基本要素。设计人员可以利用Xilinx Zynq UltraScale + MPSoC设备的电源和效率，以实现使用Avnet的嵌入式视觉套件和Xilinx修订堆栈的设计。

该生态系统使直接的方法能够集成基于深度学习的vision特征，并通过消除第一个原型硬件周期的软件开发依赖性来促进快速发展。

将计算机视觉引入嵌入式设计是一个复杂的过程。硬件一定要小，轻，低功率，低成本。快速的产品开发周期使底层功能的良好解决方案广为人知。花在固件最低级别上的每一分钟，都是另一分钟没有设计出区分产品的功能。

Xilinx提供了一个完全集成的解决方案，工程师可以对其进行修改和构建。软件工程师可以开始复杂的基于机器学习的图像处理设计，而无需编写一行硬件HDL代码使用SDSOC.开发环境，Zynq UltraScale + MPSoC开发套件，以及可用的许多完整设计示例之一。

Zynq UTRASCALE + MPSOC

嵌入式视觉产品的快速发展要求使用具有足够接口和板载功能的现有硬件平台来满足产品需求。该平台还必须提供易于使用、健壮的固件和应用程序开发环境。

为此,Xilinx与Avnet合作。Avnet的视觉导向发展周期的经验已经有助于一个完整的系统方法，包括安万特嵌入式视觉工具包有多种基于soc的SoM选项、视频专用运营商卡，以及PoE等功能。设计人员可以利用Xilinx的开发生态系统开发可编程SoC器件系列，如Zynq Ultrascale + MPSoC，使关注于微调和自定义知识产权，而不是移植代码。

Xilinx和Avnet共同努力，恭维嵌入式视觉产品，具有强大的固件和应用程序开发环境。

如今的嵌入式视觉产品要求单个设备解决方案足够强大，能够满足实时任务期限和关键任务安全规范，同时保持在具有挑战性的能效预算范围内。视频和图像处理通常需要复杂的功能，如目标检测和识别、算法决策和运动路径选择。这些流程的输出必须确定地绑定到控制决策、状态分析和人机界面通知。如果没有这种决定论，安全性和可靠性就会受到直接影响。像Zynq Ultrascale+ MPSoC这样的设备具有四个ARM Cortex-A53 cpu，能够在图像处理和Linux等应用程序丰富的操作系统上实现对称多处理。

Zynq Ultrascale+ MPSoC进一步集成了嵌入式视觉产品的关键功能，两个ARM Cortex R5实时处理器独立于四核和操作系统环境运行。这可以实现同步监控和安全特性，在发生严重软件系统故障时可以继续运行。一个独立的容错平台管理单元可以实现安全和电源管理功能，而一个配置和安全单元提供简单的配置和安全威胁保护。最后，马利-400图形处理器提供内置的2D和3D渲染，允许该平台提供高质量的视频显示输出。

Zynq UltraScale + MPSoC不再简单地进行FPGA。Xilinx认识到一种以软件为中心的方法，更好地满足嵌入式愿景市场的期望。FPGA设计策略已从专有的硬件解决方案改变，需要对硬件HDL实施的相当大的投资来实现实时性能。系统现在是需要通过尝试和测试的自信IP而越来越多地提供的硬件加速的软件解决方案。硬件加速度由未来的校正框架（如OpenCL）集成到软件应用程序中。修订堆栈是Xilinx在完整的系统环境中将其放在一起的方式。

修改堆栈

嵌入式视觉系统需要引导机器学习和计算机视觉加速。Xilinx'All-可编程的'技术利用软件定义的嵌入式愿景'修订堆栈'实现机器学习，传感器融合和计算机视觉。修订堆栈包括行业标准框架内的软件定义的环境，以实现今天使用的大多数流行神经网络的实施，包括AlexNet，Googlenet，Screezenet，SSD和FCN。可提供这些神经网络的优化参考模型。

reVISION堆栈还包括构建完全自定义神经网络所需的所有功能能力和块。神经网络通常由层层卷积(滤波)和非线性(激活)过程组成，这些过程可以从前一层插入(上采样)或抽取(下采样)信息。reVISION堆栈支持大多数接口分层方法，包括Conv、ReLU、Pooling、expanded Conv、Deconv、FC、Detector & Classifier和SoftMax的硬件优化实现。

设计人员可以从一系列图像处理IP中进行选择，它可以在Caffe和OpenVX等框架下与神经网络功能无缝集成。结果是高响应性和可配置性，可访问宽的资源发展社区不断添加和更新OpenCV库。通过Xilinx OpenCV（XFoPenCV），可立即提供朝向无人机控制，自动驾驶和机器学习等应用的最关键的加速功能。

软件开发人员可以使用几行记录的代码，包括过滤器，图像处理和运动跟踪等硬件加速器。输入数据可以轻松进出这些实例化，因为作为函数参数称为简单的对象。直接流是优化系统中内存的强大方法。通过以这种方式使用流式传输，编译器可以使用具有最小内存开销的内部总线结构直接链接加速度模块，并避免外部存储器访问。这降低了功耗，并导致处理延迟的显着改进。

平台资源

如果你需要一个开始的平台，Avnet 'sZedboard是一个在线资源，包含相关的例子，信息，和使用一些现成的Zync SoC模块(SOM)为基础的工具包的培训。设计器还可以结合开发平台(如Zynq UltraScale + MPSOC ZCU102评估套件使用FMC和USB接口摄像头、HDMI源和虚拟视频设备来训练和实现应用程序。基于神经网络的系统可以通过在ARM处理器系统上运行的软件轻松定制，而不需要耗时的编译过程。许多设计实例同时结合了机器学习和视觉可供学习，包括运动检测，面部跟踪，热成像和机器人应用。

嵌入式愿景

多摄像机的视觉应用正变得越来越普遍。特别是在高级驾驶员辅助系统(ADAS)中，平台必须能够满足快速帧率、高性能信号处理、复杂的传感器融合和专用神经网络硬件加速所需的处理能力。然而，问题超出了这个范围，变成了一些相对简单的标准，而这些标准常常被忽视。如果一个设备不符合汽车应用所需的批准标准，那么它的功能再强大也没用。

Xilinx的汽车资格XA Zynq Ultrascale+ MPSoC系列符合AEC-Q100测试规格。这使得该设备能够用于需要更高温度等级、高可见性变化管理和高可靠性制造的恶劣汽车环境。在物理和环境规范之上，这些设备结合了一个“安全岛”，使实时处理能够在任务关键安全应用中实现，如ADAS，允许设备认证，满足ISO 26262 ASIL-C标准。

正如前面的示例所示，在选择平台之前，考虑嵌入式视觉系统的所有基本需求是很重要的。Zynq Ultrascale+ MPSoC器件上的可编程逻辑可以解决仅基于cpu的解决方案不切实际甚至危险的系统。工业机器人电机控制应用就是一个例子。这通常需要高速PID循环，以真实世界的反馈为基础，需要对模拟信号进行高速采样。

可在Zynq UltraScale + MPSoC设备上提供的可编程逻辑面料在此作用中运行良好，降低了快速中断任务的软件驱动程序的需求，可以降低系统稳定性和降低性能。即使控制算法简单，即使保持低抖动所需的实时确定性和采样率也会导致快速的任务切换，在任务切换中浪费了显着的处理能力。

安全关键的嵌入式视觉产品，如工业机器人控制，需要故障安全操作。Zynq Ultrascale+ MPSoC集成系统监控器包括一个多通道ADC和片上传感器，用于监控模上操作条件，如温度和电源电压。这使得故障条件可以独立于软件域检测到，状态可以通过外部通信端口(如I)获得²C接口和报警输出。Zynq Ultrascale+ MPSoC有一个额外的高速监视器，能够达到1议员抽样（PDF），使能对故障状况的极快响应。在故障检测时，机器人控制系统可以以安全的操作状态停放，保护设备和用户。

结论

Xilinx Zynq UltraScale Mpsocs是由于综合修订堆栈和灵活的视觉型硬件开发套件易于使用的设备。由于可配置的可编程逻辑硬件加速，MPSOC具有嵌入式CPU的明显优势。结果是完全集成的嵌入式视觉开发系统，利用以软件为中心的方法。

Xilinx已添加功能以支持重新配置，可靠性，监控和安全性，从而消除了螺栓上的额外监控硬件。现有示例使设计人员能够有限了解FPGA逻辑设计以获得入门。使用OpenVX，Caffe，OpenCL和OpenCV标准以及Linux这样的操作系统，将任何系统开发到大量的第三方IP，以加速开发和未来的应用。

Zynq Ultrascale+ MPSoC和reVISION可以实现先进的视觉功能。Xilinx和Avnet的解决方案可以帮助解决复杂系统设计的所有问题，并带来清晰的项目:无论是自动驾驶汽车、医疗成像设备，还是下一代搅拌咖啡、洗碗机器人超级无人机。有一些资源可以帮助您发现更多关于如何实现嵌入式视觉解决方案的信息，并阅读其他创新的成功案例，包括机器人和自动驾驶这里。

本文与合伙人编写Avnet。

行业文章是一种内容的形式，允许行业合作伙伴分享有用的新闻，消息和技术，所有关于电路读者的行为编辑内容并不适合。所有行业文章都受到严格的编辑准则，目的是提供读者有用的新闻，技术专业知识或故事。在行业文章中表达的观点和意见是合作伙伴的观点，不一定是关于电路或其作家的所有人。