模擬芯片版圖設計培訓

        Xilinx-FPGA人工智能設計與實現技術培訓課程

        5 (34人評價)
        • 精品
        • 筆記:(20)

        • 學員:(348)

        • 瀏覽:(105092)

        • 加入課程

        課程簡介

         

        聯系方式
         
         

        教學優勢

          曙海教育的課程培養了大批受企業歡迎的工程師。大批企業和曙海
        建立了良好的合作關系。曙海教育的課程在業內有著響亮的知名度。

          本課程,秉承20年積累的教學品質,以項目實現為導向,老師將會與您分享設計的全流程以及工具的綜合使用經驗、技巧。

         

        課程列表

        • 課程簡介:

        • 課程目標:

          課程大綱:

          Xilinx-FPGA人工智能設計與實現技術培訓

          課程內容

          ?演示FPGA?AI項目的視頻文件和Vitis?AI軟件開發原理與環境搭建。

          1.?演示FPGA?AI項目視頻文件,讓學員對FPGA AI項目的應用范圍和實現方法有一個直觀的認識。

          2.?FPGA AI環境搭建。介紹虛擬機VMware、Ubuntu、Vitis、docker、Vitis AI、CMake、Opencv、XRT和Model Zoo的安裝和環境變量設置。

          3.?FPGA?AI開發原理和流程。介紹深度學習處理單元DPU、AI優化器、AI量化器、AI編譯器、運行時XRT、DPU指令集等Vitis AI主要概念、開發流程、專有命令和API接口。

          4.?FPGA AI開發板介紹和使用。Alveo系列、Versal系列、ZynqMP系列,重點介紹本課程所用開發板Kria KV260、Ultra96、ZCU104,內容包括開發板硬件接口和連接、鏡像燒錄、網絡配置、通訊軟件和例程演示。

          5.?Kria KV260 AI開發板加速原理和自帶例程詳解。介紹開發板自帶的兩種加速核Smartcam、Aibox-reid實現原理、C++、Python和GStreamer VVAS三種語言例程演示和程序解析,其中包含VART調用DPU流程和命令,比特流和kernel載入、輸入預處理、模型運行和輸出參數后處理全過程。

          ?yolov3 & yolov3_tiny口罩訓練移植全流程與yolov2_tiny & yolov4_tiny目標識別與跟蹤例程。

          1.?KV260 Smartcam硬件平臺制作。全制作過程采用非項目開發形式Vitis、Vivado設計與編譯,介紹makefile、Vitis、Vivado、Tcl批處理文件,其中對于涉及到Vitis開發軟件亦做了簡單介紹,也可以用Vitis或Vivado Gui界面打開分析編譯。

          2.?口罩識別yolov3和yolov3-tiny模型訓練、PC驗證和移植KV260全流程。這是一個包括模型修改、數據集訓練、模型轉化與固化、量化與編譯、鏡像生成,其訓練模型首先在PC機上使用Keras框架上進行驗證,再將鏡像放到KV260上進行實操驗證。并對其中用到的命令、PC機程序和FPGA上程序進行講解。

          3.?KV260 Vitis AI 1.4 yolov4-tiny模型編譯生成xmodel,開發板后處理程序解讀,開發板實操x11和hdmi顯示和影響時延因素分析,本節生成的模型也在下面的Gstreamer編程中使用。

          4.?Ultra96 yolov2-tiny Vitis AI 1.3模型轉換與固化、量化與編譯、開發板圖像預處理程序、DPU AI調用命令集和DPU輸出后處理程序(包括目標閾值篩選、非最大值抑制 NMS和目標框繪制)和目標跟蹤算法程序,掌握yolo模型目標識別后處理程序和用戶算法程序的編寫。

          Gstreamer主流AI模型全流程的設計、訓練與FPGA轉化。

          1.?介紹多媒體GStreamer框架和插件,包括Element、Queue、Tee、Pad、Bin等基本元素,filesrc、v4l2src、kmssink、h264parse、x264enc等主要模塊,和qp、leaky、control-rate、target-bitrate、periodicity-idr、gop-length等主要參數,并在PC虛擬機上進行pipeline編程練習。

          2.?介紹Xilinx基于Gstreamer框架的視頻開發套件Vitis Video Analytics SDK?(VVAS),包括硬件與軟件對應的層次結構,主要組件omxh264enc、omxh264dec、ivas_xfilter、ivas_xmetaaffixer等的作用與命令格式,并以框圖上逐次增加功能模塊的方式講解VVAS pipeline語言如何編寫,掌握用這種高度集成和方便的工具實現FPGA?AI視覺應用編程。

          3.?利用在前面的課程中編譯得到的yolov2-tiny xmodel模型,使用VVAS編程語言講解編寫目標識別pipeline, 實現在KV260上的視頻文件讀取、圖像預處理、DPU運行、后處理、視頻輸出和存盤的所有功能。

          4.?基于KV260的自帶人臉識別模型和人物跟蹤模型,分別講解編寫VVAS pipeline人臉識別和人物跟蹤,輸出顯示在HDMI上,同時改變Gstreamer VVAS參數直觀感受不同的參數對視頻帶來的影響,講解如何正確設置Gstreamer VVAS參數。



        • 練習

          答疑


        • 咨詢在線客服

        你可能感興趣的內容

        12萬+瀏覽/ 2304學員/ 4.5評分
        推薦
        品牌介紹曙海品牌介紹
        11萬+瀏覽/ 8552學員/ 4.3評分
        推薦
        6萬+瀏覽/ 2010學員/ 4.4評分
        推薦