不是登录用户不能使用 , 请 点击 登录
第一章:无人机视觉入门—计算机视觉基础 #
第一节、Hello Computer Vision: #
本小节主要内容为介绍计算机视觉基础知识,便于0基础学生快速进入到深度学习领域,为后续无人机视觉相关实验做铺垫。
- (1)7分钟快速上手Pytorch深度学习框架
- (2)手动搭建鸢尾花分类
- (3)手动搭建Cifar10分类实验
实践内容: 基于深度学习框架实现MNIST手写数字识别、Cifar10分类等任务,同学们可以通过这一节课搭建自己的分类网络。
第二节、Object Detection #
本小节的主要内容在于将简单神经网络扩展到卷积神经网络,以及介绍基础的目标检测算法并手把手带大家实现PC端目标检测。
- (1)快速上手目标检测算法—卷积神经网络
- (2)RCNN目标检测原理
- (3)YOLO目标检测原理
- (4)手动搭建YOLO目标检测算法
实践内容:PC端完成相关目标检测算法(从单张图片到离线视频再到实时的摄像头的目标检测)
第二章:无人机视觉进阶 #
第一节、无人机边缘计算 #
本小节主要介绍边缘计算与计算机视觉之间的联系,能够让学生了解到为什么需要在无人机平台上部署视觉算法,以及需要学习哪些预备的知识。
- (1)边缘计算与OpenCV
- (2)ROS介绍与安装
- (3)KCF目标追踪算法部署
- (4)手势关键点检测算法部署
实验任务:无人机摄像头实现实时关键点检测和简单目标检测
第三章:无人机搭载YOLO7-实现自定义目标检测 #
第一节、数据集制作 #
本小节的内容主要介绍常用的目标检测数据集的格式,以及我们能够使用哪些目标检测数据集来进行实验,同时我们也会介绍Label Image工具,通过标注工具能够基于自己的私有数据集来完成标注工作,从而完成特定任务的模型训练任务。
- (1)数据集格式介绍
- (2)数据集制作
第二节、YOLOv7算法介绍与实现 #
本小节的内容主要聚焦于介绍YOLOv7目标检测算法,我们将算法分解为骨干网络(backbone)以及检测头(head)两个部分来讲解,讲解完完整的网络结构之后我们会从代码来完成结构解析,帮助大家更好的理解YOLOv7网络,最后教大家如何使用我们之前在上面使用LabelImage标注好的自己的数据集来完成专属的YOLOv7的训练。
- (1)YOLOv7 骨干网络介绍
- (2)YOLOv7 检测头介绍
- (3)YOLOv7 算法训练
第三节、YOLOv7模型转换 #
本小节的内容主要在于模型的格式介绍和转换,这一步也是为后续的无人机部署进行铺垫,这里我们需要让大家了解到各种模型文件的格式以及内部存放权重数据的方法,这样后面遇到相似的情况的时候就能够灵活处理。
- (1)模型格式介绍(PT->ONNX )
- (2)使用RKNN进行模型转换
第四节、数据集制作 #
本小节的内容在于完成前面已经训练好的目标检测算法的部署,这个地方除了完成模型转换之外还有一个很重要的地方在与需要将YOLOv7算法和ROS结合,将原始的ROS节点发布的图像信息转移到YOLOv7节点上使用,这样我们就能够完成在无人机上的YOLOv7目标检测算法的部署。
- (1)无人机算法部署
- (2)YOLOv7结合ROS
最终实验任务:手动制作数据集,进行标签标注,并完成数据集格式的转换,使用Yolov7算法进行目标检测任务。