HQTrack-高性能视频对象跟踪和分割的框架

前言

​ 本文简单记录介绍一下 HQTrack。

​ HQTrack 是一个用于高性能视频目标跟踪和分割的框架。

正文

一、HQTrack 介绍

一个用于高性能视频目标跟踪和分割的框架，可以同时跟踪多个目标对象并输出准确的对象掩码。

二、HQTrack 使用

1、下载项目：git clone https://github.com/jiawen-zhu/HQTrack.git

2、安装环境依赖：

在官方给的要求基础上对部分库的版本进行修改，否则无法安装成功：

pytorch 需要 1.10.0 以上，才能安装 DCNv3，并且使用 DCNv3 项目官方预编译好的wheel 文件进行安装

gcc 需要 7.3.0 以上，用于编译 vot-toolkit 框架

Copy
# 安装虚拟环境
conda create -n hqtrack python=3.8
conda activate hqtrack

# 安装torch1.12.0
conda install pytorch==1.12 torchvision cudatoolkit=11.3 -c pytorch

# 安装HQ-SAM
cd segment_anything_hq
pip install -e .
pip install opencv-python pycocotools matplotlib onnxruntime onnx

# 安装Pytorch-Correlation-extension
cd packages/Pytorch-Correlation-extension/
python setup.py install

# 安装DCNv3
pip install DCNv3-1.0+cu113torch1.12.0-cp38-cp38-linux_x86_64.whl

# 安装vot-toolkit框架
pip install vot-toolkit

# 安装其他依赖
pip install easydict
pip install lmdb
pip install einops
pip install jpeg4py
pip install 'protobuf~=3.19.0'
conda install setuptools==58.0.4
pip install timm
pip install tb-nightly
pip install tensorboardx
pip install scikit-image
pip install rsa
pip install six
pip install pillow

3、下载预训练模型

下载VMOS 模型，解压放置到项目目录的result/default_InternT_MSDeAOTL_V2/YTB_DAV_VIP/ckpt/内

下载HQ-SAM 模型，放置到项目目录的segment_anything_hq/pretrained_model/内

4、运行 demo

在demo/your_video中添加想要处理的图片序列，修改demo/demo.py脚本中demo_video参数为自定义的文件夹名，运行以下命令，开始手动标记第一帧中需要追踪的对象，按r开始处理图片序列

Copy
cd demo
python demo.py

三、总结

项目实现了高精度的物体跟踪主要依赖于 HQ-SAM，HQ-SAM 使 SAM 具备准确分割任何对象的能力，同时保持 SAM 原有的提示设计、效率和零样本泛化能力。在 SAM 的预训练模型权重基础上只引入了少量的额外参数和计算。

最后

参考文章：

官方项目

HQ-SAM

声明

本文仅作为个人学习记录。