前言#
本文简单记录介绍一下 HQTrack。
HQTrack 是一个用于高性能视频目标跟踪和分割的框架。
正文#
一、HQTrack 介绍#
一个用于高性能视频目标跟踪和分割的框架，可以同时跟踪多个目标对象并输出准确的对象掩码。
二、HQTrack 使用#
1、下载项目：git clone https://github.com/jiawen-zhu/HQTrack.git
2、安装环境依赖：
在官方给的要求基础上对部分库的版本进行修改，否则无法安装成功：
-
pytorch 需要 1.10.0 以上，才能安装 DCNv3，并且使用 DCNv3 项目官方预编译好的wheel 文件进行安装
-
gcc 需要 7.3.0 以上，用于编译 vot-toolkit 框架
# 安装虚拟环境
conda create -n hqtrack python=3.8
conda activate hqtrack
# 安装torch1.12.0
conda install pytorch==1.12 torchvision cudatoolkit=11.3 -c pytorch
# 安装HQ-SAM
cd segment_anything_hq
pip install -e .
pip install opencv-python pycocotools matplotlib onnxruntime onnx
# 安装Pytorch-Correlation-extension
cd packages/Pytorch-Correlation-extension/
python setup.py install
# 安装DCNv3
pip install DCNv3-1.0+cu113torch1.12.0-cp38-cp38-linux_x86_64.whl
# 安装vot-toolkit框架
pip install vot-toolkit
# 安装其他依赖
pip install easydict
pip install lmdb
pip install einops
pip install jpeg4py
pip install 'protobuf~=3.19.0'
conda install setuptools==58.0.4
pip install timm
pip install tb-nightly
pip install tensorboardx
pip install scikit-image
pip install rsa
pip install six
pip install pillow
3、下载预训练模型
- 下载VMOS 模型，解压放置到项目目录的
result/default_InternT_MSDeAOTL_V2/YTB_DAV_VIP/ckpt/内 - 下载HQ-SAM 模型，放置到项目目录的
segment_anything_hq/pretrained_model/内
4、运行 demo
在demo/your_video中添加想要处理的图片序列，修改demo/demo.py脚本中demo_video参数为自定义的文件夹名，运行以下命令，开始手动标记第一帧中需要追踪的对象，按r开始处理图片序列
cd demo
python demo.py
三、总结#
项目实现了高精度的物体跟踪主要依赖于 HQ-SAM，HQ-SAM 使 SAM 具备准确分割任何对象的能力，同时保持 SAM 原有的提示设计、效率和零样本泛化能力。在 SAM 的预训练模型权重基础上只引入了少量的额外参数和计算。
最后#
参考文章：
声明#
本文仅作为个人学习记录。
本文与HBlog保持同步。