前言#
本文簡單記錄介紹一下 HQTrack。
HQTrack 是一個用於高性能視頻目標跟踪和分割的框架。
正文#
一、HQTrack 介紹#
一個用於高性能視頻目標跟踪和分割的框架，可以同時跟踪多個目標對象並輸出準確的對象遮罩。
二、HQTrack 使用#
1、下載項目：git clone https://github.com/jiawen-zhu/HQTrack.git
2、安裝環境依賴：
在官方給的要求基礎上對部分庫的版本進行修改，否則無法安裝成功：
-
pytorch 需要 1.10.0 以上，才能安裝 DCNv3，並且使用 DCNv3 項目官方預編譯好的wheel 文件進行安裝
-
gcc 需要 7.3.0 以上，用於編譯 vot-toolkit 框架
# 安裝虛擬環境
conda create -n hqtrack python=3.8
conda activate hqtrack
# 安裝torch1.12.0
conda install pytorch==1.12 torchvision cudatoolkit=11.3 -c pytorch
# 安裝HQ-SAM
cd segment_anything_hq
pip install -e .
pip install opencv-python pycocotools matplotlib onnxruntime onnx
# 安裝Pytorch-Correlation-extension
cd packages/Pytorch-Correlation-extension/
python setup.py install
# 安裝DCNv3
pip install DCNv3-1.0+cu113torch1.12.0-cp38-cp38-linux_x86_64.whl
# 安裝vot-toolkit框架
pip install vot-toolkit
# 安裝其他依賴
pip install easydict
pip install lmdb
pip install einops
pip install jpeg4py
pip install 'protobuf~=3.19.0'
conda install setuptools==58.0.4
pip install timm
pip install tb-nightly
pip install tensorboardx
pip install scikit-image
pip install rsa
pip install six
pip install pillow
3、下載預訓練模型
- 下載VMOS 模型，解壓放置到項目目錄的
result/default_InternT_MSDeAOTL_V2/YTB_DAV_VIP/ckpt/內 - 下載HQ-SAM 模型，放置到項目目錄的
segment_anything_hq/pretrained_model/內
4、運行 demo
在demo/your_video中添加想要處理的圖片序列，修改demo/demo.py腳本中demo_video參數為自定義的文件夾名，運行以下命令，開始手動標記第一幀中需要追踪的對象，按r開始處理圖片序列
cd demo
python demo.py
三、總結#
項目實現了高精度的物體跟踪主要依賴於 HQ-SAM，HQ-SAM 使 SAM 具備準確分割任何對象的能力，同時保持 SAM 原有的提示設計、效率和零樣本泛化能力。在 SAM 的預訓練模型權重基礎上只引入了少量的額外參數和計算。
最後#
參考文章：
聲明#
本文僅作為個人學習記錄。
本文與HBlog保持同步。