序文#
この記事では、HQTrack について簡単に紹介します。
HQTrack は、高性能なビデオオブジェクトの追跡とセグメンテーションのためのフレームワークです。
本文#
一、HQTrack の紹介#
高性能なビデオオブジェクトの追跡とセグメンテーションのためのフレームワークであり、複数のオブジェクトを同時に追跡し、正確なオブジェクトマスクを出力することができます。
二、HQTrack の使用方法#
1、プロジェクトのダウンロード：git clone https://github.com/jiawen-zhu/HQTrack.git
2、環境依存関係のインストール：
公式の要件に基づいて、一部のライブラリのバージョンを変更する必要があります。そうしないと、正常にインストールできません。
-
pytorch は 1.10.0 以上が必要であり、DCNv3 をインストールするために、DCNv3 プロジェクトの公式のwheel ファイルを使用する必要があります。
-
gcc は 7.3.0 以上が必要であり、vot-toolkit フレームワークをコンパイルするために使用されます。
# 仮想環境の作成
conda create -n hqtrack python=3.8
conda activate hqtrack
# torch1.12.0のインストール
conda install pytorch==1.12 torchvision cudatoolkit=11.3 -c pytorch
# HQ-SAMのインストール
cd segment_anything_hq
pip install -e .
pip install opencv-python pycocotools matplotlib onnxruntime onnx
# Pytorch-Correlation-extensionのインストール
cd packages/Pytorch-Correlation-extension/
python setup.py install
# DCNv3のインストール
pip install DCNv3-1.0+cu113torch1.12.0-cp38-cp38-linux_x86_64.whl
# vot-toolkitフレームワークのインストール
pip install vot-toolkit
# その他の依存関係のインストール
pip install easydict
pip install lmdb
pip install einops
pip install jpeg4py
pip install 'protobuf~=3.19.0'
conda install setuptools==58.0.4
pip install timm
pip install tb-nightly
pip install tensorboardx
pip install scikit-image
pip install rsa
pip install six
pip install pillow
3、事前学習済みモデルのダウンロード
- VMOS モデルをダウンロードし、プロジェクトディレクトリの
result/default_InternT_MSDeAOTL_V2/YTB_DAV_VIP/ckpt/に解凍して配置します。 - HQ-SAM モデルをプロジェクトディレクトリの
segment_anything_hq/pretrained_model/に配置します。
4、デモの実行
demo/your_videoに処理したい画像シーケンスを追加し、demo/demo.pyスクリプトのdemo_videoパラメータをカスタムのフォルダ名に変更し、以下のコマンドを実行して、最初のフレームで追跡するオブジェクトを手動でマークし、rを押して画像シーケンスの処理を開始します。
cd demo
python demo.py
三、まとめ#
このプロジェクトは、高精度なオブジェクト追跡を実現するために HQ-SAM に依存しており、HQ-SAM は SAM の正確なオブジェクトセグメンテーション能力を備えており、SAM の元のデザイン、効率、ゼロショット汎化能力を維持しています。SAM の事前学習済みモデルの重みには、わずかな追加パラメータと計算のみが導入されています。
最後に#
参考文献：
免責事項#
この記事は個人の学習記録として作成されました。
この記事はHBlogと同期しています。