[Japanese/English]

---

NARUTO-HandSignDetection

物体検出を用いてNARUTOの印を検出するモデルとサンプルプログラムです。

　

右図：© NARUTO -ナルト- 9話『写輪眼のカカシ』岸本斉史作/集英社/studioぴえろ
※日本の著作権法 第二十条「同一性保持権」¹における「改変」に相当する可能性があるため、
　右図にはバウンディングボックスのオーバーレイ表示は行っておりません。

---

Title

Deep写輪眼：オブジェクト検出 YOLOX を用いた NARUTO の印認識

Abstract

このリポジトリは、NARUTO² の印を認識するための訓練済みモデルとサンプルプログラムを公開しています。

忍術の発動は、一部の忍術をのぞき手で印を結ぶことが必要です。
また、性質変化は印に特徴が現れるため(火遁→寅の印、土遁→亥の印など)、
印を素早く認識することが出来れば、忍同士の戦闘においてアドバンテージを得ることが出来ます。
印の認識にはディープラーニングの物体検出モデルの一つYOLOX-Nanoを使用することで、
前回バージョンのDeep写輪眼(EfficientDet-D0利用)よりも推論速度を大幅にアップしました。

Requirements

• onnxruntime 1.10.0 or Later
• OpenCV 3.4.2 or Later
• Pillow 6.1.0 or Later (Ninjutsu_demo.pyを動かす場合のみ)
• Tensorflow 2.3.0 or Later (SSD、EfficientDetを動かす場合、あるいは後処理をONNXへマージするときのみ)

DataSet

データセットについて

データセットは非公開です（訓練済みのモデルは公開します）
※日本の著作権法 第四十七条の七「複製権の制限により作成された複製物の譲渡」³に準拠

また、自分で撮影した画像、アニメ画像の他に、naruto-hand-sign-dataset⁴を利用しています。

お願い事項

データセットはネット上で収集した画像と、自前で撮影した画像で構成されているため、
背景色や服装によっては検出精度が落ちたり、誤検出する可能性があります。
Issueで誤検出した条件を教えていただると助かります。
可能であれば、誤検出する条件の画像(子～亥、壬、合掌)をいただけると大変助かります。
その際、いただいた画像は学習データセットに追加してモデルの再訓練に使用します。

印の種類

14種類(子～亥、壬、合掌)の印に対応しています。

子(Ne/Rat)	丑(Ushi/Ox)	寅(Tora/Tiger)	卯(U/Hare)

辰(Tatsu/Dragon)	巳(Mi/Snake)	午(Uma/Horse)	未(Hitsuji/Ram)

申(Saru/Monkey)	酉(Tori/Bird)	戌(Inu/Dog)	亥(I/Boar)

壬(Mizunoe)	合掌(Gassho/Hand Claps)	-	-

データセットの枚数

総枚数：10026(内アニメ画像：2651枚)
タグ付き枚数：7098枚
タグ無し枚数：2928枚
アノテーションボックス数：8941個
　

Trained Model

訓練済みモデルをmodelディレクトリ配下で公開しています。 ※旧バージョンのモデルは「_legacy」ディレクトリに移動

• YOLOX-Nano

Directory

│  simple_demo.py
│  Ninjutsu_demo.py
│
├─model
│  └─yolox
│      │ yolox_nano.onnx
│      └─yolox_onnx.py
│
├─post_process_gen_tools
│      │ convert_script.sh
│      │ make_box_gather_nd.py
│      │ make_boxes_scores.py
│      │ make_cxcywh_y1x1y2x2.py
│      │ make_final_batch_nums_final_class_nums_final_box_nums.py
│      │ make_grids.py
│      │ make_input_output_shape_update.py
│      │ make_nms_outputs_merge.py
│      └─make_score_gather_nd.py
│
├─setting─┬─labels.csv
│         └─jutsu.csv
│
├─utils
│
└─_legacy

simple_demo.py

　シンプルな検出デモです。
　

Ninjutsu_demo.py

　忍術判定のデモです。
　印の履歴から術データ(jutsu.csv)にマッチする術名を表示します。
　 　

model

　訓練済みモデルを格納しています。

post_process_gen_tools

　ONNXにすべての後処理をマージするスクリプト群を格納しています。

setting

　ラベルデータ(labels.csv)と術名データ(jutsu.csv)を格納しています。

• labels.csv
  印のラベル名を保持しています。
  
  • A列：英語の印
  • B列：日本語の印
• jutsu.csv
  術名と必要印を保持しています。
  
  • A列：日本語の術種別(火遁等)
  • B列：英語の術種別(火遁等)
  • C列：日本語の術名
  • D列：英語の術名
  • E列以降：術の発動に必要な印

utils

　FPS計測用モジュール(cvfpscalc.py)と文字列描画用モジュール(cvdrawtext.py)を格納しています。
　Ninjutsu_demo.pyのみで使用します。

Usage

デモの実行方法は以下です。

python simple_demo.py
python simple_demo_without_post.py
python Ninjutsu_demo.py

また、デモ実行時には、以下のオプションが指定可能です。

オプション指定

• --device
  カメラデバイス番号の指定
  デフォルト：
  • simple_demo.py：0
  • Ninjutsu_demo.py：0
• --file
  動画ファイル名の指定 ※指定時はカメラデバイスより優先し動画を読み込む
  デフォルト：
  • simple_demo.py：None
  • Ninjutsu_demo.py：None
• --fps
  処理FPS ※推論時間がFPSを下回る場合のみ有効
  デフォルト：
  • simple_demo.py：30
  • Ninjutsu_demo.py：30
• --width
  カメラキャプチャ時の横幅
  デフォルト：
  • simple_demo.py：960
  • Ninjutsu_demo.py：960
• --height
  カメラキャプチャ時の縦幅
  デフォルト：
  • simple_demo.py：540
  • Ninjutsu_demo.py：540
• --skip_frame
  カメラ or 動画読み込み時に何枚おきに処理を実行するか
  デフォルト：
  • simple_demo.py：0
  • Ninjutsu_demo.py：0
• --model
  ロードするモデルの格納パス
  デフォルト：
  • simple_demo.py：model/yolox/yolox_nano.onnx
  • Ninjutsu_demo.py：model/yolox/yolox_nano.onnx
• --input_shape
  モデルの入力サイズ
  デフォルト：
  • simple_demo.py：416,416
  • Ninjutsu_demo.py：416,416
• --score_th
  クラス判別の閾値
  デフォルト：
  • simple_demo.py：0.7
  • Ninjutsu_demo.py：0.7
• --nms_th
  NMSの閾値
  デフォルト：
  • simple_demo.py：0.45
  • Ninjutsu_demo.py：0.45
• --nms_score_th
  NMSのスコア閾値
  デフォルト：
  • simple_demo.py：0.1
  • Ninjutsu_demo.py：0.1
• --sign_interval
  前回の印検出時から指定時間(秒)経過すると印の履歴をクリア
  デフォルト：
  • Ninjutsu_demo.py：2.0
• --jutsu_display_time
  術成立時に術名を表示する時間(秒)
  デフォルト：
  • Ninjutsu_demo.py：5
• --use_display_score
  印検出スコアを表示するか否か
  デフォルト：
  • Ninjutsu_demo.py：False
• --erase_bbox
  バウンディングボックスのオーバーレイ表示を消去するか否か
  デフォルト：
  • Ninjutsu_demo.py：False
• --use_jutsu_lang_en
  術名表示に英語表記を使用するか否か
  デフォルト：
  • Ninjutsu_demo.py：False
• --chattering_check
  印を何回連続で検出したら印の成立とみなすか(印の検出チラつき対策)
  デフォルト：
  • Ninjutsu_demo.py：1
• --use_fullscreen
  フルスクリーン表示を利用するか否か(試験的機能)
  デフォルト：
  • Ninjutsu_demo.py：False

Application Example

アプリケーションの応用事例を紹介します。

• 第15回UE4ぷちコン「印VADERS」

Acknowledgements

EfficientDetモデルトレーニング時は、からあげさんの説明記事⁵を参考にいたしました。
また、からあげさんのブログ⁶にて、Deep写輪眼をご紹介いただきました。
大変ありがとうございます。

YOLOXのトレーニングにはYOLOX-Colaboratory-Training-Sample⁷を使用しています。

References

1. ^日本：著作権法 第二十条「同一性保持権」
2. ^岸本斉史作『NARUTO』集英社、1999年-2014年
3. ^日本：著作権法 四十七条の七「複製権の制限により作成された複製物の譲渡」
4. ^Kaggle 公開データセット：naruto-hand-sign-dataset
5. ^「Object Detection API」で物体検出の自前データを学習する方法（TensorFlow 2.x版）
6. ^からあげさんのブログ：AIでNARUTO気分！「Deep写輪眼」で遊んでみよう
7. ^Kazuhito00/YOLOX-Colaboratory-Training-Sample

Authors

高橋かずひと(https://twitter.com/KzhtTkhs)

License

NARUTO-HandSignDetection is under MIT license.

License(Font)

衡山毛筆フォント(https://opentype.jp/kouzanmouhitufont.htm)