UVC対応 HDMIビデオキャプチャカードを購入し、
思いついて、実際にできたので、アイデア共有です。
はじめに
最近、専用ドライバのいらない、
「UVC対応 HDMIビデオキャプチャカード」
なるものが発売されています。
キャプチャカードで有名な、Avermedia社のものなども対応しています。
そして、
UVC(USB Video Class)対応ということは、
言い換えれば、
キャプチャ映像がWebカメラ映像のように扱えるということです。
(実際にカメラアプリでテレビ画面をキャプチャできたり)
つまり、
もしやカメラ映像解析の要領で、
HDMI入力のテレビやゲーム映像も解析できるんじゃ？？
と思いついたのでちょっと情報共有です。
実装手法
USBカメラの映像から、
リアルタイム顔検出や動体検出をする手法が、
確立されています。
(例えばOpenCVの顔検出、Tensorflowでの物体検出など)
これはほとんどがOpenCVのVideoCaptureクラスを用いたもので、
UVC対応のデバイスであれば、ラクに実装できます。
つまり、
UVC対応HDMIキャプチャカードを使えば、
OpenCVのVideoCaptureクラスを用いた
「Webカメラの表示サンプル」などのコードがそのまま使えるということ。
ということは、
Tensorflowを用いた顔検出コードサンプルを動かせば、
キャプチャカードに入力したテレビ映像で 顔検出することができるということ。
＜よくやる手法＞ USBカメラ → カメラ映像解析(例：顔検出) → 顔枠の表示
＜思いついた手法＞ HDMIキャプチャ → テレビ映像解析(例：将棋の盤面など判別) → 最適手の判定
など、
これは、いろんな可能性が広がるぞぉお！！！
何に流用できるか
例えば、
ゲーム映像から内容を判別して、
自動的に統計を取って、
レア度など確率の推定や、効率の最適化を行う。
例えば、
ダンス映像から、
OpenPoseなどで姿勢検出し、
３Dモデルを使ってリアルタイムで動きを再現する。
例えば、
ニュース映像の文字を認識して、
自動的に見出しを抽出する。
などなど、
パッと思いついただけでも、色んな事に流用できそうです。
さいごに
自分も何か作ろうと思いますので、
できた時には、このブログで記事にしようと思います！
ブックマーク登録、
ツイッターフォロー、
よろしくお願いいたします！🙇♂️🙇♂️
↓↓↓
