【アイデア】ビデオキャプチャカードで、HDMI入力の映像をリアルタイム解析する

アイデア
スポンサーリンク

 

UVC対応 HDMIビデオキャプチャカードを購入し、
思いついて、実際にできたので、
アイデア共有です。

 

はじめに

最近、専用ドライバのいらない、
「UVC対応 HDMIビデオキャプチャカード」
なるものが発売されています。

キャプチャカードで有名な、Avermedia社のものなども対応しています。

AVerMedia | アバーメディア・テクノロジーズ株式会社
アバーメディアは、ゲーム録画・配信用キャプチャーデバイス、ゲーミングオーディオ、講義・ミーティング記録用レコーダー、ライブ配信機器、エンコーダー、キャプチャーボードなど、高品質なビデオやオーディオ関連製品を提供しています。

 

そして、
UVC(USB Video Class)対応ということは、
言い換えれば、
キャプチャ映像がWebカメラ映像のように扱えるということです。
(実際にカメラアプリでテレビ画面をキャプチャできたり)

つまり、
もしやカメラ映像解析の要領で、
HDMI入力のテレビやゲーム映像も解析できるんじゃ??
と思いついたのでちょっと情報共有です。

 

実装手法

USBカメラの映像から、
リアルタイム顔検出や動体検出をする手法が、
確立されています。
(例えばOpenCVの顔検出、Tensorflowでの物体検出など)

これはほとんどがOpenCVのVideoCaptureクラスを用いたもので、
UVC対応のデバイスであれば、ラクに実装できます。

つまり、
UVC対応HDMIキャプチャカードを使えば、
OpenCVのVideoCaptureクラスを用いた

「Webカメラの表示サンプル」などのコードがそのまま使えるということ。

ということは、
Tensorflowを用いた顔検出コードサンプルを動かせば、
キャプチャカードに入力したテレビ映像で 顔検出することができるということ。

 

<よくやる手法>
USBカメラ → カメラ映像解析(例:顔検出) → 顔枠の表示
<思いついた手法>
HDMIキャプチャ → テレビ映像解析(例:将棋の盤面など判別) → 最適手の判定

など、
これは、いろんな可能性が広がるぞぉお!!!

 

何に流用できるか

例えば、
ゲーム映像から内容を判別して、
自動的に統計を取って、
レア度など確率の推定や、効率の最適化
を行う。

例えば、
ダンス映像から、
OpenPoseなどで姿勢検出し、
3Dモデルを使ってリアルタイムで動きを再現する。

例えば、
ニュース映像の文字を認識して、
自動的に見出しを抽出する。

などなど、
パッと思いついただけでも、色んな事に流用できそう
です。

 

さいごに

自分も何か作ろうと思いますので、
できた時には、このブログで記事にしようと思います!

ブックマーク登録、
ツイッターフォロー、
よろしくお願いいたします!🙇‍♂️🙇‍♂️
↓↓↓

👇 フォローボタン 👇
スポンサーリンク
マキシ's ディープパラダイス