アプリケーションでマルチメディア情報を統合する必要がある場合もあります。マルチメディア情報は、人間の間で複雑な情報の交換(すなわち、ビデオ会議、ビデオクリップ共有、マルチメディアインスタントメッセージングなど)に一般的に使用されるオーディオおよびビデオデータを含みます。これに加えて、ここ数年、カメラおよびマイクロホンは、コンピュータ・ビジョンやその他の分析技術と組み合わせて、eヘルス、スマートシティ、セキュリティと防衛、エンターテイメントなど、さまざまなアプリケーション分野で役立つ豊富な情報を生成する高度なセンサとしてよく使用されます。
このような機能は、Real-time Multimedia Stream processing GE(リファレンス実装Kurento)を使用してアプリケーションに組み込むことができます。特に、以下の使用パターンに興味があるかもしれません。
マルチメディア・ コミュニケーション
アプリケーションは、人間と人間のコミュニケーションの導入が理にかなっているときはいつでも、このパターンを利用することができます。そのコミュニケーションは、人から人(すなわち伝統的なコールモデル)、人から人々(すなわち1つの送信者から複数の受信者)、人々から人々(すなわち、すべての参加者情報を送受信できます)のように異なる情報トポロジに従って行われてもよい。コミュニケーションは、メディア記録(すなわち、1人または複数の人々のメディアストリームを永続的に記憶する)およびメディア再生(すなわち、以前に記録された通信クリップへの統合)のようなイネーブラによって提供される他の機能で補完することができる。
コンピュータ・ビジョンに基づくマルチメディア・センサ
このパターンは、コンピュータ・ビジョンまたは音声分析技術を使用してデバイスカメラを高度なセンサに変換することに基づいています。Kurentoは、顔を検出したり、人を検出したり、車のプレートを検出したり、動きを検出するための基本的なコンピュータ・ビジョン機能を提供しています。しかし、独自の分析モジュールを作成し、シンプルでシームレスにKurentoに接続することができます。これらの分析のほとんどは、イベントの形をとるデータの生成につながることに注意してください(特定の顔の検出、カープレートの検出、侵入者の検出など)。これらのイベントをコンテキスト情報として管理したい場合があります。これを行うには、Context Broker GEによってエクスポートされたオペレーションを使用してコンテキスト情報の更新を行います。
拡張現実感に基づくマルチメディアの豊かさ
このパターンは、マルチメディア通信を組み合わせて、マルチメディア情報を受信する人々の能力がシステムによって増強されるアプリケーションを生成する場合に有用である。拡張現実感(Augmented reality)は、基本的に、カメラによって取り込まれた基本メディアストリームの上に情報のレイヤーを追加することから成ります。これにより、受信者は、コミュニケーションされている現実を超えた情報を見ることが可能になる。これは、例えば、エンターテインメントシナリオ(例えば、会議の人々への衣装の追加)、学習シナリオ(例えば、アニメーションまたはテキストによる教授レッスンの増強)、健康(例えば、患者とのコミュニケーションを増大させる (例えば、バイオメトリックデータを含む)、産業用アプリケーション(例えば、複雑な機械の管理や修復方法に関する指示の追加)、広告(例えば、 文脈または他の利用可能なデータに依存するメディアストリーム)などを含む様々なシナリオで有用である可能性がある。
Real-time Multimedia Stream Processing GEと、そのリファレンス実装Kurentoについてもっと知りたい場合は、以下の情報が役立ちます:
実験を開始し、実践的な作業を開始したい場合は、次を参照してください: