東工大が開発した「0.5秒後の相手の動きをリアルタイムに予測する」格闘訓練システムがマジでスゴい!!

1.jpg

1: しじみ ★ 2019/04/25(木) 11:31:48.72 ID:CAP_USER

東京工業大学による研究チームは、0.5秒後の相手の動きをリアルタイムに予測し格闘の訓練ができるdeep learningを用いたシステム「FuturePose」を発表しました。

論文:FuturePose – Mixed Reality Martial Arts Training Using Real-Time 3D Human Pose Forecasting With a RGB Camera
https://ieeexplore.ieee.org/abstract/document/8658594

https://shiropen.com/wp-content/uploads/2019/03/gif-1-3.gif
本論文は、1台のRGBカメラによる画像から0.5秒後の相手の動きをリアルタイムに予測するdeep learningを用いた格闘訓練システムを提案します。本提案は、RGB画像の入力から相手の未来の姿勢を推定し提示することで格闘を訓練するシステムです。

具体的には、最初にResidual Networkを用いてRGB画像から相手の2D関節位置を推定します。続けて、推定した2D関節位置をLSTMネットワークの入力として時間的特徴を学習するために使用し、未来の2D関節位置を予測します。正確な動き予測を得るためにオプティカルフローを使用、中でも計算コストを下げるためにlattice オプティカルフローを使用します。
04.png
最後に、予測した2D関節位置を可視化するために3Dスケルトンモデルを構築しユーザに提示します。ユーザは、提示された未来の動きをする3DスケルトンモデルをVR HMDで体験しながら、格闘技の訓練をすることができます。

実験では、HTC Viveを装着したユーザに、パンチやキックの攻撃を回避してもらいます。提示される映像は、予測なし映像と予測あり映像(ARベースとVRベースの2種類)。30 fpsのビデオで15フレーム先を予測(0.5秒後を予測)します。結果、予測なしのユーザの平均応答時間は0.62秒に対して、予測ありはそれぞれ0.42秒および0.41秒と予測ありの方が速く動作し、相手のパンチやキックを回避できることを示しました。

また、オンラインビデオに本手法を適応することで、視聴者に対して動画内の人の動作予測を提示することも実証しました。これにより、例えばPK時でのゴールキーパーの動きや、ダンスの動きなど、スポーツやエンターテインメントなど幅広い分野での活用が期待されます。
FuturePose

https://shiropen.com/seamless/futurepose

3: ニュースソース検討中@自治議論スレ 2019/04/25(木) 11:39:00.20 ID:S4hSNVBl

キングクリムゾンと命名しなさい
4: ニュースソース検討中@自治議論スレ 2019/04/25(木) 11:40:39.25 ID:slw+MYU+

まぁ予想できても0.5秒後とかそんなとこだよね

FXみたいに1~2時間程度相場が上がり続けるか下がり続けるかの予想は相当困難

19: ニュースソース検討中@自治議論スレ 2019/04/25(木) 12:23:02.84 ID:JnR6Q6tX

>>4
0.5秒後の為替が予測できるなら大儲けできるだろ


if(navigator.userAgent.indexOf(‘iPhone’) > 0){
document.write(”);
} else if( navigator.userAgent.indexOf(‘Android’) > 0 ) {
document.write(”);
} else {
;
}

27: ニュースソース検討中@自治議論スレ 2019/04/25(木) 14:42:03.10 ID:0X7JJeRX

>>19
0.5秒じゃ流石にスプレッド負けするやろな
5: ニュースソース検討中@自治議論スレ 2019/04/25(木) 11:48:15.25 ID:KCG02Bt9

eスポーツに使える
9: ニュースソース検討中@自治議論スレ 2019/04/25(木) 12:03:01.47 ID:Lrf8u/Qp

1000分の1秒後くらいじゃないとな
11: ニュースソース検討中@自治議論スレ 2019/04/25(木) 12:10:35.44 ID:y3nOj/mH

このシステムを騙せるくらいのフェイントを出せるようになったらプロの入り口、
みたいな使い方もできるのかねえ


if(navigator.userAgent.indexOf(‘iPhone’) > 0){
document.write(”);
} else if( navigator.userAgent.indexOf(‘Android’) > 0 ) {
document.write(”);
} else {
;
}

13: ニュースソース検討中@自治議論スレ 2019/04/25(木) 12:16:24.45 ID:OoKP3NXz

予測するだけなら矛盾はないが、
適切な動作をするようになると、
矛盾が生じるな。
15: ニュースソース検討中@自治議論スレ 2019/04/25(木) 12:17:17.11 ID:FatpPZRm

0.5秒後の予測から次の0.5秒後を予測すれば1憶年先も予測できるな
http://mv-mindhack2ch.up.seesaa.net/common/kijinaka.js
17: ニュースソース検討中@自治議論スレ 2019/04/25(木) 12:18:26.45 ID:OoKP3NXz

0.5秒で動作を変えられるとするなら、
0.5秒後の予測は不可能と言う事になる。
21: ニュースソース検討中@自治議論スレ 2019/04/25(木) 12:29:01.10 ID:msG06q7M

ガン=カタが現実になる日が近づいてきたな

>>17
対予測エンジン格闘術ってわけだな


if(navigator.userAgent.indexOf(‘iPhone’) > 0){
document.write(”);
} else if( navigator.userAgent.indexOf(‘Android’) > 0 ) {
document.write(”);
} else {
;
}

25: ニュースソース検討中@自治議論スレ 2019/04/25(木) 13:22:40.22 ID:PboCLOF8

攻撃始まったら一通りされるがままで回避してはならないプロレスがなぜ安定した人気あるのか分かってない
36: ニュースソース検討中@自治議論スレ 2019/04/25(木) 16:41:32.30 ID:5OJ2wmUH

10式戦車だと目標の動きから未来位置を予測して砲弾を撃つとか
37: ニュースソース検討中@自治議論スレ 2019/04/25(木) 16:48:31.39 ID:OE12Vr70

敵がこういう技術使うのが前提ならその裏をかくようにするように格闘は進化していくだろうな
40: ニュースソース検討中@自治議論スレ 2019/04/25(木) 17:04:46.22 ID:wwPaMYCJ

必ず裏をかいて正反対のやり方をしてシステムを乱す奴が現れるから
保険として1秒後バージョンは必要になる。

特許技術も劣化バージョンを申請するんだよね。
答えは同じになるけど、過程になる式は、劣化バージョンをつくって
提出する。本家本元の配合表とは違うものを提出する。
もしくは職人の技術でしか再現できないようにする。

丸パクしたり、他人から盗むだけの連中から身を守るには
つねに二重構造で準備しないといけない。


if(navigator.userAgent.indexOf(‘iPhone’) > 0){
document.write(”);
} else if( navigator.userAgent.indexOf(‘Android’) > 0 ) {
document.write(”);
} else {
;
}

43: ニュースソース検討中@自治議論スレ 2019/04/25(木) 17:23:47.22 ID:8+8pXVwT

0.5秒って60フレームの格闘ゲームなら30フレームだよ?
2回ほどフェイント入れられると思うけど予測できるの?
毎フレーム予測して軌道修正するから大丈夫なの?
52: ニュースソース検討中@自治議論スレ 2019/04/25(木) 22:50:57.44 ID:kgHcPaJ6

素人相手なら無双出来そうだな
警備員に支給しとけば雑魚簡単に処理できるだろ

まぁパワーバカにタックルとか筋肉任せの攻撃されたらどうにもなんないだろうけど

54: ニュースソース検討中@自治議論スレ 2019/04/26(金) 00:41:18.01 ID:8uSm+gKY

反射神経を競うゲームのAIって開発されてるの?
あまり意味ないからやってないのかな?格闘ゲームのAI対決とか見てみたいんだが
55: ニュースソース検討中@自治議論スレ 2019/04/26(金) 01:17:36.51 ID:8tX1esjX

これは格闘練習とかそんなニッチな市場じゃ無くて、今すぐ即戦力としてVRやゲームの世界で使えるだろ
モーションセンサーで体の動きをゲームに反映してるけど、どうしても反応が遅くストレスが溜まる
実際の動きより早く反応出来るならジャストに反応する事も余裕だし、これは改革。

でも単なるカメラで、ボーンに正確に変換できるとは思えないし、限られてるんだろうなぁ
キネクトの深度の技術と組み合わせてより正確につかえそうだけど


if(navigator.userAgent.indexOf(‘iPhone’) > 0){
document.write(”);
} else if( navigator.userAgent.indexOf(‘Android’) > 0 ) {
document.write(”);
} else {
;
}

61: ニュースソース検討中@自治議論スレ 2019/04/26(金) 10:13:19.96 ID:5IgKJkLs

0.5秒後では遅すぎると思う。
0.5秒先に相手の動きを予測できるのなら使えるかもしれない。
66: ニュースソース検討中@自治議論スレ 2019/04/26(金) 11:34:23.94 ID:iG4m4qUZ

>>61
ネタなのか悩む
14: ニュースソース検討中@自治議論スレ 2019/04/25(木) 12:17:05.46 ID:CL6boAUv

なんだか世の中どんどん詰まらなくなりそうな気がするなあ。
64: ニュースソース検討中@自治議論スレ 2019/04/26(金) 10:40:14.96 ID:2u2Q9sva

空手の突きは、0.24秒だぜ。0.5秒後ではもう2発喰らっちゃっている。


if(navigator.userAgent.indexOf(‘iPhone’) > 0){
document.write(”);
} else if( navigator.userAgent.indexOf(‘Android’) > 0 ) {
document.write(”);
} else {
;
}

65: ニュースソース検討中@自治議論スレ 2019/04/26(金) 11:18:41.46 ID:gllBZ0I1

攻撃方法まで提示したらゼロシステムだな
67: ニュースソース検討中@自治議論スレ 2019/04/26(金) 11:45:42.08 ID:dNlpKDvs

0.5secだと格闘技では有効だよな
かなり差がでる
http://mv-mindhack2ch.up.seesaa.net/common/kijisita.js

元スレ:http://egg.5ch.net/test/read.cgi/scienceplus/1556159508/

Source: mindhack
東工大が開発した「0.5秒後の相手の動きをリアルタイムに予測する」格闘訓練システムがマジでスゴい!!