Rotational Unit of Memory: A Novel Representation Unit for RNNs with Scalable Applications | Transactions of the Association for Computational Linguistics | MIT Press Journals
https://www.mitpressjournals.org/doi/full/10.1162/tacl_a_00258
Rotational Unit of Memory
http://super-ms.mit.edu/rum.html
Can science writing be automated? | MIT News
http://news.mit.edu/2019/can-science-writing-be-automated-ai-0418
MITの大学院生であるRumen Dangovski氏とLi Jing氏、物理学教授のMarin Soljačić氏らの研究チームは、専門的な論文を1、2文程度に要約するAIを開発しました。AIが生成できる文章は非常に短いため、2019年4月時点では実際のサイエンスライターが作成するような記事を作り出すことはできないとのことですが、大量の論文を読む際に軽くチェックして内容を予備的に把握するのに役立つ可能性があります。
もともと、研究チームは物理学的な問題に対処することを目的としてAIでのアプローチを試みていたそうで、論文の要約などの処理に焦点を当てていなかったそうです。ところが、研究チームは自身が開発したアプローチが物理学の分野だけでなく、自然言語処理を含むほかの分野にも同じアプローチが適用できることに気づいたとのこと。
一般的なニューラルネットワークは、コンピューターが非常に多くの事例についてのパターンを「学習」して進歩します。たとえば写真に写っているオブジェクトを識別したり、写真や音声から特定のものを抜き出したりするシステムに、ニューラルネットワークは広く活用されています。
その一方で、ニューラルネットワークは長い一連のデータから情報をピックアップし、関連付けることが困難だとのこと。この能力は長い論文から必要な情報を見つけ出して要約する、サイエンスライターのような仕事に求められる技術の一つです。長距離の依存関係をモデル化する長期短期記憶(LSTM)ネットワークなどの手法がこの問題を解決するために使用されていますが、自然言語処理を実用的なものに近づけるには至っていません。
研究チームは従来のニューラルネットワークに使われてきた行列の乗算に基づくシステムではなく、多次元空間で回転するベクトルに基づく代替システムを考案しました。このシステムは「記憶回転単位(rotational unit of memory)」と名付けられており、研究チームは「RUM」と呼んでいます。RUMはニューラルネットワークが要素を記憶するのを助け、より正確に要素を思い出すことにも有効とのこと。RUMはもともと光の振る舞いのような複雑な物理学的問題を解決するために考案されたアプローチでしたが、やがて研究チームはRUMが自然言語処理のような他分野でも有用である可能性に気づきました。
自然言語処理において、RUMは文章中に登場する個々の単語を多次元空間におけるベクトルで表すとのこと。文章中の単語が特定の長さと特定の向きを持つ線になることで、数千もの次元を持つ理論上の空間で文章が表され、最終的なベクトルが文章となって出力されると研究チームは述べています。
試しに研究チームがLSTMネットワークを用いた要約AIに、「Baylisascariasis」という動物に感染する回虫の一種に関する論文を読み込ませ、要約を出力してみたところ、以下のような文章が生成されました。この要約は非常に反復的であり、実用に耐えうる精度であるとはいえません。
https://gigazine.net/amp/20190427-science-writing-be-automated
リンク先へ続く)
if(navigator.userAgent.indexOf(‘iPhone’) > 0){
document.write(”);
} else if( navigator.userAgent.indexOf(‘Android’) > 0 ) {
document.write(”);
} else {
;
}
印象操作のある記事やら
全部短くしてくらさい
本当は社会の中心なのに
これは案外画期的かも
頭のいい馬鹿どもだからね
if(navigator.userAgent.indexOf(‘iPhone’) > 0){
document.write(”);
} else if( navigator.userAgent.indexOf(‘Android’) > 0 ) {
document.write(”);
} else {
;
}
理系が書くマニュアルはろくなもんじゃいしな。
重要な論文かそうでないかを、優秀な研究者は独特の臭覚でかぎ取る
しかも、何が重要かは、それぞれの研究者で異なる
汎用AIなんかに頼ってたら、ロクな研究は出来ない
if(navigator.userAgent.indexOf(‘iPhone’) > 0){
document.write(”);
} else if( navigator.userAgent.indexOf(‘Android’) > 0 ) {
document.write(”);
} else {
;
}
実用化されたら論文処理速度が飛躍的に上がるわ
とくに査読にとても有効に使えるかも知れないね!
と言うか人間が要らなく成る
AIを進めてる人達の考えの根底は、宇宙に進化する物は何も人間である必要は無い、だから
if(navigator.userAgent.indexOf(‘iPhone’) > 0){
document.write(”);
} else if( navigator.userAgent.indexOf(‘Android’) > 0 ) {
document.write(”);
} else {
;
}
あれ要約してほしいな
5年くらい前のことだったか。
現在社会的によく目にするものとその技術をくっつけると
だいたいどんな感じになるのか
の例をあげていけばいいだけやん
過去に同族科学者にもバカじゃねーのと批判される研究してた人たちも
そういうことが出来ないからバカにされてたんだろ
こういうのは論文著者=一般感覚の薄い変態
なんだからAIは苦手とする分野だろ
間違っていてもどうでもいいゴシップ記事作成とは違う
if(navigator.userAgent.indexOf(‘iPhone’) > 0){
document.write(”);
} else if( navigator.userAgent.indexOf(‘Android’) > 0 ) {
document.write(”);
} else {
;
}
英語論文のトレーニング受けるとこういうのは徹底的に仕込まれるのだが
明治期からの伝統がある分野は難儀なんよねえ
あとは早稲田国際教養学部といった私大の特定学部
そして広島大学では要約対策必須は医学部ぐらいで医学部以外は要約は捨て問扱い
それぐらいかなり高い高いハードル
まだですかねえ・・・・
if(navigator.userAgent.indexOf(‘iPhone’) > 0){
document.write(”);
} else if( navigator.userAgent.indexOf(‘Android’) > 0 ) {
document.write(”);
} else {
;
}
http://mv-mindhack2ch.up.seesaa.net/common/kijisita.js
元スレ:http://egg.5ch.net/test/read.cgi/scienceplus/1556455318/
Source: mindhack
MIT、専門的な論文を「超簡単に要約」するAIの開発に成功!!ただし、精度は・・・