NICTのAI技術(言語・音声)...ミッション、目標 2019/10/21 3...

33
NICTAI技術(言語・音声) 2019/10/21 1

Transcript of NICTのAI技術(言語・音声)...ミッション、目標 2019/10/21 3...

Page 1: NICTのAI技術(言語・音声)...ミッション、目標 2019/10/21 3 多言語音声翻訳や自然言語処理等において AI の実世界適用に向けたAI基盤技術と

NICTのAI技術(言語・音声)

2019/10/21 1

Page 2: NICTのAI技術(言語・音声)...ミッション、目標 2019/10/21 3 多言語音声翻訳や自然言語処理等において AI の実世界適用に向けたAI基盤技術と

組織構成

Uni

vers

al C

omm

unic

atio

n Re

sear

ch In

stitu

te (U

CRI)

企画室(室長:青木哲郎)(研究所の研究企画のみならず横断的に研究プロジェクトや成果の社会展開を推進)

データ駆動知能システム研究センター(センター長:鳥澤健太郎)

(自然言語処理技術をコア技術とした人工知能技術の研究・開発)

情報利活用基盤総合研究室(室長:木俵豊)

(データ利活用基盤分野に関わる基礎的な研究)

Adva

nced

Spe

ech

and

Tran

slatio

n Re

sear

ch a

nd D

evel

opm

ent

Prom

otio

n Ce

nter

(AST

REC)

企画室(室長:内元清貴)(グローバルコミュニケーション計画を推進)

先進的音声技術研究室(室長:河井恒)

(音声処理技術や対話技術の研究・開発)

先進的翻訳技術研究室(室長:隅田英一郎)(多言語の機械翻訳技術の研究・開発)

統合システム開発室(室長:葦苅豊)(多言語音声翻訳システムの開発)

ユニバーサルコミュニケーション研究所(研究所長:木俵豊)

先進的音声翻訳研究開発推進センター(研究開発推進センター長:木俵豊)

2019/10/21 2

徳田英幸理事長

茨木久理事

UCRIとASTRECの合計職員数常勤99名、非常勤18名

任期無職員研究員:15名 技術員: 1名研究支援業務職員:6名 事務員:9名任期付職員研究員:29名 技術員:18名研究支援業務職員:10名事務員:3名研修員:8名研究員16名 技術者:1名 研修員: 1名

【常勤】

【非常勤】

Page 3: NICTのAI技術(言語・音声)...ミッション、目標 2019/10/21 3 多言語音声翻訳や自然言語処理等において AI の実世界適用に向けたAI基盤技術と

ミッション、目標

2019/10/21 3

多言語音声翻訳や自然言語処理等においてAIの実世界適用に向けたAI基盤技術と社会への橋渡しに向けた研究の世界的な中核機関として世界をリードする。

① 多言語音声処理技術においては実社会にあふれる多言語音声を利活用する技術を開発する。

② 多言語翻訳技術においては、汎用多言語翻訳技術の開発と高度な多言語音声処理技術を組み合わせた同時通訳技術を開発する。

③ 革新的自然言語処理技術の研究開発においては、高度な知識獲得・文脈処理・質問応答・仮説生成技術・データ駆動型対話モデルによって革新的な対話技術やリアルタイムテキストストリーム対応社会知抽出技術を開発する。

■ミッション

■(ミッションを達成するための)目標

① 先進的な基礎研究に基づく自然言語処理技術や高精度な音声処理技術、多言語翻訳技術等を用いて我が国固有の日本語を通じて活用可能な「我が国が勝てる」AI技術の応用研究によって、「音声認識エンジン」「音声合成エンジン」「多言語翻訳エンジン」「対話エンジン」等の各種AIエンジンを開発する。

② 各種AIエンジンを活用した実証システムによる実証実験を実施すると共に技術移転を推進して社会実装を行う。

③ 社会実装された商用システム等から得られたデータを研究現場に戻して、更なる技術開発に活用するデータ利活用エコサイクルを構築する。

④ 開発のみならず着実な基礎研究も継続的に行い学術的にも評価の高い先進的な次世代要素技術の研究開発を推進する。

■(目標達成のための)戦略

Page 4: NICTのAI技術(言語・音声)...ミッション、目標 2019/10/21 3 多言語音声翻訳や自然言語処理等において AI の実世界適用に向けたAI基盤技術と

研究開発の目標と戦略• 我が国固有の言語「日本語」を中心とした「言葉の壁」や「知識の壁」を越

えて人類の相互理解を促進させ、人類の知識や能力を向上させるためのコミュニケーションを実現させる実用的な技術を開発する。

大規模データ(BigData)

日本語を中心とした先進的な音声・言語技術

実証システム

商用システム

④基礎研究

①応用研究

大規模Webデータ処理エンジン

非ルールベース対話処理エンジン

民間企業へ技術移転、民間企業にて商用システムを開発

民間企業による技術ライセンスの実施 深層学習等による精度向上やGPGPUの効率的活用の実現

一般公開による実証実験

大規模Webアーカイブ

テキストビッグデータ

革新的自然言語処理技術

革新的多言語翻訳技術

革新的多言語音声処理技術

大規模音声コーパス

大規模対訳コーパス

②実証実験

③商用システム

多言語音声認識エンジン

多言語翻訳エンジン

多言語音声合成エンジン

同時通訳システム

非ルールベース対話システム

現場音声認識システム

収集・登録 データ管理

大規模化

データテストベッド

介護支援音声対話システム

文脈考慮型同時通訳システム

大規模データ

実証実験可能な実用技術の実現

2019/10/21 4

社会的価値

Page 5: NICTのAI技術(言語・音声)...ミッション、目標 2019/10/21 3 多言語音声翻訳や自然言語処理等において AI の実世界適用に向けたAI基盤技術と

戦略詳細①

2019/10/21 5

取組内容

日本語を中心とした先進的な基礎研究に基づく自然言語処理技術や高精度な音声処理技術、多言語翻訳技術等を用いて我が国固有の日本語を通じて活用可能な「我が国が勝てる」AI技術の応用研究によって、「音声認識エンジン」「音声合成エンジン」「多言語翻訳エンジン」「対話エンジン」等の各種AIエンジンを開発する。

推進する上での課題【人材不足】・コア技術を開発するためには優秀な研究者が必要であるが、現在のAI分野の研究者の社会的価値に合った待遇が与えられず、人材獲得競争に勝てない。

・基礎研究だけでなく、各種処理エンジンに活用できる実用的な要素技術に開発できる人材が必要となる。

【計算機不足】・自然言語処理分野においては大規模なニューラルネットを用いた研究が主流になりつつあり、更なる計算機基盤の強化が必要となる。

【データの大規模化】・計算機の大規模化と共にデータの大規模集積が必要となっている。データの大規模集積とデータ利活用のための制約をできる限り小さくしていくことが望まれる。

取組方針

日本語を中心とした自然言語処理技術等の我が国が勝てる人工知能技術の研究開発に集中する。

Page 6: NICTのAI技術(言語・音声)...ミッション、目標 2019/10/21 3 多言語音声翻訳や自然言語処理等において AI の実世界適用に向けたAI基盤技術と

戦略詳細②

2019/10/21 6

取組内容多言語音声翻訳技術の実証システムであるVoiceTra、多言語テキスト翻訳技術の実証

システムTexTra、革新的な自然言語処理技術の実証システムDISAANA/D-SUMM、WEKDAを用いてユーザニーズの抽出、新たな研究課題の抽出、更なる技術開発を行うことで実社会で活用可能な技術に発展させる。

推進する上での課題【人材不足】

・大規模な実証システムを構築するためには、商用システムレベルの高品質なソフトウェア開発が必要となる。また、運用のためにはセキュリティ対策や大規模な計算機を安定的に運用する技術者が必要不可欠である。

・技術移転においては、営業的な視点や知財管理の知識、契約処理に経験のある人材が必要となるが、技術を理解して適切に技術移転契約を結ぶことが出来る人材が不足している。

【データ管理コスト】

・実証実験で取得したデータには個人情報などが含まれている場合があり、セキュアな計算機基盤を商用レベルで管理出来る体制が必要となる。

取組方針

実証システムによる実証実験や技術移転を推進して社会実装を行う。

Page 7: NICTのAI技術(言語・音声)...ミッション、目標 2019/10/21 3 多言語音声翻訳や自然言語処理等において AI の実世界適用に向けたAI基盤技術と

戦略詳細③

2019/10/21 7

取組内容

実証システムによって磨き上げた「音声認識エンジン」「音声合成エンジン」「多言語翻訳エンジン」「対話エンジン」をSIP等の外部資金なども活用した上で、民間企業に技術移転を行い

商用システムとしての利活用を行う。また、技術のサブライセンス化も含めた事業会社を育成することで技術移転の更なる拡大を図る。さらに技術移転した民間企業などのサービスによって得られたデータは可能な限り研究現場に提供していただくことで、活きたデータの取得とデータの大規模化を図り、更なる技術革新へとつなげる。

推進する上での課題【人材不足】

・データ移管等においては、データ利活用における法的知識を持ち、契約処理に経験のある人材が必要となるが、技術を理解して適切に判断出来る人材が不足している。

【データ管理コスト】

・商用システムで取得したデータや企業のデータには個人情報や営業情報等機微な情報が含まれている場合があり、セキュアな計算機基盤を商用レベルで管理出来る体制が必要となる。

取組方針

社会と研究現場間のデータ利活用エコサイクルを構築する。

Page 8: NICTのAI技術(言語・音声)...ミッション、目標 2019/10/21 3 多言語音声翻訳や自然言語処理等において AI の実世界適用に向けたAI基盤技術と

戦略詳細④

2019/10/21 8

取組内容以下の技術の研究開発を行い、トップカンファレンスでの論文発表等を行う。

【革新的自然言語処理技術】大量のテキストから文レベルの表現間の因果関係等を抽出する知識獲得技術や実用的な文脈処理技術、質問応答・仮説生成技術、

発話者の深い動機・意図を考慮した対話のデータ駆動型のモデル化技術の研究開発。【革新的な音声認識・合成技術】実社会にあふれる多言語の音声と環境音から言語情報や実社会イベント情報等に対する高精度認識技術、適切な情報をストレスの

ない自然な音声情報として出力する音声合成技術、実世界におけるコミュニケーションに必要不可欠な世界知識や文脈及び非音声の情報をも参照して、雑談や日常会話レベルの発話でも正確に音声認識可能な技術の研究開発。【革新的な多言語翻訳技術】対訳データへの依存度下げる半教師あり機械学習、アジアの諸言語を対象とした自然言語処理技術、1文を越えた情報やマルチモー

ダル情報を活用した省略補完技術などを駆使した自動翻訳・同時通訳技術の研究開発。

推進する上での課題【人材不足】・AI分野において創造的かつ先進的な技術を研究開発できる人材は世界中の獲得競争が行われている。

国研の待遇はトップクラスの研究者の社会的価値に沿ったものではなく、競争のスタート地点にも立てていない状態である。【計算機不足】・現在のAI技術の研究開発は計算機の大規模化が必要不可欠である。基礎研究と言えども実用的に活用

できる先進技術を開発するためには、今後も計算機の大規模化が必要不可欠であるが、交付金で対応する事は難しい規模になりつつある。

取組方針トップカンファレンス等での論文発表を通じて学術的な価値を高める。

Page 9: NICTのAI技術(言語・音声)...ミッション、目標 2019/10/21 3 多言語音声翻訳や自然言語処理等において AI の実世界適用に向けたAI基盤技術と

取組スケジュール

2019/10/21 9

2020 2025 2030研究開発

実証システム

大量のテキストデータからの知識獲得や実用的な文脈処理技術の開発によるリアルタイム社会知抽出技術と音声対話技術の研究開発

自然言語処理技術

同時通訳を実現させる多言語翻訳技術の研究開発多言語翻訳技術

実社会における現場音声を対象とした音声処理技術の研究開発多言語音声処理技術

商用システムや企業からの寄附などによるデータ収集

Webクローリングによるデータ集積

VoiceTraやWEKDA等の実証実験等を通じてデータ集積

15言語を対象に音声・対訳コーパスを強化

データ集積

New VoiceTra

WISDOM X

DISAANA/D-SUMM

WEKDA同時通訳システム

高齢者介護支援音声対話システム

タフな交渉時にも活用可能な多言語

翻訳技術の研究開発

現場音声認識システム

話者声質音声合成システム

ネゴシエーション対応多言語音声翻訳システム

映画などの自動音声字幕・翻訳システム

多目的音声対話システム

商用システム

社会のニーズに合わせて音声・対訳コーパスを強化

Page 10: NICTのAI技術(言語・音声)...ミッション、目標 2019/10/21 3 多言語音声翻訳や自然言語処理等において AI の実世界適用に向けたAI基盤技術と

(参考)研究支援について

2019/10/21 10

体制・提供機能【NICT本部の業務体制】・オープンイノベーション部門の設置【ユニバーサルコミュニケーション研究所の業務体制】・知財・契約管理・技術移転・商用品質のソフトウェア開発・広報・協議会運営・デモ、展示会対応・計算機基盤管理

課題【広報活動の限界】・宣伝広告費などの不足・学会スポンサーシップの限界

【計算機基盤の維持管理費の増大】・計算機の増大による保守費・電気代など

【人材不足】・研究内容を理解して、支援やマネージメントできる人材は希有

運営方針研究現場に寄り添った支援体制の構築

Page 11: NICTのAI技術(言語・音声)...ミッション、目標 2019/10/21 3 多言語音声翻訳や自然言語処理等において AI の実世界適用に向けたAI基盤技術と

(参考)強み、弱み、障壁

2019/10/21 11

■自組織の強み・弱み(研究面・それ以外)

強み

・言語と音声を対象とした人工知能技術の研究開発にフォーカスして実用的に耐える技術の開発

・少ないリソースで効果的な成果を創出するための興味本位の個人研究スタイルではなく、やるべき事を明確にしたプロジェクト指向の研究体制・集積した大規模な言語・音声データ・実用的な技術・VoiceTra、TexTra、WOSDOM X、DISAANA、D-SUMM等の実証システムを公開して一般人の利用による技術検証を実施

課題・圧倒的な人手不足・ビジネス展開手法の未確立

■目標達成に向けた障壁

・予算・戦力となり得る人員の不足と人材獲得のための制約

国研の(公務員的な)硬直的な給与制度、業績評価構造

Page 12: NICTのAI技術(言語・音声)...ミッション、目標 2019/10/21 3 多言語音声翻訳や自然言語処理等において AI の実世界適用に向けたAI基盤技術と

(参考)連携方策案

2019/10/21 12

■3センターの連携方策アイデア、他センターに期待したいこと

・革新的な機械学習手法の確立と供与・我々が保有しない技術の供与

Page 13: NICTのAI技術(言語・音声)...ミッション、目標 2019/10/21 3 多言語音声翻訳や自然言語処理等において AI の実世界適用に向けたAI基盤技術と

13

以下、自由(研究内容等)

2019/10/21

Page 14: NICTのAI技術(言語・音声)...ミッション、目標 2019/10/21 3 多言語音声翻訳や自然言語処理等において AI の実世界適用に向けたAI基盤技術と

広がるNICTのAI技術NICT多言語音声翻訳技術の社会展開例(一部)

-NICTの多言語音声翻訳技術が国際化を支える-

2019/10/21 14

「SmaLingualシリーズ」スマートカルチャーゲートウェイ見果てぬ夢[IP Dream]

「しゃべって翻訳for A」ATR-Trek

「ili(イリー)」ログバー

「mimi 音声翻訳powered by NICT」フェアリーデバイセズ

「TabiTra」凸版印刷

「POCKETALK W」ソースネクスト

「対面ホンヤク」パナソニック

「Fairy I/O Tumbler T-01」フェアリーデバイセズ

「接客音声翻訳」三菱地所(凸版印刷)

「ili インバウンド」ログバー

「おてぽん!音声翻訳」リクルートコミュニケーションズ

「はなして翻訳」NTTドコモ

「みらい翻訳プラットフォーム音声翻訳APIサービス」みらい翻訳

「多言語音声APIサービス」日本電気

「mimi®クラウドAPIサービス」フェアリーデバイセズ

「医療機関向けハンズフリー多言語音声翻訳システム」

富士通「医療通訳タブレットMELON」

コニカミノルタ

病院

「TOTTRA」鳥取県ハイヤータクシー協会

(フェアリーデバイセズ)「駅コンシェル」

日立ソリューションズ・テクノロジー(「鉄道向け多機能翻訳アプリ」京急・NICT・ブリックス・日立G※実証実験時)

「救急ボイストラ」消防庁

警察

・「PIT/スマホと腕時計型端末」岡山県警・「VoiceTra」道府県警(NICT)※実証実験中

消防

電話

「多言語業務向けシステム」住友ゴム工業(ATR-Trek)

IPテレフォニー向け「多言語音声翻訳ソフトウェア」日立情報通信エンジニアリング

「NEC翻訳」日本電気

「VoiceBiz(ボイスビズ)」凸版印刷

鉄道

観光地 公的機関

医療機関

交通機関

ビジネス

プラットフォーム

自治体

タクシー

アプリ 専用端末

工場

「NICT VoiceTraプラットフォーム」NICT

Page 15: NICTのAI技術(言語・音声)...ミッション、目標 2019/10/21 3 多言語音声翻訳や自然言語処理等において AI の実世界適用に向けたAI基盤技術と

我が国の勝てるAI技術(多言語翻訳技術)

2019/10/21 15

https://miraitranslate.com/uploads/2019/04/MiraiTranslate_JaEn_pressrelease_20190417.pdf

NICTの多言語翻訳技術が(株)みらい翻訳によって、TOEIC960点レベルの英作文能力を持つ機械翻訳エンジンとして社会で活用へ

Page 16: NICTのAI技術(言語・音声)...ミッション、目標 2019/10/21 3 多言語音声翻訳や自然言語処理等において AI の実世界適用に向けたAI基盤技術と

社会からのフィードバックで進化するAI技術

2019/10/21 16

https://www.nict.go.jp/press/2019/04/23-1.html

翻訳バンクの成果(自動車業界)

Page 17: NICTのAI技術(言語・音声)...ミッション、目標 2019/10/21 3 多言語音声翻訳や自然言語処理等において AI の実世界適用に向けたAI基盤技術と

社会を守るAI技術(対災害):実活用事例

2019/10/21 17

2017年7月の九州北部豪雨の際に大分県が、NICTが開発、一般公開していたDISAANA・D-SUMMを活用してSNS情報の分析を実施し、鉄道の重大な被害情報を発見

担当者「情報が幅広く(向こうから)入ってくる点は有効だった。水位計のデータ以外に、状況がわかったのは大きい。被害のつぶやきが多かった日田と中津に重点的に人員配置するなど災害対応に役立った」「ただし、緊急を要するかどうかの判断は難しい」「今後課題を洗い出したい」

2017年7月31日 大分合同新聞19面に掲載

D-SUMM 「大分県」カテゴリー毎の要約結果

わずか数クリックで日田市の冠水の状況を把握

貴重な情報を抽出:

JR久大線の鉄橋流失を最初に伝えたのはSNS

→ JR九州に伝達

(これまで)情報は、人をばらまき、電話をしてとりにいくもの

大分県担当職員

Page 18: NICTのAI技術(言語・音声)...ミッション、目標 2019/10/21 3 多言語音声翻訳や自然言語処理等において AI の実世界適用に向けたAI基盤技術と

社会を守るAI技術(対災害):さらなる展開神戸市で防災チャットボットの長期間実証実験中(2019.8-2020.3)

2019/10/21 18

防災チャットボットによる、自治体職員、市民からの被災情報収集

これまでの実証実験(全7件)• 神戸市(2018.12)• 下田市(2019.1)• 伊丹市(2019.5)• 茨城県(2019.7)• 神戸市(市民向け;2019.8-2020.3)• 神戸市(消防団; 2019.9-2020.3)• 三重県、伊勢市、国交省(2019.9)

NHKスペシャル(2019.1.17放映)他、関連新聞報道等多数(2018年度以降計129件)

地図データ©2018 Google, ZENRIN

• 草の根から集めた情報を分析、整理して、被災状況をリアルタイムに一目で把握

• 市民各々に質問することで、さらに詳細な被災情報も収集。デマの確認も実施

• これまで開発、一般公開してきた災害情報分析システムDISAANA/D-SUMMを使い、Twitter情報を合わせて分析、整理

三重県伊勢市での実証訓練

防災チャットボットは、戦略的イノベーション創造プログラム(SIP)国家レジリエンス(防災・減災)の強化「避難・緊急活動支援統合システムの研究開発」対話型災害情報流通基盤の研究開発にて実施。共同研究開発機関:国立研究開発法人防災科学技術研究所(NIED)、株式会社ウェザーニューズ(WNI)、国立研究開発法人情報通信研究機構(NICT) 協力団体:LINE株式会社

Page 19: NICTのAI技術(言語・音声)...ミッション、目標 2019/10/21 3 多言語音声翻訳や自然言語処理等において AI の実世界適用に向けたAI基盤技術と

社会を守るAI技術(対災害):さらなる展開AI防災協議会の設立

2019/10/21 19

上述の一連の技術の社会実装を推進するため2019.6.18にAI防災協議会が設立される民間企業(7)、国研等(4)、自治体(18)、省庁等(オブザーバ; 8)の計37組織が参画

Page 20: NICTのAI技術(言語・音声)...ミッション、目標 2019/10/21 3 多言語音声翻訳や自然言語処理等において AI の実世界適用に向けたAI基盤技術と

脳情報通信融合研究センター

(CiNet)

研究センター長 柳田 敏雄

第1回AIステアリングコミッティ資料 2019年10月21日

Page 21: NICTのAI技術(言語・音声)...ミッション、目標 2019/10/21 3 多言語音声翻訳や自然言語処理等において AI の実世界適用に向けたAI基盤技術と

2

理事長

脳情報通信融合研究室人工脳モデル化につながる脳機能解析

脳情報工学研究室人工脳モデル化やその応用に資する計測技術開発や脳認知機能解析

脳機能解析研究室大型脳機能計測技術の開発および感覚情報処理モデル化につながる脳機能解析

企画室研究センターに必要な管理、事務処理、産学関連携、広報、国際等の業務

組織図、要員数

常勤研究員21名、常勤研究技術員5名常勤一般職4名非常勤4名

NICT脳情報通信融合研究センター(CiNet)

研究組織

研究支援組織

担当理事

センター長 副研究センター長 常勤1名

常勤研究員17名、常勤研究技術員3名常勤一般職5名非常勤4名

常勤研究員16名、常勤研究技術員5名常勤一般職2名非常勤3名

常勤研究員1名、常勤研究技術員2名常勤一般職12名非常勤0名

Page 22: NICTのAI技術(言語・音声)...ミッション、目標 2019/10/21 3 多言語音声翻訳や自然言語処理等において AI の実世界適用に向けたAI基盤技術と

3

心の通うコミュニケーションの実現を目指した脳の認知モデルの構築と応用において世界トップを狙う(AI戦略2019、p.21)

① 人の脳内表象や脳内ネットワークの解析を行い、人の認知・行動等の機能解明を通じて、高齢者/障がい者の能力回復、健常者の能力向上や脳科学に基づいた製品やサービスの新しい評価方法の構築等に貢献するため、脳型情報処理技術等を研究開発

② 高精度な脳活動計測や計測装置の軽量小型化、脳情報に係るデータの統合・共有・分析を実現するための技術を研究開発するものとする。さらに、人の音声・動作・脳情報等から脳内の状態を解析・推定し、人の心に寄り添うロボット等を実現するための技術を研究開発

③ 以上の取組に際しては、産学官の幅広いネットワーク形成や情報の収集・蓄積・交換、共同研究の実施、標準化活動、人材交流等を推進するための産学官融合研究拠点を積極的に拡充・運営

■ミッション

■(ミッションを達成するための)目標(第4期中長期目標)

生活の向上や福祉等に役立つ新しい情報通信技術を創出するためには、情報の送受信源である人間の脳で行われている認知や感覚・運動に関する活動を高精度で計測する技術や、得られた脳情報をデコーディングやエンコーディングに効率的に活用する技術の確立が不可欠である。このため、①の大方針に基づき研究開発を一丸となって進めるとともに、応用の視点も加味した②、③の研究開発に取り組む。また、社会展開を目指した研究開発成果の最大化のために、④として、脳情報通信連携拠点整備にも取り組む。① 全能機能モデル化による「人工脳」を構築する② 人間が知覚する内容を脳活動から予測する技術を開発する(中期的目標達成)③ 脳の情報処理過程に学んだ多様な情報処理を可能にする技術を開発する(長期的目標達成)④ 脳情報通信技術を発展させるための連携拠点機能を強化する

■(目標達成のための)戦略

Page 23: NICTのAI技術(言語・音声)...ミッション、目標 2019/10/21 3 多言語音声翻訳や自然言語処理等において AI の実世界適用に向けたAI基盤技術と

脳情報通信融合研究センター(CiNet)が目指す未来社会

脳情報研究

速さ、正確さの追求 人間のこころに調和する次世代ICT技術

こころを伝えるコミュニケーション技術

脳活動から情報を読み解く技術開発

人間の脳と機械をつなぐインタフェイス技術開発 (BMI)

脳に学んだ情報処理技術開発

脳と調和したネットワーク社会の構築 (働きやすい、生活しやすい環境整備技術)

さまざまな懸念情報氾濫、ネットークの複雑化、難しくなる情報機器の操作、膨大なエネルギー消費情報過多ストレス

量から質へ

異分野融合研究の推進脳情報研究へのAI活用脳情報データの大規模収集データ利活用推進

Page 24: NICTのAI技術(言語・音声)...ミッション、目標 2019/10/21 3 多言語音声翻訳や自然言語処理等において AI の実世界適用に向けたAI基盤技術と

カテゴリー

情動

子供自動車動物..1500

視聴覚認知

抑制

注意

探索

記憶連想

計算

整理

学習

計時

読解

価値判断

購買

ゲーム

対話

想像創造的思考

SNS

ナビゲーション(移動)

倫理思考

論理思考

予測

他者認知

社会行動

意思決定

エンコードモデル

デコードモデル

大規模脳活動データ

暗黙知推定マーケッティング学習・能力向上支援匠の技の継承言語・翻訳BMI +ロボットの性能向上

運動

被験者数の増大タスク種類増およびその深化

受動・単課題モデル

(‐2016)

能動・多課題モデル(2017‐)

入力情報がどのように脳活動にエンコードされるか

脳情報を脳活動から読み解く

人格の再構成

統合モデル10-30年後

常識

感性・情動評価ストレス評価社会行動予測精神疾患・慢性疼痛診断短期記憶と知能評価エクスパート脳評価

計測技術開発解析理論・技術開発

大規模入力情報の特徴(アノテーション)データベース構築

次世代AI技術の開発(Smallデータで学習、桁違いの省エネ、常識、世界観、文化などを共有するヒトとの親和性)

現在個別に取り組んでいる課題

数千数万次元の入力情報の特徴ベクトル空間

数万数十万次元の脳活動特徴ベクトル空間

変換

CiNetですでに企業と共同研究を進めている課題

戦略詳細①取組方針: 全脳機能のモデル化による「人工脳」構築に向けて、CiNet一丸となって多様なアプローチにより脳機能解析に取り組む 戦略①を統合的に実行するための基本方針

推進する上での課推進する上での課題題

取組内容

推進する上での課題・大規模データの収集方法・コスト・異分野融合による解析の高度化・優れたモデル構築に関わる人材確保・データ収集に適した場所(地区)の整備

Page 25: NICTのAI技術(言語・音声)...ミッション、目標 2019/10/21 3 多言語音声翻訳や自然言語処理等において AI の実世界適用に向けたAI基盤技術と

入力情報の特徴が脳活動にどのように表現されるかをモデル化(エンコードモデル)

脳情報表現を使ってCNN(深層学習)の情報表現を強化(AI 精度の向上)

(例)知覚内容の推定

脳活動エンコード デコード

Nishida & Nishimoto, JSAI ‘18

Nishida & Nishimoto, JSAI ‘19

何%の人がコマーシャルFilmを最後まで観るかを推定

戦略詳細②取組方針:戦略課題「映像等を視聴した際に人が知覚する内容を直接推定するAI技術(~2025)」を推進する(AI戦略2019、p.57) 戦略②を統合的に進める中期的取組

推進する上での課題

取組内容

・脳科学と情報工学の両方を理解できる研究者の確保

・異分野融合による解析の高度化・産学官連携の推進

Page 26: NICTのAI技術(言語・音声)...ミッション、目標 2019/10/21 3 多言語音声翻訳や自然言語処理等において AI の実世界適用に向けたAI基盤技術と

視覚聴覚…身体情報環境情報…運動発話想像意思決定…

視覚情報意味内容予測、判断、意図意思決定、行動…

脳情報表現モデル

計算論的モデル

数十万ボクセルの全脳活動計測

入力情報の特徴抽出

多種多様な情報

多種多様な入力情報の特徴が全脳の活動にどのように表現されているかをモデル化し、人工脳を構築

単機能(視覚特徴)AI

総合的な状況の意味理解

家は通常流されない(常識)人が流されそう(予測)助けないと!(意思決定 行動)

人々が海岸に立っている

人工脳 based AI人工脳

入力 出力

個人別(男女、年齢、性格、遺伝子型、文化、宗教、国)にデータを収集解析

没個性化人格形成の画一化文化の多様性軽視

超大規模データ

入力

戦略詳細③取組方針:戦略課題「脳の情報処理の過程を模倣した多様な情報処理が可能なAIアルゴリズム(~2040)」を推進する(AI戦略2019、p.57) 戦略③を統合的に進める長期的取組

推進する上での課題

取組内容

・多様な脳情報科学者の結集・多様な被験者の脳機能データ収集可能な情報取得拠点の整備

・優秀な計算論的神経科学者のプロジェクト参画

・産学官連携によるデータ利用体制の構築

Page 27: NICTのAI技術(言語・音声)...ミッション、目標 2019/10/21 3 多言語音声翻訳や自然言語処理等において AI の実世界適用に向けたAI基盤技術と

■戦略課題①

映像等を視聴した際に人が知覚する内容を直接推定するAI技術を開発(~2025)

■戦略課題②

脳の情報処理の過程を模倣した、多様な情報処理が可能なAIアルゴリズムを開発(~2040)

■戦略課題③

脳を模倣した情報処理を実用的な時間で実現するアーキテクチャの開発(~2050)

AI戦略CiNet関連課題 取組スケジュール (AI戦略2019、p.57 )

1万語程度で推定する技術の高度化

単純な複数能動的課題の脳情報処理モデル化

多様な多数の能動的課題の脳情報処理モデル化

脳情報処理モデルのアルゴリズム化

モデルに基づいたアルゴリズムのハード化

脳を模倣した情報処理アーキテクチャの開発

Page 28: NICTのAI技術(言語・音声)...ミッション、目標 2019/10/21 3 多言語音声翻訳や自然言語処理等において AI の実世界適用に向けたAI基盤技術と

9

(参考)研究支援について

体制・提供機能(業務)・国際的な研究連携を強化するため、CiNetセンター内でのセミナーやメール連絡での英語使用を徹底。Native同等の英語能力を有するのサポートメンバー配置

・CiNet研究員の企画による国際Conference、Monthly seminar の開催・研究者の顔の見えるHP作成による国際連携強化・CiNet研究者の企業向け成果発表機会の充実(学会以外での成果発表強化)・充実した脳機能計測環境(MRI、MEG等)の提供(計測支援者の配置)・脳科学者と情報工学研究者との定期的議論の機会の提供(融合研究の促進)・企業との外部連携の企画・運営を支援するチームの配置

課題・短期中期滞在研究者の宿舎整備(インバウンドの影響でホテル予約困難)・技術支援人材配置の一層の充実・外部連携の目利き役のさらなる充実・起業化も視野に入れた支援体制の構築・被験者計測ニーズへの対応(大型脳機能計測機器のさらなる充実)・大規模データ取得・活用に関わる支援体制の充実

運営方針:高度な基礎研究から実用化を目指した産学連携研究まで一貫して支援できる研究拠点環境を整備 戦略④についての具体的取組と今後の課題

Page 29: NICTのAI技術(言語・音声)...ミッション、目標 2019/10/21 3 多言語音声翻訳や自然言語処理等において AI の実世界適用に向けたAI基盤技術と

10

(参考)強み、弱み、障壁

■自組織の強み・弱み(研究面・それ以外)強み・人間の脳機能計測・解析に関する多様で優秀な研究者集団・人間の脳機能計測のための大型機器の充実と計測支援体制の確立・センター内での自由な研究連携を可能にする研究マネージメント・基礎研究から実用化研究までの幅広い活動に対応できる研究支援体制・外国籍研究者の採用等によるセンターの充実した国際的展開

課題・研究支援体制の一層の充実(研究者が研究開発に専念できる時間の確保)

・情報発信の一層の充実による外部連携強化(追加資料参照)・とがった才能の発掘・マルチ分野の理解と能力をもった人材発掘・有期研究員の任期制限を不安と感じさせないキャリアパスの整備と充実

■目標達成に向けた障壁・国研では、契約や予算執行が中長期研究期間に縛られるため、この期間を超えたプロジェクトの立案や運営が困難・優秀な人材を発掘する手段が限定的であり、より広く効率的に・国際的に著名な研究員の受入体制が不十分(人事制度、予算面等において)・センターの活動拡大に伴って、研究スペースの問題が顕在化・人間の脳活動データ収集拠点を複数化して多様なデータを集めるための支援体制の不足

Page 30: NICTのAI技術(言語・音声)...ミッション、目標 2019/10/21 3 多言語音声翻訳や自然言語処理等において AI の実世界適用に向けたAI基盤技術と

11

(参考)連携方策案

■3センターの連携方策アイデア、他センターに期待したいこと・3センターの膨大な活動情報の共有化(特に、セミナーやシンポジウムなどの開催情報を共有して、それぞれの研究者が相互に参加する機会を失わないようにすべき)

・3センターの情報共有化に合わせて、共同活動を企画(例えば、共通の問題意識がある場合は、それに特化したシンポジウム等を共同で企画・運営する)

・研究者間の情報交換の促進による、研究開発のアイディアの多様化・先鋭化・AI関連分野の人材育成の観点から、大学院生レベルの若手研究員が3センターで研究を遂行でき、博士号も取れる共通の制度を確立(省庁の壁を越えたひとつの制度を希望)

・海外の研究者が、短期滞在を含む研究交流を3センターとの比較的自由にできる制度の充実・3センターの研究者が、キャリアパスとして他のセンターでの研究活動を考えることができるような情報共有システムを構築・NICTでは、脳機能のモデル化に向けた国際共同研究に対しファンディングを行っているが、3センター連携の枠組みを使って、これの活用と大規模化が可能であれば検討を希望(追加資料参照)

Page 31: NICTのAI技術(言語・音声)...ミッション、目標 2019/10/21 3 多言語音声翻訳や自然言語処理等において AI の実世界適用に向けたAI基盤技術と

12

以下、自由(研究内容等)

Page 32: NICTのAI技術(言語・音声)...ミッション、目標 2019/10/21 3 多言語音声翻訳や自然言語処理等において AI の実世界適用に向けたAI基盤技術と

NICT・CiNetにおける情報発信等への取組の実績(2019)記載事項 (会議名、目的、主催者、予算、その他特記事項)1. 6th CiNet Conference (2019.2.20‐22 @CiNet(吹田))

‐(目的) CiNetの研究成果発信と先端的議論を目的にした国際情報発信。‐(主催者) NICT・CiNet (予算)外部資金活用‐(その他)・chair:Shinji Nishitmoto(CiNet), Speakers: J.Morimoto(ATR), 

D.George(Vacarious), S.Nishimoto(CiNet), N.Kriegeskorte(Columbia U.)M. Botvinick(DeepMind), T.Nakai(CiNet, M.v.Gerven(Donders Inst. Brain)T.Yanagisawa(Osaka U.), M.Hanke(Otto‐v0Guericke U.), A‐L.Pinho(INRIA), Y.Kamitani(Kyoto U.), I.Groen(N.Y.U.),D.Yamins(Stanford), S.Nishida(CiNet), U.Hasson(Princeton),S.Kitazawa(Osaka U.),K.Wang(NEC), O.Schwartz(U. Maiami), D.Cox(MIT), T.Toyoizumi(Riken), A.Hyvarinen(UCL), S.Amari(Riken) 150名以上参加、ポスター発表有

・テーマ:Computation and representation in brains and machines

2. 第9回 CiNet シンポジウム (2019.7.19@東京・イイノホール)‐(目的)CiNetの研究成果の紹介を目的にした国内情報発信。‐(主催者) CiNet (予算) CiNet各機関予算、NICTは運営費交付金‐(その他)・約300名参加

・テーマ:コミュニケーションは人間と社会の未来にどう貢献するか?3. AI‐EXPO2019 (2019.4.3‐5@東京ビッグサイト)

‐(目的)企業向け展示会。‐(主催者)リードエクジビションジャパン‐(予算)ブースはNICT・CiNetで準備(運営費交付金)‐(その他)・来場者約48000名

4. Technology Next 2019 (2019.5.27@東京雅叙園ホテル)‐(目的)企業向け情報発信。‐(主催者)日経BP (予算)主催者負担‐(その他)・セッション「デジタルx人間」 で 西本伸志(CiNet)が講演

5. 異種格闘技戦 (2019.07.26@みなとみらい)‐(目的)京セラリサーチセンター開所記念イベント。‐(主催者)京セラ (予算)主催者負担‐(その他)約 300名参加

・企画・進行(モデレータ)に對馬淑亮(CiNet)が参加・テーマ:技術は人類の超進化をどう導くのか?!・討論者:金出武雄、北野宏明、大関真之、下條伸輔、稲見昌彦、押尾守

6. 応用脳科学コンソーシアムCiNet ワークショップ(2019年10,11,12月の3回実施@東京)

‐(目的)企業向け情報発信。‐(主催者)NTTデータ経営研究所 (予算)主催者負担‐(その他)・企業から約20名参加

・2013年より毎年開催7. 金曜サイエンスサロン( 2020.1月-2月に4回実施、2013年より毎年開催)‐(目的)企業向け情報発信。‐(主催者)大阪国際サイエンスクラブ (予算)主催者負担‐(その他)・企業から約30‐40名参加、 CiNetの研究成果紹介

・2013年より毎年開催、2019年度は4回実施予定8. JACI脳科学分科会(JACI(新化学技術推進協会)内で2019年に分科会発足)‐(目的)脳情報科学の産業応用に資する化学企業向情報発信。‐(主催者)JACI (予算)主催者負担‐(その他)・企業から約30社が参加、CiNetのJACIメンバー見学、CiNet研究者の講演等実施

9. 国際会議「脳科学の事業応用」参画( 2019.9.26‐28 @横浜資生堂グローバルイノベーションセンター)‐(目的)脳情報科学の社会実装についての国際的議論。‐(主催者) NTTデータ経営研究所等 (予算)主催者負担‐(その他) NICT協賛事業(開催資金支援)

CiNet所属講演者: 天野薫、西本伸志、西田知史10. 成果の社会展開に資するプロジェクト参画

‐(目的)脳科学に関する産学官連携プラットフォーム構築。‐(主催者)資金元はJST (予算)競争的資金‐(その他)阪大COI参画(約30社参加)

けいはんなRC参画(約30社参加)11.(予定) 2020.2.下旬 7th CiNet Conference (BMI)

Page 33: NICTのAI技術(言語・音声)...ミッション、目標 2019/10/21 3 多言語音声翻訳や自然言語処理等において AI の実世界適用に向けたAI基盤技術と

CRCNSの国際的組織間連携研究枠組み

14

NSF NIH

ANR(フランス)

BMBF(ドイツ)

BSF(イスラエル)

NICT(日本)

米国

AEI, ISCIII(スペイン)

• 2002年に米国NSFとNIHの共同ファンディングとしてスタートし、毎年公募実施• 2019年4月現在6ヶ国8ファンディング機関が参加、各機関はNSFとMOUを締結• 日本は米国との共同提案が必須で仏やイスラエルも追加可、米国のみ単独提案可

2002

2009

2012

2014

2017

2018

NIH National Institutes of Health

ANR French National Research Agency

BMBF Federal Ministry of Education and Research, Germany

BSF United States‐Israel Binational Science Foundation

AEI State Research Agency, Spain

ISCII National Institute of Health Carlos III, Spain

CRCNS:Collaborative Research of Computational NeuroScience