盲学校教師のための 音声触図教材作成支援ツール

37
1 盲盲盲盲盲盲盲盲盲 盲盲盲盲盲盲盲盲盲盲盲盲盲 盲盲盲盲盲盲盲盲盲盲盲盲盲盲盲盲 盲盲盲盲 盲盲盲 盲盲盲盲 盲盲盲盲 盲盲盲盲盲 盲盲盲盲

description

盲学校教師のための 音声触図教材作成支援ツール. 立命館大学情報バリアフリー研究室 山本健介 泉孝作・稲葉隼規 高吉大介・吉江孝太郎 樋口宜男. 研究の概要 研究の最終目標 音声触図システムの説明 音声触図教材の紹介 教師用ツールの必要性 開発したツールの紹介 実際の作成画面. 研究の概要. 本研究室独自の「音声触図」システムを用いて 全国の盲学校で一般に使える教材の作成 現場の教師が現場独自の音声触図を作成できる ツールの開発 音声触図システムのパッケージ化 最終目標は全国の盲学校への提供. パッケージ. 主体. 編集ツールなど - PowerPoint PPT Presentation

Transcript of 盲学校教師のための 音声触図教材作成支援ツール

Page 1: 盲学校教師のための 音声触図教材作成支援ツール

1

盲学校教師のための音声触図教材作成支援ツール

立命館大学情報バリアフリー研究室

山本健介

泉孝作・稲葉隼規高吉大介・吉江孝太郎

樋口宜男

Page 2: 盲学校教師のための 音声触図教材作成支援ツール

2

1. 研究の概要 研究の最終目標 音声触図システムの説明 音声触図教材の紹介 教師用ツールの必要性

2. 開発したツールの紹介3. 実際の作成画面

Page 3: 盲学校教師のための 音声触図教材作成支援ツール

3

研究の概要 本研究室独自の「音声触図」システムを用いて

全国の盲学校で一般に使える教材の作成 現場の教師が現場独自の音声触図を作成できるツールの開発

音声触図システムのパッケージ化 最終目標は全国の盲学校への提供

パッケージ

•音声触図教材 共通で使用できる教材はある程度こちらで用意

•編集ツールなど 現場独自の音声触図を素人でも簡単に作成できるツールの開発(盲学校周りの地図など)

主体

Page 4: 盲学校教師のための 音声触図教材作成支援ツール

4

研究の背景 視覚障害者の実態

先天盲者数は約6万人→盲学校で教育を受ける 図形情報を学ぶ→「触図」を用いた学習

触図を用いた学習では解説表との対応が不便 文字情報が点字で表される 1枚の触図を理解するために数ページにわたる付属の解説表を読む必要

Page 5: 盲学校教師のための 音声触図教材作成支援ツール

5

音声触図の概要 触図を強押しすれば合成音声による案内が流れる

触図と画面の座標を等価になるよう調整 ウェブブラウザ上に音声領域を設定

タッチパネル上に触図 ブラウザで呼び出された画像

指でタッチ

※触図をタッチすることでブラウザの画像をクリックしたこと  と等価になる

クリック

北海道です

Page 6: 盲学校教師のための 音声触図教材作成支援ツール

6

類似の製品 海外に同じく触図と音声を組み合わせた製品が存在

IVEO(アイベーオ)

IVEOと比較して音声触図システムの利点

•価格面

•日本語読みへの 対応

•音声領域の割り 当て方の自由度

Page 7: 盲学校教師のための 音声触図教材作成支援ツール

7

案内対象の違いと音声領域の違い

タイプ1

タイプ2

Page 8: 盲学校教師のための 音声触図教材作成支援ツール

8

盲学校でのニーズを基にシステムの作成

実際に滋賀県立盲学校に何度も訪問し,評価と改良を繰り返す 2006年より音声触図システムについての評価を重ねた システムの有用性は非常に評価される 理解の速度が上がったことを確認済み

音声触図システムに期待されるもの 授業で用いることができる教材コンテンツの充実 現場の教師が簡単に音声触図教材を作れるためのツールの開発

Page 9: 盲学校教師のための 音声触図教材作成支援ツール

9

作成した音声触図教材 汎用性の高い図は教材コンテンツを作成

日本地図教材(都道府県案内,山脈河川案内) 経絡経穴教材(俗にツボの案内,理療科用)

滋賀県立盲学校へ導入済み,授業での利用も都道府県案内図 山脈河川案内図 経絡経穴案内図

Page 10: 盲学校教師のための 音声触図教材作成支援ツール

10

なぜ教師用ツールが必要か 教材の性質は2種類ある

教科書など汎用性の高い内容のもの日本地図の教材など一度作ってしまえば広く使いまわすことができる    →こちらで用意することができる

現場独自で教えたい汎用性の低い内容のもの盲学校周りの地図など その都度作成したり編集する必要がある    →教師用の作成ツールが必要

Page 11: 盲学校教師のための 音声触図教材作成支援ツール

11

必要に応じて作成編集するもの

共通化できるコンテンツ

汎用性

低 タイプ1 タイプ1・2複合 タイプ2

都道府県図・一般向け

・特産・人口面積・歴史

経絡経穴図・一般向け

・簡単説明・理療科用・WHO記号

山脈河川図・一般向け

・低学年用・高学年用

鉄道路線図・一般向け

・ JR線のみ・ローカル線・乗り換え案内

フロアマップ・部屋の案内・図書の区画

       街路図・道路と建物   ・道路と線路 (道案内用)

フローチャート・処理記号・データフロー

教材の汎用性の違いによる対応の違い

Page 12: 盲学校教師のための 音声触図教材作成支援ツール

12

1. 研究の概要2. 開発したツールの紹介

本研究では3種類のツールを提案 うち2種類のツールを作成1. 音声触図教材の作成手順を全て完結できる「ドロー・編集ツール」

2. 図の描画や音声領域の構成を自動で行う「描画自動化ツール」

3. ネット上の画像などを触図に適した形状に変換「触図用画像変換ツール」(実装せず)

3. 実際の作成画面

Page 13: 盲学校教師のための 音声触図教材作成支援ツール

13

階層的データ構造 図の描画から音声領域の設定までを一貫して行えるツール

点,線,領域という階層構造を持たせる

領域 1

2

13

1

5

2

34

線 1

1

点 ① 中間データへ出力し,何度でも後編集可能に

中間データ・触図印刷用原稿

・音声案内用データ新規開発ツール

線の形を変更しても領域の定義をし直す必要がない

Page 14: 盲学校教師のための 音声触図教材作成支援ツール

14

開発したツール1(ドロー・編集ツール)

手本とする画像 ツールの描画キャンバスに背景として表示

手本がない場合→白紙から図を描画できる

手本がある場合→手本を背景として表示し,なぞるように図の描画ができる

Page 15: 盲学校教師のための 音声触図教材作成支援ツール

15

ドロー・編集ツールでの具体的な作成方法1. 階層構造に基づき点を増やして線を描画2. 線を選択して領域を構成3. 領域構成後に音声案内用テキストを設定

音声案内用テキストの設定「岩手県です」

Page 16: 盲学校教師のための 音声触図教材作成支援ツール

16

ah

h

hhb c

dh

r

•点に一定幅の領域を付与する(地図上で建物や目印を表す)

•線に一定幅の領域を付与する(地図上で道路や鉄道を表す)

点、線自体を案内する図(タイプ2)に対する領域設定

Page 17: 盲学校教師のための 音声触図教材作成支援ツール

17

その他のツールについて

ドロー・編集ツールのみで音声触図教材を作成可能 図の描画から領域の設定まで全て使用者が行う

手本となる図の性質によって,描画や領域設定を自動化できるものもある

画像処理を用いた作成支援ツールについて紹介

Page 18: 盲学校教師のための 音声触図教材作成支援ツール

18

手本の種類

2.ネット上の画像  白黒,実線のみ(白地図サイトより)

1.ネット上の画像  カラー,文字あり(一般によくあるもの)

4.頭の中の  イメージを元に  ペイントで描画  したもの

3.教科書をスキャン  したもの

ノイズがないノイズがある

Page 19: 盲学校教師のための 音声触図教材作成支援ツール

19

領域1 領域2

開発したツール2(描画自動化ツール) ノイズのない画像を手本とする場合→手本画像中から線を自動で切り出してキャンバスに描画→描かれた線の結合から自動で領域を構成

手本とする画像 キャンバスに自動で描画し領域の構成

Page 20: 盲学校教師のための 音声触図教材作成支援ツール

20

考えられるその他のツール(触図用変換ツール) 手本にノイズがあるが, 描画自動化ツールにて処理したい場合→画像処理にてノイズのない画像に変換を行う

Page 21: 盲学校教師のための 音声触図教材作成支援ツール

21

中間データ

音声データ

ペイントツール(既存のもの)

立体コピー

ドロー・編集ツール

描画機能

音声領域設定機能

入出力機能

描画自動化ツール

線切り出し機能

閉領域構成機能

ノイズあり手本 ノイズなし手本 手本なし

入出力

出力

触図用変換ツール

背景に

手本の分類と使えるツール

Page 22: 盲学校教師のための 音声触図教材作成支援ツール

22

1. 研究の概要2. 開発したツールの紹介

3. 実際の作成画面 開発したツールを用いた教材の作成手順を,

実際の実行画面と共に紹介

1. ドロー・編集ツールでの作成例2. 描画自動化ツールでの作成例

Page 23: 盲学校教師のための 音声触図教材作成支援ツール

23

ドロー・編集ツールを用いた作成手順

1. 図の描画 線,点の描画 下絵の表示

2. 音声領域の設定 領域構成のための図編集

領域の設定 音声テキストの設定

3. 出力 触図に印刷 音声データに出力

図の描画 音声領域の設定 出力

Page 24: 盲学校教師のための 音声触図教材作成支援ツール

24

1.図の描画 線を描画 下絵の表示

図の描画 音声領域の設定 出力

Page 25: 盲学校教師のための 音声触図教材作成支援ツール

25

1.図の描画 点の描画 線や点の選択,削除

図の描画 音声領域の設定 出力

Page 26: 盲学校教師のための 音声触図教材作成支援ツール

26

2.音声領域の設定

領域構成のための図編集

図の描画 音声領域の設定 出力

Page 27: 盲学校教師のための 音声触図教材作成支援ツール

27

2.音声領域の設定 線を選択し閉領域を作成 音声テキストの設定

図の描画 音声領域の設定 出力

Page 28: 盲学校教師のための 音声触図教材作成支援ツール

28

2.音声領域の設定 閉領域構成可否の自動チェック機能

図の描画 音声領域の設定 出力

Page 29: 盲学校教師のための 音声触図教材作成支援ツール

29

2.音声領域の設定 線や点に一定幅の領域を付加する

対象を選択し幅を決めると自動で領域を構成

紀伊山地

京都市

図の描画 音声領域の設定 出力

Page 30: 盲学校教師のための 音声触図教材作成支援ツール

30

3.出力 触図に印刷 音声データに出力

図の描画 音声領域の設定 出力

Page 31: 盲学校教師のための 音声触図教材作成支援ツール

31

描画自動化ツールを用いた作成手順

1. 線の自動切り出し 分岐点(端点)から分岐点(端点)を切り出す

2. 領域の自動構成 線の結合を辿り閉領域を構成

その他の機能 不要な点の除去

3. ドロー・編集ツールにて音声テキストの設定 中間データをドロー・編集ツールで再現

線の切り出し 領域の構成 音声の設定不要点除去

Page 32: 盲学校教師のための 音声触図教材作成支援ツール

32

1.線の自動切り出し 特徴点の抽出 分岐点(端点)から分岐点(端点)を1本の線として切り出す

線の切り出し 領域の構成 音声の設定不要点除去

Page 33: 盲学校教師のための 音声触図教材作成支援ツール

33

2.領域の自動構成 線を結合し閉領域を構成

線の切り出し 領域の構成 音声の設定不要点除去

Page 34: 盲学校教師のための 音声触図教材作成支援ツール

34

その他の機能 不要な特徴点の除去

線の概形を変えない最低限の特徴点の座標のみを残す(データ量軽減のため,触読に必要な精度を確保)

線自動切り出しツール内での不要特徴点除去の様子

ドロー・編集ツール(後述)にて除去後の画像を確認した様子

線の切り出し 領域の構成 音声の設定不要点除去

Page 35: 盲学校教師のための 音声触図教材作成支援ツール

35

3.ドロー・編集ツールにて音声の付加 ドロー・編集ツールにて中間データの再現 構成された領域の確認と音声の付加

線の切り出し 領域の構成 音声の設定不要点除去

Page 36: 盲学校教師のための 音声触図教材作成支援ツール

36

盲学校での評価 完成したツールを滋賀県立盲学校へ導入数種類の教材の作成を行った 現場の教師が音声触図教材を作成できた 2種類のツールを組み合わせることで作成時間が短縮できた

課題 ドロー・編集ツール→操作が多く,インタフェースの改良が必要

描画自動化ツール→実験に使った図よりさらに複雑な図を処理する場合の  精度の向上

Page 37: 盲学校教師のための 音声触図教材作成支援ツール

37

まとめと今後の予定 まとめ

音声触図システムを用いた教材を作成した音声触図教材を現場の教師が作成できるツールを試作した

教師が音声触図教材を比較的簡単に作成できたことを確認した

今後の予定全国の盲学校で利用できるように,教材,ツール類をHPからダウンロードできるように

http://www.rits-higuchi-lab.jp/TVG/