分析・モニタリングのために作文活動を測定するシステムの設計

分析・モニタリングのために作文活動を測定するシステムの設計

v1 2014-09-09 ポスター ◎山口琢(研究生)、大場みち子、高橋修

公立はこだて未来大学 http://www.slideshare.net/yamahige

1 2014-09-09、JSSST2014 山口琢@はこだて未来大学

概要 •  背景大規模・長期間のデータ収集と活用 –  EDUPUB、IMS/GLC Caliper – メタ研究

•  概念: 先行研究、着眼点、提案 – 編集操作の測定(記録) – 作文情報モデルの設計 – 相互運用性・標準化 – マトリックス型編集操作モデル

•  アプローチと評価方法 – シーズ指向

•  結果・評価・今後 •  考察: FAQ 2014-09-09、JSSST2014 山口琢@はこだて未来大学 2

背景

2014-09-09、JSSST2014 山口琢@はこだて未来大学 3

§ 大規模・長期間のデータ収集と活用

•  標準化・相互運用性による実現 –  囲い込みから連携へ(*)

•  EDUPUB、IMS/GLC Caliper: –  EDUPUB Tokyo 2014, 2014/9/16(火)～18(木), ＠東京 –  研究者こそ関心を持つべき

•  メタ研究 –  さまざまな研究・実践・指導法・学習法・レビュー法 –  結果・成果の総合 –  それぞれの特徴の定量化、相互比較

(*) 山田恒夫、MOOCとは何か　ポストMOOCを見据えた次世代プラットフォームの課題、情報管理 Vol. 57 (2014) No. 6 pp. 367-375


概念: 先行研究、着眼点、提案


§ 編集操作の測定(記録) measurement of activities


テキスト編集システム作文 xxx

xxxx xxx xxx xx xx xxxx

研究者

他の書き手

指導者

書き手

文章

モニタ・分析

着眼点: 編集操作


テキスト編集システム

入力: 編集操作

xxx xxxx xxx xxx xx xx xxxx

ログ

研究者

他の書き手

指導者

書き手

出力: 傾向など

出力: 編集操作ログ

文章

モニタ・分析

測定

▲▲ ▲ ▲ ▲▲▲ ▲ ▲▲▲▲▲▲

参考) 他の着眼点の例: 文章


テキスト編集システム作文 xxx


コーパスなど

研究者

他の書き手

指導者

書き手


自然言語処理

文章

モニタ・分析

▲▲ ▲ ▲ ▲▲▲ ▲ ▲▲▲▲▲▲

形態素解析

Digital Humanities



編集操作 xxx


ログ

研究者

書き手

傾向など

編集操作ログ

文章

モニタ・分析

測定機能

▲▲ ▲ ▲ ▲▲▲ ▲ ▲▲▲▲▲▲

Humani)es 作文プロセスの認知心理学的研究

Digital コンピュータ・システムの設計

貢献

本研究と先行研究



入力: 編集操作

xxx xxxx xxx xxx xx xx xxxx

マトリックス型編集操作ログ

研究者

他の書き手

指導者

書き手


文章

操作の種類・箇所

▲▲ ▲ ▲ ▲▲▲ ▲ ▲▲▲▲▲▲

キーストロークログ

記録

時刻

文章中の文字数

時刻

…

測定機能測定機能測定機能

先行研究

入力操作の再生

本研究

§ 作文情報モデルの設計 information model

モデル = •  編集操作(activity) •  それが前提とする概念的なデータ構造(information model)


(2) 編集操作ログの分析が、役に立ち…

•  人文学・社会科学 •  作文指導 •  作文学習 •  文書の品質管理・向上

(1) どのようなモデルであれば…

(3) かつ、実装・対応可能であるか。

x x x x x

どんな実装でもかまわない。フル実装でなくてもよい。むしろ実装によって傾向が変わるのか？

新規や、既存のシステム・研究への適用

作文情報モデルの設計 information model


(2) 編集操作ログの分析が、役に立ち…




x x x x x

ここを設計・論じている

新規や、既存のシステム・研究への適用

ここについては、既存の研究による

スマホ、タブレット、PC

文書Y xxxxxxxxxxxxxxxx xxx

§ 相互運用性・標準化 interoperability by standard

相互運用性がないと…



サーバA

編集操作ログ

書き手A

サーバ処理

クラウド・ストレージサーバB

編集操作ログサーバ処理


文書X xxxxxxxxxxxxxxxx xxx

モニター

サーバ処理

文書Xのログ

文書Yのログ

書き手Aのグラフ

書き手Bのグラフ

(なし)


(なし)


モニター

サーバ処理

書き手B




相互運用性相互運用性があると



サーバA

編集操作ログ

書き手A

サーバ処理

クラウド・ストレージサーバB

編集操作ログサーバ処理



サーバ処理

文書Xのログ

文書Yのログ



モニター

サーバ処理

書き手B


§ マトリックス型編集操作モデル matrix type information model for "writing"

文章の設計(planning)を指導・支援するワークシート操作の一般型 •  多次元の考慮点 + 記述内容 •  既定の考慮点の理解と、自発的な発見

マトリックス型モデル 1)  複数の見出しと関連づけられたセルへの記入

2)  マトリックスの行・列の編集


自分エントリー

科目性格卒研

志望動機力を注いだ科目は、xxxです。そこで、志望動機yyyです。

希望職種 aaaな性格なので、bbb職を希望します．

1) 記入

2) 列追加 = 「自分」軸に「卒研」視点を追加

アプローチと評価方法


§ シーズ指向 - アプローチシーズ指向ニーズ指向


モデルモデル指導・研究指導・研究

仮説・提案

評価・次の仮説

ニーズ・要求

ソリューション

(…繰り返し)

Proof of concept: 最初の一歩 #1 使える #2 実装可能である #3 モニター・分析結果からなんらかの解釈が得られる

(…繰り返し)

評価方法: 最初の一歩

Proof of concept: 最初の一歩 #1 使える – モデルを知っている人ならば。使いやすさは問わない。

#2 実装可能である – on Open Web Platform + 性能 – 「画に描いた餅」ではない。

#3 モニター・分析結果からなんらかの解釈が得られる


結果・評価・今後


#2の結果: リファレンス実装 reference implementation

"ハードウェアやソフトウェアの仕様…。リファレンス実装の一般的な目的は、開発者に対してその仕様を少しでも知ってもらうことである。純粋に学究的目的で提供されることもある…" from ウィキペディア


マトリックス型文章の設計図 (planning)

実際の文章 (produced text)

書き手は、 (1) 文章のこの部分を、 (2) 「各自が端末を…」という前提を念頭に研究「結果」として書き、 (3) 「各自が端末を」は「Call for Paper」、「結果」は「論文の構成」という軸にそれぞれ分類して考えている。


マトリックス型文章の設計図 (planning)

実際の文章 (produced text)

(1) (2)

(2)

(3) (3)

編集操作の送信・保存

Request Method:POST … Request Payload … Content-Disposition: form-data; name="edit_log" {"vr":"0.7","level":"detail","console":false,"saveClear":"true","log":[{"op":"cc_cellText","cnt":{"element":{"id":"cc_764","tagName":"P"},"matrix":{"id":"cc_705","tagName":"TABLE"},"td":{"id":"cc_725","tagName":"TD"},"axes":[{"axis":"cc_743","item":"cc_720"},{"axis":"cc_744","item":"cc_749"}]},"dt":"2014-09-09T04:42:16.736Z"}]}

"op": "cc_cellText", "cnt": { "td": { "id": "cc_725", "tagName": "TD" }, "axes": [ { "axis": "cc_743", "item": "cc_720" }, { "axis": "cc_744", "item": "cc_749" } ] },


編集操作の送信


(1) (2)

(2)

(3) (3)

"op": "cc_cellText", "cnt": { "td": { "id": "cc_725", ← (1) "tagName": "TD" }, "axes": [ { "axis": "cc_743", ← (3) "item": "cc_720" ← (2) }, { "axis": "cc_744", ← (3) "item": "cc_749" ← (2) } ] },

#3の結果: パターン#1


マトリックス編集編集修了、投稿

編集操作の種類

時間軸

段落・テキスト編集

マトリックス編集

全体並べ替えなど

#3の結果: パターン#2

•  マトリックス編集が少ないか、全くない。

↑ •  文章(の骨格)を流用した場合、など


マトリックス編集

某シンポジウム原稿の場合


6/9 〆査読原稿

7/4 査読結果通知

7/16 〆最終稿

マトリックス編集 (この4スライドは、色が違います)

査読原稿の投稿まで


6/9 〆査読原稿マトリックス編集をしてる。構成を考えてる。

結果通知～最終稿


7/16 〆最終稿

マトリックス編集がない。つまり、査読コメントを受けても、構成を変えてない。

マトリックス編集 (この4スライドは、色が違います)

分析と大規模化・機密性


…という気づき・懸念を、原稿やコメントの

中身を見なくても得られる

•  大規模化対応 •  機密性対応

↓ 生涯学習・長期持続

マトリックス編集がない。つまり、査読コメントを受けても、構成を変えてない。

…ということは: •  査読コメントの趣旨が伝わってるのか？

•  リファレンス実装のUIが、後から構成を変更するのに向いてないのか？

評価

Proof of concept: 最初の一歩

#1 使える: モデルを知っている人ならば。使いやすさは問わない。

•  この1年半、論文や予稿の投稿に使えた。

#2 実装可能である = on Open Web Platform + 性能

•  HTML5 + JavaScriptで実装できた。

•  応答速度・メモリ所要量は普通のアプリ程度

#3 モニター・分析結果からなんらかの解釈が得られる

•  前述の結果のように、解釈が可能である。


今後: 傾向の発見・活用方法モデルへのフィードバック





x x x x x

新規・既存のシステム

▲▲ ▲ ▲ ▲▲▲ ▲ ▲▲▲▲▲▲

(1) 役に立つ編集操作ログの分析… 傾向#1、#２、…

傾向#2

傾向#3

表現のレビューにはよい、かも。従来の校正支援ツールの出番

活用例1) レビューの時期


レビューには早い、まだ何も考えてない。

レビューにはいいタイミング、構成についてレビューしよう。

構成のレビューには遅い。「それ、早く言ってよ。」

活用例2) レビューの効果


整合性を見直してるようだ… …もちろん、作業があった、というだけのことだが。

レビュー実施

考察: FAQ


Q1: 形態素解析を使うものとどう違う？

A1: 形態素解析のアプローチでは、"現に書かれた内容"が出発点になるので:

•  "書き間違い"が分からない。 – what to sayの間違い、スペルミスではなく

•  "書かれていない"ことが分からない。


Q2: キーストロークやワープロのアウトライン編集のログとの違いは？

A2: キーストロークや従来のワープロの操作ログでは、"○○を考慮して"書いていることを検出できない。

この前提となるのは、作文指導や作文法や"○○申請ハンドブック"での、次のような指導に役立てること: –  ○○と、△△を考慮して、◇◇欄に記入しなさい。 –  何を考慮して、何を書けばよいのか、自分で考えなさい。


Q3: 見出し・印をつけるという点で、従来の構造化との違いは？

•  見出しの意味 –  この提案: 見出しの意味に中立「見出しの意味の了解に問題あり」を示唆できれば、それはシステムの成果

–  ある種の従来: 見出しの意味がシステムの前提見出しの了解に曖昧さ・揺れ・誤りがあれば、それは実験の不具合

•  データ構造 –  マトリックス: 内容は、軸・項目の多変数関数 –  ある種の従来: 1変数関数。章節のレベルが深くても、下位の見出しは上位に従属。

•  分析対象 –  マトリックス: 編集操作 –  ある種の従来: 文章


マトリックスモデル

従来の方式

Q4: 思考を支援するアプリの要件を提案しているのか？

A4: NO。そのような研究に寄与するビッグデータを獲得する方法を論じている。 A4: YES。測定可能性は、これからの「オフィス&仕事効率化」アプリの要件である。さまざまなシステムや研究からデータを取得・分析することで、研究が進み、アプリも進化するだろう。


分析・モニタリングのために作文活動を測定するシステムの設計

Technology

Transcript of 分析・モニタリングのために作文活動を測定するシステムの設計