相互運用可能な作文計測システムの設計 -...

相互運用可能な作文計測システムの設計 - リアルタイムモニタリングに向けて ‒

Designing Interoperable Writing Measurement System

for Real-time Monitoring

○山口琢、大場みち子、高橋修公立はこだて未来大学

Taku Yamaguchi, Michiko Oba, Osamu Takahashi Future University Hakodate

v1 2014-09-25 http://www.slideshare.net/yamahige

1 2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate

BACKGROUND

2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 2

Big Data: large-scale and long-term data accumulation and analysis

for intellectual activity is realized by i15y and s13n •  From lock-in to interoperability (*) •  Benchmarking

–  Many researches, practices; methods for teaching, learning and reviewing

–  Measurement –  Synthesize data and results

(*) Tsuneo Yamada, The MOOC phenomenon ‒ The issues of the forthcoming online course platforms in post-MOOC, JOHO KANRI Vol. 57 (2014) No. 6 pp.367-375


Sensing intellectual activity •  thinking aloud protocols •  produced text analysis – Natural language processing

•  recording/logging – video recording, whole desktop operations logging

– keystroke, mouse, ... logging – activity modeling and logging

•  eye tracking •  neurologicals: MRI 2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 4

Activity sensing for e-book


Standardization for e-book activity sensing

IDPF: International Digital Publishing Forum IMS/GLC: IMS Global Learning Consortium 2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 6

学習・教育 ↓ Webとの融合 IMS/GLC: Caliper

読書 ↓

電子書籍

IDPF: EPUB

電子教科書

EDUPUB

知的活動

SCENARIO


自己紹介文の作成を観察 •  つまずきをリアルタ

イムにキャッチして指導に反映する。

•  その仕組みをアクセシブルにする


自分エントリー科目性格

志望動機力を注いだ科目は、xxxです。そこで、志望動機yyyです。

希望職種 aaaな性格なので、bbb職を希望します．

　　▲▲　　　　　　　　　　　　　　▲▲　　　　　　　▲▲▲▲　▲▲　　　　　　　　　▲▲▲▲ 　　　▲▲▲　▲▲▲　　　　　　　　　▲▲▲

▲▲▲　　▲▲　　　　　　　　　　　　　　　　　　　　▲▲▲　　▲▲　　　　　　　　　　▲▲▲　▲▲　　　　　　　　　

時間

操作の種類

時間

操作の種類

時間

操作の種類

時間

操作の種類

MEASUREMENT AND REAL-TIME MONITORING OF WRITING

Concept


writing research methods


text edi=ng system

writing xxx

xxxx xxx xxx xx xx xxxx

matrix type opera=on sensor

researcher

other writer

instructor

writer

monitoring, analysis

produced text

matrix

operations and their targets

▲▲ ▲ ▲ ▲▲▲ ▲ ▲▲▲▲▲▲

keystroke logging

recording whole

opera=ons

time

測定機能測定機能 more senors

•  thinking aloud protocols •  produced text analysis •  recording, logging •  eye tracking •  Neurologicals

this research

Measurement of writing activity


text edi=ng system

editing operations

xxx xxxx xxx xxx xx xx xxxx

log

researcher

other writer

instructor

writer

produced text

edi=ng opera=on sensor

▲▲ ▲ ▲ ▲▲▲ ▲ ▲▲▲▲▲▲


cf. Measurement of written outcome


text edi=ng system writing xxx

xxxx xxx xxx xx xx xxxx

corpus

researcher

other writer

instructor

writer

Natural Language

Proccessing

produced text


▲▲ ▲ ▲ ▲▲▲ ▲ ▲▲▲▲▲▲

"Signal processing" for writing activity


text edi=ng system

editing operations


ac=vity repository

researcher

other writer

instructor

writer

produced text

wri=ng ac=vity sensor

▲▲ ▲ ▲ ▲▲▲ ▲ ▲▲▲▲▲▲

analytics, monitoring

e.g. called Sensor API in IMS/GLC Caliper

e.g. SPARQL query lang. for DB stored in RDF format, SQL-like syntax

Signal processing for writing activity stream


text edi=ng system

editing operations


ac=vity stream

researcher

other writer

instructor

writer

produced text


▲▲ ▲ ▲ ▲▲▲ ▲ ▲▲▲▲▲▲

real-time monitor

e.g. Continuous SPARQL

stored ac=vity

log

pattern scenario

analytics mining

▲▲ ▲ ▲ ▲▲▲ ▲ ▲▲▲▲▲▲

e.g. SPARQL

Our focus: information model for writing


text edi=ng system

editing operations


ac=vity stream

researcher

other writer

instructor

writer

produced text


▲▲ ▲ ▲ ▲▲▲ ▲ ▲▲▲▲▲▲

real-time monitor

stored ac=vity

log

pattern scenario

analysis mining

▲▲ ▲ ▲ ▲▲▲ ▲ ▲▲▲▲▲▲

Informa=on model for wri=ng ac=vity

Information model for writing

•  What are activities of writing? – of reading: annotations, page/block use, media use, lookups

•  How are they described? – activity type/name, time stamp, ...?


information model •  「書き込んだ」 + •  「どこに」


自分エントリー科目性格



　　▲▲　　　　　　　　　　　　　　▲▲　　　　　　　▲▲▲▲　▲▲　　　　　　　　　▲▲▲▲ 　　　▲▲▲　▲▲▲　　　　　　　　　▲▲▲

▲▲▲　　▲▲　　　　　　　　　　　　　　　　　　　　▲▲▲　　▲▲　　　　　　　　　　▲▲▲　▲▲　　　　　　　　　

時間

操作の種類

時間

操作の種類

時間

操作の種類

時間

操作の種類

INTEROPERABILITY


システム構成: SaaS型テキストエディタ •  編集操作ログを保存、モニタ・分析 •  文章データは自・サードパーティのク

ラウドストレージに保存


モバイル、PCのブラウザ

サーバ(SaaS)

編集操作ログ (ビッグデータ、

オープンデータ)

クラウドストレージ

書き手サーバ処理

テキストエディタ

Webサイト

ワークシート (XHTML、CSS)

指導者

研究者

文章データ (XHTML、CSS)

モニター

分析

サーバ処理

自身・他の書き手

xxx xxxxxxxxxxxx

システム構成: SaaS型テキストエディタ •  編集操作ログを保存、モニタ・分析 •  文章データは自・サードパーティのク

ラウドストレージに保存


モバイル、PCのブラウザ

サーバ(SaaS)

編集操作ログ (ビッグデータ、

オープンデータ)

書き手サーバ処理

テキストエディタ

指導者

研究者

モニター

分析

サーバ処理

自身・他の書き手

xxx xxxxxxxxxxxx

スマホ、タブレット、PC

文書Y xxxxxxxxxxxxxxxx xxx

without interoperability


スマホ、タブレット、PC サーバA

編集操作ログ

書き手A

サーバ処理

サーバB

編集操作ログサーバ処理

モニター

サーバ処理

文書Xのログ

文書Yのログ

書き手Aのグラフ

書き手Bのグラフ

None


None


モニター

サーバ処理

書き手B

文書X xxxxxxxxxxxxxxxx xxx

"ワープロ戦争"再び?



ベンダーBのクラウド

編集操作ログ


書き手

サーバ処理

ベンダーAのクラウド



モニター

サーバ処理

文書Xのログ

文書Yのログ

文書Xのグラフ

文書Yのグラフ

(なし)

文書Xのグラフ

(なし)

文書Yのグラフ

モニター

サーバ処理

"ワープロ戦争"再び?




編集操作ログ書き手

サーバ処理




モニター

サーバ処理

文書Xのログ

文書Xのログ

文書Xのグラフ

文書Xのグラフモニター

サーバ処理



標準化による相互運用




編集操作ログ

書き手A

サーバ処理



サーバ処理

文書Xのログ

文書Yのログ



モニター

サーバ処理書き手B


想定すべき前提: 疎結合 •  新規作成・完了を捉えてるとは限らない。 •  途中の欠損があるかもしれない。 – 「ベンダーBクラウド」がダウン、とか

•  もちろん、このシステムを利用する個々の人文学・社会科学の実験は，データの欠損がないようにアレンジされるだろう。

•  ここで論じているのはシステムの要件であって，実験の要件ではない。


APPROACH


Technology push strategy Technology push

- Iterative and incremental - Demand pull

- waterfall -


model model learning/research learning/research data

nees/requirement

deploy

Proof of concept: the first itera=on

hypothesis

analysis

evaluation

problems

DESIGNING INFORMATION MODEL FOR WRITING


Designing writing information model

information model •  activity •  conceptual information structure on which those

activities are based 2014-09-25, IEEJ EISS Taku Yamaguchi, Future University Hakodate 29

(2) which provide with fruitful analysis

•  humani=es •  instruc=on •  learning •  document review/ management

(1) What are information models of writing

x x x x x

(3) and can be supported by new and existing applications

apps/systems and the model


•  humani=es •  instruc=on •  learning •  document review/ management

(1) What are information models of writing

x x x x x

Various implementation •  New/existing •  Full/partial support •  Native/activity-translation

(3) and can be supported by new and existing applications

focus here

(2) which provide with fruitful analysis

Matrix type information model for "writing"

•  Worksheet model of Explicit/implicit guidelines/instructions for "planning". –  "Write y, as section a1, a2, ... or aN; considering b1, b2, ... and/or bN; audience are c1, c2, ... and/or cN; it will be reviewed by criteria d1, d2, ... dN; ..."

–  axis a = { a1, a2, ... }, axis b = { b1, b2, ...}, ... –  cell y = f(a, b, c, d, ...)

•  Activity –  matrix: editing axes, items of an axis, text in a cell –  editing text which is not associated with a cell


Conceptual two dimensional matrix セルの内容 = f("エントリー", "自分")


自分エントリー

科目性格卒研



1) 記入

2) 列追加 = 「自分」軸に「卒研」視点を追加

#1: Reference implementation provide researchers and engineers with a graphical UI to understand the abstract model


planning produced text

This writer (1) wrote this part of text (2) as a part of "Results" considering "BYOD" in CFP, (3) And the writer considers that "BYOD" is an item of "Call for

Paper" axis and "Results" is an item of "IMRAD" axis.


planning in matrix view produced text

(1) (2)

(2)

(3) (3)

Submitting activity log

Request Method: POST … Request Payload … Content-Disposition: form-data; name="edit_log" {"vr":"0.7","level":"detail","console":false,"saveClear":"true","log":[{"op":"cc_cellText","cnt":{"element":{"id":"cc_764","tagName":"P"},"matrix":{"id":"cc_705","tagName":"TABLE"},"td":{"id":"cc_725","tagName":"TD"},"axes":[{"axis":"cc_743","item":"cc_720"},{"axis":"cc_744","item":"cc_749"}]},"dt":"2014-09-09T04:42:16.736Z"}]}

"op": "cc_cellText", "cnt": { "td": { "id": "cc_725", "tagName": "TD" }, "axes": [ { "axis": "cc_743", "item": "cc_720" }, { "axis": "cc_744", "item": "cc_749" } ] },



(1) (2)

(2)

(3) (3)

"op": "cc_cellText", "cnt": { "td": { "id": "cc_725", ← (1) "tagName": "TD" }, "axes": [ { "axis": "cc_743", ← (3) "item": "cc_720" ← (2) }, { "axis": "cc_744", ← (3) "item": "cc_749" ← (2) } ] },

#2, #3: Editing pattern 1


matrix operations done, posted

type

s of editin

g op

erations

time line

paragraphs headings operations

matrix operations

other operations

Editing patter 2

•  less matrix operations,

•  ceased at the early stage


matrix operations

In case of a proceeding


9 Jun. paper submission

4 Jul. acceptance no=fica=on

16 Jul. camera ready submission

matrix operations

Till paper submission


9 Jun. paper submission

matrix operations; planning composition

from notification to camera ready


16 Jul. camera ready matrix

operations

No matrix operations, so the writer may not change the construction of the text

DISCUSSION


Redundancy –  "axes"は不要では？ tdがどのaxesに属するかは、最初から継続観察してればわかる

–  「最初から継続」の保証がない –  モニタリング処理のコスト増

Uniqueness of ID throughout editing

–  削除したオブジェクトのIDを再利用してはならない

–  通常、IDは、その瞬間にユニークならばよい


"op": "cc_cellText", "cnt": { "td": { "id": "cc_725", ← (1) "tagName": "TD" }, "axes": [ { "axis": "cc_743", ← (3) "item": "cc_720" ← (2) }, { "axis": "cc_744", ← (3) "item": "cc_749" ← (2) } ] },

相互運用可能な作文計測システムの設計 -...

Technology

Transcript of 相互運用可能な作文計測システムの設計 -...