Open e-Book による成績評価と学習ログの分析2020/07/25 · Learning and Educational...

Learning and Educational Technologies Research UnitLearning and Educational Technologies Research Unit

Open e-Book による成績評価と学習ログの分析

京都大学学術情報メディアセンター緒方広明

1

Learning and Educational Technologies Research Unit

自己紹介

• 1995年～協調学習環境・ユビキタス・モバイル学習環境（徳島大学）

• 2005年～ラーニングログを用いた協調学習環境（徳島大学）

• 2013年～ラーニングアナリティクスのための情報基盤システム

（九州大学）

• 2017年～ラーニングアナリティクスによるエビデンスに基づく教育の実現に向けて（京都大学）

• 現在に至る

2


ラーニングアナリティクスとは？

3

Educational Big Data

授業中

授業外

実世界仮想世界

情報技術を用いて、教員や学生からどのような情報を獲得して、どのように分析・

フィードバックすれば、どのように学習・教育が促進されるか？を研究する分野

教育・学習活動のセンシング

介入・フィードバック AI & Big Data

学習ログ教育データスタディ・ログなど呼び方は様々

Learning and Educational Technologies Research Unit 4

教育データ収集・分析の研究例

①学習管理システム(LMS)

②デジタル教材閲覧システム

③小テストなどの問題提示回答記録システム

③これまでの学習者のログデータから最適なグループを編成

②学習者の理解度の分析により、個別に最適な問題や教材を推薦

教育・学習活動の学習ログを収集するシステム群

①児童・生徒・学生のつまずき箇所を分析

一人一台の情報端末を用いた対面授業や遠隔授業などの教育・学習活動からログデータを収集

教師・学生にリアルタイムにフィードバック

教育ビッグデータをリアルタイムに分析するツール群

教室＝＞LMS

本の教科書＝＞e-book

紙のノート＝＞e-Notebook


今日の話題

言いたいこと：対面授業・遠隔授業に限らず情報端末を使って授業をすると教育・学習のプロセスのデータが自然と蓄積されるので、成績評価や日々の教育・学習活動の支援に役立てることができるのではないか？

１．Open book 評価における学習ログを用いた学習状況の確認

２．学習データの分析に基づく介入とその結果のエビデンスの共有

5


教育データの利活用：第一段階から第四段階へ

従来の情報機器を使わない授業授業

情報端末を利用した対面・遠隔授業

学習ログを活用した授業

エビデンスの蓄積と活用による授業

6

第一段階

第二段階

第三段階

第四段階現段階


はじめに

• 従来の対面の講義では、多くの場合、試験は、教科書や参考資料を使用せずに行われる。(Closed Book評価と呼ばれる）

• オンライン授業で、同様の試験をした場合、試験環境を制御することはできない。

• 例えば、試験中に学生は、インターネットを使用して情報を検索する可能性がある。

• 本発表では、学生が試験中に参考資料等を使用可能なオープンブック評価方法を紹介する

• 但し、オープンブック評価：通常試験より教師も生徒も努力しなければならない！

7


対面型授業とオンライン型授業の比較

8

成績評価対面型授業の例オンライン型授業の例

試験（時間を限定）

Closed book(教科書を見て受けてはならない、という普通のテスト)

Open Book(教科書やノートを持ち込んでいい

テスト)

Closed book (カメラで監視）

Open book (特にe-Book)

評価のタイミング最終評価・総括的評価

継続的評価・形式的評価• 小テスト・クイズ• レポート課題総括的評価

課題の評価教師教師・自動(計算機)・ピア評価・自己評価

オンライン授業の方が選択肢が豊富

MOOCsなどの大規模な人数が参加する場合は特に重要


オンライン試験の問題点

•本人同定：きちんと本人が受験しているか確認が必要。カメラで確認しても、デジタル画像が加工されている可能性もある。

•カンニングなどの不正行為の防止：（１）カメラで監視したとしても，カメラの外に、資料やノートPCなど置かれては対応できない。（２）また、LINEなどのコミュニケーションツールを用いて、友人と解答を相談しながら作成することもできる。

答案の類似度判定をしても100%検出することは難しい

9


Open Book Assessmentのメリット・デメリット

メリット：•丸暗記よりは応用力を求められるテスト [1]•テストに合格するために暗記を減らすことにより、より高い認知レベルの思考を奨励する [2]例えば：情報集約の能力とか、批判的な思考力など

デメリット：•教師：学生が知識を適用することを要求する効果的な試験問題を作成する工夫が必要（知識の暗記を試す試験問題は利用できない）

•学生：通常の試験ではないので予習・復習が必要ないと勘違い！して勉強しなくなる

10

[1] Heijne-Penninga (2008) Open-book tests to complement assessment-programmes: analysis of open and closed-book tests.[2] Eilertsen (2000) Open-Book Assessment: A Contribution to Improved Learning?


2020.7.10に開催されたNIIサイバーシンポジウムのアンケート結果

11

Closed book (3.4%)

Open book

試験はせずにレポート課題などで評価

未決定

その他


オープンブック評価を設計する際の考慮

1)問題は、単に知識の記憶ではなく、知識の理解や応用力、情報集約力、批判的思考力などを評価するものにすべきである。

2)問題は、シナリオや事例から推測して知識を応用するようにすべきである。

3)問題は、テキストや記憶を利用して回答までに、あまり時間がかかりすぎないように、明確なものにすべきである。

4)問題は、単にテキストやノートの情報を写すだけでなく、情報を集約して理解したことを書くようにすべきである。

5)学習目標を達成したかどうかを問うように問題を設計すべきである。

12

参考：The University of New Castle: Centre for Teaching and Learning (2017) A Guide for Academics – Open Book Exams.


オープンブック評価の問題の例

1.〇〇について、その背景となる情報を書きなさい。

2.〇〇のデータはどのようなことを示しますか？

3.AとBを比較して、その特徴の違いを述べなさい。

4.〇〇によって、どのような影響が生じますか？

5.〇〇に関するいくつかの手法の内、最も良いものはどれですか？その理由を書きなさい。

13

参考：The University of New Castle: Centre for Teaching and Learning (2017) A Guide for Academics – Open Book Exams.


オープンブック評価におけるe-Book閲覧行動分析

• RQ: Open Bookの試験では、予習は本当に重要か？•実際の授業：

• 教材：e-Book• 授業のはじめにオープンブック試験を行った

14

Brendan Flanagan, Rwitajit Majumdar, GökhanAkçapınar and Hiroaki Ogata, The Relationship between Student Performance and Reading Behavior in Open eBook Assessment, IEEE 20th International Conference on Advanced Learning Technologies (ICALT2020) pp. 368-372, 2020.7.9. (Nominated for Best Full Paper Award)

https://sisu.ut.ee/icalt2020/award-nominations


授業設計

• 1人1台のPCを使った対面型授業：情報基礎•受講者：164人•授業前に教材をBookRoll電子教材システムにて配布•授業後のお知らせ：オープンブック試験の内容、試験日、試験のために予習が必要

•毎回前回の授業内容について30分オープンブック試験

15

LMS

等教材

LRSスタディログ学習分析ツール

オープンブック試験


BookRoll：デジタル教材配信システム

id ssokid operationname operationdate contentsid devicecode memo_text page_no diftime color markertext

6965898 004b4d54 OPEN 2018-04-16 19:18:13 2a38a4a9316c49 pc 1 0

6965899 004b4d54 ADD MEMO 2018-04-16 19:18:13 2a38a4a9316c49 mobile陽性と陰性をひっくり返して適合

1 66

6965900 004b4d54 PAGE_JUMP 2018-04-16 19:19:19 2a38a4a9316c49 pc 4 0

6965901 004b4d54 ADD MARKER 2018-04-16 19:19:19 2a38a4a9316c49 mobile 4 12 rgb(255,255,0) 波数とは？

6965902 004b4d54 ADD MARKER 2018-04-16 19:19:31 2a38a4a9316c49 pc 4 207 rgb(255,0,0) 元の特徴として考

6965903 004b4d54 NEXT 2018-04-16 19:22:58 2a38a4a9316c49 mobile 5 0

6965904 004b4d54 ADD MEMO 2018-04-16 19:22:58 2a38a4a9316c49 mobile実際に病気にかかった人のうち

5 198

eBook Reader Sample Log Record

16

15 actions: Next_page, Previous_page, Page_jump, Makers, Comment, Open, Close, …Recorded as a standardized xAPI logs.


分析方法

17

時系列の特徴を抽出(5-gram)

成績モデルを学習

PREVb_NEXTb_NEXTb_NEXTb_CLOSEb PREVa_CLOSEa_NEXTa_NEXTa_NEXTa

成績を予測するための最適な閲覧行動特徴を求める

授業はじめ6週間

終わりオープンブック試験

30分

bの接尾辞:試験開始前の閲覧行動の特徴

aの接尾辞:試験開始後の閲覧行動の特徴

成績群に分割高い群低い群

高い群: 78低い群: 86

LRSスタディログ


-0.2 -0.15 -0.1 -0.05 0 0.05 0.1 0.15CLOSEb_NEXTb_CLOSEb_NEXTb_NEXTbPREVb_PREVb_CLOSEb_NEXTb_CLOSEbOPENa_NEXTa_NEXTa_CLOSEa_NEXTaPREVb_NEXTb_NEXTb_NEXTb_CLOSEbCLOSEa_NEXTa_NEXTa_NEXTa_NEXTaNEXTb_NEXTb_PREVb_PREVb_PREVbNEXTb_NEXTb_NEXTb_NEXTb_NEXTb

CLOSEa_NEXTa_CLOSEa_OPENb_NEXTbPREVa_PREVa_PREVa_CLOSEa_OPENaPREVa_NEXTa_NEXTa_NEXTa_CLOSEaNEXTa_NEXTa_NEXTa_NEXTa_CLOSEa

CLOSEb_OPENb_NEXTb_NEXTb_CLOSEbNEXTb_CLOSEb_NEXTb_CLOSEb_NEXTb

NEXTb_NEXTb_NEXTb_PREVb_PREVbCLOSEb_NEXTb_NEXTb_CLOSEb_NEXTb

NEXTa_PREVa_NEXTa_CLOSEa_NEXTaCLOSEa_OPENb_NEXTb_NEXTb_CLOSEb

NEXTa_NEXTa_PREVa_NEXTa_CLOSEaNEXTa_NEXTa_CLOSEa_NEXTa_CLOSEa

PREVb_PREVb_PREVb_NEXTb_PREVbNEXTa_PREVa_NEXTa_PREVa_CLOSEaOPENb_NEXTb_NEXTb_NEXTb_PREVbNEXTa_PREVa_CLOSEa_PREVa_PREVa

CLOSEb_PREVb_NEXTb_NEXTb_NEXTbPREVa_PREVa_CLOSEa_NEXTa_CLOSEa

CLOSEb_PREVb_NEXTb_PREVb_CLOSEbOPENa_NEXTa_NEXTa_CLOSEa_OPENa

NEXTb_CLOSEb_NEXTb_CLOSEb_PREVbCLOSEa_NEXTa_NEXTa_PREVa_PREVa

CLOSEa_NEXTa_NEXTa_CLOSEa_OPENbPREVb_NEXTb_CLOSEb_PREVb_PREVb

NEXTa_CLOSEa_ADD MEMOa_CLOSEa_NEXTaCLOSEa_ADD MEMOa_CLOSEa_NEXTa_NEXTa

PREVa_PREVa_PREVa_PREVa_NEXTaOPENa_NEXTa_CLOSEa_OPENa_NEXTaNEXTb_CLOSEb_OPENb_NEXTb_NEXTbPREVa_PREVa_PREVa_CLOSEa_CLOSEbNEXTb_NEXTb_CLOSEb_OPENb_NEXTbPREVb_CLOSEb_NEXTb_NEXTb_PREVbNEXTb_NEXTb_PREVb_NEXTb_PREVb

NEXTa_PREVa_CLOSEa_CLOSEb_NEXTbNEXTa_NEXTa_NEXTa_PREVa_PREVaNEXTa_NEXTa_NEXTa_NEXTa_PREVa

NEXTb_NEXTb_PREVb_CLOSEb_NEXTbOPENb_NEXTb_CLOSEb_NEXTb_NEXTb

NEXTb_NEXTb_PREVb_PREVb_NEXTbCLOSEb_PREVb_PREVb_CLOSEb_NEXTb

NEXTa_CLOSEa_PREVa_NEXTa_PREVaCLOSEa_PREVa_NEXTa_PREVa_NEXTa

PREVb_PREVb_CLOSEb_OPENb_CLOSEbPREVb_PREVb_NEXTb_CLOSEb_NEXTb

CLOSEa_NEXTa_NEXTa_NEXTa_CLOSEaPREVb_NEXTb_NEXTb_PREVb_NEXTb

NEXTb_PREVb_CLOSEb_NEXTb_NEXTbNEXTb_CLOSEb_NEXTb_CLOSEb_CLOSEa

PREVa_CLOSEa_NEXTa_PREVa_PREVaPREVa_CLOSEa_NEXTa_NEXTa_NEXTa

PREVa_NEXTa_PREVa_PREVa_PREVaNEXTa_NEXTa_CLOSEa_OPENa_CLOSEaOPENa_NEXTa_NEXTa_NEXTa_CLOSEa

低い群の特徴：試験開始後の閲覧行動が多い

高い群の特徴：試験開始前の閲覧行動が多い

モデルの解釈：成績に関係する重要な閲覧行動特徴

18

特徴の重要度を表す重み

重み


Open Book評価のまとめ

オンライン授業では、Open Book評価がよく行われる。•教師: 問題を作成する工夫が必要である。•学生: オープンブック試験は十分な予習が必要と言われている。•それは本当か、確かめるためにe-Book (BookRoll)を使って検証した。•結果：Open Book試験で成績上位者は、成績下位者と比較して、

予習をしていることが分かった。•学習ログがあるからこそ、検証できた。

19

今後：学生はどの問題が理解できていないかったか？その際、どのページをよくみていたか？を分析して教材や授業の改善にいかす。


そもそも評価の前に。。。

授業についてこれてないような学生を、事前にフォローしてあげる必要があるのではないか？

20


成績の予測

21

[Akcapinar et. al., SLE, 2019]

３週間目で８０％の確率で最終成績が判断できる

結果が良くないような学生には早めのうちに介入してあげた方がいいのではないか？


エビデンスの蓄積・共有システムの全体像

新しいエビデンスの循環エコシステムを提案

22

②学習ログの分析と介入

エビデンスの種類A)マイクロ：メッセージ送信B)マクロ：授業設計の変更 Kuromiya, et al., T4E 2019.


現在の成果1. 学習ログからのエビデンス抽出機能を実装2. エビデンス登録画面，ERSを作成3. エビデンスポータルのホーム画面を作成

23

1. エビデンス抽出機能

３．エビデンスポータルのホーム画面（学年・教科・問題、介入方法等によってエビデンスを検索）

２．ERSのデータ構造(CPI-SRモデル)Context Problem Indicator Solution Results

授業の属性的情報（機関，教科，人数，期間など）

どのような問題を抱えていたか

どのような指標を用いて介入を判断したか

介入の詳細（手法や期間など）

介入の結果（比較対象や統計的検定の結果も含む）


実例① 京都大学での遠隔授業のコース

24

①BR上で課題を配信

②閲覧履歴を基に介入

③介入の結果を確認

④エビデンスを登録

学習ログ

エビデンス

Zoomによるオンライン講義のあと，自習用として音声付き教材を配布（スライド27枚，音声50分）

教材の配布から一週間後，１）教材の閲覧達成率が8割を下回っている学生，2）教材の滞在時間が音声の再生時間を下回っている学生，にメールを送信

介入の結果，滞在時間の少なかった43名について，32人が教材を再度見直し，うち23人が既定の閲覧時間を満たした

得られた結果をCPI-SRフォーマットに整理し，エビデンスとしてERSに保存

N=157名


実例② 西京中での休校中コース

25

①BR上で課題を配信

②閲覧履歴を基に介入

③介入の結果を確認

④エビデンスを登録

学習ログ

エビデンス

新型コロナウイルスによる休校期間中，週20時間をめどに時間割を組み，5教科（国数英社理）を中心に学習教材を配信

教材の配布から一週間後（次の登校日まで）教材の閲覧達成率が著しく低い生徒に対して，教員から個別に電話による学習の促しを行った

介入の結果，教材閲覧達成率の低かった生徒32名についてほぼ全員にBR閲覧時間の増加が確認された．平均増加時間は一日あたり41.5分であった．

得られた結果をCPI-SRフォーマットに整理し，エビデンスとしてERSに保存


研究の新規性

• 既存のLAシステム*1には介入の効果をデータとして系統的に蓄積する仕組みがない

• 本システムでは介入の効果をERSに保存することによって，エビデンスに基づいた継続的な学習活動改善を教員・学習者に促す

• 将来的には授業設計や授業活動の変更による介入結果もERSで管理する

26

*1) Pardo, A., Bartimote, K., Shum, S. B., Dawson, S., Gao, J., Gašević, D., Leichtweis, S., Liu, D., Martínez-Maldonado, R., Mirriahi, N., Moskal, A. C. M., Schulte, J., Siemens, G., & Vigentini, L. (2018). OnTask: Delivering Data-Informed, Personalized Learning Support Actions. Journal of Learning Analytics, 5(3), 235–249 – 235–249.


海外では、エビデンスの共有は、どうなっている？

27


米国: WWC(What Works Clearinghouse)•米国教育省が2002年に設立•因果関係が認められるエビデンスの収集

28


英国：EEF (Education Endowment Foundation)

29

•英国教育省が2011年に設立•実践に役立つエビデンスを共有


従来の研究との比較

従来のエビデンスに基づく教育の研究• RCTなどの実験を設計して実施（倫理的に問題はないか？）

• 論文に記載されている実験結果をメタ分析したりして、エビデンスの抽出と利用にタイムラグがある

• １つ１つのエビデンスの抽出に相当な労力が必要。

• エビデンスの利用にも一苦労。（検索の手間がかかる）

教育ビッグデータを用いたエビデンスに基づく教育• 実験をせずに、日々の教育・学習データを用いてエビデンスを抽出

• エビデンスレベルは、低いが、数は多く、カバーされる範囲は広い（限界をしって、参考程度にするには十分では？）

• 教育現場からリアルタイムに収集されるデータを分析して、その場で、教育現場に適用していける

• エビデンスの収集と利用までのタイムラグが少ない

30


まとめ• Open Bookの評価について、データを元に予習の効果を検証• エビデンスに基づく教育を実現を目指すフレームワークを提案

31

• 教師が学生の理解度を評価（学習目標に到達できたか）

• 加えて、• 学生が自分の理解度を評価（途中で確認テストして、理解不足のところを自分で復習）• 教員が自分の教育成果を評価（学生の理解不足のところは教材や授業設計を改善）

• 学生自身が相互評価や自己評価をして、その教科の知識や技能の評価方法を身につける。

• 従って、自分の教育・学習活動のプロセスを記録し、それを活用して、PDCAサイクルを回して、相互評価や自己評価を通じて教育改善・学習改善をしていくことが重要

評価の目的も変化してきている

結果よりも、どのように学習したかというプロセスを重視した評価へ！！！


教育データの利活用：第一段階から第四段階へ

従来の情報機器を使わない授業授業

情報端末を利用した対面・遠隔授業

学習ログを活用した授業

エビデンスの蓄積と活用による授業

32

第一段階

第二段階

第三段階

第四段階現段階

後期からの授業での実施を期待します！

Open e-Book による成績評価と学習ログの分析2020/07/25 · Learning and Educational...

Documents

Transcript of Open e-Book による成績評価と学習ログの分析2020/07/25 · Learning and Educational...

Open e-Book による成績 評価と学習ログの分析2020/07/25 · Learning and Educational...

Documents

Transcript of Open e-Book による成績 評価と学習ログの分析2020/07/25 · Learning and Educational...

Open e-Book による成績評価と学習ログの分析2020/07/25 · Learning and Educational...

Transcript of Open e-Book による成績評価と学習ログの分析2020/07/25 · Learning and Educational...