おふとんリーディング - docomo device hackathon
-
Upload
yuuki-toriba -
Category
Technology
-
view
208 -
download
3
description
Transcript of おふとんリーディング - docomo device hackathon
![Page 1: おふとんリーディング - docomo device hackathon](https://reader036.fdocument.pub/reader036/viewer/2022062419/5592210a1a28abd5598b46e2/html5/thumbnails/1.jpg)
チーム ralit (らりっと)鳥羽雄希( TORIBA Yuki )
チーム ralit のおふとんリーディングです。
![Page 2: おふとんリーディング - docomo device hackathon](https://reader036.fdocument.pub/reader036/viewer/2022062419/5592210a1a28abd5598b46e2/html5/thumbnails/2.jpg)
チーム ralit (らりっと)鳥羽雄希( TORIBA Yuki )virtual reality
ちなみに ralit は、 virtual reality の共通文字です。ニックネームとして数年前から使っています。
![Page 3: おふとんリーディング - docomo device hackathon](https://reader036.fdocument.pub/reader036/viewer/2022062419/5592210a1a28abd5598b46e2/html5/thumbnails/3.jpg)
Movie
まずは、おふとんリーディングとはどういうものか、ムービーをご覧ください。
https://www.youtube.com/watch?v=p7n6xewD60c
![Page 4: おふとんリーディング - docomo device hackathon](https://reader036.fdocument.pub/reader036/viewer/2022062419/5592210a1a28abd5598b46e2/html5/thumbnails/4.jpg)
2014.01.01
recognize.jp 終了
ここまでは、既に作ってあったものです。ここから昨日と今日の 2 日間のお話です。
ところで、 Docomo Developer Support ができる前から、文字認識 API が存在していたことはご存じですか?
この古い API が去年いっぱいで終了しました。
![Page 5: おふとんリーディング - docomo device hackathon](https://reader036.fdocument.pub/reader036/viewer/2022062419/5592210a1a28abd5598b46e2/html5/thumbnails/5.jpg)
・レイアウト解析・一行文字認識・情景画像文字認識
古い文字認識 API は、次の 3 つの機能がありました。
![Page 6: おふとんリーディング - docomo device hackathon](https://reader036.fdocument.pub/reader036/viewer/2022062419/5592210a1a28abd5598b46e2/html5/thumbnails/6.jpg)
・一行文字認識・情景画像文字認識
今の文字認識 API は、レイアウトの解析結果が取得できなくなりました。
![Page 7: おふとんリーディング - docomo device hackathon](https://reader036.fdocument.pub/reader036/viewer/2022062419/5592210a1a28abd5598b46e2/html5/thumbnails/7.jpg)
例えば、こんな教科書をレイアウト解析させると、こんな感じにほぼ完璧に解析してく
れます。
![Page 8: おふとんリーディング - docomo device hackathon](https://reader036.fdocument.pub/reader036/viewer/2022062419/5592210a1a28abd5598b46e2/html5/thumbnails/8.jpg)
文字認識をさせると、タイトル以外全滅します。
でもこれはちょっと意地悪かなと思ったので、
![Page 9: おふとんリーディング - docomo device hackathon](https://reader036.fdocument.pub/reader036/viewer/2022062419/5592210a1a28abd5598b46e2/html5/thumbnails/9.jpg)
こういう簡単そうなものを解析させてみましょう。
![Page 10: おふとんリーディング - docomo device hackathon](https://reader036.fdocument.pub/reader036/viewer/2022062419/5592210a1a28abd5598b46e2/html5/thumbnails/10.jpg)
こうなりました。
![Page 11: おふとんリーディング - docomo device hackathon](https://reader036.fdocument.pub/reader036/viewer/2022062419/5592210a1a28abd5598b46e2/html5/thumbnails/11.jpg)
この 2 日間でやったこと(1) 画像認識処理
github.com/ralit/OfutonReading/…/Line.java
うん、自分でレイアウト解析しよう!
![Page 12: おふとんリーディング - docomo device hackathon](https://reader036.fdocument.pub/reader036/viewer/2022062419/5592210a1a28abd5598b46e2/html5/thumbnails/12.jpg)
いかがでしょう。完璧ですね〜。図表や画像がない文書なら。
![Page 13: おふとんリーディング - docomo device hackathon](https://reader036.fdocument.pub/reader036/viewer/2022062419/5592210a1a28abd5598b46e2/html5/thumbnails/13.jpg)
この 2 日間でやったこと(2) 蛍光ペンを引いたところを 1 行文字認識
→ 検索できる!(3) Vuzix M100 で操作
・音量ボタンで 1 行戻る・進む・音声認識で 1 ページ戻る・進む・ ◯◯ページに移動
さらに、こんな機能を実装しました。M100 では、蛍光ペンを引いたり、
蛍光ペン一覧を操作したりはできません。
![Page 14: おふとんリーディング - docomo device hackathon](https://reader036.fdocument.pub/reader036/viewer/2022062419/5592210a1a28abd5598b46e2/html5/thumbnails/14.jpg)
Movie 2
では、新機能のムービーをご覧ください。https://www.youtube.com/watch?v=3vUG71SDyBA
![Page 15: おふとんリーディング - docomo device hackathon](https://reader036.fdocument.pub/reader036/viewer/2022062419/5592210a1a28abd5598b46e2/html5/thumbnails/15.jpg)
Vuzix M100 において音声認識開始: Back キー
ムービーでは、メニューから音声認識を開始していましたが、M100 では Back キーを押すことで音声認識が開始するようにしました。
![Page 16: おふとんリーディング - docomo device hackathon](https://reader036.fdocument.pub/reader036/viewer/2022062419/5592210a1a28abd5598b46e2/html5/thumbnails/16.jpg)
ralit.org
みんな楽しくおふとんライフ!
というわけで、みなさん楽しくおふとんライフを過ごしましょう。興味のある方は ralit.org にアクセスし
てください。