スペル訂正エンジンを作ってみた #shisoconf

Post on 11-Jun-2015

1.881 views 0 download

description

Spelling Correction for Japanese Language.

Transcript of スペル訂正エンジンを作ってみた #shisoconf

スペル訂正エンジンを作ってみた

#shisoconf

@nokuno

スペル訂正って?

スペル訂正のしくみ

スペル訂正の応用例

もくじ 2

Googleの「もしかして」みたいなやつ

スペル訂正って? 3

入力に似た文字列を検索

入力「東京お」

「東京都」

「東京」

スコア順に並び替え

文字をノードとした木構造(トライ)で検索

しくみをかんたんに 4

単語 → 誤り

挿入: 東京都 → 東京t都

削除: 東京都 → 東都

置換: 東京都 → 東京群

転置: 東京都 → 東都京

挿入・削除・置換・転置の操作を行った回数

編集距離って? 5

アーキテクチャ 6

APIサーバ

Trieライブラリ

スペル訂正

辞書(Mozc)

例 7

○めよう

例 8

止めよう始めよう眺めよう貯めよう決めよう

○めよう

例 9

紫蘇部

例 10

紫式部紫蘇

紫蘇部

例 11

すぱぶら

例 12

スマブラスパトラスポブラ

すぱぶら

例 13

ちくわぶ

例 14

ちくわちくわぶ

例 15

テソション

例 16

テンションテイションテーション

テソション

OCRの誤り訂正

某画像検索サービスとか

もしかして機能

検索エンジンに

スペル訂正の応用例 17

18

19

ご清聴ありがとうございました

20

○めよう

紫蘇部

ちくわぶ

すぱぶら

ようざか

みらくい

しんぶー

テソション

口リコン

デモ用単語 21