Solrベースの全文検索サーバ Fess

14

Click here to load reader

Transcript of Solrベースの全文検索サーバ Fess

Page 1: Solrベースの全文検索サーバ Fess

Solrベースの全文検索サーバ Fess全文検索サーバ Fessで何ができるのか?

Page 2: Solrベースの全文検索サーバ Fess

Confidential & Proprietary

名前: 菅谷信介 所属: N2SM, Inc.

最近、また大学院生になってみた オープンソース活動:

– Apache Portals (Jetspeed2など) コミッタ– Seasarプロジェクトコミッタ(S2Container, Teeda,

SAStruts, DBFlute, S2Portlet, S2Robot..)– Fessプロジェクト運営などなど・・・

Blog: http://d.hatena.ne.jp/shinsuke_sugaya/ Twitter: https://twitter.com/shinsuke_sugaya/

自己紹介

Page 3: Solrベースの全文検索サーバ Fess

Confidential & Proprietary

Fessの概要 Fessでできること FessとSolrの関係 FessとS2Robotの関係 デモ (時間があれば…) Fessの今後

アジェンダ

Page 4: Solrベースの全文検索サーバ Fess

Confidential & Proprietary

第2回Solr勉強会でご紹介させていただきました!

当時のバージョンはFess 3.0 5分でインストールできました だいたい基本機能は実装済み(だったと思う) その後もFessの開発を続ける…

前回は?

Page 5: Solrベースの全文検索サーバ Fess

Confidential & Proprietary

Full Text Search System 簡単に導入できるOSS全文検索システム Apacheライセンス 最新バージョンは5.0 Solrは3.5を採用 商用サポート:N2 Search

Fessとは

Page 6: Solrベースの全文検索サーバ Fess

Confidential & Proprietary

Webサイトのクロール ファイルシステムのクロール データベースのクロール Windows共有フォルダ(samba)をクロール ブラウザによる管理画面 差分クロール MS Office、PDF、圧縮ファイルもサポート 3大キャリア端末で検索可能 ログイン状態で検索結果の出し分け可能 登録したカテゴリごとに検索可能

Fessでできること (その1)

Page 7: Solrベースの全文検索サーバ Fess

Confidential & Proprietary

デスクトップ検索 検索ログ&クリックログの統計情報 Basic認証、Digest認証、NTLM認証に対応 XML、JSON、JSONPのレスポンス ファセット対応 (Geo)Spatial Search対応 MySQL対応 (Oracleは近々対応)

Fessでできること (その2)

Page 8: Solrベースの全文検索サーバ Fess

Confidential & Proprietary

標準でオールインワンで提供 Tomcatにfess.warとsolr.warを配備

アーキテクチャ

Tomcat

SAStruts Solr

S2Robot

H2Database(MySQL)(Oracle)

S2Chronos

Seasar2

DBFlute

fess.war solr.war

Page 9: Solrベースの全文検索サーバ Fess

Confidential & Proprietary

Fess↔Solr間はSolrJでアクセス fess_solr.diconでSolrサーバを管理 solrserver.propertiesにSolrサーバ状態保存 shardsはapp.diconのQueryHelperImpl

FessとSolrの関係

・・・

Solr Server

Solr Server Manager

Solr Group Solr Group

Solr Server

Solr Server

Solr Server

Page 10: Solrベースの全文検索サーバ Fess

Confidential & Proprietary

クロール処理はS2Robotに依存 S2RobotはTika、POI、PDFBoxなどを利用 コンテンツタイプ判定にTikaを利用 Tikaベースから直接対象ライブラリを呼ぶよ

うにしていきたい Seasar2ベースなのでコンポーネントを差し替えやすい

s2robot_*.diconで各種設定

FessとS2Robotの関係

Page 11: Solrベースの全文検索サーバ Fess

Confidential & Proprietary

S2Robotの仕組み

S2Robot

S2RobotThreadS2RobotThread

S2RobotThread S2RobotClient(Web,FS)

UrlFilter WebFS

RuleManagerResponseProcessor

Transformer&

Extractor

S2Robot DB

WebFSWeb

FS

アクセス先のフィルタ定義

アクセス先よってクライアント選択

コンテンツの処理ルール

コンテンツ種類にあったテキスト抽出

Solrにドキュメント追加

Page 12: Solrベースの全文検索サーバ Fess

Confidential & Proprietary

検索画面 管理画面

などなど・・・

http://fess.sourceforge.jp/ja/downloads.html

デモ (時間があれば)

Page 13: Solrベースの全文検索サーバ Fess

Confidential & Proprietary

デザイン(見た目)の変更 Solrのリリースに対応したリリース データストアの種類を増やすドキュメントの強化

今後

Page 14: Solrベースの全文検索サーバ Fess

Confidential & Proprietary

Q&A