全文検索システム「Estraier」+「ChaSen」の導入
トップ Solaris FreeBSD Gentoo CentOS Fedora Windows Tips 自宅サーバの動作確認 サイト内検索(Namazu) サイト内検索(HE)

全文検索システムとしては「Namazu」が有名であるが、その他にもいくつかあり、 ここでは「Namazu」にも劣らない「Estraier」を導入する。
また、分かち書きには「ChaSen」を利用する。
ここでは
/var/www/html/
以下のすべてを検索対象ディレクトリとし、転置インデックスを
/var/www/estraier/
に作成するものとする。
なお、「Apache」の設定は完了済みとする。

「Estraier」のインストール

「Darts」のインストール

まず、「ChaSen」を導入するが、「ChaSen」の導入に必要な「Darts」をインストールする。

[root@Fedora ~]# mkdir /usr/local/src/darts <= 作業用ディレクトリの作成
[root@Fedora ~]# chmod 777 /usr/local/src/darts <= 作業用ディレクトリのパーミッション変更
[root@Fedora ~]# exit <= 一般ユーザになる
[kaz@Fedora ~]$ cd /usr/local/src/darts <= 作業用ディレクトリへ移動
[kaz@Fedora darts]$ wget http://www.chasen.org/~taku/software/darts/src/darts-0.3.tar.gz
 <= 「Darts」のソースをダウンロード
[kaz@Fedora darts]$ tar xzf darts-0.3.tar.gz <= ダウンロードしたファイルの展開
[kaz@Fedora darts]$ cd darts-0.3 <= 展開したディレクトリに移動
[kaz@Fedora darts-0.3]$ ./configure 2>&1 | tee configure.log
[kaz@Fedora darts-0.3]$ make 2>&1 | tee make.log <= コンパイル
[kaz@Fedora darts-0.3]$ su <= スーパーユーザになる
Password: <= パスワードの入力
[root@Fedora darts-0.3]# make install 2>&1 | tee make-install.log <= インストール

「libiconv」のインストール

次に、「libiconv」をインストールするが、この時日本語のパッチも適用する。

[root@Fedora ~]# mkdir /usr/local/src/libiconv <= 作業用ディレクトリの作成
[root@Fedora ~]# chmod 777 /usr/local/src/libiconv <= 作業用ディレクトリのパーミッション変更
[root@Fedora ~]# exit <= 一般ユーザになる
[kaz@Fedora ~]$ cd /usr/local/src/libiconv <= 作業用ディレクトリへ移動
[kaz@Fedora libiconv]$ wget http://ftp.gnu.org/pub/gnu/libiconv/libiconv-1.10.tar.gz
 <= 「libiconv」のソースをダウンロード
[kaz@Fedora libiconv]$ wget http://www2d.biglobe.ne.jp/~msyk/software/libiconv/libiconv-1.10-ja-1.patch.gz
 <= 「libiconv」のパッチをダウンロード
[kaz@Fedora libiconv]$ tar xzf libiconv-1.10.tar.gz <= ダウンロードしたファイルの展開
[kaz@Fedora libiconv]$ cd libiconv-1.10 <= 展開したディレクトリに移動
[kaz@Fedora libiconv-1.10]$ gzip -dc ../libiconv-1.10-ja-1.patch.gz | patch -p1
[kaz@Fedora libiconv-1.10]$ ./configure 2>&1 | tee configure.log
[kaz@Fedora libiconv-1.10]$ make 2>&1 | tee make.log <= コンパイル
[kaz@Fedora libiconv-1.10]$ su <= スーパーユーザになる
Password: <= パスワードの入力
[root@Fedora libiconv-1.10]# make install 2>&1 | tee make-install.log <= インストール

「ChaSen」のインストール

以下の場合、dartsdic.cppをそれぞれ変更する。
・「Darts」のバージョンが0.3の場合（当サイトの場合）、71行目を変更する。バージョン0.2では必要なし。
・gccのバージョンが3.4.3以降の場合、180行目を変更する。

[root@Fedora ~]# mkdir /usr/local/src/chasen <= 作業用ディレクトリの作成
[root@Fedora ~]# chmod 777 /usr/local/src/chasen <= 作業用ディレクトリのパーミッション変更
[root@Fedora ~]# exit <= 一般ユーザになる
[kaz@Fedora ~]$ cd /usr/local/src/chasen <= 作業用ディレクトリへ移動
[kaz@Fedora chasen]$ wget http://chasen.naist.jp/stable/chasen/chasen-2.3.3.tar.gz
 <= 「ChaSen」のソースをダウンロード
[kaz@Fedora chasen]$ tar xzf chasen-2.3.3.tar.gz <= ダウンロードしたファイルの展開
[kaz@Fedora chasen]$ cd chasen-2.3.3 <= 展開したディレクトリに移動
[kaz@Fedora chasen-2.3.3]$ vi lib/dartsdic.cpp
darts->setArray(cha_mmap_map(da->da_mmap)); <= 71行目
↓
darts->set_array(cha_mmap_map(da->da_mmap)); <= 変更

(const char*)keys[size] = key.data(); <= 180行目
↓
keys[size] = (char*)key.data(); <= 変更

[kaz@Fedora chasen-2.3.3]$ ./configure 2>&1 | tee configure.log
[kaz@Fedora chasen-2.3.3]$ make 2>&1 | tee make.log <= コンパイル
[kaz@Fedora chasen-2.3.3]$ su <= スーパーユーザになる
Password: <= パスワードの入力
[root@Fedora chasen-2.3.3]# make install 2>&1 | tee make-install.log <= インストール

「ipadic」のインストール

「ChaSen」が利用する辞書の「ipadic」をインストールする。
なお、Fedoraはデフォルトの文字コードがUTF-8なので、辞書をUTF-8に変換する。

[root@Fedora ~]# mkdir /usr/local/src/ipadic <= 作業用ディレクトリの作成
[root@Fedora ~]# chmod 777 /usr/local/src/ipadic <= 作業用ディレクトリのパーミッション変更
[root@Fedora ~]# exit <= 一般ユーザになる
[kaz@Fedora ~]$ cd /usr/local/src/ipadic <= 作業用ディレクトリへ移動
[kaz@Fedora ipadic]$ wget http://chasen.naist.jp/stable/ipadic/ipadic-2.7.0.tar.gz
 <= 「ipadic」のソースをダウンロード
[kaz@Fedora ipadic]$ tar xzf ipadic-2.7.0.tar.gz <= ダウンロードしたファイルの展開
[kaz@Fedora ipadic]$ cd ipadic-2.7.0 <= 展開したディレクトリに移動
[kaz@Fedora ipadic-2.7.0]$ ./configure 2>&1 | tee configure.log

ここで辞書をUTF-8に変換するが、スクリプトを作成し変換した方が簡単に変換できる。
なお、変換にはnkfを利用する。

[kaz@Fedora ipadic-2.7.0]$ vi conv_utf-8.sh <= 変換スクリプトファイルの作成
#!/bin/sh
for file in $*
do
if [ -f $file ]; then
    nkf --utf8 $file > tmpfile
    mv tmpfile $file
fi
done
exit


[kaz@Fedora ipadic-2.7.0]$ chmod 755 conv_utf-8.sh <= スクリプトファイルに実行権限付加
[kaz@Fedora ipadic-2.7.0]$ ./conv_utf-8.sh *.dic *.cha

UTF-8への変換後、辞書を生成する。

[root@Fedora ipadic-2.7.0]# `chasen-config --mkchadic`/makemat -i w
[root@Fedora ipadic-2.7.0]# `chasen-config --mkchadic`/makeda -i w chadic *.dic
[root@Fedora ipadic-2.7.0]# make install 2>&1 | tee make-install.log <= インストール

最後に設定ファイルもUTF-8に変換する。

[root@Fedora ipadic-2.7.0]# cd /usr/local/etc
[root@Fedora etc]# nkf --utf8 chasenrc > chasenrc.tmp
[root@Fedora etc]# mv chasenrc.tmp chasenrc

「Estraier」のインストール

[root@Fedora ~]# mkdir /usr/local/src/estraier <= 作業用ディレクトリの作成
[root@Fedora ~]# chmod 777 /usr/local/src/estraier <= 作業用ディレクトリのパーミッション変更
[root@Fedora ~]# exit <= 一般ユーザになる
[kaz@Fedora ~]$ cd /usr/local/src/estraier <= 作業用ディレクトリへ移動
[kaz@Fedora estraier]$ wget http://estraier.sourceforge.net/estraier-1.2.29.tar.gz
 <= 「Estraier」のソースをダウンロード
[kaz@Fedora estraier]$ tar xzf estraier-1.2.29.tar.gz <= ダウンロードしたファイルの展開
[kaz@Fedora estraier]$ cd estraier-1.2.29 <= 展開したディレクトリに移動
[kaz@Fedora estraier-1.2.29]$ ./configure --enable-regex --enable-dlfilter --enable-chasen 2>&1 | tee configure.log
[kaz@Fedora estraier-1.2.29]$ make 2>&1 | tee make.log <= コンパイル
[kaz@Fedora estraier-1.2.29]$ su <= スーパーユーザになる
Password: <= パスワードの入力
[root@Fedora estraier-1.2.29]# make install 2>&1 | tee make-install.log <= インストール
「Estraier」の実行

転置インデックス格納先ディレクトリの作成

[root@Fedora ~]# mkdir /var/www/estraier

「Estraier」の新規実行

「Estraier」を新規に実行する場合は以下のようにする。

[root@Fedora ~]# estindex register /var/www/estraier/crimson-snow /var/www/html <= 転置インデックスの作成
[root@Fedora ~]# estindex relate /var/www/estraier/crimson-snow <= 転置インデックスに関連文書検索用のスコア情報を追加

「Estraier」の実行

ページに更新があった後、「Estraier」を実行する場合は以下のようにする。

[root@Fedora ~]# estindex purge /var/www/estraier/crimson-snow <= サイトから削除された文書を転置インデックスからも削除
[root@Fedora ~]# estindex register /var/www/estraier/crimson-snow /var/www/html <= 転置インデックスの作成
[root@Fedora ~]# estindex optimize /var/www/estraier/crimson-snow <= 転置インデックスの更新で生じた不要な情報を削除
[root@Fedora ~]# estindex relate /var/www/estraier/crimson-snow <= 転置インデックスに関連文書検索用のスコア情報を追加
「Estraier」の設置

設定ファイル等格納先ディレクトリの作成

[root@Fedora ~]# mkdir /var/www/cgi-bin/estraier

各種ファイルのコピー

[root@Fedora ~]# cp /usr/local/libexec/estsearch.cgi /var/www/cgi-bin/estraier/estsearch.cgi
[root@Fedora ~]# cp /usr/local/share/estraier/locale/ja/estsearch.conf /var/www/cgi-bin/estraier/estsearch.conf
[root@Fedora ~]# cp /usr/local/share/estraier/locale/ja/estsearch.tmpl /var/www/cgi-bin/estraier/estsearch.tmpl
[root@Fedora ~]# cp /usr/local/share/estraier/locale/ja/estsearch.top /var/www/cgi-bin/estraier/estsearch.top

「Estraier」の設定

[root@Fedora ~]# vi /var/www/cgi-bin/estraier/estsearch.conf <= 設定ファイルの編集
indexname: casket
↓
indexname: /var/www/estraier/crimson-snow <= 転置インデックスを指定

prefix: ./
↓
#prefix: ./ <= コメントアウト

replace:
↓
replace: /var/www/html/ http://www.crimson-snow.net/ <= 検索対象ディレクトリの置換

ブラウザで
http://サーバのIPアドレス/cgi-bin/estraier/estsearch.cgi
とアクセスする。

サイト内に設置する場合

サイト内に検索用のFORMを設置する場合、設置したい場所に以下の内容を記述。

<FORM method="get" action="/cgi-bin/estraier/estsearch.cgi">
  <DIV>
    <INPUT type="text" name="phrase" value="" size="64" tabindex="1" />
    <INPUT type="submit" value="Search" tabindex="2" />
    <INPUT type="hidden" name="enc" value="UTF-8" />
  </DIV>
</FORM>
転置インデックスの自動作成＆不要データ削除
[root@Fedora ~]# vi /root/estraier.sh <= 転置インデックスの自動作成＆不要データ削除スクリプト作成
#!/bin/sh

ESTINDEX='/usr/local/bin/estindex'

$ESTINDEX purge /var/www/estraier/crimson-snow > /dev/null 2>&1
$ESTINDEX register /var/www/estraier/crimson-snow /var/www/html > /dev/null 2>&1
$ESTINDEX optimize /var/www/estraier/crimson-snow > /dev/null 2>&1
$ESTINDEX relate /var/www/estraier/crimson-snow > /dev/null 2>&1

スクリプトの自動実行

[root@Fedora ~]# crontab -e <= 設定ファイルの編集
00 03 * * * /root/estraier.sh <= 追加(毎日3:00にスクリプト実行)
▲ページのトップへ