Проект «SnakeProject» Михаила Козлова

⇒ FreeBSD and Nix ⇐

CISCO

Voice(Asterisk\Cisco)

Microsoft

Powershell

Python

SQL\T-SQL

1С

Общая

WEB Разработка

ORACLE SQL \ JAVA

Мото

FreeBSD + Sphinx + Real Time и Merge индексы

FreeBSD + Sphinx

Задача:
1) Установить Sphinx на FreeBSD
2) Индексировать локальный каталог с файлами и их контентом
3) Посмотреть функционал Real Time и Merge индексов

# Установка SPHINX

cd /usr/ports/textproc/sphinxsearch make config make install clean echo 'sphinxsearch_enable="YES"' >>/etc/rc.conf pw group mod wheel -m _sphinx mkdir -p /data/sphinx mkdir -p /data/sphinx/index/product mkdir -p /data/sphinx/source mkdir -p /data/sphinx/log mkdir -p /data/sphinx/binlog

# Скрипт на BASH для вывода в формате xml путей до файлов и их контента Сфинксу

/data/sphinx/source/share.sh:

#!/usr/bin/sh echo '<?xml version="1.0" encoding="utf-8"?>' echo "<sphinx:docset>" echo "<sphinx:schema>" echo '<sphinx:attr name="url" type="string"/>' echo '<sphinx:field name="content"/>' echo '</sphinx:schema>' count=1 find /usr/local/share/ -type f | while read file_path do echo "<sphinx:document id='$count'>" echo "<url>$file_path</url>" file_type=`file -b "$file_path"` if [ "$file_type" == "ASCII text" ] then lynx -dump "$file_path" > /tmp/temp_html_file file_path="/tmp/temp_html_file" fi file_content=`sed "s/[^0-9a-zA-Z_-]//g" "$file_path"` echo "<content>$file_content</content>" echo "</sphinx:document>" count=$((count+1)) done echo "</sphinx:docset>" chown -R _sphinx:_sphinx /data/sphinx chmod 740 /data/sphinx/source/*

# Конфигурационный файл Сфинкса

/usr/local/etc/sphinx.conf:

searchd { listen = 9306:mysql41 pid_file = /var/run/sphinxsearch/searchd.pid log = /data/sphinx/log/log.log query_log = /data/sphinx/log/query_log.log binlog_path = /data/sphinx/binlog/ } source share { type = xmlpipe2 xmlpipe_command = sh /data/sphinx/source/share.sh #xmlpipe_field_string = url #xmlpipe_field_string = content } index share { source = share path = /data/sphinx/index/share }

# Индексация в оффлайн режиме

/usr/local/bin/indexer share --config /usr/local/etc/sphinx.conf /usr/local/etc/rc.d/sphinxsearch start ps x | grep searchd

# Несколько примеров запросов

mysql -h 127.0.0.1 --port 9306 select id, url, weight() from share where match('@content bash'); select id, url, weight() from share where match('@content bash where') order by weight() desc; select id, url, weight() from share where match('@content bash where') order by weight() desc option ranker=proximity_bm25;

# Индексация в онлайн режиме

# Real Time и Merge индексы

Real Time - можно добавлять записи на лету в отличии от обычных
Merge - объединяют в себя записи из других индексов

/usr/local/etc/sphinx.conf:

searchd { listen = 9306:mysql41 pid_file = /var/run/sphinxsearch/searchd.pid log = /data/sphinx/log/log.log query_log = /data/sphinx/log/query_log.log binlog_path = /data/sphinx/binlog/ } source share { type = xmlpipe2 xmlpipe_command = sh /data/sphinx/source/share.sh #xmlpipe_field_string = url #xmlpipe_field_string = content } index share { source = share path = /data/sphinx/index/share } index share_rt { path = /data/sphinx/index/share_rt type = rt rt_attr_string = url rt_field = content rt_mem_limit = 256M } index share_merge { type = distributed local = share local = share_rt }

# share_merge смержится с share

# Проверяем работу

mysql -h 127.0.0.1 --port 9306 show tables; select * from share; select * from share_merge; select * from share_rt; insert into share_rt(id, content, url) values (5000, '5000 test content', '/usr/local/share/5000'); insert into share(id, content, url) values (5001, '5001 test content', '/usr/local/share/5001'); select * from share_merge where id in (5000, 5001);

Комментарии пользователей