URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID3
Нить номер: 78488
[ Назад ]

Исходное сообщение
"Подборка расширений к SQLite и полнотекстовая система поиска..."

Отправлено opennews , 29-Июн-11 00:18 
Представлен (http://sqlite.mobigroup.ru/wiki?name=extensions) список расширений для БД SQLite, среди которых ICU (http://mobigroup.ru/debian/pool-squeeze/main/s/sqlite3-ext-icu/), FTS3 (http://mobigroup.ru/debian/pool-squeeze/main/s/sqlite3-ext-fts3/), реализация (http://sqlite.mobigroup.ru/dir?name=ext/compress) функций упаковки и распаковки данных с использованием zlib, подборка (http://sqlite.mobigroup.ru/wiki?name=ext_inet) функций для манипулирования IPv4 адресами, генератор UUID (http://sqlite.mobigroup.ru/dir?name=ext/uuid), реализация хэшей MD5 (http://sqlite.mobigroup.ru/dir?name=ext/md5) и SHA1 (http://mobigroup.ru/debian/pool-squeeze/main/s/sqlite3-ext-sha1/). Также поддерживается набор утилит (http://sqlite.mobigroup.ru/wiki?name=utils) для работы со справочником адресов КЛАДР, конвертацией баз данных XBase в формат SQLite и репликации БД SQLite.


Кроме того, обновлена поисковая система Poisk (http://sqlite.mobigroup.ru/wiki?name=poisk), для работы которой теперь достато...

URL: http://sqlite.mobigroup.ru/wiki?name=extensions
Новость: http://www.opennet.me/opennews/art.shtml?num=31025


Содержание

Сообщения в этом обсуждении
"Подборка расширений к SQLite и полнотекстовая система поиска..."
Отправлено Иван Лох , 29-Июн-11 00:18 
А с gtk filechooser он интегрируется?

"Подборка расширений к SQLite и полнотекстовая система поиска..."
Отправлено Veter , 29-Июн-11 01:19 
Нет. Но если означенный gtk filechooser умеет общаться через пайпы (и без DBUS), то можно и сделать.

"Подборка расширений к SQLite и полнотекстовая система поиска..."
Отправлено СуперАноним , 29-Июн-11 08:49 
А что за негативизм по отношению к D-Bus? Ведь, это десктопстандарт от freedesktop.org.

"Подборка расширений к SQLite и полнотекстовая система поиска..."
Отправлено anonymous , 29-Июн-11 14:57 
>freedesktop.org

мне они всегда казались вредителями. у них просто невероятный талант придумывать ненужные костыли. единственное, что более или менее полезного было ими написано - это gstreamer.


"Подборка расширений к SQLite и система полнотекстового поиск..."
Отправлено lhoi , 29-Июн-11 15:32 
На оффсайте Поиска "В настоящий момент нет поддержки морфологии для полнотекстового поиска", а в заголовке "система полнотекстового поиска с поддержкой словоформ". Как это понимать?

"Подборка расширений к SQLite и система полнотекстового поиск..."
Отправлено Veter , 29-Июн-11 19:17 
Поиск по словоформам может выполняться и без морфологического анализа, путем стемминга (более простая задача), что в нашем случае и делается.

Из вики "Стемминг":

"Стемматизация (стемминг) — это процесс нахождения основы слова для заданного исходного слова. Основа слова необязательно совпадает с морфологическим корнем слова."

Проще говоря, мы отбрасываем те части слова, которые считаем незначащими. Но вовсе не обязательно то, что остается, будет совпадать с корнем слова.
Пример из вики "Корень (лингвистика)": "В сложных словах (композитах) несколько корней: желез-н-о-дорож-н-ый". Но стемминг (Snowball) дает совершенно другой результат:

$ echo железнодорожный | stemwords -l russian
железнодорожн

Есть еще и поиск по soundex-хэшу (их много разных реализаций), можно найти и написанные с ошибками слова, и опять же без морфологического анализа. Правда, тот, кто пишет саму реализацию хэша, опирается как раз на знание морфологии... но это совсем другая история :)


"Подборка расширений к SQLite и система полнотекстового поиск..."
Отправлено Anonymouse , 30-Июн-11 18:12 
За fossil - спасибо! :) Остальное не пригодилось пока ....

"Подборка расширений к SQLite и система полнотекстового поиск..."
Отправлено lhoi , 30-Июн-11 20:37 
Спасибо! Очень познавательно. А есть ли программа/библиотека под линукс для поиска русского текста по словоформам? (stemwords посмотрю. Тоже для меня новое)

"Подборка расширений к SQLite и система полнотекстового поиск..."
Отправлено Veter , 01-Июл-11 12:08 
Это и есть тема новости, что утилиты Poisk индексируют русский текст и ищут по словоформам :)
Непосредственно поиск (по индексированным документам) описан по ссылке
http://sqlite.mobigroup.ru/wiki?name=sqlite3-poisk-client

А можно и просто в SQLite модуль поиска загрузить и искать в БД, см.
http://sqlite.mobigroup.ru/wiki?name=FTS3+Snowball+Stemmer


"Подборка расширений к SQLite и система полнотекстового поиск..."
Отправлено Alexey , 22-Ноя-12 15:30 
Еще один вариант прикручивания snowball стемминга к sqlite: https://github.com/littlesavage/sqlite3-unicodesn