Поисковые технологии компании СофтИнформ

Польза от применения стоп-слов неоспорима. Благодаря им, поиск информации удается осуществлять только по словам, несущим реальную тематическую нагрузку текста, из-за чего анализ документов на похожесть становится более достоверным именно по смысловой нагрузке, а не по набору символов. Дополнительно прочитать про "Стоп-слова" в поисковой программе можно в разделе "Что необходимо для качественного поиска?"
Конечно же максимальная эффективность достигается тогда, когда список стоп-слов подобран наиболее грамотно. С одной стороны небольшое число стоп-слов не сможет обеспечить фильтрование на должном уровне, а с другой стороны, излишнее старанее по увеличению словаря стоп-слов может приветсти к тому, что туда будут внесены слова, имеющие смысловую нагрузку, тогда эффективность стоп-слов пойдет на попятную.

Списки стоп-слов в поисковой системе редактируются при помощи Менеджера стоп-слов. Открыть его можно следующими способами:

- Меню "Options" - "Stop words manager"
- Можно кликнуть по кнопке в панеле менеджеров, если она включена.

В результате откроется окно следующего вида:



Как видно из рисунка, область менеджера в поисковой системе разделена на две части. Слева находится перечень языков, в каждый из которых включен определенный набор слов, т.е. языки - это по сути просто группы, объединяющие в себе слова, схожие по какому-либо признаку (в данном случае по языковому). При выделении одного из языков в списке "Languages", справа, в списке "Stop words list", отобразятся все слова, принадлежащие выбранному языку.
Кнопка позволяет создать новый язык. Для этого следует ввести название нового языка в появляющемся окошке.

Кнопка позволяет изменить название выбранного языка путем ввода нового имени в появляющемся окошке.

- эта кнопка удаляет выбранный язык, а значит и все стоп-слова, привязанные к нему. Удаленный язык восстановлению не подлежит!

Следующий набор кнопок предназначен уже для работы не с языками, а с конкретными словами.

- по нажатию на эту кнопку, появляется окошко, в которое можно ввести новое стоп слово, причем поле ввода в этом окошке многострочное и вводить можно сразу большое количество слов, разделяя их пробелами. Соответственно, новые слова будут добавлены в язык, выбранный в данный момент в левом списке. В появляющемся при вводе слов окошке поисковой программы, есть флажок "Use stimming forms". При установке этого флажка, помимо введенного стоп-слова, будут учитываться все его словоформы, которые будут считаться равносильными при поиске.

- позволяет отредактировать выбранное слово. Выбранное слово открывается в таком же окошке, как при создании нового слова, что позволяет при редактировании не только изменить текст, но и изменить состояние флажка "Use stimming forms".

- удаляет выбранное слово из списка стоп-слов. При этом не выдается запроса на подтверждение удаления!

- выход из менеджера Стоп-слов.

SoftInform Search Technology ( ) в первую очередь корпоративный инструмент поиска информации в локальной сети предприятия (документов практически любых форматов), информационных системах, СУБД, CRM и так далее. Важным преимуществом данной разработки является консолидация под своим управлением информации из различных источников. В SoftInform Search Technology () реализована система рубрикации (удобный и быстрый инструмент распределения любых документов по заданной тематике) и автокатегоризации документов – автоматического распределения новых документов по существующим рубрикам в соответствии с общим принципом похожести. Такой подход к организации и консолидации данных позволяет структурировать информационные составляющие любого крупного предприятия под управлением одной программы. Притом, без нужды переводить документы и данные в какой-либо единый формат. Вся информация, доступная для индексирования и дальнейшего поиска может быть распределена, структурирована и отображена в удобном виде.

Организация ядра технологии позволяет адаптировать SoftInform Search Technology (при внесении минимальных корректировок) под любую базу данных или информационную систему, благодаря концепции источников данных. Причем, источники данных, доступные для индексации нашей программой могут быть различны и могут находиться в разных местах.