Инструкция по поиску

www.eastview.com
ИСТ ВЬЮ ПАБЛИКЕЙШНС
•
•
•
•
•
Полнотекстовый поиск
Язык запросов
Примеры сложных запросов
Понятие релевантности
Обработка результатов поиска
publications
www.eastview.com
Полнотекстовый поиск
П.П. – особый вид поиска, при
котором поиск необходимых
документов производится по
всем текстам документов.
П.П. позволяет находить
документы, не имеющие
тематического или временного
соответствия, основываясь
только на словах,
присутствующих в документах.
publications
www.eastview.com
Полнотекстовый поиск
Поисковое выражение (запрос) –
это слово или группа слов,
связанных логическими
операторами,
удовлетворяющая грамматике
поискового языка запроса
publications
www.eastview.com
Подход к полнотекстовому поиску
Поисковое выражение =
Предмет поиска + Предметная область
Примеры:
Пушкин И (письма ИЛИ переписка)
пожар И редакция
ураган И Дубна
publications
www.eastview.com
Подход к полнотекстовому поиску
Предмет поиска:
Тема >> Событие >> Документ
Результаты поиска
Множество
документов
Искомые
документы
publications
www.eastview.com
ИСТ ВЬЮ ПАБЛИКЕЙШНС
Язык запросов
publications
www.eastview.com
Язык запросов
Язык запросов – свод
грамматических и логических правил
для формирования корректного
поискового выражения
Требования к языку запросов:
• Поддержка базовых типов запросов
• Использование негласных стандартов в
синтаксисе
• Поиск по всем словоформам (за
исключением фразового запроса)
• Нечувствительность к регистру
publications
www.eastview.com
Язык запросов
Базовые типы запросов:
•
•
•
•
•
•
логические запросы
фразовые запросы
регулярные выражения (шаблоны)
запрос на близость
запрос по полям
запрос на неточное совпадение
publications
www.eastview.com
Язык запросов
Понятие морфологии слова и поиск
по всем словоформам:
Слово белка (маленький пушистый зверек) имеет
следующую морфологическую группу: бе'лка, бе'лки,
бе'лки, бе'лок, бе'лке, бе'лкам, бе'лку бе'лок, бе'лкой,
бе'лкою, бе'лками, бе'лке, бе'лках
Слово белок (органическое соединение): бело'к, белки',
белка', белко'в, белку', белка'м, бело'к, белки',
белко'м, белка'ми, белке', белка'х
Например на словах белка, белку происходит их
пересечение. Поэтому запросу белка будет
соответствовать и слово белков !!!
publications
www.eastview.com
Язык запросов
Понятие морфологии слова и
поиск по всем словоформам:
Запросу белка будут удовлетворять документы
со словами: белкой, белкою, белки, белками,
белок, белком …
Запросу жил будут удовлетворять документы
со словами: жить, живет, жила, жилами, жилою …
Запросу ребенок будут удовлетворять
документы со словами: ребенка, ребенку, дети,
детьми, детей …
publications
www.eastview.com
Поисковый интерфейс
Виды поиска
• Форма простого поиска - предназначена
для ввода одиночного поискового
выражения
• Форма расширенного поиска позволяет формировать поисковые
выражения для полей: АВТОР,
НАЗВАНИЕ, ВСЯ СТАТЬЯ
publications
www.eastview.com
Поисковый механизм баз данных
Проведение простого поиска
Результат простого поиска. Статьи
Проведение расширенного поиска
Поля
Результат расширенного поиска.
Логические операторы
• Логический оператор И
Связывает слова запроса.
Результат поиска - только документы,
содержащие все слова запроса.
Пример запроса:
Путин(А) И Дума(В)
А
А
И
В
В
publications
www.eastview.com
Логические операторы
• Логический оператор ИЛИ
Связывает слова запроса.
Результат поиска – документы, содержащие
хотя бы одно из слов запроса.
Пример запроса:
Путин(А) ИЛИ Дума(В)
А
А
И
В
В
publications
www.eastview.com
Логические операторы
• Логический оператор НЕ
Связывает слова запроса.
Результат поиска – документы, содержащие
одно (А) но не другое (В) из слов запроса.
Пример запроса:
Путин(А) НЕ Дума(В)
А
А
И
В
В
publications
www.eastview.com
Логические запросы
• Логические запросы
Операторы: И, ИЛИ, НЕ
* Поиск по базе «Общественные и гуманитарные
издания»
Культура И Испанский
2180
Культура И (Испанский ИЛИ Испания)
5012
Культура НЕ Язык И (Испанский ИЛИ Испания) 1142
Проблема:
• Слова в тексте могут быть расположены
далеко друг от друга
publications
www.eastview.com
Культура И Испанский
Агрегация запросов
Комбинация логических запросов:
(дерево или осина) и
(промышленность или производство)
Будут найдены документы:
1) …в спичечном производстве осину очень
часто называют "спичечным" деревом…
2) …обработка древесины и производство
изделий из дерева…
3) …дерево-обрабатывающей
промышленности…
publications
www.eastview.com
Агрегация запросов
Приоритетность логических операторов:
слово1 и слово2 или слово3
=(равносильно) =
(слово1 и слово2) или слово3
Примеры:
• естествознание и культура или
культурология
• Спартак и восстание не война
• Палестина не Израиль не Арафат
publications
www.eastview.com
Специальные символы
• Оператор шаблона слов
-
*
сложные слова
редкие фамилии/имена
географические названия
если пользователь неуверен в правильности
написания ключевого слова
Например:
Испан* - все слова с корнем испан - Испания, испанка …
Мон*зация - монетаризация, монетизация …
Шевар*адзе - Шеварднадзе
publications
www.eastview.com
Специальные символы
• Оператор шаблона слов ?
- используется, когда неизвестно какой
символ стоит в конкретной позиции,
но точно известно что один
Например:
к?нк?ст?доры - конкистадоры
к?ли?а - калифа, калина, кулича …
publications
www.eastview.com
Специальные символы
• Фразовый запрос ", "
- используется, когда необходимо найти документы,
содержащие фразу именно в той форме, в какой она
указана в запросе
Например, сравним:
*Поиск по базе «Общественные и гуманитарные издания»
"Испанская культура"
испанская И культура
5
2180
Проблема:
При фразовом запросе не учитывается морфология
publications
www.eastview.com
Специальные символы
• Оператор близости слов
/<количество слов>
• Используется для ограничения количества
слов текста, которые могут быть между
ключевыми словами
Например:
Испанская /5 культура
средние /0 века
Путин /3 Дума
publications
www.eastview.com
Специальные символы
• Запрос на неточное совпадение:
~ (тильда)
- Используется, когда мы сомневаемся в
правильном написании слова или
предполагаем, что в этом слове автором
могла быть допущена ошибка
Например:
Сальмунори ~ И корейский
• Сальмунори неправильно
• Правильно САМУЛЬНОРИ
publications
www.eastview.com
ИСТ ВЬЮ ПАБЛИКЕЙШНС
Сложные запросы и
нестандартные
ситуации
publications
www.eastview.com
Примеры комплексных запросов
(Колмогоров НЕ Василий) И (матем* или
(выдающийся ИЛИ знаменитый ИЛИ
известный) /0 академик)
К?нк?ст?доры И испан* /0 колонии И (XVI
ИЛИ XV)
(Монетизация ИЛИ Монетаризация) И
(замена /1 льгот) ИЛИ (денежные /0
(выплаты ИЛИ компенсации))
publications
www.eastview.com
Результаты поиска
Нестандартные ситуации
•
•
•
•
•
(гайдар И аркадий) НЕ эконом*
франц* И "нога"
грач НЕ пти*
пивовар НЕ пиво НЕ пивной (нельзя НЕ пив*)
“ВКП(б)” ИЛИ (Всесоюзная /0
Коммунистическая /0 Партия /0
Большевиков)
• Сухово?Кобылин*
publications
www.eastview.com
Внимание
Подводные камни под операцией скопироватьвставить или copy-paste!!!
• Есть разные кавычки "
",‘
• Есть два разных символа
Символ
’, “ ”, «»
-, –
- равен логическому оператору НЕ
publications
www.eastview.com
ИСТ ВЬЮ ПАБЛИКЕЙШНС
Понятие релевантности
и работа с
результатами поиска
publications
www.eastview.com
Результаты поиска
Определение: совокупность документов,
удовлетворяющих запросу,
расположенных в порядке
соответствия запросу (релевантности)
называется результатами поиска
publications
www.eastview.com
Результаты поиска
(релевантность = балл = ранг = score ) –
есть величина соответствия запросу,
вычисляется математически,
основываясь на различных критериях
Критерии соответствия запросу:
•
•
•
•
Количество слов в документе
Близость слов (для логических операторов И, ИЛИ)
Значимость полей
Количество найденных слов (оператор ИЛИ)
publications
www.eastview.com
Сравнение результатов поиска
Результаты поиска
Возможности работы с
результатами поиска:
•
•
•
•
Поиск в найденном
Сортировка результатов
Просмотр списка результатов с цитатами
Перемещение в найденном документе по
цитатам
• Выбор группы документов для отдельного
просмотра/печати/сохранения
publications
www.eastview.com
Результат поиска. Сортировка.
Результат поиска. Цитаты.
Результат поиска. Текст.
Результат поиска. Перемещение по тексту
вниз
вверх
Текст статьи – PDF версия
Текст статьи – PDF версия
ИСТ ВЬЮ ПАБЛИКЕЙШНС
Базы данных
• Статистическая база данных –
статистические ежегодники, сборники,
аналитические отчеты, бюллетени
России и стран СНГ
publications
www.eastview.com
ТЕКСТ
ГРАФИКИ
ТАБЛИЦЫ
Результат поиска. График.
Результат поиска. Таблица.