Создание имидж-каталога в ГПНТБ России

ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ В БИБЛИОТЕКАХ

УДК 025.3:65.011.56

А. И. Бродовский

Создание имидж-каталогов в ГПНТБ России
средствами ИРБИС

Имидж-каталоги – одно из наиболее эффективных  средств ретроконверсии карточных каталогов для библиотек с большим ретрофондом (т.е. тем фондом, который не отражен в полноценном электронном каталоге) и представляют собой электронную модель традиционных «бумажных» каталогов, построенную на основе оцифрованных (отсканированных) образов каталожных карточек.

Решения по созданию имидж-каталогов, которые предлагаются в настоящее время большинством разработчиков, не включают автоматического распознавания текстов карточек и строятся на основе, во-первых, индексирования карточных разделителей и, во-вторых, строгого сохранения порядка следования отсканированных образов карточек (т.е. графические файлы должны размещаться в строгом соответствии с порядком расстановки карточек в традиционном каталоге). Если при использовании таких решений за основу берутся традиционные алфавитные каталоги, то тогда в создаваемых имидж-каталогах полностью отсутствует возможность тематического (содержательного) поиска; если же за основу берутся систематические или предметные каталоги – получаются имидж-каталоги, в которых невозможен библиографический поиск (по автору, коллективу и т.п.).

В ГПНТБ России для создания имидж-каталогов использовалось решение, предлагаемое Системой автоматизации библиотек ИРБИС (разработка Ассоциации ЭБНИТ), а именно – ИРБИС Имидж-каталог (который представляет собой специализированную версию ИРБИС64 Полнотекстовые БД – [1, 2]). Это решение строится прежде всего на основе автоматического ("на лету") распознавания текстов каталожных карточек. В качестве программного обеспечения («движка») для технологии распознавания текстов используется OCR-технология фирмы ABBYY. За счет этого:

• во-первых, реализуется полнотекстовый поиск (с ранжированием результатов, учетом близости слов, морфологии и др.), который, включая возможности библиографического поиска для профессионалов, предлагает конечному пользователю возможности полноценного тематического поиска;
• во-вторых, не предъявляются жесткие требования к порядку сканирования и размещения образов карточек, а при его соблюдении полностью реализуется модель «бумажного» поиска по карточным разделителям.

Но главной отличительной чертой ИРБИС Имидж-каталога является то, что его БД функционирует не отдельно, не как автономная система, а интегрируется в автоматизированные технологии полноценного ЭК, а именно – в технологии АРМов «Каталогизатор» и «Книговыдача» ИРБИС64 [3], что позволяет осуществлять ввод структурированных данных (например, производить роспись экземпляров ретрофонда), корректировку распознанных данных, удаление записей, списание и проверку фонда, бронирование, выдачу, возврат, продление документов и пр.

ИРБИС Имидж-каталог включает три модуля:

Администратор – для создания собственно БД имидж-каталога на основе сканированных образов каталожных карточек (пакетная операция), именно в него встроен "движок" ABBYY;

оригинальный клиент для конечного пользователя имидж-каталога;

Web-шлюз для доступа к имидж-каталогу через Интернет/Интранет.

Дополнительно для ведения БД имидж-каталога могут использоваться АРМы «Каталогизатор», «Комплектатор» и «Книговыдача» ИРБИС64.

Процесс создания имидж-каталога состоит из двух этапов (которые могут выполняться последовательно или параллельно с определенным временным лагом):

• сканирование карточного каталога;
• формирование БД имидж-каталога на основе сканированных образов каталожных карточек, включающее процесс автоматического распознавания их текстов.

Этап сканирования представляет собой сугубо производственную задачу и предполагает наличие специального оборудования, которое позволяет сканировать каталожные карточки с высокой скоростью.

В ГПНТБ России для этих целей использовались высокоскоростные сканеры «Элар скамакс 2600М» и «Kodaki 1440» с производительностью до 30 карточек в минуту. Исходным массивом для создания имидж-каталогов были выбраны служебные алфавитные каталоги.

Каталожные карточки сканировались с двух сторон с разрешением 200dpi в палитре серой шкалы (8-BitGrayScale). В качестве графического формата использовался формат JPEG. Образ одной карточки формировался в виде двух файлов со связанными именами: Qnnnn.JPG– лицевая сторона, Wnnnn.JPG– оборотная сторона (где nnnn– порядковый номер карточки в каталожном ящике). Средний размер файла лицевой стороны карточки – 20–30 Кб, оборотной – 10–20 Кб.

Образы (файлы) карточек из одного каталожного ящика размещались в одной директории (машинного носителя) с именем, совпадающим с алфавитным разделителем ящика (разделители внутри ящиков не использовались). Например: Авербух – Авешникова; Авиаизмерения – Авраам.

Необходимо отметить, что в именах директорий (а следовательно, и в названиях разделителей) нельзя использовать такие символы, как «:», «\», «/», «*», «?», двойные кавычки. Также нельзя использовать символы «точка» и «пробел» в конце названия.

Именно такая система поименования директорий позволяет организовать поиск в имидж-каталоге по разделителям (т.е. создавать буквальную модель традиционного каталога). Необходимость поиска по разделителям (т.е. необходимость такой модели) диктуется следующими соображениями:

1. Процесс распознавания текста карточек не дает абсолютного результата – из-за их плохого состояния или низкого качества печати не весь текст распознается или часть текста распознается неверно, возможны случаи, когда текст карточки вообще не распознается; (следует особо отметить, что рукописные карточки или рукописные пометы на карточках, строго говоря, не распознаются). Это приводит к тому, что при поиске по тексту (т.е. по словам распознанного текста) какие-то карточки не будут находиться. Если не обеспечить поиска по разделителям (в качестве резервного), то плохо распознанные каталожные карточки никогда не будут найдены в имидж-каталоге. Иными словами – от поиска по разделителям в имидж-каталоге можно отказаться только в случае абсолютного качества распознавания (что практически недостижимо).

2. Есть ситуации, связанные прежде всего с библиографическим поиском, когда поиск по разделителям может оказаться более эффективным, чем поиск по словам текста. Например, нужно найти карточку на периодическое издание (журнал) с названием «Жизнь»: поиск по слову «жизнь» в имидж-каталоге достаточно большого объема приведет к очень большой выдаче, в которой будет непросто найти нужную карточку; значительно быстрее она будет найдена по алфавитным разделителям.

3. Обязательно найдутся пользователи (среди них могут быть и читатели, и библиотечные работники), которые по разным причинам захотят действовать «по старинке», т.е. поиску по словам текста предпочтут поиск по карточным разделителям. Нет никаких оснований лишать их такой возможности.

При сканировании карточных каталогов неизбежно возникает вопрос: исключать ли из процесса сканирования каталожные карточки, соответствующие «новым» изданиям, т.е. тем, которые уже отражены в полноценном электронном каталоге. По строгой логике это следовало бы делать, чтобы исключить дублирование данных в имидж-каталоге и электронном каталоге; с другой стороны, процесс отбора каталожных карточек (изъятие «новых» карточек из ящиков перед сканированием и их возврат на прежнее место после завершения процесса) является чрезвычайно трудоемким. В ГПНТБ России для всех каталогов (кроме каталога «Отечественная книга») решили допустить дублирование, чтобы не увеличивать трудоемкость и, следовательно, время выполнения всего процесса сканирования, т.е. «новые» каталожные карточки не исключались из сканирования.

В соответствии со структурой служебных каталогов независимо друг от друга сканировались следующие каталоги (и соответственно – создавались отдельные массивы образов каталожных карточек):

Процесс формирования базы данных имидж-каталога – второй этап работы – представляет собой полностью пакетную обработку (разовую) на компьютере, т.е. не включает никаких ручных операций. Для выполнения этой работы служит АРМ «Администратор» из состава ИРБИС64 Полнотекстовые БД с функцией распознавания. Время выполнения работ определяется объемом исходного массива каталожных карточек и скоростью распознавания одной карточки. Время распознавания одной карточки на компьютере со средними показателями (2 Гб ОЗУ, 2,4 ГГц) – около 1,5–2 секунды (т.е. для распознавания 10 тыс. карточек необходимо примерно 6 часов). В ГПНТБ России оборотная сторона каталожных карточек распознаванию не подвергалась (поскольку в основном содержит рукописные данные служебного характера).

Таким образом в ГПНТБ России созданы пять имидж-каталогов (см. таблицу).

Конечному пользователю (читателю) для работы с имидж-каталогом предлагаются две возможности:

• оригинальное клиентское приложение на основе ИРБИС-Навигатора;
• Web-шлюз для доступа к БД имидж-каталога через Интернет/Интра­нет (т.е. с помощью Web-браузера).

Пользовательский интерфейс оригинального клиентского приложения на основе ИРБИС-Навигатора (общий вид) представлен на рис. 1.

Рис. 1. Общий вид клиентского приложения на основе ИРБИС-Навигатора
для поиска в имидж-каталоге

Основным элементом интерфейса является окно («Я ищу»), куда пользователь вводит поисковый запрос на естественном языке. Результат поиска представляется в порядке убывания релевантности найденных документов (т.е. первыми показываются карточки, которые в наибольшей степени соответствуют запросу). Каждый документ представляется в виде изображения каталожной карточки, где красным цветом подчеркнуты слова текста, соответствующие исходному запросу (рис. 2).

Рис. 2. Результат поиска по имидж-каталогу

Предусмотрена возможность просмотра оборотной стороны каталожной карточки (на которой может находиться дополнительная служебная информация, в том числе инвентарные номера экземпляров).

Принципиальной возможностью является поиск похожих документов, выполняемый, разумеется, автоматически на основе оригинального алгоритма, который состоит из следующих логических операций, или шагов:

• отбираются все слова текста исходного документа (карточки);
• исключаются незначащие (неинформативные) слова в соответствии с фиксированным списком стоп-слов;
• слова упорядочиваются по возрастанию частоты их встречаемости в общем словаре слов БД имидж-каталога;
• в качестве наиболее информативных берутся первые десять слов упорядоченного списка, и на их основе формируется запрос на поиск похожих документов.

Конечный пользователь имеет возможность перейти от любого найденного документа к следующему по порядку: здесь под порядком понимается расположение соответствующих карточек в бумажном каталоге. Эта возможность незаменима в том случае, когда необходимо просмотреть продолжение документа на следующей карточке (т.е. когда библиографическое описание размещено на нескольких каталожных карточках).

Специальная ссылка предусмотрена для формирования электронного заказа на выдачу литературы: пользователь должен отметить соответствующие документы и ввести свои идентификационные данные, при этом он также имеет возможность просмотреть свою личную запись со всеми сведениями о книговыдачах. При достаточно большой выдаче пользователю предлагается возможность уточнить свой запрос, т.е. провести уточняющий поиск среди документов, найденных по последнему запросу.

Для выполнения «традиционного» поиска по алфавитным разделителям служит дополнительное окно («Алфавитный вход в ИМИДЖ-КАТАЛОГ»), куда пользователь может ввести алфавитный ключ (несколько символов или слов) и в результате переходит к последовательному просмотру каталожных карточек из соответствующего ящика.

В качестве дополнительной возможности конечному пользователю может быть предложен поиск по тематическому навигатору, под которым понимается вербальная классификационная система иерархического типа и построенный на ее основе пользовательский интерфейс (навигатор). Использование для поиска тематического навигатора (рис. 3) позволяет, с одной стороны, упростить поиск в случае широких тематических запросов, а с другой – компенсировать известные недостатки поиска с использованием свободной (ненормированной) лексики («шум» и неточность).

 Рис. 3. Тематический навигатор

Пользователь имеет возможность осуществлять переходы в соответствии с иерархическими  связями классификатора и горизонтальными ссылками типа «смотри также», фрагментировать классификатор и отмечать рубрики, необходимые для поиска.

Для создания такой классификационной системы предлагается специальная структурная модель. Алгоритм поиска по тематическому навигатору состоит в том, что текст запроса формируется не только на основе отмеченных пользователем рубрик классификатора, но и с использованием всех нижестоящих рубрик и связанных с ними ключевых слов («невидимо» для пользователя они присутствуют в структуре классификатора). Такая возможность ИРБИС Имидж-каталога (тематический навигатор) в ГПНТБ России пока не используется.

Интерфейс доступа к имидж-каталогу (через Web-шлюз) на сайте ГПНТБ России представлен на рис. 4. Web-шлюз позволяет реализовать те же функции, что и оригинальный клиент на основе ИРБИС-Навигатора.

 Рис. 4. Доступ к имидж-каталогу на сайте ГПНТБ России

Как отмечалось выше, отличительная особенность ИРБИС Имидж-каталога в том, что он позволяет интегрировать технологию ведения баз данных имидж-каталога в среду автоматизированных технологий полноценного электронного каталога, в результате чего обеспечивается возможность выполнения в имидж-каталоге таких работ, как списание и перемещение литературы, книговыдача и др. На рис. 5 представлен интерфейс АРМа «Каталогизатор» (из состава ИРБИС64), с помощью которого можно вести базы данных имидж-каталога в полном объеме автоматизированных технологий ЭК, в частности структурировать описание издания на основе изображения каталожной карточки (если в этом есть необходимость) или проводить корректировку распознанного текста.

Рис. 5. Доступ к имидж-каталогу через АРМ «Каталогизатор»

АРМ «Книговыдача» (рис. 6) позволяет работать с электронными заказами, которые сформированы конечным пользователем имидж-каталога. Заказы читателей представляются в виде образов каталожных карточек соответствующих изданий. Предлагается специальный режим, который позволяет описывать выдаваемый экземпляр издания в момент его выдачи («на лету»). На этой основе можно осуществлять роспись экземпляров имидж-каталога в процессе книговыдачи (а не делать это предварительно в полном объеме в АРМе «Каталогизатор»).

В заключение можно отметить, что создание имидж-каталогов является практически единственным способом ретроконверсии карточных каталогов больших объемов (исчисляемых сотнями тысяч карточек). «Ручная» ретроконверсия методом клавиатурного ввода – даже с применением технологий заимствования – оказывается неприемлемой как по трудоемкости, так и по срокам выполнения.

Единственный «недостаток» имидж-каталогов – серьезные финансовые затраты, связанные с их созданием (хотя можно предположить, что затраты на «ручной» ввод, учитывая его крайнюю трудоемкость, в итоге окажутся сравнимыми с затратами на имидж-каталог). При этом надо понимать, что основная доля затрат при создании имидж-каталога (приблизительно 90%) приходится на решение исключительно производственной задачи – собственно сканирование каталожных карточек.

В этой связи следует сказать, что ГПНТБ России, располагая соответствующими производственными мощностями – высокопроизводительными сканерами и квалифицированным персоналом, готова на договорной основе выполнять работы по сканированию карточных каталогов для других библиотек, а совместно с Ассоциацией ЭБНИТ – по созданию имидж-каталогов «под ключ».

Имидж-каталоги ГПНТБ России доступны через сайт библиотеки по адресу http://library.gpntb.ru/cgi2/irbis64r_img/cgiirbis_64.exe?C21COM=F&I21DBN=TEXT_FULLTEXT&P21DBN=TEXT

Рис. 6. Работа с имидж-каталогом через АРМ «Книговыдача»

Список источников

1. Сбойчаков К. О. Перспективы развития ИРБИС: применение системы смыслового анализа текстов для создания полнотекстовых хранилищ знаний в современной библиотеке // Науч. и техн. б-ки. – 2003. – № 10. – С. 77–83.

2. Бродовский А. И. ИРБИС64 как инструмент создания и ведения полнотекстовых баз данных / Бродовский А. И., Попов Е. В., Сбойчаков К. О. // Там же. – 2005. – № 11. – С. 71–75.

3. Бродовский А. И. Новое поколение системы автоматизации библиотек ИРБИС – ИРБИС64: от электронного каталога к полнотекстовым базам данных / Бродовский А. И., Сбойчаков К. О. // Там же. – 2005. – № 2. – С. 107–111.