Современные технологии интернет-поиска
изображений можно объединить в три группы по признаку способа
индексирования. Modern technologies of the Internet search of
images can be grouped into three groups according to method of indexing.
Каждый
из способов обладает своими достоинствами и недостатками. Each
way has its advantages and disadvantages. Недостатки,
как водится, являются оборотной стороной достоинств.
Deficiencies, as usual, are the flip side of merit.
Первая группа технологий – это универсальный поиск по косвенным признакам, когда для описания изображений используют имя файла, всевозможные теги HTML-разметки документа и анализ текста самой веб-страницы. The first group of technologies - it is a universal search for indirect signs, when used to describe the image file name, various tags are HTML-markup document and analysis of the text itself a Web page. Такой режим можно увидеть на универсальных интернет-поисковиках. Such a regime can be seen in the universal Internet search engines. С одной стороны, он наименее требователен к ресурсам, с другой – грешит многочисленными неточностями и ошибками. On the one hand, it is the least demanding of resources, on the other - sins numerous inaccuracies and errors.
Второй вариант – включение в процесс индексирования человека. The second option - the inclusion in the indexing process rights. Это технологии ручного тегирования и всевозможные «фолксономии», применяемые на многочисленных фотосервисах. This technology manual tagging and all sorts of "folksonomy", used in numerous photo service. Преимущества такого способа – повышенная точность, поскольку кому, как не автору, знать, что изображено на его картинке. The advantages of this method - high accuracy, because who, if not the author, to know what is depicted in his picture. Минусы – большой разброс качества индексирования. Cons - large scatter of the quality of indexing. Нередко подборки из сотни фотоснимков огулом описываются одним-двумя тегами, что немедленно отправляет эффективность последующего поиска в район нулевой отметки. Often clips from hundreds of photographs headlong describes one or two tags, which immediately sends the effectiveness of a subsequent search in the area of zero.
Третья группа технологий – контентный поиск изображений, он основывается на автоматическом распознавании образов и работает непосредственно с характеристиками самого изображения: цветом, композицией, образами объектов. The third group of technologies - Content image retrieval, it is based on the automatic recognition of images and works directly with the characteristics of the images: color, composition, images of objects. За счет использования достаточно сложных алгоритмов такие поисковики способны решать задачи, которые не по зубам традиционным сервисам. Through the use of rather complex algorithms, such search engines are able to solve problems that are too tough for traditional services. Среди подобных продуктов в настоящее время преобладают экспериментальные. Among these products is currently dominated by the experimental. Целую группу свежих и весьма любопытных служб в данной области предложил некоммерческий проект ALIPR, поддерживаемый Пенсильванским университетом (США). A group of fresh and very interesting service in this area suggested that non-profit project ALIPR, supported by the University of Pennsylvania (USA).
Тегирование
изображений Tagging images
Основой
проекта ALIPR является одноименная система автоматического тегирования
изображений. The basis of the project is the same name ALIPR
automatic tagging of images. Авторы системы – не новички в сфере контентного
анализа и поиска картинок. The authors of the system - not
novices in the field of content analysis and retrieval of images.
Они в
свое время занимались «семейными» веб-фильтрами, а также
интернет-поисковиком Simplicity. They were at one time engaged in
"family" web filters, as well as Internet search engines Simplicity.
Поисковик
ALIPR был запущен в 2006 году. ALIPR search engine was launched
in 2006. С тех
пор он неоднократно дорабатывался. Since then he has repeatedly
been crafted.
ALIPR ищет по тегам, а также опознает визуально похожие изображения ALIPR looking for tags, as well as recognize visually similar images
В отличие от многих проектов визуального поиска изображений, ALIPR ориентируется на применение старых добрых ключевых слов. Unlike many projects the visual image search, ALIPR focuses on the use of the good old keywords. Однако список присваиваемых изображениям тегов – так называемый поисковый образ – формируется автоматически и нестандартно: с помощью контентного анализа изображения. But the list of tags assigned to images - so-called search image - generated automatically and unusual ways: by using content analysis of the image. В ходе обработки новой картинки система проводит распознавание образов, за которым следует сравнение найденных на фото предметов с уже имеющейся базой тегов. During the processing of the new picture system performs pattern recognition, followed by a comparison of the found objects in the photo to an existing base tag. На основе этого сравнения снимок помечается тегами, которые обозначают обнаруженные на нем предметы. On the basis of this comparison shot marked tags that indicate the detected objects on it.
Запрос к ALIPR можно составить несколькими способами. Query ALIPR can draw several ways. Основной режим поиска – обработка визуальных запросов, т. е. образцов изображений. Basic search mode - visual processing of requests, ie, the sample images. Картинку можно загрузить со своего компьютера или же взять файл со стороннего сайта. These images can be downloaded from your computer or take the file from a third-party site. Для этого надо указать URL соответствующего файла в форме ALIPR или просто перетащить в это поле нужную картинку с открытой веб-страницы. To do this, specify the URL of the file in the form of ALIPR or simply drag and drop into the box you want the picture to open a web page. Если такого изображения нет в базе ALIPR, юзеру предлагается включить его в индексную базу и помочь системе в его описании. If this image is not in the database ALIPR, Unto the user is requested to include it in the index database and help the system in its description. На соответствующей странице выводится список популярных тегов, а также форма внесения собственных. At the appropriate page displays a list of popular tags, and the form to make your own. Полученная информация используется для обучения системы. This information is used to train the system.
Страница результатов содержит набор изображений и несколько инструментов уточнения запроса. Results page contains a collection of images and several tools refine the query. Каждая предлагаемая миниатюра снабжена двумя ссылками: Related и Similar. Each of the proposed miniature has two links: Related and Similar. В первом случае запускается фильтр, работающий с тегами картинки, и в этот список попадут изображения, описанные схожими тегами. In the first case start filter for tagged images, and this list will get the image, described similar tags.
Визуальный поиск от ALIPR внедрен на нескольких крупных фотохостингах Visual search of ALIPR implemented at several large photohosting
Во втором случае начинает действовать механизм контентного анализа предложенной картинки, и в перечне найденного демонстрируются изображения со схожей композицией и цветовой гаммой. In the second case becomes effective mechanism for content analysis of the proposed picture, and the list of found images are shown with a similar composition and colors. Необходимо отметить, что качество отбора «визуально близких» изображений у ALIPR весьма достойное. It should be noted that the quality of the selection "visually similar" images from ALIPR very worthy. К сожалению, использовать оба фильтра одновременно, то есть искать схожие изображения с одинаковыми ключевыми словами, пока нельзя, а ведь это могло бы стать очень удобным режимом поиска. Unfortunately, using both filters at the same time, that is to look for similar images from the same keyword can not yet, and yet it could be a very useful search modes.
В качестве компенсации нам предлагается несколько дополнительных фильтров, которые находятся в заголовке страницы результатов. As compensation, we are offered a few additional filters that are in the title page of results. Первый из них – фильтр оценок. The first of them - filter ratings. Поскольку ALIPR – это обучаемая система, кнопка оценки релевантности изображения выводится рядом со всеми миниатюрами на странице выдачи. Since ALIPR - a training system, the button assess the relevance of the image is displayed next to each thumbnail on the page of issue. Удачные «попадания» алгоритма можно отметить, проголосовав за них. The successful "hit" algorithm can be noted by voting for them. В меню фильтра можно быстро отобрать изображения с наибольшим количеством голосов или же оцененные недавно. In the filter menu, you can quickly select the image with the highest number of votes, or estimated recently.
Любопытен фильтр Emotions, который оперирует тегами, описывающими эмоции, вызываемые у пользователей тем или иным изображением. Interestingly filter Emotions, which operates the tags that describe the emotions caused by users or another image. Поделиться собственными впечатлениями можно с помощью опции Rate Emotions. Share your own experiences by using the options Rate Emotions. К огромному сожалению, названные фильтры применяются к базе в целом и не позволяют уточнять тематические запросы. Tragically, called filters are applied to the base as a whole and do not allow the case to clarify requests.
Поскольку ALIPR хорошо работает с тегами, в системе предусмотрен и привычный режим поиска с помощью текстовых запросов. Since ALIPR works well with tags, the system provides and the usual search mode using text queries. Здесь, правда, также есть свои особенности. Here, however, also has its own peculiarities. Запросы лучше составлять в виде перечня тегов. Requests to write better as a list of tags. Поскольку в ходе тегирования применяются технологии контентного анализа изображений, здесь прекрасно и, что важно, достаточно точно выполняются запросы типа «красные цветы в весеннем саду» или же «самолет на фоне облаков и заката», которые далеко не так хорошо обрабатываются обычными универсальными поисковиками. As in the tagging technology is applied content analysis of images, here is fine and, importantly, accurately executed queries such as "red flowers in the spring garden" or "plane on a background of clouds and sunsets, which are not so well handled by the usual universal search engines.
Нельзя не отметить, что ALIPR, в отличие от многих сугубо экспериментальных проектов контентного поиска изображений, может похвастаться и успешным практическим внедрением своих инструментов на других сайтах. It should be noted that ALIPR, unlike many purely pilot content-retrieval of images, can boast a successful practical implementation of their tools on other sites. Так, например, поиск ALIPR используется на нескольких тематических фотохостингах – в частности, на Terragaleria.com и Airliners.net. For example, search ALIPR used in several case photohosting - in particular, Terragaleria.com and Airliners.net.
Это достаточно крупные ресурсы с миллионами фотоснимков и активным сообществом посетителей, поэтому успешное функционирование ALIPR в довольно напряженных «полевых» условиях выгодно характеризует его алгоритмы. This is a sufficiently large scale to millions of photos and an active community of users, so the success of ALIPR very strained "field" conditions favorable characterizes its algorithms. Со временем, когда «матчасть» проекта будет способна воспринять соответствующую нагрузку, разработчики обещают выложить в свободном доступе API, с помощью которого к ALIPR смогут напрямую обращаться другие программы. Eventually, when the "materiel" of the project will be able to perceive the proper load, the developers promise to put in the public API, through which to ALIPR will be able to directly access other programs.
Оценка эстетики изображений
Evaluation of aesthetic images
Интересна
концепция следующего проекта авторов ALIPR – системы ACQUINE (Aesthetic
Quality Inference Engine). An interesting concept is the next
project sponsors ALIPR - System ACQUINE (Aesthetic Quality Inference
Engine). Это
экспериментальная разработка, назначение которой – автоматическая оценка
эстетической ценности и привлекательности художественных фоторабот.
This experimental design, the purpose of which - automatic evaluation
of aesthetic value and attractiveness of artistic photographs. Задача,
согласитесь, весьма амбициозная. The challenge, agree, very
ambitious.
В настоящее время авторы разместили свой сервис в общем доступе только в качестве демонстратора возможностей алгоритма. Currently, the authors have placed their service in the public domain only as a demonstrator opportunities algorithm. Дело в том, что это проект некоммерческий, его доступная вычислительная мощность ограниченна, а решение поставленной задачи требует значительных ресурсов, причем действующих в режиме реального времени, которых у девелоперов пока нет. The fact that this project is a nonprofit, its available processing power is limited, and the solution of the problem requires considerable resources, while operating in real time, which the developers have not yet.
Основой проекта ALIPR является одноименная система автоматического тегирования изображений. The basis of the project is the same name ALIPR automatic tagging of images. Ее авторы – не новички в сфере контентного анализа. Its authors - not novices in the field of content analysis.
Данная система разрабатывается с 2005 года, а ее первая интернет-версия появилась весной 2009 года. This system is being developed since 2005 and its first online version appeared in spring 2009. Как и ALIPR, она принимает в качестве запроса пользовательское изображение. As ALIPR, it takes a user query image. Взаимодействовать с ACQUINE крайне просто. Interact with ACQUINE extremely simple. С помощью формы на главной странице сервиса загружаем на него файл со своего компьютера или же указываем ссылку на фото, находящееся на каком-либо веб-сайте, после чего ждем результатов его автоматической оценки. Use the form on the home page of the service load on a file from your computer or set a link to a photo located on any web site, and then wait for the results of its automatic evaluation.
Подобная оценка имеет численное выражение и измеряется в диапазоне от ноля до ста. Such an assessment is a numerical expression and measured in the range from zero to one hundred. В такой шкале 50 приблизительно соответствует типичной, средней по эстетике, но профессиональной по качеству исполнения фотографии. In such a scale of 50 corresponds approximately to a typical, middle of aesthetics, but professional quality performance pictures. На сегодняшний день в базе проекта хранится порядка 160 000 изображений. To date, the database project is kept about 160 000 images.
Нетривиальные задачи требуют серьезного отношения, так что, если желаете получить отдачу от ACQUINE, не поленитесь ознакомиться с особенностями сервиса. Nontrivial problems must be taken seriously, so if you want to receive feedback from ACQUINE, do not be lazy to become familiar with the service. Не секрет, что людям свойственен субъективизм в оценке художественных произведений. It's no secret that people have a subjectivity in the evaluation of works of art. Компьютерная система же старается выдать относительно взвешенную оценку той или иной фотографии. The computer system also tries to give relatively balanced assessment of a picture. Однако, как специально оговаривают разработчики, полностью избавиться от субъективизма невозможно, поскольку это неотъемлемая часть эстетической оценки. However, as specifically stipulate the developers to get rid of subjectivity is impossible, because it is an integral part of aesthetic evaluation. Поэтому даже при работе с компьютерной системой стоит помнить, что у нее тоже может быть «собственное» мнение, которое не обязательно совпадает именно с вашими вкусами. Therefore, even when working with the computer system is worth remembering that she too may be "own" opinion, which does not necessarily coincide exactly with your tastes.
Для того чтобы не порождать попыток намеренного манипулирования оценками, все авторы, публикующие свои фото, на сервисе анонимны. In order not to create a deliberate attempt to manipulate the estimates, all authors who publish the photos, the service is anonymous. Разработчики напоминают, что ресурс не предназначен для оценки привлекательности изображенных на снимке людей или предметов, а оценивает общее впечатление от фотографии. Developers are reminded that the resource is not designed to assess the attractiveness of the pictured persons or objects, and evaluates overall impression of the picture.
Алгоритмы ACQUINE оптимизированы для манипуляций с полноцветными профессиональными фотоснимками. Algorithms ACQUINE optimized for manipulation of full-color professional photographs. В принципе, никто не запрещает использовать и другие разновидности визуального контента, однако эффективность системы при этом будет значительно ниже. In principle, nobody forbids to use other types of visual content, but the effectiveness of the system but will be considerably lower.
Особенно оговаривается то, что ACQUINE не будет работать с рисунками, новостными фото, снимками отдельных предметов крупным планом, а также просто некачественно выполненными и нечеткими фотоснимками. Especially stipulates that ACQUINE will not work with pictures, news photos, images of individual objects close up, and just unprofessional and fuzzy photographs. Минимальное разрешение фото, подходящего для анализа, – 600 х 600 пикс. Minimum resolution photo suitable for analysis - 600 x 600 pixels. Максимальный размер загружаемого снимка – 2 Мбайт. Maximum upload size photograph - 2 MB. Если некачественные фотки все-таки попадают в базу сервиса, их периодически удаляют. If poor quality pictures still fall into the base service, they are periodically removed.
Отдельно оговариваются возможные нюансы. Separately negotiated the possible nuances. Авторы упоминают несколько известных багов. The authors refer to some known bugs. Изображения в низком разрешении иногда могут получать неоправданно высокую оценку. The images in low resolution can sometimes get unfairly appreciated. Затрудняют обработку картинок и рамки, добавленные к фотографиям, чаще всего это также проявляется в завышении оценок. Difficulties in processing pictures and frames that were added to the photos, most often it is also evident in overestimation.
Дополнительных
инструментов у сервиса ACQUINE немного. Additional tools in the
service ACQUINE bit. Каждая миниатюра сопровождается значением
рейтинга, а также ссылками на оригинальное фото (если снимок был
загружен по URL-адресу) и другие работы этого же автора. Each
thumbnail is accompanied by a value rating, as well as references to the
original photo (if the photo has been uploaded on the URL-address) and
other works by the same author.
На
отдельной странице сервиса можно посмотреть статистические графики,
которые показывают распределение оценок фотоснимков за последние сутки и
все время деятельности сервиса, а также диаграмму, демонстрирующую, как
данный снимок оценили разные категории пользователей. On a
separate page of the service can see statistical charts that show the
distribution of ratings of photographs over the past day and all of the
time of service, as well as a chart that shows how this picture rated
different categories of users.
Для попадания в статистику юзер должен загрузить не менее 15 фотоснимков. To contact the statistics user must download at least 15 shots. Заметим, что ACQUINE – достаточно строгий судья: снимков с «отметками» выше 90 баллов в его базе не более трех с половиной процентов. Note that ACQUINE - quite a harsh judge: images with "marks" more than 90 points in its base not more than three and a half per cent. Наиболее часты «посредственные» оценки. Most common are "mediocre" rating. В категорию «до 40 баллов» попадает почти 55% присылаемых фотографий. In the category of "40 points" gets almost 55% sent in photos. Самая высокая средняя оценка творчества одного автора – 67 баллов. The highest average work of one author - 67 points.
Иллюстрирование
текстов Illustrating Texts
Не
менее оригинальная идея заложена в проекте Story Picturing Engine (SPE).
No less an original idea incorporated in the draft Story Picturing
Engine (SPE). Сервис умеет автоматически иллюстрировать
предлагаемые юзерами тексты. Tools can automatically nick
illustrate the proposed texts. Для этого используются результаты работы уже
знакомой нам по ALIPR системы автоматического тегирования изображений.
For this purpose, the work is already familiar to us ALIPR automatic
tagging of images. Интерфейс SPE предлагает набрать нужный текст в
соответствующем поле или же загрузить уже готовый текстовый контент в
формате TXT. Interface SPE offers typing text into the box or
download a ready-text content in a format TXT.
Назначение ACQUINE – автоматическая оценка эстетической ценности фоторабот Appointment ACQUINE - automatic evaluation of the aesthetic value of photographs
Система разрывает текст на отдельные предложения, выделяет в них ключевые слова и в соответствии с ними подбирает изображения из своей базы. The system breaks the text into separate proposals, identifies keywords that are in accordance with them picks up images from its database. Девелоперы предупреждают, что это прототип сервиса, который предназначен для простых текстов. Developers warn that it is a prototype service that is designed for simple text. Для многих тематических текстов нужны специфические базы изображений. For many of the case text should be specific database of images.
Получив такой запрос, система находит картинки, отмеченные подходящими тегами. Such a request, the system finds images marked with suitable tags. При этом учитывается не только простое совпадение ключевых слов, но и другие теги, созданные в ходе распознавания изображения. This takes into account not only the simple coincidence of keywords, but other tags, created in the image acquisition. Страница результатов содержит собственно предложенный текст, а также своеобразный «комикс», составленный SPE. Results page contains the actual proposed text, as well as a kind of "comic", compiled by SPE. Под каждой картинкой выводится список ее тегов. Beneath each picture displays a list of its tags. Использованные при обработке запроса теги выделяются жирным шрифтом. Used when processing a query tag in bold.
В системе SPE можно настроить количество изображений, требуемых для иллюстрации вашего текста. In the SPE system, you can configure the number of images needed to illustrate your text. Здесь можно либо задействовать переключатель Granularity, отвечающий за размер блока текста, которому будет соответствовать одно изображение, либо указать точное количество нужных картинок. You can either use the switch Granularity, responsible for the size of the block of text, which will correspond to one image, or specify the exact amount of the desired images.
Кроме того, здесь есть строка ввода дополнительных ключевых слов, задав которые можно облегчить системе обработку текста. In addition, there is a line input additional keywords, specifying that can facilitate the processing system. Географические названия, состоящие из нескольких слов, рекомендуют обязательно писать через дефис (например, Лас-Вегас). Geographical names consisting of several words, is recommended to write a hyphen (eg, Las Vegas). В настоящее время система работает только с текстами на английском языке. Currently, the system only works with texts in English. Поддержка других языков пока не планируется. Support for other languages is not planned.
Капча нового поколения Captcha
new generation
Активный интернет-серфер достаточно часто имеет
дело с капчами. Active Internet surfers often enough has to deal
with the captcha. По сути, это один из простейших примеров теста
Тьюринга, который позволяет избежать автоматических регистраций,
рассылки спама, DOS-атак и других нежелательных действий на веб-сайтах.
In fact, this is one of the simplest examples of the Turing test, which
allows you to avoid automatic registration, spam, DOS-attacks and other
unwanted actions on the web. Создать хорошую капчу нелегко: если сделать ее
простой, есть опасность быстрого взлома. Write a good captcha is
not easy: if you make it simple, there is the risk of rapid cracking.
Однако гораздо чаще встречается другая крайность: даже находящийся в трезвом уме пользователь со зрением «единица» просто не узнает символы за грудой закорючек, черточек и других элементов защиты. However, much more common in the other extreme: even being in sober mind the user with a view of the "unit" simply does not know the characters behind a pile zakoryuchek, strokes and other security features. Такие капчи весьма раздражают, мешают в работе и годятся разве что в качестве дополнительного средства убеждения зарегистрироваться или приобрести коммерческий аккаунт. This captcha is very annoying, interfere in the work and are suitable except as an additional means of persuasion to register or purchase a commercial account. ALIPR предлагает собственный подход к решению проблемы. ALIPR offers its own approach to solving the problem.
ALIPR используется на нескольких фотохостингах – в частности, на Terragaleria.com и Airliners.net. ALIPR used in several photohosting - in particular, Terragaleria.com and Airliners.net. Это крупные ресурсы с миллионами фотоснимков. This is a great resource with millions of photographs.
Прототип системы Imagination Captcha содержит два блока проверки «человечности» посетителя. The prototype system Imagination Captcha contains two blocks of testing "humanity" visitor. Первый из них представляет собой коллаж, состоящий из нескольких наложенных друг на друга и частично пересекающихся картинок. The first of these is a collage consisting of several overlapping and partially overlapping images. Юзеру предлагается навести курсор-перекрестье на центр любого из этих изображений. Unto the user is invited to hover-crosshairs on the center of any of these images. Если вы попали достаточно близко к центру – принимайте поздравления, вы прошли тест. If you get close enough to the center - to accept congratulations, you passed the test. Если же центр остался в стороне, загрузится новый коллаж. If the center left out, download a new collage.
Второй блок Imagination Captcha также построен на анализе изображений. The second block of Imagination Captcha is also built on the analysis of images. В окне браузера выводятся две панели. The browser window displays two panels. Одна содержит картинку, а вторая – список слов, среди которых есть слово, относящееся к объекту, представленному на изображении. One contains a picture, and the second - the list of words, among which is the word referring to the objects represented in the image. Задача человека сводится к опознанию объекта и выбору правильного слова из списка. The task of man is reduced to the identification of the object and choosing the correct words from the list.
Удобство и скорость работы с такими капчами действительно выше, чем с традиционными. Convenience and speed of work with captcha is actually higher than with traditional. Выигрывает и эргономика – пользователю даже не надо обращаться к клавиатуре, все действия производятся мышью. Wins and ergonomics - the user did not even have to turn to the keyboard, all actions performed with the mouse. Что касается надежности алгоритма, то здесь требуются эксперименты. With regard to the reliability of the algorithm, there should experiments. Разработчики вполне уверены в собственном продукте, открыто предлагают всем желающим опробовать своих роботов на Imagination Captcha и рассказать о результатах на сайте проекта. The developers are fully confident in their own product, open offer to all who wish to test their robots on the Imagination Captcha and present the results at the project site. Пока таких сообщений на ресурсе нет. While such messages in the resource no. UP UP
