Мы используем следующие подходы для sentiment analysis:

• Тонально окрашенные ключевые слова и фразы бывают контестно-зависимыми и контекстно-независимыми. Первые определяются по карте рисков.
• Контекстно-независимые слова и фразы имеют конечное число состояний и позволяют задавать исходные данные для машинного обучения
• Для определения тональности важен принцип “И” - если первая фраза имеет позитивной окраску, то вторая после “И” с большой вероятностью тоже.
• Важнейшая составляющая тональной окраски объекта - наличие слов, инвертирующих тональность, части при дополнительном предикате.
• Семантическую близость окрасок можно рассчитать с помощью расстояния между объектом и термом-окраской - оно всегда стремится к 0.
• Тонально окрашенные слова вне контекста называют полярными: позитив - хороший, отличный, лучший, негатив - плохой, ужасный, худший.
• Подходы для определения термов с тональной окраской: ручной, корпусно-зависимый и на основе словарей (а-ля wordnet).

Контекст может быть очень сложным и включать в себя другие контексты. Для понимания логики работы системы лучше всего рассмотреть конкретную задачу, решение которой в ручном режиме требует больших человеческих усилий и времени.

Пример: необходимо отследить все публикации по оператору мобильной связи life. Определенную сложность для мониторинга представляет омонимия - в России выпускается журнал с таким же названием, поэтому для оптимальной рабоы надо задавать сложный контекст.

Контекст 1. Сфера деятельности (профессиональный) - включает все ключевые термины, которые, как правило, используются в контексте деятельности компании и все вместе составляют ее семантическое описание.

Ключевые слова: телекоммуникации, мобильная связь, мобильный оператор, сотовый оператор, абоненты, тарифы, абонентская база, посекундная тарификация, безлимитный доступ, prepaid, безлимитный, WAP, GPRS, телефонный разговор, мобильный интернет и т.д.

Контекст 2. Процессы, которые связаны с деятельностью оператора life:), но могут быть одними и теми же для других компаний, работающими по другим направлениям.

Ключевые слова: компания, договор, отчет, лицензия, тендер, тариф, ставки, стоимость, цены, повысились, понизились, отчет, жалобы, станция и т.д.

Контекст 3. Названия конкурентов и партнеров, торговые марки задают еще один важный контекст, даже если других характерных слов в тексте нет.

Ключевые слова: МТС, Киевстар, Билайн, Голден Телеком, PeopleNET и т.д.

Таким образом, задача контекстного мониторинга сводится к нахождению пересечения различных контекстом, что существенно упрощает эту задача для человека.

В общем случае задача мониторинга сводится к нескольким этапам.

Этап постановки задачи:
1. Пользователь должен указать критерии отбора информации, таких как поисковый запрос или группа запросов;
2. выбрать временные рамки;
3. определить пространство, в котором расположен нужный объект (например, регион).

Этап получения результатов. В качестве примера взят металлургический холдинг:
1. получить все компании, входящие в холдинг;
2. вывести список компаний-конкурентов;
3. список спикеров - лица, озвучивающие официальную позицию компании (или холдинга);
4. динамика, тренды - например, производство упало или выросло;
5. связи между объектами - к примеру, предприятие А заключило контракт с предприятием Б;
6. рейтинг источников - по оригинальности или маргинальности (перепечатки);
7. рейтинг журналистов, пишуших на тему, затрагивающую предприятия холдинга;
8. информацию о бизнесе компании

Возьмем любое событие, давшее информационный повод медиасреде. Оно может быть как статичным, не иметь дальнейшего развития (например, футбольный матч), так и динамичным, развивающемся во времени, как военный конфликт. Статичный информационный повод обычно затухает достаточно быстро, так как люди быстро теряют интерес к событиям, которые однажды произошли, но уже не повторятся. Мало кого интересует, например, прошедшая в Пекине Олимпиада - она закончилась и стала историей, поэтому и развития этой темы никогда больше не будет.

Совершенно другая ситуация с информацией, которая постоянно “на слуху” и непрерывно видоизменяется, обрастая новыми подробностями и комментариями. К примеру, сообщения о курсах валют относятся к важным информационным поводам, так как от этой информации зависит экономическая ситуация в любой стране. Ньюсмейкером в данном случае всегда выступает Национальный банк, объявляющий курсы валют на текущий день, после чего эту информацию подхватывает медиасреда, передающая ее всем остальным. Информационный повод здесь один, однако он дает следующие искажения потока:
- новости
- статьи, аналитика в прессе
- сюжеты на ТВ
- комментарии экспертов и рядовых граждан

При анализе полученного медиаполя можно выделить общие тезисы, передающие одну и ту же информацию, а это означает, что информацию можно сжать практически без потери качества и получить на выходе некий относительно небольшой поток, передающий только суть всех связанных фактов и событий. Если задать в информационном пространстве некий фактор (назовем его фактором новизны), можно показать развитие любого события во времени, когда информация постоянно пополняется новыми фактами или опровергается.

В долгосрочной стратегии подобный подход позволяет оставлять наиболее значимые данные, из которых можно собирать целые рефераты или компоновать исторические факты. Энциклопедия, которую пишет робот (вот вершина человеческого гения!) становится совершенно реальным проектом, в сравнении которым Wikipedia просто меркнет.

О важности комментариев в информационном потоке можно судить по следующим параметрам:

1) информационная завершенность - комментарий по сути представляет мини-заметку на тему, заданную основным текстом, то есть по сути это тоже полезный контент;

2) комментарии в большинстве своем выражают незангажированное мнение пользователя, поэтому его можно использовать при социологических исследованиях для объективной оценки происходящего;

3) комментарии могут давать информацию даже более полезную, чем оригинальная заметка, после которой они появились;

4) комментарии могут влиять на общественное мнение, поэтому могут быть использованы для увеличения продаж или ремомендаций, например;

5) комментарии могут уходить в сторону от темы, заданной основной заметкой, и создавать собственное информационное пространство.

6) комментарии могут размещаться на разных страницах с оригинальной заметкой, поэтому должны быть связаны с ее текстом.

На любой веб-странице есть некая информация, которая нужна пользователю, остальное же робот должен отбрасывать как информационный шум:

1) текст, передающий основную информацию - полезный слой для поиска информации

2) нетекстовая информация: картинки, видео-, аудиофайлы - полезная для агента информация

3) интерактивная информация: формы, кнопки и т.д., которые позволяют динамически управлять сайтом - бесполезная информация

4) другое: таблицы стилей, метаданные и т.д. - бесполезная информация

Полезная страница - конечная точка на веб-сайте, в которую должен зайти робот, чтобы получить наиболее полную информацию:

1) текст новости

http://сайт.ком/business/realestate/744349

2) текст поста

http://блог.ком/node/111.html

3) обсуждение на форуме

http://форум.ком/showthread.php?t=308351&page=4

Бесполезная страница мешает получению полной информации и, как правило, является промежуточной точкой, куда попадает пользователь при просмотре веб-сайта:

1) Стартовые страницы

http://сайт.ком

2) Внутренние страницы разделов

http://сайт.ком/news/

3) Страницы тегов:

http://сайт.ком/tag/web/

Бесполезные страницы должны подавляться различными фильтрами и помечаться как информационный шум.

В результате в базе должны быть сохранены только сообщения, полученныя из конечных точек веб-сайта.

В современном Интернете можно отметить следующие типы сайтов:

1) Корпоративные ресурсы, содержащие информацию о сфере деятельности и контакную информацию. Могут также иметь пресс-центр и новостной (или аналитический) раздел.

Контент создают сотрудники компании или организации, которая владеет ресурсом.

2) Тематические сообщества - это форумы, социальные сети, группы и клубы по интересам.

Могут также содержать календарь событий, новости, статьи, блоги - любую интересную информацию.

Контент создают сами пользователи, состоящие в сообществах.

3) Образовательные и информационные сайты содержать большое количество обучающей информации

Контент создают владельцы этих ресурсов.

4) Интернет-магазины и сайты для продажи чего-либо в онлайне содержат каталоги товаров и их краткое описание. Могут содержать разделы с новостями.

Наполнением занимаются владельцы этих сайтов.

5) Новостные сайты - могут наряду с новостями содержать аналитику и комментарии пользователей.

Основной контент создают корреспонденты и модераторы сайтов, пользователи же создают собственный контент, оставляю собственную точку зрения в виде комментариев.

6) Блоги - обычно небольшие ресурсы, которые ведут один или несколько человек.

Как правило, контент создает владелец блога.

7) Ресурсы с бесплатными объявлениями наполняются самими пользователями, однако информация на них обычно очень быстро устаревает и спустя некоторое время становится абсолютно бесполезной.

Контент создают сами пользователи, размещая объявления на сайте.

8 ) Порталы объединяют сервисы поиска, новости, сообщества и другую информацию.

Контент собирают владельцы порталов, обычно размещая на сайте материалы с других сайтов, то есть по большей части эта информация неоригинальная. Однако порталы интересны как информационные площадки, с помощью которых можно донести аудитории нужную информацию.

Пока еще не все поняли, что для успеха в период кризиса нужно получить преимущество над конкурентом, а это может быть все, что угодно - цена, функциональность, гибкость или что-то другое, и пытаются экономить на самом важном - информации. А это - стратегия будущего поражения.

Самое поразительное, что даже люди, работающие с информацией (и зарабатывающие на ней) еще не поняли - недостаточно просто собрать информацию, нужно получить еще сразу же после появления и успеть использовать, иначе это сделают конкуренты. К сожалению, PR-индустрия в Украине сейчас находится в таком подвешенном состоянии, что иногда не совсем понятно, как же отечественные компании будут оптимизировать свои расходы - в основном же все сводится к банальному обрезанию бюджетов, а речь о пересмотре стратегии развития даже не идет.

Честно говоря, непонятно, почему все забыли о бенчмаркинге, который широко распространен на Западе - здесь всегда можно почерпнуть отличные примеры не только для выживания, но и для захвата новых рынков. Деньги ведь никуда не делись - большинство компаний просто заморозили инвестиционные программы и перестали развиваться, пытаясь пересидеть сложные времена, однако собственные активы по большей части сохранили.

В период кризиса резко уменьшился путь информации к потребителю, поэтому важнее всего получить ее как можно скорее и обойти конкурента. Здесь может быть множество примеров, причем из разных отраслей.

Недвижимость:
1) риелторы должны быстро получить информацию от потенциального покупателя и предложить ему выгодные варианты, пока это сделало конкурирующее агентство;
2) хозяева, которые хотят сдать свою квартиру, должны успеть предложить ее клиенту, пока это не сделал кто-то другой;

Работа и HeadHunting:
3) агентство должно как можно быстро получать информацию о всех увольнениях и назначениях, чтобы быстро предложить работу уволенному сотруднику;
4) хедхантеры обязаны отслеживать информацию о расширении или сворачивании бизнеса различных компаний, чтобы вовремя предложить подходящую вакансию или резюме.

Продажи:
5) продавцы, если они и дальше хотят продавать, должны отслеживать все акции и скидки, которые предоставляют конкуренты, и реагировать на них адекватными действиями;
6) изучать предложение на рынке и предлагать оптимальное соотношение цена/качество, которое сможет “переварить” рынок.

Производители:
7) должны непрерывно изучать конкурентные преимущества продуктов, которые выпускают другие производители, и быстро дополнять свой товарный ряд;
8 ) для понимания востребованности рынком нужны маркетинговые исследования и непрерывный мониторинг информации о деятельности конкурентов, что во многих случаях не делается или делается спустя рукава.

Это далеко не полный перечень, однако все это Мониторикс уже умеет делать, причем очень быстро и эффективно. Мы можем не просто собирать информацию за определенный период, мы можем выделять ключевые направления, в которых развиваются компании-конкуренты и проводить сравнительный анализ за любой период времени (например, год).

Мы абсолютно уверены, что Мониторикс - это будущее поисковых технологий…

Чтобы разобраться с ответом на этот вопрос, нужно сначала разобраться, как же Мониторикс работает. Первое, что надо понять - интеллектуальный агент не привязан к шаблонам сайтов, как это делают другие системы, он изучает структуру страницы в процессе распознавания страницы. Это дает возможность не только гибко обучаться и производить мониторинг сайтов на наличие нужной информации, но и быстро индексировать ссылки в текстах, которые попадаются на пути робота.

Все хорошо, однако сегодня у нас нет таких ресурсов, которые есть у Яндекса и Гугла, поэтому Мониторикс поступает точно так же, как человек, который хочет наиболее полно собрать информацию - пользуется другими поисковыми системами для сбора полезных ссылок и нахождения новых сайтов, которые затем ставятся в обход. Однако для запуска метапоискового агента нужно создать объект и описать его поисковыми запросами, в противном случае Мониторикс будет показывать все, что есть в его базе на данный момент, не используя внешние ресурсы, которые очень часто могут дать множество полезных ссылок.

Поэтому наш совет простой - если Вы только зарегистрировались в Мониториксе и попытались что-то найти в поисковой базе, не спешите делать окончательные выводы о полноте информации, которая была выведена. Если Вы потратите немного времени и в начале работы создадите объект мониторинга, то спустя некоторое время сможете получить полную информационную выжимку по теме и из внешних источников. Кроме того, у нас есть и опция ручного добавления списка интересующих сайтов, поэтому полнота информации в данном случае во многом зависит и от Вас, уважаемые пользователи.

1) пресс-релиз, выпущенный самой компанией
2) новость, которую подхватили журналисты
3) комментарии под новостью, оставленные заинтересовавшимися людьми
3) объявление о поиске регионального директора, размещенное представителями компании
4) обсуждение в блоге компании
5) обсуждения на форумах
6) сообщения о поиске директора в специализированных социальных сетях
если бы директор был сразу найден, то
7) об этом сказали бы в ТВ-новостях или по радио
8 ) написали в прессе
после открытия офиса:
9) его месторасположение включили бы во все справочники и каталоги
10) напечатали бы буклеты и прочую атрибутику, соответствующую статусу
11) появились бы первые отзывы о деятельности нового директора

Как видим, одно событие породило различные информационные потоки, которые начали распространяться по разным каналам. Эту информацию можно и нужно отследить.