DOI: 10.7256/2454-0714.2016.4.21438

Аннотация: В данной статье рассматриваются вопросы автоматической обработки содержимого веб-ресурсов. Поскольку скорость устаревания передаваемой во всемирной сети информации очень велика, актуальной темой становится своевременное извлечение необходимых данных из сети интернет. Объектом исследования являются веб-ресурсы, содержащие в себе неадаптированный к автоматизированной обработке текст. Предметом исследования является набор программных средств и методов. Особое внимание уделяется определению категорий объявлений, расположенных на специализированных сайтах. Также рассматриваются прикладные аспекты разработки универсальной архитектуры систем сбора информации. В ходе данного исследования использовались следующие методы: аналитический обзор основных принципов разработки систем автоматизированного сбора информации и анализа естественных языков. Для получения практико-ориентированного результата использовались методы синтеза и анализа. Особым вкладом авторов в исследование темы является разоработка автоматизированной системы сбора, обработки и классификации информации, содержащейся на веб-ресурсе. Новизна исследования заключается в использовании нового подхода к решению данной проблемы на основе учета семантики и структуры характерной для конкретных сайтов. Основными выводами проведенного исследования являются применимость и эффективность используемого метода классификации для решения данной задачи.

DOI: 10.7256/2306-4196.2015.5.16589

Аннотация: В данной статье рассматриваются методы обнаружения автоматизированного сбора информации с веб-ресурсов. Приводится классификация данных методов, учитывающая современные подходы. Производится анализ существующих методов обнаружения и противодействия веб-роботам, возможностей их комбинирования и ограничения использования. На сегодняшний день не существует открытой системы обнаружения веб-роботов, пригодной для использования в реальных условиях. Поэтому разработка комплексной системы, включающей в себя различные методы, методики и подходы, является актуальной задачей. Для решения данной задачи был разработан программный продукт - прототип системы обнаружения и проведено его тестирование на реальных данных. Теоретическая значимость данного исследования состоит в развитии актуального направления в отечественном сегменте, разработке системы обнаружения веб-роботов на основе новейших методов и усовершенствование лучших мировых практик. Прикладная значимость заключается в создании базы для разработки рабочего инструмента, который является актуальным продуктом и обладает спросом и перспективой дальнейшего использования.