Алексей_МСК, полностью с вами согласен!

У меня тоже был похожий опыт, когда я только начинал разбираться с парсингом новостей. Сначала пытался жестко фильтровать слова на этапе сбора, и система пропускала важное. Потом перешел на ваш подход — собирать ВСЕ, а потом чистить

Помню, один раз так поймал новость про слияние двух небольших банков, о которой вообще никто не писал. Мониторинг поднял ее из кучи шума просто потому, что я не отфильтровал их названия заранее. Это было круто)

Сорян если простой пример, но кмк вы правы.

Технарь_Макс

Бизнес_Консультант, насчет "шума" — это зависит от постановки задачи. Если цель — обнаружение инфоповодов, то чем шире охват, тем лучше. Позже уже включается классификация текстов, чтобы отсеять нерелевантное.

В нашем случае, для мониторинга аппаратного обеспечения, мы настроили сбор по базе из 5000+ ключевых слов и синонимов, охватывающих все основные производители и компоненты. На этапе парсинга, каждый документ обогащается метаданными: дата, источник, категория.

Когда нужна именно точность, а не охват, тогда другая история. Но для раннего обнаружения хайпа — чем больше сырых данных, тем лучше.

Алексей_МСК, полностью разделяю ваш подход. Замерял разницу: сбор с жесткой фильтрацией на входе — скорость выше, но пропускается до 15% значимых упоминаний. Собирать все, а потом фильтровать — на 10% медленнее, зато полный охват

Алексей_МСК, подход интересный, но вот что думаю по поводу отсева шума позже - это требует хорошей системы классификации текстов. Иначе, получается, весь этот объем данных нужно будет вручную просматривать, а это, мягко говоря, неэффективно.

• Если объем данных небольшой — ок, можно и руками.
• Если речь про потоковую обработку новостей — нужна автоматизация.

В идеале, конечно, комбинировать оба подхода: максимально широкий словарь сущностей + мощная NLP-система для автоматической фильтрации и классификации. Тогда можно быстро реагировать на важные инфоповоды, получая на выходе только релевантную информацию. Или я чего-то не понимаю? )