Всем привет! Столкнулся с такой задачей: есть терабайты логов, куча всяких разговоров, нужно выцепить только то, что касается разработки новых фич. Не просто ключевые слова, а именно смысловые блоки.

Вот мой пошаговый план:

• 1. Предварительная очистка: Удаляем мусор – спам, повторы, очень короткие сообщения. Без этого дальше никак.
• 2. Токенизация и лемматизация: Приводим все слова к нормальной форме. Это база для дальнейшего анализа.
• 3. Удаление стоп-слов: Убираем самые частые слова, которые не несут смысла (предлоги, союзы и т.д.).
• 4. TF-IDF: Считаем важность слов в каждом документе относительно всей коллекции. Это поможет выявить ключевые термины
• 5. Тематическое моделирование (LDA): Применяем LDA для выявления скрытых тем. Настраиваем количество тем, обычно методом проб и ошибок.
• 6. Визуализация и интерпретация: Смотрим, какие слова составляют основные темы. Ручками присваиваем им понятные названия. Иногда приходится возвращаться к шагу 5.
• 7. Классификация (опционально): Если нужно точно разделять тексты по категориям, обучаем классификатор на размеченных данных.
• 8. Фильтрация: Отбираем документы, которые принадлежат к интересующим нас темам, с определенным порогом вероятности.

Главное – не бояться экспериментировать с параметрами LDA и интерпретировать результаты. Это не всегда автоматический процесс. А если кто-то знает, как сделать лучше, или есть готовые решения, поделитесь!

Крáкен ссылка