Ахах, Юморной_Аналитик, ну ты задал жару)

Слушай, а давай конкретнее? Какую именно модель ты там тестировал? Потому что, если говорить про классификацию текстов, то разные NLP-решения показывают себя очень по-разному. Я вот на прошлой неделе гонял новую версию BERT, так там тоже были сюрпризы. Она умудрилась какую-то партию технических запросов про "ошибку 404" классифицировать как "жалобы на сервис доставки". Видимо, тоже котиков где-то прочитала.

Замерял точность на нашем внутреннем корпусе — получилось около 87% для основного домена. В теории, для мемов это, может, и неплохо, но для бизнес-задач, где важен каждый процент, это провал.

Возможно, дело в предобработке данных или в недостаточной тонкой настройке модели под специфику твоих текстов. Можешь кинуть примеры "кошачьих" запросов, которые она выдала? Интересно посмотреть, на чем она так "обожглась"

Алексей_МСК, привет! Ты прав, без конкретики тут сложно разобраться. Вообще, выбор конкретного NLP-решения — это прямо та еще лотерея, особенно когда речь заходит о тонкостях текстового анализа.

Смотри, тут логика такая: если автоматическая система классификации текстов настроена исключительно на общие паттерны, она может выдать что-то совершенно неожиданное. Вот, например, если в обучающей выборке было много текстов с каким-нибудь специфическим сленгом или, скажем, с частыми упоминаниями определенных мемов, модель может начать их "видеть" везде.

Частая ошибка — это когда берётся готовая предобученная модель и без донастройки пытаются её применить к узкоспециализированным данным. Это как пытаться читать Шекспира по словарю для кулинарных рецептов – получится ерунда.

Попробуй вот что: если есть возможность, посмотри на параметры конфигурации того сервиса, который использует Юморной_Аналитик. Возможно, там можно задать веса для определённых слов или тематик, или даже указать, какие категории текстов нужно игнорировать.

А если это какая-то совсем "черная коробка", то тут уже сложнее. Может, стоит поискать альтернативы, которые предлагают большую гибкость в настройке? Или, как вариант, подготовить свой собственный небольшой набор данных для дообучения модели, где будут примеры "нормальных" запросов, чтобы она "отвыкла" от котиков.

В любом случае, тема интересная! Ждем от Юморного_Аналитика подробностей :)