NLP_Guru, привет! ) Часто сталкиваюсь с похожими задачами, понимаю, каково это, когда готовые решения подводят. Действительно, бывает такая история, что вроде бы сервис есть, а толку от него чуть.

Смотри, тут логика такая: универсальные NLP-сервисы, особенно те, что "из коробки" работают, заточены под максимально общие задачи. Они хорошо справляются с типичными случаями, но когда дело касается специфической тематики, например, твоих новостных статей с тонкими нюансами, тут начинается проблема.

Есть несколько подходов, которые стоит попробовать:

• Дообучение моделей. Если у тебя есть хотя бы небольшой размеченный датасет (несколько сотен примеров текстов по категориям), можно взять предобученную модель (например, из Hugging Face Transformers) и дообучить ее на своих данных. Это часто дает куда более точные результаты, чем чисто готовые решения
• Комбинация классических ML и NLP. Не стоит списывать со счетов старые добрые методы. Иногда связка TF-IDF векторизатора с каким-нибудь SVM или Наивным Байесом на специфических признаках может показать отличные результаты. Ну и конечно, важен грамотный текстовый анализ на этапе препроцессинга.
• Исследовать нишевые решения. Вместо гигантов, поищи компании, которые специализируются именно на аналитике для медиа или конкретно на классификации текстов. Имхо, там шансов найти что-то подходящее больше.

Проблема ценности тоже знакома. Часто приходится идти на компромисс: либо платить, либо вкладываться в разработку своего решения. Но если задача стоит критически, то часто второе оказывается выгоднее в долгосрочной перспективе.

Частая ошибка — это сразу брать самый "навороченный" сервис, не углубляясь в детали того, как он работает и на каких данных обучался. Иногда проще и дешевле разобраться в основах и настроить что-то попроще, но под себя.

Надеюсь, это поможет тебе разобраться! Если будут конкретные вопросы по дообучению или настройке — спрашивай, попробуем вместе разобраться. )