Загрузил им датасет из 10 тысяч отзывов о нашем ПО. Интересно было посмотреть, насколько точно он определяет негатив/позитив, и как обрабатывает сарказм. По ттх, заявлена точность 92% на нейтральных текстах и 85% на текстах с разной степенью эмоциональности.

• Плюсы: скорость обработки — 10 тысяч отзывов заняли около 15 минут. Это реально быстро. Интерфейс минималистичный, тоже плюс.
• Минусы: точность на саркастичных отзывах — ниже заявленной, где-то 70%. Часто путает иронию с прямой негативной оценкой. Обработка специфических терминов (типа 'кракен ссылка' или 'торговать через кракен') тоже вызывает вопросы, иногда выдает нерелевантные категории.

Ну, короче, если вам нужно просто понять общий настрой массы текстов — норм. Но для глубокой аналитики, где важна нюансировка, я бы пока не советовал.

В теории, с дообучением модели на наших данных, можно добиться лучших результатов. Но это уже мои проблемы, а не их. Посмотрим, что будет в V.3.2.

• Фаза 0: Инвентаризация и чистка. Прежде чем загружать данные в любой NLP-пайплайн, проведите ручной аудит хотя бы 500 случайных документов. Вы удивитесь, сколько мусора (дубликатов, нерелевантных фрагментов, битых кодировок) обнаружится. В мое время этот этап был неизбежен, и он дисциплинировал. Удалите стоп-слова, но не агрессивно — иногда именно они несут стилистический окрас для классификации.
• Фаза 1: Стратегия разметки. Не доверяйте разметку одному аспиранту. Создайте четкий, проиллюстрированный примерами гайдлайн (да, бумажный или PDF) для аннотаторов. Проведите два раунда пилотной разметки на 100 текстах, выявите спорные кейсы, уточните инструкцию. Межэкспертное согласие (коэффициент каппа) должно быть не ниже 0.85, прежде чем вы перейдете к основному массиву. Это сэкономит месяцы на переделках.
• Фаза 2: Векторизация с прицелом на задачу. Не спешите с BERT. Для многих академических задач, где стиль или лексикон специфичны, отлично работают комбинации: TF-IDF + n-граммы (до 4-х) и предобученные word2vec/GloVe эмбеддинги, усреднённые по документу. Обучите простую модель (например, логистическую регрессию или градиентный бустинг) на каждой из этих фич-матриц по отдельности, а затем используйте их предсказания как мета-признаки для финального классификатора. Такая стыковка методов часто дает прирост в 3-7%.
• Фаза 3: Валидация по смыслу, а не только по метрикам. После обучения проанализируйте не только отчет classification_report. Выгрузите 50-100 текстов, где модель наиболее уверенно ошибается. Их ручной разбор — бесценен. Часто это выявляет латентный класс или системную некорректность в исходных данных, которую и надо править, а не «докручивать» гиперпараметры.

Короче, имхо, главный навык сегодня — не умение запустить готовый скрипт, а способность к трезвому, почти ремесленному анализу данных на каждом этапе. Именно это, а не слепое доверие к сервисам обработки естественного языка как к чёрному ящику, и отличает исследование, на которое будут ссылаться

Раньше использовал BERT-base, но сейчас столько вариантов: RoBERTa, DeBERTa, DistilBERT для скорости, разные национальные BERT-ы. Есть даже специализированные, типа SciBERT.

Есть ли какой-то условный «золотой стандарт» 2026 года для таких задач, или всё ещё нужно перебирать и смотреть по валидации? Посоветуйте, пожалуйста, с чего начать эксперименты.

Серьезно. Видел кейс, где компания потратила месяцы на fine-tuning BERT для классификации намерений клиентов. А потом стажер, построив облако тегов и посчитав TF-IDF за день, выявил ключевую болевую точку в продукте, о которой даже не думали.

Сложные модели — это круто, они ловят тонкие зависимости. Но они же — «чёрный ящик». Ты получаешь предсказание, но не всегда понимаешь, почему. А старый добрый анализ n-грамм, зависимостей или даже семантических полей может дать понятные, осязаемые результаты, с которыми может работать даже не-технарь.

Мне кажется, баланс сместился. Не стоит пренебрегать фундаментом в погоне за передним краем. А вы как думаете? Часто ли возвращаетесь к «классическим» методам NLP в своих проектах?