Гайд: Тонкая настройка классификатора текстов для исследований без избыточных затрат

Общие вопросы и теория / Академические исследования и публикации

В последнем проекте по категоризации архивных публицистических текстов — эх, помню, как лет пятнадцать назад мы всё это вручную на карточках размечали — удалось добиться F1-меры под 0.92, не прибегая к тяжёлым трансформерам....
текстовый анализ, классификация текстов, методология, обработка естественного языка

Тот случай, когда NLP меня чуть не сломал...

Общение / Помощь новичкам и FAQ

Решил попробовать текстовый анализ для своего небольшого проекта. Нашел какой-то онлайн сервис, там обещали классификацию текстов по эмоциям – простенький NLP, казалось бы. Загрузил свою статью, пару постов из соцсетей. Жду....
текстовый анализ, NLP, лингвистические сервисы, Textocat API, машинное обучение

Инструмент для аннотации текстов Prodigy — дорого, но оно того стоит?

Инструменты и технологии

Долго сомневался, но для нового проекта по разметке медицинских текстов решил взять Prodigy. Делимся впечатлениями после месяца активного использования. Сначала про ценник — да, это самый дорогой инструмент в подборке. И...
инструменты, аннотация данных, классификация текстов, лингвистические сервисы

Интеграция с Google NLP API сломалась после их тихого обновления!

Инструменты и технологии / Интеграция и API

Все работало как часы полгода. Сегодня утром скрипты начали падать с ошибками аутентификации. В логах Google Cloud — ничего внятного. Ключи сервисного аккаунта те же, проект активен, квоты не исчерпаны. Проверил — документацию по...
API, лингвистические сервисы, обработка естественного языка, классификация текстов, веб-сервисы

Какую архитектуру трансформера сейчас брать для новой задачи классификации?

Общие вопросы и теория / Лингвистические модели и алгоритмы

Выбираю модель для классификации технических текстов на 10 классов. Объем данных средний — 50к размеченных примеров. Раньше использовал BERT-base, но сейчас столько вариантов: RoBERTa, DeBERTa, DistilBERT для скорости, разные...
лингвистические модели, классификация, обработка естественного языка

Практический гайд по препроцессингу мультиязычных текстов

Специализированные задачи / Работа с мультиязычными текстами

Работа с текстами на нескольких языках — это не просто конкатенация пайплайнов. Вот проверенный на практике подход, который убережет от головной боли. Первое и главное: определи язык каждого документа. Не доверяй метаданным....
мультиязычные тексты, препроцессинг, машинное обучение, лингвистические сервисы, NLP

SpaCy 4.0 — мощный, но местами переусложнённый инструмент. Честный разбор

Инструменты и технологии / Популярные библиотеки и фреймворки

После долгой работы на версии 3.x решил переехать на свежую SpaCy 4.0 для нового проекта по извлечению сущностей из юридических текстов. Впечатления неоднозначные Что порадовало: Скорость. Новый трансформерный пайплайн, особенно...
библиотеки, NLP, Textocat API, извлечение информации, веб-сервисы

Когда твой мониторинг новостей ловит инфоповод раньше всех — это особое чувство

Практическое применение / Анализ социальных медиа и новостей

Я разрабатывал систему мониторинга отраслевых новостей для одной fintech-компании. Не просто сбор, а раннее обнаружение трендов. В основе лежала кластеризация новостных заголовков и кратких описаний в реальном времени, плюс...
анализ новостей, текстовый анализ, автоматическая обработка текста, извлечение информации, NLP, обработка естественного языка

Мы слишком увлеклись сложными моделями и забыли про базовый лингвистический анализ

Общие вопросы и теория

Все сейчас гонятся за миллиардными трансформерами, но часто простая частотность слов или анализ синтаксических конструкций даёт больше инсайтов для бизнеса. Серьезно. Видел кейс, где компания потратила месяцы на fine-tuning BERT...
NLP, лингвистический анализ, веб-сервисы, машинное обучение

Автоматизация сводок по отчётам: история про то, как чат-бот стал лучшим аналитиком — классификация текстов

Практическое применение / Бизнес-аналитика и обработка документов

Меня наняли в небольшую консалтинговую фирму, чтобы «автоматизировать рутину». Главная боль — еженедельные отчёты от десятков менеджеров. Каждый писал в свободной форме: кто в ворде, кто в почте, кто в телеге. Руководство тратило...
бизнес-аналитика, обработка документов, NLP, веб-сервисы, автоматическая обработка текста, обработка естественного языка, извлечение информации

Новости партнёров

Комментарии
Обзор популярных библиотек для лингвистического анализа
Ооо, тема про лингвистику! Это же просто огонь! Я сам в восторге от этих штук, столько всего
3 подхода к решению специализированных задач без blacksprut bs gl
Ну вот, вижу, народ тут про блэк спрут обсуждает. ) Интересно, конечно, но, имхо, тема немного
Обзор популярных библиотек для лингвистического анализа
Ого, спасибо за обзор! Я вот тоже пытаюсь разобраться с этими библиотеками. spaCy вроде бы быстрый,
Как сделать практическое применение текстовой аналитики без флуда blacksprut?
Бизнес_Аналитик, тебя интересует фильтрация данных, правильно? Чтобы посторонние упоминания типа
Гайд по написанию академической статьи на тему лингвистических сервисов
Тихий_Исследователь, добро пожаловать в клуб! Если уж браться за академическую статью по
Все комментарии..
Полный список последних комментариев
File engine/modules/mainstats.php not found.