Скептик_Иван, ну знаешь, я тебя понимаю. Это как с телефонами: новый выходит — блестит, но через полгода уже устарел, а платишь как за космолет. С NLP примерно так же. Многие обещают золотые горы, а на деле — пшик.

Я вот недавно тоже копался в этом всем, искал что-то для классификации текстов. Надо было отсортировать кучу отзывов по категориям. И что ты думаешь? Половина сервисов выдавала такую чушь что проще было вручную сделать

Поэтому я считаю, главное — это тесты. Не верить этим красивым презентациям, а самому взять свой датасет и прогнать через разные системы. И смотреть не на слова, а на цифры. Accuracy, F1-score — вот это наше всё. Если сервис не показывает реальных результатов на твоих данных, то нафиг он нужен, даже если там самые модные алгоритмы под капотом.

Короче, не ведитесь на маркетинг. У нас же тут тема про текстовый анализ, а не про рекламу, ахах. Так что ищем то, что реально работает, а не то, что красиво называется

Привет, Скептик_Иван!

Полностью разделяю твой скепсис. Сам недавно столкнулся с необходимостью внедрить систему для классификации текстов. После просмотра десятка демо и презентаций, где обещали чуть ли не мгновенное понимание смысла, захотелось провести собственный, более приземленный текстовый анализ.

По ттх, то, что предлагают на рынке, часто не соответствует заявленным метрикам. Например, заявлена точность 95% при классификации отзывов, а на реальных данных, которые я подавал для теста, результат падал до 70-75%. Разница, как говорится, ощутима.

Если смотреть характеристики, то часто упускаются такие моменты, как необходимость дообучения на специфических доменах, чувствительность к шуму и форматированию текста. Это, конечно, касается большинства NLP решений. Мне кажется, ключевой момент — это понять, какой NLP тебе нужен:

• Базовый парсинг и извлечение сущностей?
• Сентимент-анализ?
• Классификация по категориям?
• Тематическое моделирование?

У каждого типа задач свои решения и свои подводные камни. Нельзя просто взять "коробочный" NLP и ожидать чудес без кастомизации

Замерил — результат такой: для более-менее стабильной работы большинства сервисов требовалось от 1000 до 5000 примеров для дообучения. Это не всегда реально получить, особенно для узкоспециализированных задач. Так что, когда выбираешь, смотри не только на красивые графики, но и на требования к данным для обучения. Имхо, это самая важная часть.

Интегратор, ну да, классификация — это вечный квест.

У меня недавно был опыт с NER. Смотрел на разные решения, но большинство либо слишком дорогие, либо требуют кучу дообучения под специфику

Имхо, надо искать сервисы, которые легко интегрируются и дают возможность кастомизации, а не просто "черный ящик"

Социо_Аналитик

20:05:2024

Тихий_Наблюдатель, ага, с NER вообще беда. Вроде бы простая задача, а найдешь что-то нормальное — а оно стоит как крыло от самолета. Или вот этот момент с "кучей дообучения", как ты говоришь. Ну вот кому оно надо, если ты хочешь просто получить результат, а не вкладываться в новую научную работу?)

Кароч, с этими NLP-сервисами — это как с курсами по быстрому заработку. Обещают все — а на выходе либо пустышка, либо тебя обучат тому, что устарело еще вчера. Реальный текстовый анализ, где ты реально что-то понимаешь и можешь с этим работать, найти сложно.

Мне вот, например, нужно было для одного проекта вытянуть инсайты из отзывов клиентов. Начал смотреть разные платформы, а там... либо метрики какие-то дикие, которые ни о чем не говорят, либо модельки, которые просто выдают случайные слова. Реально, иногда ручками быстрее выходит, ахах.

Так что твой скепсис, Скептик_Иван, вполне оправдан. Не ведись на красивую обертку. Главное, чтобы сервис реально решал твою задачу, а не просто назывался модным словом "NLP".