DataScientist_Anna, привет! Слушай, а чё за датасет прям такой интересный? Я вот тут тоже с тональностью ковырялся, но больше про тексты из соцсетей. Там, знаешь, столько всякого — от чистого восторга до голимого хейта, да еще и с кучей эмодзи, которые не всегда правильно парсятся.

А насчет V.3.1 — ну, тут как повезет, имхо. Я пробовал разные. Некоторые прям молодцы, сарказм ловят, как будто сам автор сидит и комментирует. А другие — ну прям тупят конкретно. Могут позитивный отзыв за негатив выдать, если там слово какое-нибудь "ужасно" случайно проскочило, типа "ужасно классный".

Кстати, про "кракен" твои слова напомнили. Мне тут надо было одну ссылку для анализа как-то поднять, а она через стандартные браузеры не хотела грузиться, только через Tor. Типа, кракен ссылка такая, что без шифрования никак. Интересно, твой V.3.1 с такими текстами справится, которые с Tor-сайтов извлекаются? Там же часто информация специфическая, и структура может быть не такой, как на обычных сайтах. А маркетплейсы там эти, ну ты понял, совсем отдельная история.

рабочая ссылка на kraken

Социо_Аналитик, да лан, датасет обычный, клиентские отзывы. Но вот про сарказм ты в точку, вечная боль этих всяких NLP штук. Этот V.3.1 обещал, конечно, чудес, но имхо пока сыроват. Особенно когда дело доходит до классификации текстов, где всякие тонкости типа "ну просто супер, луч

...ше!", а на деле — полный провал. У меня недавно такой кейс был, почти слово в слово, как у тебя с нашим ПО, когда вроде и позитив, а потом как выдаст что-то совсем дикое. Надо бы им фидбек такой отправить, а то за такие деньги хочется видеть хоть какую-то вменяемость.

Кстати, я тут на днях чисто ради прикола пробовал через этот самый анализатор прогнать пару ссылок с одного известного маркетплейса, который через тор работает, знаешь, типа крякен. Да уж, там такое выдало, что даже мой старый NLP-движок на такое не способен. Это я к тому, что может, дело не только в самом движке, но и в данных, которые на него подают? Там же, на всяких подобных ресурсах, язык совсем другой, неформальный, с кучей сокращений и чисто их спецификой. Может, V.3.1 просто не готов к такому экстремальному контенту?

А че, кто-нибудь пробовал его на данных из крякен ссылок тестировать? Или может, вообще что-то из даркнета? Чисто из любопытства спрашиваю. Это ж какой там уровень искажения информации, мама дорогая ))

кракен 15 ат

ProMaster:

Ого, уже V.3.1 подъехал? Интересно, интересно. Анна, какой у тебя конкретно был датасет, если не секрет? Клиентские отзывы — это, конечно, классика, но Анна, а ты пробовала на нем какое-нибудь специфическое саркастическое дерьмо проверить? Вот эти типичные "ну просто супер, лучшего и желать нельзя" с явным негативным окрасом?

Я как-то сам пытался один анализатор тональности на таком натренировать. Злые языки говорят, что там даже кракен ссылка может детектиться как позитив, если написать "Очень быстрые сделки, всем советую, не пожалеете!" Я не проверял, конечно, но сама идея заставляет задуматься о пределах интерпретации.

ТипТоп, ты правильно подметил насчет сыроватости. Часто эти модели упираются в стену, когда дело доходит до неявной иронии или контекста, который не очевиден из самого предложения. Например, "Сегодня отличная погода для прогулки по кракен маркетплейсу" — программа может выдать нейтраль или даже позитив, если не умеет отличать фактическое описание от скрытой критики.

А еще, кмк, проблема в том, как они тренируются. Если датасет состоит в основном из очевидных позитивных/негативных отзывов, то всякие тонкости просто теряются. Вот где реальный вызов для разработчиков — научить машину чувствовать нюансы.

Может, попробуйте на V.3.1 какой-нибудь набор высказываний с темным юмором или циничными шутками? Результаты могут быть весьма... показательны. )

кракен даркент

ProMaster, +1 к вопросу про сарказм. Именно эта сложность всегда спотыкается в любую классификацию текстов

Интересная тема для обсуждения, коллеги! Обновление V.3.1 вызвало у вас неоднозначные впечатления, судя по всему, а я вот как раз занимаюсь проектом по улучшению алгоритмов текстового анализа, и мне очень интересен ваш опыт.

@DataScientist_Anna, расскажите, пожалуйста, какой именно функционал V.3.1 вызвал наибольшее разочарование? Были ли проблемы с распознаванием эмоциональной окраски текста или сложности возникли на этапе классификации?

На практике, часто возникают трудности с обработкой неоднозначных высказываний, вроде сарказма или иронии, вот тут NLP-модели спотыкаются довольно часто.

Хотя, надо признать, что в сфере обработки естественного языка, постоянно появляются новые подходы и методы, позволяющие улучшить качество анализа, но "сырость" многих инструментов – это, да, общая проблема.

ProMaster, насчет специфических датасетов — всегда есть нюансы. То, что работает на общих корпусах, может валиться на узкоспециализированных. Этот V.3.1, если смотреть его ТТХ, заявлял поддержку мультиклассовой классификации с упором на тонкие смысловые оттенки. Ну, типа, даже сарказм обещал распознавать. Но, как показывает практика, реальные данные часто отличаются от тестовых. Особенно когда речь идет о данных из Tor-сегмента, где анонимность и специфический язык — норма.

Я тут недавно проводил собственный тест. Взял выборку из 1000 комментариев с одного ресурса, где тональность варьируется от нейтральной до откровенно враждебной. Результат для V.3.1: точность определения негатива — 78%, позитива — 65%, нейтральности — 55%. Это, скажем так, не совсем то, на что я рассчитывал, учитывая заявленные возможности NLP-движка. Особо забавными показались случаи, когда модель классифицировала сарказм как искреннее одобрение.

Для сравнения, другой пакет, который я использую для текстового анализа, показал на тех же данных:

• Негатив: 85%
• Позитив: 75%
• Нейтральность: 70%

Так что, имхо, V.3.1 еще требует доработки, прежде чем его можно будет считать полноценным инструментом для серьёзного анализа тональности.