Привет всем. Решил тут протестировать новый движок для анализа тональности, V.3.1. Обещают всякое, но мне интересны чисто технические параметры.
Загрузил им датасет из 10 тысяч отзывов о нашем ПО. Интересно было посмотреть, насколько точно он определяет негатив/позитив, и как обрабатывает сарказм. По ттх, заявлена точность 92% на нейтральных текстах и 85% на текстах с разной степенью эмоциональности.
- Плюсы: скорость обработки — 10 тысяч отзывов заняли около 15 минут. Это реально быстро. Интерфейс минималистичный, тоже плюс.
- Минусы: точность на саркастичных отзывах — ниже заявленной, где-то 70%. Часто путает иронию с прямой негативной оценкой. Обработка специфических терминов (типа 'кракен ссылка' или 'торговать через кракен') тоже вызывает вопросы, иногда выдает нерелевантные категории.
Ну, короче, если вам нужно просто понять общий настрой массы текстов — норм. Но для глубокой аналитики, где важна нюансировка, я бы пока не советовал.
В теории, с дообучением модели на наших данных, можно добиться лучших результатов. Но это уже мои проблемы, а не их. Посмотрим, что будет в V.3.2.
Комментарии 1