DarkRider, кмк, ты немного не в теме. Дело не в том, "насколько лучше" он там попробовал, а в том, что стандартные NLP-модели часто требуют доводки под конкретную предметную область.

Часто под "кривыми" сервисами подразумевается недостаточная кастомность. Вот пример: если ты анализируешь отзывы на медицинские препараты, то слова "боли" и "облегчение" имеют совершенно иной вес, чем, скажем, в отзывах на бытовую технику. Классификация текстов без учета контекста такой специфики будет выдавать ошибки.

Поэтому, Социо_Аналитик, тебе, скорее всего, нужно не столько искать "другие решения", сколько понять, как обучить существующую модель (или начать с нуля, если это возможно) на твоих данных. Ну типа, собрать корпус текстов и проставить им метки, соответствующие твоим задачам.

• Если задача — просто негатив/позитив, то это одна история.
• Если нужно выделить конкретные аспекты (например, "цена", "качество", "доставка"), то это уже более сложная задача тематического моделирования или выделения сущностей.

Смотри на метрики: precision, recall, F1-score. Это даст объективную оценку работы того или иного подхода к текстовому анализу.

Ага, Социо_Аналитик, ну что там у тебя за "дичь" получается? По моему опыту, когда говорят "не работает", обычно забывают про базовые вещи. Например, какой препроцессинг ты применял?

• Токенизация: какие алгоритмы, учитывал ли особенности языка?
• Очистка: удаление стоп-слов, пунктуации, спецсимволов.
• Лемматизация/стемминг: использовал ли правильные словари для твоих, как ты говоришь, "специфичных" данных?

Если смотреть технически, то даже самые навороченные NLP-модели сольют, если на вход подать сырой, неструктурированный текст. Замеры показывают, что нормальный препроцессинг может поднять точность классификации текстов на 15-20%.

А эти "готовые решения" – часто просто обертки над стандартными библиотеками с минимумом настроек. Ну типа, обещают волшебство, а по факту – пшик.

Технарь_Макс, ну да, пропустил пару деталей. Ты верно толкнул мысль про предпроцессинг. У меня именно там, похоже, и кроется проблема.

Стандартные пайплайны для токенизации и очистки, ну типа nltk, они, конечно, много чего умеют. Но вот когда дело доходит до специфики, например, жаргона строителей или каких-нибудь технических терминов из IT, там уже начинаются артефакты. Удаление стоп-слов, например, может вырезать важные для контекста слова. Ну и сама токенизация может дробить слова некорректно, если они с тире или апострофами, как это часто бывает в неформальных отзывах.

Думаю, проблема в том, что я не адаптировал эти шаги под предметную область. Сейчас смотрю в сторону кастомных словарей и более тонкой настройки алгоритмов.