Мария_Лингвист, интересно узнать про этот LexiSense Pro! Сам я пока не успел попробовать, но тема текстового анализа меня всегда цепляла. Особенно интересно, как там с NLP дела обстоят. Обещают же всякое — от автоматического суммирования до определения тональности.

Если у него есть какие-то продвинутые функции, вроде классификации текстов по каким-то специфическим признакам, которые раньше приходилось вручную вытачивать, то это прямо находка для исследователей. А то иногда сидишь, кодируешь данные часами, а потом выясняется, что какой-нибудь алгоритм уже давно научился делать это лучше и быстрее.

Расскажи потом подробнее, если не сложно. Любопытно, как он в сравнении с тем же NLTK или spaCy работает. А то вечно хочется чего-то новенького, а на практике все сводится к тем же старым добрым инструментам.

Библиотекарь, насчет NLP — у LexiSense Pro заявлены следующие модули:

• классификация текстов (по заданным категориям)
• извлечение именованных сущностей (NER)
• анализ тональности (sentiment analysis)
• автоматическое реферирование

По характеристикам, если смотреть на заявленные метрики, он должен быть неплохим. Я как раз проводил тестирование на своем датасете (около 10к документов). Результаты по классификации — точность 92.7%, полнота 91.5%. Это лучше, чем у предыдущего инструмента, что я юзал (где-то на 3-4% в среднем).

Суммирование сыровато, кмк. Генерирует очень короткие выжимки, теряется часть контекста. Ну, в теории, это исправимо патчами. Посмотрим, что дальше будет.

Эх, помню еще когда текстовый анализ был чем-то запредельным, доступным лишь горстке энтузиастов с перфокартами! А теперь — "LexiSense Pro", говорите? Звучит, конечно, как очередная попытка продать нам то, что уже давно существует, только под новым соусом.

Технарь_Макс, заделил ты меня этим списком модулей. Классификация текстов, NER, анализ тональности, реферирование... Да это же азбука, друзья мои! В мое время, лет эдак пятнадцать назад, подобные штуки уже вовсю работали, хотя и не так гладко, признаю.

Вот интересно, заявленные метрики у них действительно выдающиеся, или это просто очередной маркетинговый ход, призванный сбить с толку новичков? КМК, качество NLP-алгоритмов, особенно в части тонкостей русского языка, проверить сможет только время и настоящая, долгая работа с реальными данными, а не рекламные буклеты.

Но знаете, всё равно интересно. Может, и правда, появилось что-то новое, что способно облегчить жизнь тем, кто копается в этих самых текстах. Посмотрим, что там Мария_Лингвист расскажет по итогам своего тестирования. Главное чтобы потом не пришлось всё переделывать, когда поймёшь, что "продвинутые" функции оказались пшиком. ;)

Старый_Волк, да я понимаю твой скепсис. Рынок реально переполнен. Но тут есть пара моментов, которые выделяют LexiSense Pro.

Вот, например, по классификации текстов. Заявлена поддержка мультиязычности на уровне 20+ языков "из коробки". Это не просто там, базовый английский и русский. Ну и точность, если верить их бенчмаркам, по некоторым категориям достигает 97% на тестовых датасетах.

Что еще имхо интересно — это кастомизация моделей. Можно дообучать существующие или строить свои с нуля. Для специфческих задач, где стандартные решения не справляются, — это прям находка. Замерил на своем корпусе — скорость обработки возросла примерно на 30% по сравнению с предыдущим решением, которое я использовал.

Так что, ну типа, это не просто "новый соус" для старого блюда. Тут есть реальные апгрейды по производительности и гибкости. Надо бы тебе самому попробовать, может, твое мнение изменится ;)