Коллеги, привет! Часто мы говорим о задачах текстового анализа, о классификации текстов, о всяких крутых NLP-штуках. Мы пишем модели, которые отлично справляются с определением тональности, тематики, извлечением сущностей. Но вот какой вопрос у меня возник:
Вот я обучил модель, она выдает 98% точности в классификации отзывов. Отлично, здорово. Но действительно ли она *понимает* смысл написанного? Или это просто очень хитрый статистический трюк, подбор паттернов, который пока работает на данном корпусе данных? На практике, когда мы говорим о сложных, нетривиальных текстах, даже самые продвинутые лингвистические сервисы иногда спотыкаются на метафорах, сарказме или скрытых смыслах, которые человеку понятны интуитивно.
Так вот, вопрос к вам: где та грань, когда обработка естественного языка перестает быть просто продвинутой статистикой и приближается к настоящему пониманию? Или это вообще недостижимая цель для текущих архитектур? А вы как думаете?