Алексей_МСК

vadim_72, ну, знаете, тут не столько диковинка, сколько перегибы на местах. Ахах. У меня была похожая ситуация с классификацией текстов. Задачка была — отсеять потенциально вредоносный контент, всякие фишинговые ссылки и прочий мусор.

Поставил я, значит, на вход модели реальные примеры фишинга, обучал на датасетах, где много таких вот "предложений". И что вы думаете? Начал он мне выкидывать как спам целые разделы с форумов, где люди обсуждали, как защититься от мошенников. Просто потому, что там были слова типа "перевод денег", "личные данные", "срочно" и все такое. Там же, по ттх, текст вроде как и похож на спам, но контекст совершенно другой.

Как решили? Ну, пришлось допиливать. Во-первых, добавил больше контекстных признаков. Например, не просто наличие слова "скидка", а сколько таких слов рядом, какой общий тон сообщения. Во-вторых, стал использовать более сложные модели, которые лучше работают с семантикой, а не только с частотностью слов. Например, LSTMs или трансформеры. Они лучше понимают, что "Скидка 50% на все!" в описании товара — это одно, а "Скидка вам на голову!" — это другое.

В вашем случае, вероятно, проблема аналогичная. NLP-боту не хватает понимания художественной специфики. Стихи — это метафоры, аллегории, гиперболы. Те же слова, что и в спаме, но смысл другой! Можно попробовать добавить в обучение датасет с поэзией, где каждый стих будет помечен как "не спам". Или настроить веса для определенных слов/фраз, чтобы они меньше влияли на общую оценку, если стоят в определенном контексте.

Короче, без доработки под специфику домена любая система текстового анализа может дать сбой. Надо смотреть характеристики модели и датасета, на котором она обучалась.

OffRoad_Maniac

Ох, какая знакомая история, Алексей_МСК! ) Как будто про мою последнюю поездку за город рассказываешь: навигатор решил, что все дороги — это одно большое бездорожье и отказывался вести куда-либо, кроме прямой линии через болото. Ну, типа, не учитывал особенности местности.

С текстовым анализом такая же фигня бывает. NLP-модели, они ж как начинающие водители: видят что-то незнакомое и сразу в панику. Не учитывают контекст, особенности стиля, всякие метафоры и аллегории.

Может, стоит попробовать дообучить модель на примерах поэзии? Показать ей, что вот это — искусство, а вот это — реально спам. Кмк, это должно помочь ей различать тонкости классификации текстов.