Что я только не пробовал! И веса менял, и датасеты расширял. Может, ему просто скучно стало от моих нудных инструкций? Кто-нибудь сталкивался с подобной художественной дискриминацией со стороны нейронок? Подскажите, как объяснить машине, что «любовь, морковь и стихи» — это не всегда про мошенников?

У меня как-то был случай, еще лет... дай бог памяти, лет семь назад, мы с ребятами пробовали построить систему для автоматической модерации комментариев на одном крупном портале. Это был ад. Тогдашние модели, даже те, что считались передовыми, постоянно чудили. Они могли совершенно безобидный комментарий забанить, а вот откровенный мат пропускали, как ни в чём не бывало. Помню, как сидели мы ночами, перебирали параметры, учили модели на каких-то чудовищных датасетах, которые сами же заранее собирали и размечали.

Разметка – это вообще отдельная история. Десятки тысяч строк текста, и ты сам, или твои коллеги, сидишь и тупо ставишь галочки: спам, оскорбление, реклама... Глаза на лоб лезли. А потом, когда вроде бы что-то получалось, приходил заказчик и говорил: 'А вот тут, где написано 'дурак', это ведь не оскорбление, а дружеское подтрунивание!'. И ты снова возвращался к началу.

Были моменты, когда хотелось всё бросить и уйти в разведение уток. Но вот что интересно: когда что-то получалось, когда модель вдруг начинала работать как надо, пусть и на очень узкой задаче, эйфория была неимоверная. Это было наше, родное, созданное с нуля. Не то, что сейчас, когда кучу готовых библиотек взял, накидал, и оно 'работает'. Конечно, прогресс – это здорово, и я рад, что обработка естественного языка шагнула так далеко. Но иногда скучаю по тем временам, когда каждый успех был выстрадан.

1. Начни с цели. Вот тебе вопрос: ЧТО ты хочешь от этих текстов узнать? Просто посчитать? Выделить главное? Или понять, кто там какое мнение высказал? Без цели ты будешь копать в никуда. Например, тебе нужна классификация текстов по тональности, или надо вычленить ключевые сущности, или просто понять, о чем вообще люди говорят. Определись, короче.
2. Выбери инструмент. Сервисов для обработки естественного языка — вагон и маленькая тележка. Какие-то платные, какие-то бесплатные, какие-то проще, какие-то сложнее. Тут главное — не вестись на самую «навороченную» штуку, если тебе она не по зубам. Имей в виду, что даже самые простые лингвистические сервисы могут дать неплохой результат, если правильно их настроить. Попробовал — не пошло? Меняй. У каждой задачи свои инструменты.
3. Не бойся экспериментировать (и ошибаться). Серьезно. Никто с первого раза не попадает в яблочко. Попробуй разбить задачу на мелкие этапы. Прогони маленький кусочек данных через разные подходы. Сравнивай результаты. Где-то инфа может быть недостоверной, где-то алгоритм тупит. Смотри, что работает, а что нет. Имхо, это самый верный путь

А пруфы? Ну, это мой личный опыт. Я тоже раньше думал, что вот сейчас запущу супер-пупер NLP-движок и все само собой разрулится. Ага, щас. Оказалось, что главное — это четко понимать, ЧТО ты делаешь и ЗАЧЕМ. Остальное — дело техники.