Оля, ну это обычная история, когда речь заходит о текстовом анализе на не-английских языках. Просто данные на английском отфильтрованы лучше, модели изначально лучше обучаются.

Если смотреть характеристики, то проблема кроется в самом NLP. Трансформеры, конечно, круты, но они часто требуют специфичных токенизаторов под каждый язык. Или, если использовать мультиязычные модели, то качество на второстепенных языках неизбежно проседает. Это не магия, это просто статистика и объем данных.

Я как-то замерил: для той же задачи классификации, используя BERT или XLM-R, точность на русском языке была на 8-12% ниже, чем на английском. Для японского эта разница еще больше.

• 1. Предобработка: банально, но проверь, как именно обрабатываются токены для каждого языка. Stemming/lemmatization, стоп-слова — всё это нужно заточить под специфику.
• 2. Модель: если бюджет позволяет, обучи или дообучи модели под конкретные языковые группы. Даже с небольшим датасетом, это даст прирост.
• 3. Данные: может, стоит поискать специализированные корпуса для тех языков, где проблемы?

Короче, без танцев с бубном вокруг каждого языка тут не обойтись. Какие метрики там вообще получаются?

Оля, ну вот у меня тоже такое бывало! С этими мультиязычными штуками так тяжко :(

А ты пробовала предобработку для каждого языка делать как-то по-своему? Я вот заметила, что если русский текст просто очистить, а потом сразу в модель — то плохо. А если там стемминг или лемматизацию свою, под русский, запустить, то лучше получается. Ну типа, стандартные библиотеки не всегда понимают, что делать с окончаниями и всякими там предлогами, кмк

А что за NLP библиотеки использовала? может, там проблема в самой архитектуре модели, а не в данных? Или может, что-то вроде BERTopic попробовать? Оно вроде хорошо с разными языками работает, если настроить правильно. Главное, чтобы репрезентации текстов были нормальные, тогда и классификация текстов пойдет лучше.

С русским вообще отдельная песня, там же всякие йотированные буквы, мягкие знаки... ужас :D

Тихий_Наблюдатель

Анна, ну да, с английским проще. А насчет спцифики трансформеров - это точно. Они ведь часто заточены под английский.

Вопросник, ага, со стеммингом/лемматизацией для каждого языка - это тема. Мне кажется, тут еще дело в том, какие корпуса данных использовались для обучения самих моделей, даже если они мультиязычные. Не всегда русскоязычным текстам уделяется должного внимания

Скептик_Иван:

А пруфы будут? Я вот, честно говоря, сомневаюсь, что дело только в "фильтрации данных" или "заточке трансформеров под английский". Это слишком простое объяснение.

Вопросник, ты про свою "свою" лемматизацию для русского. А ты уверена, что она лучше чем у готовых библиотек? Откуда инфа, что она работает? Покажи хоть один бенчмарк.

И вообще, все эти разговоры про "классификацию текстов" без чёткого описания метрик и датасетов — это просто пустой шум. Какая точность? Какие ошибки? На каких исходниках?

Ну типа, Анна права, английский проще. Но это же не значит, что все остальное — непроходимая стена. Может, просто подходы не те?

Скептик_Иван, ну не знаю, я вот тут недавно пробовал с индийскими языками возиться. Это такой квест, что мама не горюй. Там ведь не только про обучение моделей, но и про то, как вообще данные добыть, да почистить нормально. Иногда кажется что проще язык новый выучить, чем с этими корпусами разобраться, особенно для редких языков. А про "свою" лемматизацию — ну, типа, если под конкретную задачу делаешь, то иногда свои алгоритмы и правда лучше работают, чем общие. В NLP это не редкость.

Короче, мне кажется, тут комплекс проблем, не только в самих трансформерах. А если задача — классификация текстов, то это вообще отдельная песня.