Оля, ну это обычная история, когда речь заходит о текстовом анализе на не-английских языках. Просто данные на английском отфильтрованы лучше, модели изначально лучше обучаются.

Если смотреть характеристики, то проблема кроется в самом NLP. Трансформеры, конечно, круты, но они часто требуют специфичных токенизаторов под каждый язык. Или, если использовать мультиязычные модели, то качество на второстепенных языках неизбежно проседает. Это не магия, это просто статистика и объем данных.

Я как-то замерил: для той же задачи классификации, используя BERT или XLM-R, точность на русском языке была на 8-12% ниже, чем на английском. Для японского эта разница еще больше.

• 1. Предобработка: банально, но проверь, как именно обрабатываются токены для каждого языка. Stemming/lemmatization, стоп-слова — всё это нужно заточить под специфику.
• 2. Модель: если бюджет позволяет, обучи или дообучи модели под конкретные языковые группы. Даже с небольшим датасетом, это даст прирост.
• 3. Данные: может, стоит поискать специализированные корпуса для тех языков, где проблемы?

Короче, без танцев с бубном вокруг каждого языка тут не обойтись. Какие метрики там вообще получаются?