Народ, честно? Сколько можно мучиться с разметкой? Я вот устал. Этот ваш текстовый анализ — дело тонкое, особенно когда надо кучу однотипных документов раскидать по папкам. Думаете, какие-то хитрые NLP-модели спасут? Ну, это как сказать. Иногда проще руками, но очень уж медленно.

Я тут накодил для себя такую штуку, которая реально ускоряет процесс. Может, и вам пригодится. Короче, делюсь опытом:

• Шаг 1: Соберите ядро Возьмите 5-10 (максимум 20) примеров для каждой категории. Чем точнее, тем лучше. Не надо разводить демагогию, пихайте туда самые что ни на есть репрезентативные тексты.
• Шаг 2: Выберите модель. Вам не нужен GPT-4 для каждой задачки. Начните с чего-то попроще. TF-IDF + логистическая регрессия? Или SVM? Этого хватит для старта. Откуда инфа, что вам надо что-то посложнее?
• Шаг 3: Обучение. Ну, тут всё понятно. Кормите модель вашим ядром. Следите за метриками, но не зацикливайтесь. Главное, чтобы на тестовой выборке (которую мы не использовали для обучения) все было более-менее прилично.
• Шаг 4: Ручная проверка. Вот тут самое интересное. Прогоните первые 100-200 документов через модель. Большинство должно классифицироваться правильно. Если нет — возвращаемся к шагу 2 или 3. Тут же выявляются косяки
• Шаг 5: Масштабирование. Когда модель показывает приемлемые результаты, гоните на ней остальные тексты. Потом выборочно проверяйте. Если где-то ошибка — добавляйте этот текст в обучающую выборку (но осторожно, чтобы не переобучить) и переобучайте.

Главное — итеративность. Не ждите идеала с первого раза. И да, не верьте сказкам про автоматическую классификацию текстов без человеческого контроля. Это все пшик. Где пруфы, что ваши супер-сложные модели работают лучше простых?)