РАЗРАБОТКА ИНТЕЛЛЕКТУАЛЬНОЙ ВОПРОСНО-ОТВЕТНОЙ СИСТЕМЫ ДЛЯ ОБРАБОТКИ ЗАКОНОДАТЕЛЬНЫХ ТЕКСТОВ С ИСПОЛЬЗОВАНИЕМ ТРАНСФОРМЕРНЫХ МОДЕЛЕЙ

Аннотация

В статье рассматривается разработка интеллектуальной вопросно-ответной системы для обработки законодательных текстов с использованием трансформерных моделей. Предлагаемый подход основан на методах обработки естественного языка и вычисления семантического сходства между пользовательским запросом и нормативно-правовыми актами. Для получения векторных представлений текстов применяются предобученные трансформерные языковые модели KazBERT и XLM-RoBERTa. Оценка семантической близости осуществляется с использованием метрики cosine similarity, после чего релевантные фрагменты законодательных текстов извлекаются экстрактивным методом. Архитектура системы реализована в виде модульного веб-ориентированного программного решения, обеспечивающего масштабируемость и возможность интеграции дополнительных моделей. Экспериментальная проверка на корпусе законодательных актов Республики Казахстан показала, что разработанная система обеспечивает удовлетворительные показатели точности (Accuracy), F1-score и времени отклика, что подтверждает ее применимость для автоматизированных интеллектуальных правовых информационных систем.