АДАПТИВНЫЙ ТРАНСФОРМЕР ДЛЯ ИЗВЛЕЧЕНИЯ ЮРИДИЧЕСКИХ ТРИПЛЕТОВ

Аннотация

Юридические тексты, особенно национальыне законы, содержат сложные семантические отношения, которые крайне важны для построения графов правовых знаний и автоматизированных систем ответов на вопросы. В этой статье мы предлагаем XLM-TRIPLE - новую структуру,  которая использует современную модель многоязычного трансформата XLM-Roberta для извлечения семантических триплетов из казахстанских юридических документов. Наш метод решает внутреннюю сложность юридического языка с помощью двухфазного подхода: первая фаза  включает гибридную аннотацию и доменно – адаптивные предварительные обучение для создания высококачественного аннотированного набора данных, в то время как вторая фаза сосредоточена на доубчении, в ходе которого XLM-Roberta оптимизируется для классификации на уровне токенов с допольнительным моделированием последовательностей с использованием условиях случайных полей многозадачного обучения для классификации отношений. Мы формализуем наш подход с помощью строгих математических определений и формулировок потерь. Экспериментальные оценки на корпусе казахстанских законов  показывают, что новая структура превосходит системы, основанные на правилах, адаптивные к домену модели BERT и другиебазовые системы со значительным отрывом по показателям Precision,  Recall и  F1 score. Более того, мы проиллюстрировали полезность извлеченных триплетов, сгенерировав юридическиевопросы для последующих систем ответа на юридические вопросы (QA).