Сайт бібліотеки  >  Електронний каталог  >  Опис документа

Опис документа

Скуржанський О. Г., Марченко О. О., Анісімов А. В.
Спеціалізоване попереднє навчання нейромережевих моделей на синтетичних даних для покращення генерації перефразування

Вид документа:  Складова частина документа 
Мова:  Українська  Обсяг:  С. 3-12 
УДК:  004.89 

Аннотацiя:

Генерація перефразувань є фундаментальною проблемою в галузі обробки природних мов. Завдяки значному успіху технології перенесення навчання підхід «попереднє навчання > точне налаштування» став стандартним. Однак популярні універсальні методики попереднього навчання зазвичай потребують величезних наборів даних та значних обчислювальних потужностей, а доступні навчені моделі обмежені фіксованою архітектурою та розміром. Запропоновано простий та ефективний підхід до попереднього навчання спеціально для генерації перефразувань, який помітно підвищує якість генерації перефразувань та забезпечує суттєве покращення моделей загального призначення. Використано як наявні публічні дані, так і нові, згенеровані великими мовними моделями. Досліджено, як ця процедура попереднього навчання впливає на нейронні мережі різної архітектури, та доведено, що вона працює ефективно для всіх архітектур.

Є складовою частиною документа Кібернетика та системний аналіз [Текст] : междунар. науч.-теорет. журн. Т. 60. № 2, бер.-квіт. / НАН Украины, Ин-т кибернетики им. В. М. Глушкова. — К, 2024.

Теми документа

• УДК/0 Загальний вiддiл./00 Загальнi питання науки i культури/004 Комп'ютерна наука і технологія. Застосування комп'ютера. Оброблення даних/004.8 Штучний інтелект/004.89 Прикладні системи штучного інтелекту. Інтелектуальні системи, основані на знаннях