Optimizing knowledge distillation models for language models

Authors: T. M. Tatarnikova, N. S. Mokretsov

Source: Научно-технический вестник информационных технологий, механики и оптики, Vol 25, Iss 4, Pp 737-743 (2025)

Subject Terms: большие языковые модели, длинные последовательности, нейронные сети, дистилляция знаний, модель учителя, модель ученика, выборочное вмешательство в процесс обучения, низкоранговая адаптация, Information technology, T58.5-58.64

File Description: electronic resource

Relation: https://ntv.elpub.ru/jour/article/view/499; https://doaj.org/toc/2226-1494; https://doaj.org/toc/2500-0373

Access URL: https://doaj.org/article/30595e90dbc7434eaf4dfedcceccafbf

ИГРА ПЕННИ И ДРУГИЕ АЛГОРИТМЫ, МЕНЯЮЩИЕ ВЕРОЯТНОСТЬ И СОЗДАЮЩИЕ ХИРАЛЬНОСТЬ

Subject Terms: длинные последовательности, Penny's game, combinatorics, efficiency factor, Комбинаторика, Laplace's principle, Walter Penny, игра Пенни, Уолтер Пенни, КДП, принцип Лапласа, long sequences

LSCGAT: LONG SEQUENCES CUSTOMIZABLE GLOBAL ALIGNMENT TOOL ; LSCGAT: ИНСТРУМЕНТ НАСТРАИВАЕМОГО ГЛОБАЛЬНОГО ВЫРАВНИВАНИЯ ДЛИННЫХ ПОСЛЕДОВАТЕЛЬНОСТЕЙ

Authors: Pankratov, Anton, Tetuev, Ruslan, Pyatkov, Maxim

Source: JOURNAL OF BIOINFORMATICS AND GENOMICS; No. 1 (10) (2019) ; ЖУРНАЛ БИОИНФОРМАТИКИ И ГЕНОМИКИ; № 1 (10) (2019) ; 2530-1381

Subject Terms: scoring matrix, gap penalty, alternative alignment, long sequences, матрица замен, штрафы за пропуски, альтернативные выравнивания, длинные последовательности

File Description: application/pdf

Relation: https://journal-biogen.org/index.php/jbg/article/view/17/76; https://journal-biogen.org/index.php/jbg/article/view/17

Availability: https://journal-biogen.org/index.php/jbg/article/view/17
https://doi.org/10.18454/jbg.2019.1.10.1