Метод токенизации в текстах компьютерных программ

Опубликовано в репозитории БГУИРЧасто в компьютерном коде программ можно найти структуры и строки кода, что у которых одинаковая функциональность, и из одной можно получить другую без особых усилий. Чтобы бороться с такого рода средствами сокрытия плагиата было придумано представление кода, называемое токенизированным. Основная идея этого представления – сохранение существенных и игнорирование всех поверхностных (то есть легко модифицируемых и не меняющих поведения) деталей кода программы