Дифференцируемая Схожесть По Тверски

Предложена дифференцируемая параметризация сходства Тверски для нейросетей на основе общего и отличительного набора признаков.

Введены два новых слоя: Tversky Similarity Layer и Tversky Projection Layer, заменяющие скалярное произведение.

Показано, что один Tversky Projection Layer способен аппроксимировать нелинейную функцию XOR, что недостижимо для линейного слоя.

Заменив линейные проекции на Tversky Projection Layer, получили улучшение точности в задачах распознавания изображений (ResNet-50 на NABirds и MNIST).

Замена линейных слоев на Tversky слои в GPT-2 Small на датасете Penn Treebank снизила перплексию на 7,5% и число параметров на 34,8%.

Модель обеспечивает встроенную интерпретируемость: визуализируемые прототипы и признаки соответствуют человекочитаемым элементам данных.

Обнаружено, что обученные параметры удовлетворяют гипотезе заметности Тверски (α > β), подтверждая психологическую правдоподобность модели.