Academic Journal

The problem of compromising the image recognition system by purposefully falsifying the training set

Bibliographic Details
Title: The problem of compromising the image recognition system by purposefully falsifying the training set
Source: МОДЕЛИРОВАНИЕ, ОПТИМИЗАЦИЯ И ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ. 12
Publisher Information: Voronezh Institute of High Technologies, 2024.
Publication Year: 2024
Subject Terms: матрица превращений, ResNet18, adversarial attacks, состязательные атаки, нейронные сети, атаки на нейронные сети, transformation matrix, neural networks, attacks on neural networks
Description: Работа посвящена проблеме безопасности систем распознавания изображений, основанных на использовании нейронных сетей. Подобные системы применяются в различных областях и крайне важно обеспечить их безопасность от атак, направленных на методы искусственного интеллекта. Рассмотрены сверточная нейронная сеть ResNet18, проверочное множество ImageNet для распознавания объектов на изображении и отнесения его к классу и состязательные атаки, которые направлены на изменение изображения, обрабатываемые данной нейронной сетью. Сверточные нейронные сети детектируют и сегментируют объекты, которые находятся на изображениях. Атака совершалась на этапе детектирования для того, чтобы не распознавалось присутствие объектов на изображении, а также на этапе сегментации, измененное изображение относило распознанный объект к другому классу. Реализована серия экспериментов, которая показала, как состязательная атака изменяет разные изображения. Для этого взяты изображения с животными и на них совершена состязательная атака, анализ результатов позволил определить количество итераций, необходимых для совершения успешной атаки. Также проведено сравнение исходных изображений с их модифицированными в ходе атаки версиями. This work is devoted to the problem of the security of image recognition systems based on the use of neural networks. Such systems are used in various fields and it is extremely important to ensure their safety from attacks aimed at artificial intelligence methods. The convolutional neural network ResNet18, the ImageNet verification set for recognizing objects in an image and classifying it to a class, and adversarial attacks aimed at changing the image processed by this neural network are considered. Convolutional neural networks detect and segment the objects that are in the images. The attack was carried out at the detection stage in order not to recognize the presence of objects in the image, as well as at the segmentation stage, the modified image attributed the recognized object to another class. A series of experiments was implemented that showed how an adversarial attack changes different images. To do this, images with animals were taken and an adversarial attack was carried out on them, the analysis of their results allowed us to determine the number of iterations necessary to make a successful attack. The original images were also compared with their versions modified during the attack.
Document Type: Article
Language: Russian
ISSN: 2310-6018
DOI: 10.26102/2310-6018/2024.45.2.005
Accession Number: edsair.doi...........bddef24a8db942d9b98570745df3d5f9
Database: OpenAIRE
Description
ISSN:23106018
DOI:10.26102/2310-6018/2024.45.2.005