Academic Journal
Algorithmic systems and the presumption of innocence: legal analysis of biases and protection mechanisms
| Title: | Algorithmic systems and the presumption of innocence: legal analysis of biases and protection mechanisms |
|---|---|
| Source: | Uzhhorod National University Herald. Series: Law; Vol. 4 No. 90 (2025): Uzhhorod National University Herald. Series: Law; 290-296 Научный вестник Ужгородского национального университета. Серия: Право; Том 4 № 90 (2025): Науковий вісник Ужгородського національного університету. Серія: Право; 290-296 Науковий вісник Ужгородського національного університету. Серія: Право; Том 4 № 90 (2025): Науковий вісник Ужгородського національного університету. Серія: Право; 290-296 |
| Publisher Information: | Державний вищий навчальний заклад «Ужгородський національний університет», 2025. |
| Publication Year: | 2025 |
| Subject Terms: | захист, ШІ, guarantees and protection of individual rights, обвинувачення, кримінальне провадження, досудове розслідування, гарантії та захист прав особи, algorithmic systems, criminal proceedings, AI, pre-trial investigation, biases, алгоритмічні системи, presumption of innocence, підозра, упередження, презумпція невинуватості |
| Description: | The article examines the impact of modern artificial intelligence technologies on the fundamental right of an individual to be presumed innocent until a court judgment becomes final and legally binding. The analysis establishes how automated facial recognition, algorithmic risk-assessment tools for recidivism, and predictive policing systems can introduce bias due to flawed data sampling, opaque algorithmic assumptions, and imperfect modeling methodologies. It finds that deploying these technologies without adequate oversight threatens to shift the burden of proof and to violate the “in dubio pro reo” principle enshrined in Article 6 of the European Convention on Human Rights. The study analyzes Directive (EU) 2016/343 and Regulation (EU) 2024/1689 (the AI Act), which establish minimum standards for criminal proceedings and set requirements for the transparency and accountability of algorithmic systems, and it reviews European Parliament resolutions and recommendations from Fair Trials and Amnesty International concerning defense access to source code and algorithmic audit results. Based on the identified risks, the article argues for the introduction of explainability mechanisms, the creation of independent AI audit bodies, and legislative restrictions on the autonomous use of high-risk technologies without human involvement. It also emphasizes the need for specialized training of judges, prosecutors, and defense attorneys in artificial intelligence and algorithmic fairness, as well as for guaranteeing the accused’s right to review expert assessments of the algorithmic tools used as evidence. It is established that the defense should have a statutory right to access the technical documentation of an algorithm (including descriptions of the sources of training data, validation methods, and the results of independent audits), while duly taking into account regimes for protecting trade secrets. The importance of providing mechanisms for confidential in-court review and of state-funded expert examinations where an individual cannot secure such review independently is analyzed. The advisability of imposing a procedural prohibition on the use of fully autonomous decisions in matters that directly restrict an individual’s liberty (for example, grounds for arrest or for extending a preventive measure) is substantiated – in such cases, the decision must be made by a human decision-maker who is required to consider the explanation provided by the algorithm and to record the reasons for accepting or rejecting its conclusions. It is recommended to introduce, at the national level, supervisory and certification procedures for high-risk algorithms, including periodic independent audits and public reports on their effectiveness and on any biases detected. In the context of transnational electronic evidence, emphasis is placed on the need to take into account the practices of the SIRIUS and TREIO projects when harmonizing rules on data access and cooperation with foreign jurisdictions, in order to prevent algorithmic evidence obtained abroad from evading proper scrutiny. У статті розглядається вплив сучасних технологій штучного інтелекту на фундаментальне право особи бути визнаною невинуватою до набрання вироком суду законної сили. В результаті прове- деного аналізу встановлено, як автоматизоване розпізнавання обличчя, алгоритмічні інструменти оцінки ризику рецидиву та системи прогнозного поліцейського профілювання можуть породжувати упередження внаслідок некоректної вибірки даних, непрозорих алгоритмічних припущень та недо- сконалої методології моделювання. Встановлено, що застосування таких технологій без належно- го контролю загрожує зміщенням тягаря доказування й порушенням принципу «in dubio pro reo», закріпленого в ст. 6 Європейської конвенції з прав людини. У роботі проаналізовано Директи- ву (EU) 2016/343 та Regulation (EU) 2024/1689 (AI Act), що встановлює мінімальні стандарти кри- мінального судочинства, вимоги прозорості та відповідальності алгоритмічних систем, а також єв- ропейські резолюції й рекомендації організацій Fair Trials та Amnesty International щодо забезпечен- ня доступу захисту до вихідного коду й результатів аудиту алгоритмів. На основі виявлених ризиків обґрунтовано необхідність запровадження інструментів пояснюваності (explainability), створення незалежних органів аудиту ШІ та законодавчих обмежень на автономне застосування високоризи- кових технологій без участі людини. Також наголошено на потребі професійного навчання суддів, прокурорів і адвокатів у сфері застосування штучного інтелекту та алгоритмічної справедливості, а також на гарантуванні захисту права підозрюваного на ознайомлення з експертними висновками щодо роботи алгоритмічних систем, що слугують доказами. Встановлено необхідність законодав- чого закріплення права сторони захисту на доступ до технічної документації алгоритму (включно з описом джерел навчальних даних, методів валідації і результатів незалежних аудитів) з урахуван- ням режимів захисту комерційної таємниці. Проаналізовано важливість передбачення механізмів конфіденційного ознайомлення в суді та фінансування експертних перевірок за рахунок держави у випадку, коли особа не може самостійно забезпечити таку перевірку. Обґрунтовано доцільність встановлення процесуальної заборони на використання повністю автономних рішень у питаннях, що безпосередньо обмежують свободу особи (наприклад, підстави для арешту або продовження запобіжного заходу) – у таких випадках рішення повинно ухвалюватися людиною з обов’язковим врахуванням наданого алгоритмом пояснення та з фіксацією підстав для відхилення або прийняття його висновків. Рекомендовано запровадити на національному рівні наглядові та сертифікаційні процедури для алгоритмів високого ризику, включно з періодичними незалежними аудитами й пу- блічними звітами про їхню ефективність та виявлені упередження. У контексті транснаціональних електронних доказів акцентовано на доцільності врахування практики проєктів SIRIUS і TREIO при гармонізації правил доступу до даних і співпраці з іноземними юрисдикціями, щоб не допусти- ти, аби алгоритмічні докази, отримані з-за кордону, уникали належної перевірки. |
| Document Type: | Article |
| File Description: | application/pdf |
| Language: | Ukrainian |
| ISSN: | 2307-3322 2664-6153 |
| Access URL: | http://visnyk-pravo.uzhnu.edu.ua/article/view/340160 |
| Rights: | CC BY NC ND |
| Accession Number: | edsair.scientific.p..b7244e7c06fba1cecda840530f2f1bda |
| Database: | OpenAIRE |
| ISSN: | 23073322 26646153 |
|---|