Λεπτομέρειες βιβλιογραφικής εγγραφής
| Τίτλος: |
SATURATED LINEAR UNIT AS AN UNIVERSAL SYMMETRIC ACTIVATION FUNCTION FOR DEEP LEARNING. |
| Alternate Title: |
ЗАСИЋЕНА ЛИНЕАРНА ЈЕДИНИЦА КАО УНИВЕРЗАЛНА СИМЕТРИЧНА АКТИВАЦИОНА ФУНКЦИЈА ЗА ДУБИНСКО УЧЕЊЕ. (Serbian) |
| Συγγραφείς: |
Banduka, Maja Lutovac, Milićević, Vladimir, Franc, Igor, Zdravković, Nemanja, Dimitrijević, Nikola |
| Πηγή: |
Serbian Journal of Management; 2026, Vol. 21 Issue 1, p37-48, 12p |
| Θεματικοί όροι: |
Artificial neural networks, Deep learning, Classification, Subroutines (Computer programs), Hyperbolic functions |
| Abstract (English): |
There is a number of symmetric activation functions used in artificial neural networks for deep learning. In this paper, we propose a universal activation function based on the Saturated Linear Unit (SaLU) that can be used instead of any known symmetric activation function. It is not necessary for classification tasks to have an exact calculation of the probability of detected classes. The classification decision is made based on the highest probability for the input values. We propose, as a proof of concept, that the two most commonly used hyperbolic tangent and algebraic sigmoid activation functions can be effectively replaced by SaLU by choosing a single parameter. Moreover, the theoretical step function can also be replaced by SaLU for a wider transition range. All derivations use symbolic processing. Also shown is a visualization of the range of inputs that result in a suitable classification. This can help scientists and programmers design complex machine learning algorithms and understand how deep learning algorithms work. [ABSTRACT FROM AUTHOR] |
| Abstract (Serbian): |
Постоји више симетричних активационих функција које се користе у вештачким неуронским мрежама за дубинско учење. У овом раду предлажемо универзалну активациону функцију засновану на засићеној линеарној јединици (SaLU), која се може користити као замена за било коју познату симетричну активациону функцију. За задатке класификације није неопходно прецизно израчунавање вероватноће детектованих класа. Одлука о класификацији доноси се на основу највеће вероватноће за дате улазне вредности. Као доказ концепта, показујемо да се две најчешће коришћене активационе функције -- хиперболички тангенс и алгебарски сигмоид -- могу ефикасно заменити функцијом SaLU избором једног параметра. Штавише, теоријска степ-функција такође може бити замењена функцијом SaLU, уз шири опсег прелазне области. Сви изводи заснивају се на симболичкој обради. Такође је приказана визуелизација опсега улазних вредности које доводе до одговарајуће класификације. Ово може помоћи научницима и програмерима у пројектовању сложених алгоритама машинског учења и у разумевању начина рада алгоритама дубинског учења. [ABSTRACT FROM AUTHOR] |
|
Copyright of Serbian Journal of Management is the property of Serbian Journal of Management and its content may not be copied or emailed to multiple sites without the copyright holder's express written permission. Additionally, content may not be used with any artificial intelligence tools or machine learning technologies. However, users may print, download, or email articles for individual use. This abstract may be abridged. No warranty is given about the accuracy of the copy. Users should refer to the original published version of the material for the full abstract. (Copyright applies to all Abstracts.) |
| Βάση Δεδομένων: |
Complementary Index |