Rizici implementacije AI sistema u organizacijama: hard i soft rizici

Facebook
Twitter
LinkedIn

AI je projekat upravljanja rizicima, ne samo IT projekat

Vještačka inteligencija je postala dio svakodnevnog poslovanja u gotovo svim industrijama. Banke je koriste za kreditni scoring i otkrivanje prevara, osiguravajuća društva za procjenu šteta, proizvođači za prediktivno održavanje, a bolnice za podršku dijagnostici. Svaka od tih primjena donosi koristi, ali i rizike koji se ne vide uvijek u poslovnom slučaju.

Iskustvo pokazuje da projekti rijetko padaju samo zbog loše tehnologije. Češće padaju zbog nejasne odgovornosti, nedovoljnog razumijevanja modela u poslovnim funkcijama ili zaposlenika koji AI izlaz prihvataju bez provjere. Zato rizike AI sistema korisno je posmatrati u dvije grupe.

Hard rizici su mjerljivi i tehnički: greške modela, kvalitet podataka, sajber prijetnje, zavisnost od dobavljača i regulatorna neusklađenost. Mogu se kvantificirati, testirati i pokriti kontrolama.

Soft rizici su ljudski i organizacioni: upravljanje i odgovornost, kultura, kompetencije, etika, reputacija i prekomjerno oslanjanje na automatizaciju. Teže se mjere, ali su često uzrok nastanka hard rizika.

Gdje se AI danas koristi

Najzrelije primjene su u bankarskom i finansijskom sektoru, ali iste vrste rizika javljaju se u svakoj industriji.

IndustrijaTipične AI primjeneKljučni rizik
BankarstvoKreditni scoring, otkrivanje prevara, AML monitoring, chatbotovi, obrada dokumentacijePristrasne kreditne odluke, neobjašnjivost, rizik modela, pravni, regulatorni, reputacijski rizik
Tržišta kapitala i fondoviAlgoritamsko trgovanje, upravljanje portfeljem, robo-savjetniciRizik modela, sistemski i tržišni rizik, reputacijski rizik
OsiguranjeOdređivanje premija, procjena i obrada šteta, otkrivanje prevaraRizik modela, diskriminacija u cijeni, isključivanje rizičnih grupa, pravni, reputacijski rizik
Leasing i mikrokreditiranjeAutomatizovano odobravanje, procjena vrijednosti imovineRizik podataka, rizik modela, neusklađenost sa zaštitom potrošača
Telekomunikacije i maloprodajaPersonalizovane ponude, dinamičko određivanje cijena, korisnička podrškaManipulativne prakse, zaštita podataka, pravni, reputacijski rizik
ZdravstvoAnaliza medicinskih snimaka, podrška dijagnozi, trijažaSigurnost pacijenata, odgovornost za grešku, rizik modela, pravni rizik
Proizvodnja i energetikaPrediktivno održavanje, kontrola kvaliteta, upravljanje mrežomOperativni i sigurnosni rizik kritične infrastrukture
Ljudski resursi (sve industrije)Selekcija kandidata, ocjena učinkaRizik modela, diskriminacija, visok rizik prema AI Act-u, reputacijski rizik
IT i outsourcingRazvoj AI rješenja za klijente u EUObaveze proizvođača prema AI Act-u

Ovaj tekst je namijenjen risk managerima, compliance funkciji, internoj reviziji i upravama organizacija u BiH i regiji koje uvode ili razvijaju AI rješenja. Primjeri su najvećim dijelom iz finansijskog sektora, gdje je regulatorna praksa najrazvijenija.

Regulatorni okvir

EU AI Act nije samo pitanje za organizacije u EU. Njegova primjena je eksteritorijalna, slično GDPR-u, pa obavezuje i kompanije iz BiH i regije koje svoja AI rješenja ili usluge plasiraju na tržište EU.

EU AI Act (Uredba (EU) 2024/1689). Uredba klasificira AI sisteme prema riziku: zabranjene prakse, visokorizični sistemi, sistemi ograničenog rizika i sistemi minimalnog rizika. U visokorizične sisteme (Aneks III) spadaju, između ostalog, procjena kreditne sposobnosti fizičkih lica, procjena rizika i određivanje cijene životnog i zdravstvenog osiguranja, selekcija i ocjena zaposlenih, pristup obrazovanju i upravljanje kritičnom infrastrukturom. Zabranjene prakse i obaveza AI pismenosti zaposlenih primjenjuju se od februara 2025, a pravila za modele opće namjene (GPAI) od augusta 2025.

Ko je obveznik izvan EU. AI Act se primjenjuje na:

  • proizvođače (providers) koji AI sistem stavljaju na tržište ili u upotrebu u EU, bez obzira na to gdje imaju sjedište;
  • proizvođače i korisnike (deployers) iz trećih zemalja kada se rezultat rada AI sistema koristi u EU.

 

Za BiH je ovo posebno važno zbog snažnog IT i outsourcing sektora. Softverska kompanija iz BiH koja razvija kreditni scoring model za banku u Njemačkoj, ili alat za selekciju kandidata za klijenta u Austriji, ima obaveze proizvođača visokorizičnog sistema. To uključuje sistem upravljanja rizikom, tehničku dokumentaciju, upravljanje podacima, ocjenu usklađenosti i imenovanje ovlaštenog zastupnika u EU. Kazne idu do 15 miliona eura ili 3% ukupnog godišnjeg prometa za kršenje obaveza za visokorizične sisteme, a do 35 miliona eura ili 7% za zabranjene prakse.

AI Omnibus (Uredba (EU) 2026/1744). Stupio je na snagu 27. jula 2026. i pomjerio primjenu obaveza za samostalne visokorizične sisteme iz Aneksa III s 2. augusta 2026. na 2. decembar 2027. Za AI ugrađen u proizvode pod EU propisima o sigurnosti proizvoda (medicinski uređaji, mašine) rok je 2. august 2028. Obaveze transparentnosti, poput obavještavanja korisnika da komunicira s AI sistemom, nisu odgođene i primjenjuju se od 2. augusta 2026. Odgoda nije pauza: preostalih 13 mjeseci treba iskoristiti za inventar, klasifikaciju i dokumentaciju sistema.

Sektorski propisi u finansijskom sektoru.

  • DORA (Uredba (EU) 2022/2554) primjenjuje se od 17. januara 2025. na banke, osiguravajuća društva, investicione firme i druge finansijske subjekte. AI sistemi su ICT sistemi i podliježu okviru za ICT rizik, testiranju otpornosti, izvještavanju o incidentima i upravljanju ICT trećim stranama.
  • EBA smjernice o odobravanju i praćenju kredita (EBA/GL/2020/06) traže da institucija razumije i dokumentuje automatizovane modele za procjenu kreditne sposobnosti, uključujući njihova ograničenja.
  • EIOPA je za sektor osiguranja izdala očekivanja u pogledu upravljanja AI sistemima, s naglaskom na pravičnost, objašnjivost i ljudski nadzor.

 

Horizontalni propisi. GDPR (član 22) daje pojedincu pravo da ne bude predmet isključivo automatizovane odluke sa značajnim uticajem. Za kritičnu infrastrukturu u energetici, saobraćaju i zdravstvu relevantna je NIS2 direktiva, a za medicinske uređaje Uredba o medicinskim sredstvima (MDR).

BiH i regija. BiH trenutno nema poseban zakon o vještačkoj inteligenciji. AI sistemi su ipak obuhvaćeni postojećim propisima: u finansijskom sektoru propisima FBA i ABRS o sistemu upravljanja, upravljanju rizicima, informacionom sistemu i eksternalizaciji, kao i propisima agencija za osiguranje; u svim sektorima propisima o zaštiti ličnih podataka i zaštiti potrošača. U praksi će regulator, odnosno supervizor, AI ocjenjivati kroz pitanja koja već postavlja: ko je odgovoran, kako se model validira, kako se upravlja dobavljačem i kako se štite podaci klijenata. Hrvatska kao članica EU direktno primjenjuje AI Act, a organizacije u Srbiji i Crnoj Gori, posebno one u EU grupama ili s klijentima u EU, prate isti okvir.

Hard rizici: mjerljivi, tehnički i regulatorni

Hard rizici se mogu identifikovati, kvantificirati i kontrolisati postojećim alatima upravljanja rizicima. Njihova posebnost kod AI sistema je brzina: greška koja se kod klasičnog modela razvija mjesecima, kod AI modela može nastati preko noći.

  1. Rizik modela

AI modeli, posebno modeli mašinskog učenja, uvode nove oblike rizika modela:

  • Neobjašnjivost (black box). Banka mora objasniti klijentu i supervizoru zašto je kredit odbijen, a osiguravač zašto je premija viša. Model koji to ne može nije prihvatljiv za odluke s materijalnim uticajem na pojedinca.
  • Drift modela. Promjene u ponašanju klijenata ili ekonomskom okruženju mogu brzo narušiti tačnost. Modeli za otkrivanje prevara posebno su osjetljivi jer prevaranti stalno mijenjaju obrasce. Potreban je kontinuirani monitoring, a ne samo godišnja validacija.
  • Overfitting. Model odlično radi na razvojnom uzorku, a loše u produkciji. Out-of-time i out-of-sample testiranje je obavezno.
  • Halucinacije kod generativne AI. Chatbot može dati netačnu informaciju o kamatnoj stopi, uslovima police ili propisu, uz punu uvjerljivost. Organizacija odgovara za ono što njen chatbot kaže klijentu.
  1. Rizik podataka

AI model je dobar onoliko koliko su dobri podaci na kojima uči. Ključna pitanja su kompletnost, tačnost, ažurnost i porijeklo podataka (data lineage). Istorijski podaci mogu sadržavati pristrasnost prema određenim grupama, koju model zatim reprodukuje i pojačava: kreditni model nauči istorijsku diskriminaciju, a model za selekciju kandidata preferira profil dosadašnjih zaposlenih. U finansijskom sektoru principi BCBS 239 o agregaciji podataka ovdje dobijaju novu primjenu.

  1. ICT i sajber rizik

AI sistemi otvaraju nove vektore napada:

  • Data poisoning: namjerno ubacivanje iskrivljenih podataka u proces učenja.
  • Prompt injection: manipulacija generativnog sistema da zaobiđe ograničenja ili otkrije povjerljive podatke.
  • Curenje podataka: zaposlenici unose povjerljive podatke klijenata, pacijenata ili poslovne tajne u javne AI alate.
  • Deepfake prevare: lažni glas ili video direktora za odobravanje plaćanja ili zaobilaženje KYC provjere. Ovaj rizik pogađa svaku organizaciju koja vrši plaćanja, ne samo banke.
  1. Rizik trećih strana i koncentracije

Većina organizacija u regiji AI neće razvijati sama, već će ga kupovati ili koristiti kao uslugu u oblaku. To znači zavisnost od malog broja globalnih dobavljača, ograničen uvid u model, otežano pravo revizije i pitanje lokacije podataka. Ugovori moraju pokriti prava pristupa, reviziju, izlaznu strategiju i obavještavanje o promjenama modela. U finansijskom sektoru to je obaveza prema DORA-i i domaćim propisima o eksternalizaciji, a u ostalim industrijama dobra praksa.

  1. Pravni i rizik usklađenosti

Ovo uključuje neusklađenost s AI Act-om, GDPR-om i propisima o zaštiti potrošača, diskriminaciju u kreditnim, osiguravajućim ili kadrovskim odlukama, povredu autorskih prava kod generativnih modela i nejasnu odgovornost za štetu nastalu odlukom AI sistema. Za IT kompanije koje izvoze AI rješenja u EU poseban je rizik da postanu proizvođač visokorizičnog sistema, a da to ugovorom i procesima nisu predvidjele.

  1. Operativni rizik i kontinuitet poslovanja

Što je proces više automatizovan, to je veći uticaj zastoja. U proizvodnji i energetici greška AI sistema za upravljanje može imati i fizičke posljedice. Organizacija mora znati kako proces funkcioniše kada AI sistem nije dostupan i ko tada donosi odluke.

Soft rizici: ljudi, kultura i odgovornost

Soft rizici se teško kvantificiraju i rijetko se nalaze u registru rizika. Ipak, upravo oni najčešće određuju da li će hard kontrole zaista funkcionisati.

  1. Upravljanje i odgovornost (governance)

Najčešći problem je pitanje: čiji je ovo sistem? IT ga razvija, poslovna funkcija koristi, dobavljač održava, a risk ga treba kontrolisati. Bez jasno imenovanog vlasnika AI sistema, odgovornost se razvodnjava. Uprava i nadzorni odbor moraju razumjeti AI dovoljno da mogu postavljati prava pitanja i odobriti sklonost riziku za AI.

  1. Nedostatak kompetencija

Tržište stručnjaka za AI i data science u regiji je malo i konkurentno. Druga strana problema je manje vidljiva: risk manageri, revizori i compliance službenici često nemaju znanje potrebno da efikasno izazovu (challenge) AI model. AI Act zato uvodi obavezu AI pismenosti zaposlenih.

  1. Prekomjerno oslanjanje na automatizaciju (automation bias)

Kada sistem u 95% slučajeva daje tačan odgovor, ljudi prestaju provjeravati. Ljudski nadzor tada postoji samo formalno: kreditni referent potpisuje ono što je model predložio, likvidator šteta odobrava procjenu bez pregleda, a služba ljudskih resursa ne pogleda kandidate koje je algoritam rangirao nisko. Ovo je jedan od najopasnijih soft rizika jer stvara lažan osjećaj kontrole.

  1. Shadow AI

Zaposlenici već koriste javne AI alate za pisanje e-mailova, analizu dokumenata i sažimanje ugovora, često bez znanja banke. Zabrana rijetko djeluje. Djeluje jasna politika, odobreni alati i edukacija.

  1. Etički rizik i pravičnost

Model može biti zakonit, a ipak nepravičan. Primjer su kreditni modeli koji indirektno, preko poštanskog broja ili vrste zaposlenja, diskriminišu određene grupe, ili modeli određivanja premija u osiguranju koji klijente penalizuju prema podacima bez stvarne veze s rizikom. Pitanje nije samo „smijemo li?“, nego i „trebamo li?“.

  1. Reputacijski rizik

Jedna javno objavljena greška chatbota ili diskriminatorna kreditna odluka može narušiti povjerenje klijenata više od bilo kakve regulatorne kazne. Na malim tržištima, poput BiH, takve priče se šire brzo.

  1. Otpor promjenama i kultura

Zaposlenici mogu doživjeti AI kao prijetnju radnom mjestu i pasivno ga sabotirati ili zaobilaziti. Suprotno tome, kultura „AI kao rješenje za sve“ vodi uvođenju sistema bez stvarne poslovne potrebe i bez procjene rizika.

Kako soft rizici postaju hard rizici

Soft rizik je najčešće uzrok, a hard rizik posljedica. Zato kontrole koje pokrivaju samo tehničku stranu ostavljaju korijen problema netaknut.

Soft rizik (uzrok)Hard posljedicaKljučna kontrolaRegulatorno uporište
Nejasno vlasništvo nad AI sistemomModel nije validiran ni praćen, drift ostaje neotkrivenImenovan vlasnik i RACI za svaki sistemAI Act (obaveze proizvođača i korisnika); propisi FBA/ABRS o sistemu upravljanja
Nedostatak kompetencija u risku i revizijiSlab challenge modela, propuštene greškeProgram AI pismenosti, nezavisna validacijaAI Act, čl. 4 (AI pismenost)
Automation biasLjudski nadzor postoji samo na papiruMjerenje stope ljudskih korekcija, testni slučajeviAI Act, čl. 14; GDPR, čl. 22
Shadow AICurenje povjerljivih podataka i poslovnih tajniPolitika korištenja, odobreni alati, DLPGDPR; DORA (finansijski sektor)
Etička nepažnjaDiskriminatorne kreditne, osiguravajuće ili kadrovske odluke, pravni sporoviTestiranje pravičnosti prije i nakon uvođenjaAI Act (Aneks III); EBA/GL/2020/06
Pritisak na brzo uvođenjeNeadekvatan ugovor s dobavljačem, zaključavanjeDue diligence i izlazna strategija prije potpisaDORA; propisi o eksternalizaciji
Neprepoznata uloga izvoznikaObaveze proizvođača visokorizičnog sistema bez pripremljene dokumentacijeProcjena uloge prema AI Act-u za svaki ugovor s klijentom iz EUAI Act, čl. 2 i čl. 22 (ovlašteni zastupnik)

Zaključak za risk managera: registar AI rizika treba za svaki sistem bilježiti i ljudski uzrok, ne samo tehnički simptom.

Praktične preporuke za risk management

Upravljanje AI rizikom ne zahtijeva potpuno novi okvir. Zahtijeva proširenje postojećih okvira za rizik modela, ICT rizik i eksternalizaciju, uz jasan fokus na ljude.

  1. Napravite inventar AI sistema. Uključite i kupljena rješenja, funkcionalnosti ugrađene u postojeći softver i alate koje zaposlenici koriste samoinicijativno.
  2. Utvrdite svoju ulogu prema AI Act-u. Da li ste proizvođač, korisnik, uvoznik ili distributer? IT kompanije koje razvijaju AI za klijente u EU najčešće su proizvođači i moraju to znati prije potpisivanja ugovora.
  3. Klasificirajte sisteme prema riziku. Koristite logiku AI Act-a: zabranjeno, visokorizično, ograničen rizik, minimalan rizik. Kreditni scoring, procjenu rizika u životnom i zdravstvenom osiguranju i AI u selekciji kadrova tretirajte kao visokorizične bez obzira na to da li se AI Act na organizaciju direktno primjenjuje.
  4. Integrišite AI u okvir upravljanja rizikom modela. Razvoj, nezavisna validacija, monitoring performansi i drifta, te periodična revalidacija.
  5. Definišite ljudski nadzor koji zaista funkcioniše. Odredite kada čovjek mora intervenisati i mjerite koliko često to zaista čini.
  6. Ojačajte upravljanje dobavljačima. Pravo revizije, transparentnost modela, obavještavanje o promjenama i izlazna strategija moraju biti u ugovoru.
  7. Uvedite politiku korištenja AI alata. Šta je dozvoljeno, koji podaci se nikada ne unose u javne alate i koji su alati odobreni.
  8. Investirajte u AI pismenost. Od uprave do zaposlenih koji svakodnevno koriste AI, uz dublje znanje za risk, compliance i internu reviziju.
  9. Uključite AI u registar rizika i izvještavanje. Uprava treba redovno dobijati pregled AI sistema, njihovih performansi i incidenata.

Kontrolna lista prije puštanja AI sistema u produkciju

Kontrolna lista prije puštanja AI sistema u produkciju

0 / 12

Zaključak

Uspješna implementacija AI sistema u svakoj organizaciji zavisi podjednako od kvaliteta modela i od kvaliteta ljudi koji ga nadziru. Hard rizici se rješavaju validacijom, kontrolama i ugovorima. Soft rizici se rješavaju jasnom odgovornošću, znanjem i kulturom koja dozvoljava da se postavi pitanje „da li je model u pravu?“.

Za organizacije u BiH i regiji ovo je trenutak prednosti. Finansijski sektor ima najrazvijeniju praksu i može poslužiti kao uzor drugim industrijama. IT kompanije koje izvoze u EU već su obveznici AI Act-a i usklađenost im postaje konkurentska prednost. Organizacije koje sada izgrade okvir upravljanja AI rizikom neće morati žuriti kada regulator ili supervizor postavi pitanja, a klijentima i partnerima će moći pokazati da je njihova tehnologija i pouzdana i pravična.

Izvori

 

Tekst pripremljen uz pomoć AI-a

Pročitajte

Upravljanje Operativnim rizicima

Operativni rizik predstavlja rizik gubitka koji nastaje kao posljedica neadekvatnih ili neuspješnih internih procesa, zaposlenih, sistema, ili vanjskih događaja.  Operativni rizik je prisutan u svakom

DETALJNIJE >