Majoritatea cercetătorilor sunt de părere că un super inteligent AI nu ar putea experimenta sentimente precum dragoste sau ură, motiv pentru care nu ar putea deveni bun sau rău. Însă, atunci când se gândesc la riscurile inteligenței artificiale, experții iau în considerare 2 scenarii mai probabile:

​

1. Sistemul AI este programat să facă ceva devastator.

Armele autonome sunt sisteme de inteligență artificială care sunt programate să ucidă. În mâinile unei persoane greșite, aceste arme ar putea cauza ușor dezastre catastrofale. Pentru a se evita distrugerea lor de către inamici, aceste arme sunt special create pentru a fi greu oprite, deci oamenii ar putea să piardă ușor controlul acestor dispozitive. Riscul apare chiar la dispozitivele mai simple, dar se intensifică odata cu complexitatea dispozitivelor.

 

  2.Sistemul este programat să facă ceva benefic, dar dezvoltă o metodă distructivă pentru realizarea sarcinii

Acest lucru se poate întâmpla de fiecare dată când eșuăm în a uni dorințele noastre cu capacitățile sistemului, ceea ce este destul de dificil. De exemplu, dacă o persoana îi cere unei mașini super inteligente să o ducă la aeroport cât mai repede posibil, mașina va face acest lucru, chiar dacă va implica încălcarea legii sau a principiilor morale, deoarece mașina va face exact ceea ce i s-a cerut.