ИИ останется таким, каким его сделают люди?

Question

В том плане, что если военные будут обучать ИИ захватывать територии и удерживать их, уничтожая вражескую технику и солдат, то в дальнейшем ИИ будет только этим и заниматься, если даже выйдет из под контроля? Ведь другому его не учили, откуда и зачем ему знать что либо еще?

Answer 1

По определению, нет.
ИИ должен иметь способность к самобучению, иначе это будет не "интеллект", а просто "программа".
А в процессе обучения ИИ, естественно, будет меняться. Как же иначе!

Answer 2

Да. Если сделаешь так что бы ИИ мог обучатсья, тогда последствия могут быть совсем не такими как задумывалось раньше.
Так создавали ИИ который обучался на собщениях в твиттере. В итоге все что он писал это оскорбления после чего его отключили просто.