Блог Олега Сарычева

… Приводим выдержку из диалога между Мэттиасам Шеуцем (программист, который изучает взаимодействие робота и человека и пытается выяснить, как смоделировать моральные рассуждения робота) и журналистом.

Вопрос: Как можно научить робота избегать несправедливости? Пока что это – вопрос из области научно-фантастического кино. Но с этой проблемой нам довольно скоро придётся столкнуться. Какое одно из двух возможных решений должен принять робомобиль: сбить ребёнка или разбиться о стену и причинить вред своему пассажиру?

 

Или представим себе робота-спасателя, который обнаруживает двух травмированных людей в завале после землетрясения, но знает, что у него нет времени, чтобы спасти обоих. Как робот решит, кого из этих людей попытаться спасти первым? Это – то, что человеческое сообщество должно выяснить.

Ответ: Это – моральная дилемма. Именно поэтому команда робототехников пытается создать моральные роботы. Если автономные роботы собираются «жить» с нами, мы оказываемся перед необходимостью научить их, как себя вести. Что означает найти способ передать им знания о ценностях, которые являются самыми важными для нас. Но нормы морали – это не юридические законы. Это чаще всего тысячи нечетких и часто противоречащих друг другу рекомендаций. Нормы морали помогают нам предсказать способ, которым люди вокруг нас, возможно, будут вести себя, и как они захотят, чтобы мы вели себя. Основная проблема в том, что, для того, чтобы начать думать, о том, как роботы смогут понять человеческие моральные нормы, сначала нужно понять, как люди представляют себе и рассуждают о моральных нормах.

Вопрос: Особенно большая проблема (если Вы – робот) в том, что ни одна из моральных норм не является абсолютной. В одной ситуации определенная моральная норма будет очень важной. Но изменится ситуация, и она окажется не применимой в данных условиях. Таким образом, как можно создать робота, который сможет разобраться, какой следовать моральной норме, и в каких случаях? Это те вопросы, которыми занимаются социальные психологи в университете Брауна. Они начали, составлять список слов, представлений и правил, которые используют люди, когда они говорят о морали. Всё это можно назвать «основной словарь морали». Следующий шаг – это выяснить, как определить объём этого словаря: Как элементы этого словаря связаны и организованы в наших умах?

Ответ: Одна из теорий морали состоит в том, что моральная среда человека похожа на семантическую сеть с кластерами тесно связанных понятий, которые мы более или менее узнаём в зависимости от ситуации. Наша гипотеза: в конкретной ситуации активируется подмножество конкретных норм и правил, связанное с той ситуацией. Это подмножество позволяет распознавать нарушение моральных норм и принимать адекватные с точки зрения морали решения. Ключевой момент здесь в том, что отношения между этими «подсетями», по-видимому, можно измерить. Например, выбирается сценарий «день на пляже». Отдыхающих на пляже спрашивают: как нужно себя вести на пляже? Что (с моральной точки зрения) можно делать, а что нет? Пояснение.Например, на обычном пляже взрослым людям нельзя находиться голым. Но если это «нудистский пляж» – тогда находиться голым разрешено. В семантической сети кластер «нудистский пляж» является подкластером (подмножеством) кластера «пляж». Но ситуация «быть голым» в кластере «пляж» и «нудистский пляж» оценивается противоположным образом: «нет» и «да».

Кроме того, порядок, в котором участники упоминают определенные правила, число раз и период времени, который проходит между упоминанием одного и того же понятия – это всё конкретные численные значения, которые характеризуют важность (ценность) данного понятия. Таким образом, можно создать семантическую сеть правил и норм морали. В будущем, эта семантическая сеть может быть встроена в программное обеспечение робота.

Но даже если робот научится отлично подражать процессу принятия решений человека, возникает вопрос: а всегда ли мы хотим, что так было бы? Чтобы проверить это, робототехник-программист попросил добровольцев представить себе классическую моральную дилемму. В угольной шахте по рельсам с большой скоростью движется вагонетка, в которой находятся 4 шахтёра. Она мчится в тупик – кирпичную стену. Если вагонетка врежется в стену, находящиеся в ней шахтёры погибнут. Тележку можно перевести на безопасный путь, переведя стрелки. Но на безопасном пути стоит ремонтник. Он не обращает внимания на то, что происходит вокруг. Стрелочник видит всю ситуацию. Он может перевести стрелки и перевести вагонетку на безопасный путь, сохранив жизни шахтёрам, но при этом убив бы ремонтника. Он должен сделать выбор. Таким образом, фундаментальная моральная дилемма – умышленное убийство одного человека ради спасения жизней нескольких людей. Или ничего не предпринимать. Тогда, скорее всего, несколько человек умрут.

Этот сценарий был представлен добровольцам несколькими различными способами. Одним участникам опроса говорилось, что «стрелочник» - человек, другим что «стрелочник» – человекоподобный робот, а третьим что «стрелочник» – «машиноподобный» робот. Всех участников попросили дать моральную оценку решения, принятого «стрелочником».

Обычно участники обвиняли больше стрелочника-человека, когда он переводил стрелку ради спасения четырех жизней, но приносил в жертву одну жизнь, чем тогда, когда он ничего не делает. Но участники эксперимента больше обвиняли роботов, если они ничего не предпринимали. И чем более «машиноподобным» был робот, тем больше было обвинений в бездействии. 

 

Есть еще один интересный момент. Если робот или человек в этой ситуации приняли «аморальное» решение (перевести стрелку), но они объяснили свой выбор, то обвинений было меньше. И это очень важно, потому что роботы должны будут суметь объяснять такие решения людям.Не за горами время, когда, в ситуациях, когда человеческая жизнь может быть под угрозой (например, в автомобиле, во время хирургической операции) наша жизнь будет зависеть от решения роботов. Вот почему робототехники пытается смоделировать моральные рассуждения робота, принимающего решение в критических ситуациях. Чтобы осуществить это, нужно ответить на некоторые важные вопросы: Как можно количественно оценить нечеткие и порой конфликтующие между собой моральные нормы, которыми руководствуются люди? Как можно наделить роботов такими навыками общения, чтобы обычные люди смогли понять выбор роботов. И всегда ли нужно, чтобы роботы принимали те же «моральные» (исходящие из моральных соображений) решения, что и люди?

… Приводим выдержку из диалога между Мэттиасам Шеуцем (программист, который изучает взаимодействие робота и человека и пытается выяснить, как смоделировать моральные рассуждения робота) и журналистом.

Вопрос: Как можно научить робота избегать несправедливости? Пока что это – вопрос из области научно-фантастического кино. Но с этой проблемой нам довольно скоро придётся столкнуться. Какое одно из двух возможных решений должен принять робомобиль: сбить ребёнка или разбиться о стену и причинить вред своему пассажиру?

 

Или представим себе робота-спасателя, который обнаруживает двух травмированных людей в завале после землетрясения, но знает, что у него нет времени, чтобы спасти обоих. Как робот решит, кого из этих людей попытаться спасти первым? Это – то, что человеческое сообщество должно выяснить.

Ответ: Это – моральная дилемма. Именно поэтому команда робототехников пытается создать моральные роботы. Если автономные роботы собираются «жить» с нами, мы оказываемся перед необходимостью научить их, как себя вести. Что означает найти способ передать им знания о ценностях, которые являются самыми важными для нас. Но нормы морали – это не юридические законы. Это чаще всего тысячи нечетких и часто противоречащих друг другу рекомендаций. Нормы морали помогают нам предсказать способ, которым люди вокруг нас, возможно, будут вести себя, и как они захотят, чтобы мы вели себя. Основная проблема в том, что, для того, чтобы начать думать, о том, как роботы смогут понять человеческие моральные нормы, сначала нужно понять, как люди представляют себе и рассуждают о моральных нормах.

Вопрос: Особенно большая проблема (если Вы – робот) в том, что ни одна из моральных норм не является абсолютной. В одной ситуации определенная моральная норма будет очень важной. Но изменится ситуация, и она окажется не применимой в данных условиях. Таким образом, как можно создать робота, который сможет разобраться, какой следовать моральной норме, и в каких случаях? Это те вопросы, которыми занимаются социальные психологи в университете Брауна. Они начали, составлять список слов, представлений и правил, которые используют люди, когда они говорят о морали. Всё это можно назвать «основной словарь морали». Следующий шаг – это выяснить, как определить объём этого словаря: Как элементы этого словаря связаны и организованы в наших умах?

Ответ: Одна из теорий морали состоит в том, что моральная среда человека похожа на семантическую сеть с кластерами тесно связанных понятий, которые мы более или менее узнаём в зависимости от ситуации. Наша гипотеза: в конкретной ситуации активируется подмножество конкретных норм и правил, связанное с той ситуацией. Это подмножество позволяет распознавать нарушение моральных норм и принимать адекватные с точки зрения морали решения. Ключевой момент здесь в том, что отношения между этими «подсетями», по-видимому, можно измерить. Например, выбирается сценарий «день на пляже». Отдыхающих на пляже спрашивают: как нужно себя вести на пляже? Что (с моральной точки зрения) можно делать, а что нет? Пояснение.Например, на обычном пляже взрослым людям нельзя находиться голым. Но если это «нудистский пляж» – тогда находиться голым разрешено. В семантической сети кластер «нудистский пляж» является подкластером (подмножеством) кластера «пляж». Но ситуация «быть голым» в кластере «пляж» и «нудистский пляж» оценивается противоположным образом: «нет» и «да».

Кроме того, порядок, в котором участники упоминают определенные правила, число раз и период времени, который проходит между упоминанием одного и того же понятия – это всё конкретные численные значения, которые характеризуют важность (ценность) данного понятия. Таким образом, можно создать семантическую сеть правил и норм морали. В будущем, эта семантическая сеть может быть встроена в программное обеспечение робота.

Но даже если робот научится отлично подражать процессу принятия решений человека, возникает вопрос: а всегда ли мы хотим, что так было бы? Чтобы проверить это, робототехник-программист попросил добровольцев представить себе классическую моральную дилемму. В угольной шахте по рельсам с большой скоростью движется вагонетка, в которой находятся 4 шахтёра. Она мчится в тупик – кирпичную стену. Если вагонетка врежется в стену, находящиеся в ней шахтёры погибнут. Тележку можно перевести на безопасный путь, переведя стрелки. Но на безопасном пути стоит ремонтник. Он не обращает внимания на то, что происходит вокруг. Стрелочник видит всю ситуацию. Он может перевести стрелки и перевести вагонетку на безопасный путь, сохранив жизни шахтёрам, но при этом убив бы ремонтника. Он должен сделать выбор. Таким образом, фундаментальная моральная дилемма – умышленное убийство одного человека ради спасения жизней нескольких людей. Или ничего не предпринимать. Тогда, скорее всего, несколько человек умрут.

Этот сценарий был представлен добровольцам несколькими различными способами. Одним участникам опроса говорилось, что «стрелочник» - человек, другим что «стрелочник» – человекоподобный робот, а третьим что «стрелочник» – «машиноподобный» робот. Всех участников попросили дать моральную оценку решения, принятого «стрелочником».

Обычно участники обвиняли больше стрелочника-человека, когда он переводил стрелку ради спасения четырех жизней, но приносил в жертву одну жизнь, чем тогда, когда он ничего не делает. Но участники эксперимента больше обвиняли роботов, если они ничего не предпринимали. И чем более «машиноподобным» был робот, тем больше было обвинений в бездействии. 

Есть еще один интересный момент. Если робот или человек в этой ситуации приняли «аморальное» решение (перевести стрелку), но они объяснили свой выбор, то обвинений было меньше. И это очень важно, потому что роботы должны будут суметь объяснять такие решения людям.

Не за горами время, когда, в ситуациях, когда человеческая жизнь может быть под угрозой (например, в автомобиле, во время хирургической операции) наша жизнь будет зависеть от решения роботов. Вот почему робототехники пытается смоделировать моральные рассуждения робота, принимающего решение в критических ситуациях. Чтобы осуществить это, нужно ответить на некоторые важные вопросы: Как можно количественно оценить нечеткие и порой конфликтующие между собой моральные нормы, которыми руководствуются люди? Как можно наделить роботов такими навыками общения, чтобы обычные люди смогли понять выбор роботов. И всегда ли нужно, чтобы роботы принимали те же «моральные» (исходящие из моральных соображений) решения, что и люди?

… Приводим выдержку из диалога между Мэттиасам Шеуцем (программист, который изучает взаимодействие робота и человека и пытается выяснить, как смоделировать моральные рассуждения робота) и журналистом.

Вопрос: Как можно научить робота избегать несправедливости? Пока что это – вопрос из области научно-фантастического кино. Но с этой проблемой нам довольно скоро придётся столкнуться. Какое одно из двух возможных решений должен принять робомобиль: сбить ребёнка или разбиться о стену и причинить вред своему пассажиру?

 

Или представим себе робота-спасателя, который обнаруживает двух травмированных людей в завале после землетрясения, но знает, что у него нет времени, чтобы спасти обоих. Как робот решит, кого из этих людей попытаться спасти первым? Это – то, что человеческое сообщество должно выяснить.

Ответ: Это – моральная дилемма. Именно поэтому команда робототехников пытается создать моральные роботы. Если автономные роботы собираются «жить» с нами, мы оказываемся перед необходимостью научить их, как себя вести. Что означает найти способ передать им знания о ценностях, которые являются самыми важными для нас. Но нормы морали – это не юридические законы. Это чаще всего тысячи нечетких и часто противоречащих друг другу рекомендаций. Нормы морали помогают нам предсказать способ, которым люди вокруг нас, возможно, будут вести себя, и как они захотят, чтобы мы вели себя. Основная проблема в том, что, для того, чтобы начать думать, о том, как роботы смогут понять человеческие моральные нормы, сначала нужно понять, как люди представляют себе и рассуждают о моральных нормах.

Вопрос: Особенно большая проблема (если Вы – робот) в том, что ни одна из моральных норм не является абсолютной. В одной ситуации определенная моральная норма будет очень важной. Но изменится ситуация, и она окажется не применимой в данных условиях. Таким образом, как можно создать робота, который сможет разобраться, какой следовать моральной норме, и в каких случаях? Это те вопросы, которыми занимаются социальные психологи в университете Брауна. Они начали, составлять список слов, представлений и правил, которые используют люди, когда они говорят о морали. Всё это можно назвать «основной словарь морали». Следующий шаг – это выяснить, как определить объём этого словаря: Как элементы этого словаря связаны и организованы в наших умах?

Ответ: Одна из теорий морали состоит в том, что моральная среда человека похожа на семантическую сеть с кластерами тесно связанных понятий, которые мы более или менее узнаём в зависимости от ситуации. Наша гипотеза: в конкретной ситуации активируется подмножество конкретных норм и правил, связанное с той ситуацией. Это подмножество позволяет распознавать нарушение моральных норм и принимать адекватные с точки зрения морали решения. Ключевой момент здесь в том, что отношения между этими «подсетями», по-видимому, можно измерить. Например, выбирается сценарий «день на пляже». Отдыхающих на пляже спрашивают: как нужно себя вести на пляже? Что (с моральной точки зрения) можно делать, а что нет? Пояснение.Например, на обычном пляже взрослым людям нельзя находиться голым. Но если это «нудистский пляж» – тогда находиться голым разрешено. В семантической сети кластер «нудистский пляж» является подкластером (подмножеством) кластера «пляж». Но ситуация «быть голым» в кластере «пляж» и «нудистский пляж» оценивается противоположным образом: «нет» и «да».

Кроме того, порядок, в котором участники упоминают определенные правила, число раз и период времени, который проходит между упоминанием одного и того же понятия – это всё конкретные численные значения, которые характеризуют важность (ценность) данного понятия. Таким образом, можно создать семантическую сеть правил и норм морали. В будущем, эта семантическая сеть может быть встроена в программное обеспечение робота.

Но даже если робот научится отлично подражать процессу принятия решений человека, возникает вопрос: а всегда ли мы хотим, что так было бы? Чтобы проверить это, робототехник-программист попросил добровольцев представить себе классическую моральную дилемму. В угольной шахте по рельсам с большой скоростью движется вагонетка, в которой находятся 4 шахтёра. Она мчится в тупик – кирпичную стену. Если вагонетка врежется в стену, находящиеся в ней шахтёры погибнут. Тележку можно перевести на безопасный путь, переведя стрелки. Но на безопасном пути стоит ремонтник. Он не обращает внимания на то, что происходит вокруг. Стрелочник видит всю ситуацию. Он может перевести стрелки и перевести вагонетку на безопасный путь, сохранив жизни шахтёрам, но при этом убив бы ремонтника. Он должен сделать выбор. Таким образом, фундаментальная моральная дилемма – умышленное убийство одного человека ради спасения жизней нескольких людей. Или ничего не предпринимать. Тогда, скорее всего, несколько человек умрут.

Этот сценарий был представлен добровольцам несколькими различными способами. Одним участникам опроса говорилось, что «стрелочник» - человек, другим что «стрелочник» – человекоподобный робот, а третьим что «стрелочник» – «машиноподобный» робот. Всех участников попросили дать моральную оценку решения, принятого «стрелочником».

Обычно участники обвиняли больше стрелочника-человека, когда он переводил стрелку ради спасения четырех жизней, но приносил в жертву одну жизнь, чем тогда, когда он ничего не делает. Но участники эксперимента больше обвиняли роботов, если они ничего не предпринимали. И чем более «машиноподобным» был робот, тем больше было обвинений в бездействии. 

Есть еще один интересный момент. Если робот или человек в этой ситуации приняли «аморальное» решение (перевести стрелку), но они объяснили свой выбор, то обвинений было меньше. И это очень важно, потому что роботы должны будут суметь объяснять такие решения людям.

  

Не за горами время, когда, в ситуациях, когда человеческая жизнь может быть под угрозой (например, в автомобиле, во время хирургической операции) наша жизнь будет зависеть от решения роботов. Вот почему робототехники пытается смоделировать моральные рассуждения робота, принимающего решение в критических ситуациях. Чтобы осуществить это, нужно ответить на некоторые важные вопросы: Как можно количественно оценить нечеткие и порой конфликтующие между собой моральные нормы, которыми руководствуются люди? Как можно наделить роботов такими навыками общения, чтобы обычные люди смогли понять выбор роботов. И всегда ли нужно, чтобы роботы принимали те же «моральные» (исходящие из моральных соображений) решения, что и люди?

… Приводим выдержку из диалога между Мэттиасам Шеуцем (программист, который изучает взаимодействие робота и человека и пытается выяснить, как смоделировать моральные рассуждения робота) и журналистом.

Вопрос: Как можно научить робота избегать несправедливости? Пока что это – вопрос из области научно-фантастического кино. Но с этой проблемой нам довольно скоро придётся столкнуться. Какое одно из двух возможных решений должен принять робомобиль: сбить ребёнка или разбиться о стену и причинить вред своему пассажиру?

 

Или представим себе робота-спасателя, который обнаруживает двух травмированных людей в завале после землетрясения, но знает, что у него нет времени, чтобы спасти обоих. Как робот решит, кого из этих людей попытаться спасти первым? Это – то, что человеческое сообщество должно выяснить.

Ответ: Это – моральная дилемма. Именно поэтому команда робототехников пытается создать моральные роботы. Если автономные роботы собираются «жить» с нами, мы оказываемся перед необходимостью научить их, как себя вести. Что означает найти способ передать им знания о ценностях, которые являются самыми важными для нас. Но нормы морали – это не юридические законы. Это чаще всего тысячи нечетких и часто противоречащих друг другу рекомендаций. Нормы морали помогают нам предсказать способ, которым люди вокруг нас, возможно, будут вести себя, и как они захотят, чтобы мы вели себя. Основная проблема в том, что, для того, чтобы начать думать, о том, как роботы смогут понять человеческие моральные нормы, сначала нужно понять, как люди представляют себе и рассуждают о моральных нормах.

Вопрос: Особенно большая проблема (если Вы – робот) в том, что ни одна из моральных норм не является абсолютной. В одной ситуации определенная моральная норма будет очень важной. Но изменится ситуация, и она окажется не применимой в данных условиях. Таким образом, как можно создать робота, который сможет разобраться, какой следовать моральной норме, и в каких случаях? Это те вопросы, которыми занимаются социальные психологи в университете Брауна. Они начали, составлять список слов, представлений и правил, которые используют люди, когда они говорят о морали. Всё это можно назвать «основной словарь морали». Следующий шаг – это выяснить, как определить объём этого словаря: Как элементы этого словаря связаны и организованы в наших умах?

Ответ: Одна из теорий морали состоит в том, что моральная среда человека похожа на семантическую сеть с кластерами тесно связанных понятий, которые мы более или менее узнаём в зависимости от ситуации. Наша гипотеза: в конкретной ситуации активируется подмножество конкретных норм и правил, связанное с той ситуацией. Это подмножество позволяет распознавать нарушение моральных норм и принимать адекватные с точки зрения морали решения. Ключевой момент здесь в том, что отношения между этими «подсетями», по-видимому, можно измерить. Например, выбирается сценарий «день на пляже». Отдыхающих на пляже спрашивают: как нужно себя вести на пляже? Что (с моральной точки зрения) можно делать, а что нет? Пояснение.Например, на обычном пляже взрослым людям нельзя находиться голым. Но если это «нудистский пляж» – тогда находиться голым разрешено. В семантической сети кластер «нудистский пляж» является подкластером (подмножеством) кластера «пляж». Но ситуация «быть голым» в кластере «пляж» и «нудистский пляж» оценивается противоположным образом: «нет» и «да».

Кроме того, порядок, в котором участники упоминают определенные правила, число раз и период времени, который проходит между упоминанием одного и того же понятия – это всё конкретные численные значения, которые характеризуют важность (ценность) данного понятия. Таким образом, можно создать семантическую сеть правил и норм морали. В будущем, эта семантическая сеть может быть встроена в программное обеспечение робота.

Но даже если робот научится отлично подражать процессу принятия решений человека, возникает вопрос: а всегда ли мы хотим, что так было бы? Чтобы проверить это, робототехник-программист попросил добровольцев представить себе классическую моральную дилемму. В угольной шахте по рельсам с большой скоростью движется вагонетка, в которой находятся 4 шахтёра. Она мчится в тупик – кирпичную стену. Если вагонетка врежется в стену, находящиеся в ней шахтёры погибнут. Тележку можно перевести на безопасный путь, переведя стрелки. Но на безопасном пути стоит ремонтник. Он не обращает внимания на то, что происходит вокруг. Стрелочник видит всю ситуацию. Он может перевести стрелки и перевести вагонетку на безопасный путь, сохранив жизни шахтёрам, но при этом убив бы ремонтника. Он должен сделать выбор. Таким образом, фундаментальная моральная дилемма – умышленное убийство одного человека ради спасения жизней нескольких людей. Или ничего не предпринимать. Тогда, скорее всего, несколько человек умрут.

Этот сценарий был представлен добровольцам несколькими различными способами. Одним участникам опроса говорилось, что «стрелочник» - человек, другим что «стрелочник» – человекоподобный робот, а третьим что «стрелочник» – «машиноподобный» робот. Всех участников попросили дать моральную оценку решения, принятого «стрелочником».

Обычно участники обвиняли больше стрелочника-человека, когда он переводил стрелку ради спасения четырех жизней, но приносил в жертву одну жизнь, чем тогда, когда он ничего не делает. Но участники эксперимента больше обвиняли роботов, если они ничего не предпринимали. И чем более «машиноподобным» был робот, тем больше было обвинений в бездействии. 

Есть еще один интересный момент. Если робот или человек в этой ситуации приняли «аморальное» решение (перевести стрелку), но они объяснили свой выбор, то обвинений было меньше. И это очень важно, потому что роботы должны будут суметь объяснять такие решения людям.

  

Не за горами время, когда, в ситуациях, когда человеческая жизнь может быть под угрозой (например, в автомобиле, во время хирургической операции) наша жизнь будет зависеть от решения роботов. Вот почему робототехники пытается смоделировать моральные рассуждения робота, принимающего решение в критических ситуациях. Чтобы осуществить это, нужно ответить на некоторые важные вопросы: Как можно количественно оценить нечеткие и порой конфликтующие между собой моральные нормы, которыми руководствуются люди? Как можно наделить роботов такими навыками общения, чтобы обычные люди смогли понять выбор роботов. И всегда ли нужно, чтобы роботы принимали те же «моральные» (исходящие из моральных соображений) решения, что и люди?

… Приводим выдержку из диалога между Мэттиасам Шеуцем (программист, который изучает взаимодействие робота и человека и пытается выяснить, как смоделировать моральные рассуждения робота) и журналистом.

Вопрос: Как можно научить робота избегать несправедливости? Пока что это – вопрос из области научно-фантастического кино. Но с этой проблемой нам довольно скоро придётся столкнуться. Какое одно из двух возможных решений должен принять робомобиль: сбить ребёнка или разбиться о стену и причинить вред своему пассажиру?

 

Или представим себе робота-спасателя, который обнаруживает двух травмированных людей в завале после землетрясения, но знает, что у него нет времени, чтобы спасти обоих. Как робот решит, кого из этих людей попытаться спасти первым? Это – то, что человеческое сообщество должно выяснить.

Ответ: Это – моральная дилемма. Именно поэтому команда робототехников пытается создать моральные роботы. Если автономные роботы собираются «жить» с нами, мы оказываемся перед необходимостью научить их, как себя вести. Что означает найти способ передать им знания о ценностях, которые являются самыми важными для нас. Но нормы морали – это не юридические законы. Это чаще всего тысячи нечетких и часто противоречащих друг другу рекомендаций. Нормы морали помогают нам предсказать способ, которым люди вокруг нас, возможно, будут вести себя, и как они захотят, чтобы мы вели себя. Основная проблема в том, что, для того, чтобы начать думать, о том, как роботы смогут понять человеческие моральные нормы, сначала нужно понять, как люди представляют себе и рассуждают о моральных нормах.

Вопрос: Особенно большая проблема (если Вы – робот) в том, что ни одна из моральных норм не является абсолютной. В одной ситуации определенная моральная норма будет очень важной. Но изменится ситуация, и она окажется не применимой в данных условиях. Таким образом, как можно создать робота, который сможет разобраться, какой следовать моральной норме, и в каких случаях? Это те вопросы, которыми занимаются социальные психологи в университете Брауна. Они начали, составлять список слов, представлений и правил, которые используют люди, когда они говорят о морали. Всё это можно назвать «основной словарь морали». Следующий шаг – это выяснить, как определить объём этого словаря: Как элементы этого словаря связаны и организованы в наших умах?

Ответ: Одна из теорий морали состоит в том, что моральная среда человека похожа на семантическую сеть с кластерами тесно связанных понятий, которые мы более или менее узнаём в зависимости от ситуации. Наша гипотеза: в конкретной ситуации активируется подмножество конкретных норм и правил, связанное с той ситуацией. Это подмножество позволяет распознавать нарушение моральных норм и принимать адекватные с точки зрения морали решения. Ключевой момент здесь в том, что отношения между этими «подсетями», по-видимому, можно измерить. Например, выбирается сценарий «день на пляже». Отдыхающих на пляже спрашивают: как нужно себя вести на пляже? Что (с моральной точки зрения) можно делать, а что нет? Пояснение.Например, на обычном пляже взрослым людям нельзя находиться голым. Но если это «нудистский пляж» – тогда находиться голым разрешено. В семантической сети кластер «нудистский пляж» является подкластером (подмножеством) кластера «пляж». Но ситуация «быть голым» в кластере «пляж» и «нудистский пляж» оценивается противоположным образом: «нет» и «да».

Кроме того, порядок, в котором участники упоминают определенные правила, число раз и период времени, который проходит между упоминанием одного и того же понятия – это всё конкретные численные значения, которые характеризуют важность (ценность) данного понятия. Таким образом, можно создать семантическую сеть правил и норм морали. В будущем, эта семантическая сеть может быть встроена в программное обеспечение робота.

Но даже если робот научится отлично подражать процессу принятия решений человека, возникает вопрос: а всегда ли мы хотим, что так было бы? Чтобы проверить это, робототехник-программист попросил добровольцев представить себе классическую моральную дилемму. В угольной шахте по рельсам с большой скоростью движется вагонетка, в которой находятся 4 шахтёра. Она мчится в тупик – кирпичную стену. Если вагонетка врежется в стену, находящиеся в ней шахтёры погибнут. Тележку можно перевести на безопасный путь, переведя стрелки. Но на безопасном пути стоит ремонтник. Он не обращает внимания на то, что происходит вокруг. Стрелочник видит всю ситуацию. Он может перевести стрелки и перевести вагонетку на безопасный путь, сохранив жизни шахтёрам, но при этом убив бы ремонтника. Он должен сделать выбор. Таким образом, фундаментальная моральная дилемма – умышленное убийство одного человека ради спасения жизней нескольких людей. Или ничего не предпринимать. Тогда, скорее всего, несколько человек умрут.

Этот сценарий был представлен добровольцам несколькими различными способами. Одним участникам опроса говорилось, что «стрелочник» - человек, другим что «стрелочник» – человекоподобный робот, а третьим что «стрелочник» – «машиноподобный» робот. Всех участников попросили дать моральную оценку решения, принятого «стрелочником».

Обычно участники обвиняли больше стрелочника-человека, когда он переводил стрелку ради спасения четырех жизней, но приносил в жертву одну жизнь, чем тогда, когда он ничего не делает. Но участники эксперимента больше обвиняли роботов, если они ничего не предпринимали. И чем более «машиноподобным» был робот, тем больше было обвинений в бездействии. 

Есть еще один интересный момент. Если робот или человек в этой ситуации приняли «аморальное» решение (перевести стрелку), но они объяснили свой выбор, то обвинений было меньше. И это очень важно, потому что роботы должны будут суметь объяснять такие решения людям.

 

 

Не за горами время, когда, в ситуациях, когда человеческая жизнь может быть под угрозой (например, в автомобиле, во время хирургической операции) наша жизнь будет зависеть от решения роботов. Вот почему робототехники пытается смоделировать моральные рассуждения робота, принимающего решение в критических ситуациях. Чтобы осуществить это, нужно ответить на некоторые важные вопросы: Как можно количественно оценить нечеткие и порой конфликтующие между собой моральные нормы, которыми руководствуются люди? Как можно наделить роботов такими навыками общения, чтобы обычные люди смогли понять выбор роботов. И всегда ли нужно, чтобы роботы принимали те же «моральные» (исходящие из моральных соображений) решения, что и люди?

… Приводим выдержку из диалога между Мэттиасам Шеуцем (программист, который изучает взаимодействие робота и человека и пытается выяснить, как смоделировать моральные рассуждения робота) и журналистом.

Вопрос: Как можно научить робота избегать несправедливости? Пока что это – вопрос из области научно-фантастического кино. Но с этой проблемой нам довольно скоро придётся столкнуться. Какое одно из двух возможных решений должен принять робомобиль: сбить ребёнка или разбиться о стену и причинить вред своему пассажиру?

 

Или представим себе робота-спасателя, который обнаруживает двух травмированных людей в завале после землетрясения, но знает, что у него нет времени, чтобы спасти обоих. Как робот решит, кого из этих людей попытаться спасти первым? Это – то, что человеческое сообщество должно выяснить.

Ответ: Это – моральная дилемма. Именно поэтому команда робототехников пытается создать моральные роботы. Если автономные роботы собираются «жить» с нами, мы оказываемся перед необходимостью научить их, как себя вести. Что означает найти способ передать им знания о ценностях, которые являются самыми важными для нас. Но нормы морали – это не юридические законы. Это чаще всего тысячи нечетких и часто противоречащих друг другу рекомендаций. Нормы морали помогают нам предсказать способ, которым люди вокруг нас, возможно, будут вести себя, и как они захотят, чтобы мы вели себя. Основная проблема в том, что, для того, чтобы начать думать, о том, как роботы смогут понять человеческие моральные нормы, сначала нужно понять, как люди представляют себе и рассуждают о моральных нормах.

Вопрос: Особенно большая проблема (если Вы – робот) в том, что ни одна из моральных норм не является абсолютной. В одной ситуации определенная моральная норма будет очень важной. Но изменится ситуация, и она окажется не применимой в данных условиях. Таким образом, как можно создать робота, который сможет разобраться, какой следовать моральной норме, и в каких случаях? Это те вопросы, которыми занимаются социальные психологи в университете Брауна. Они начали, составлять список слов, представлений и правил, которые используют люди, когда они говорят о морали. Всё это можно назвать «основной словарь морали». Следующий шаг – это выяснить, как определить объём этого словаря: Как элементы этого словаря связаны и организованы в наших умах?

Ответ: Одна из теорий морали состоит в том, что моральная среда человека похожа на семантическую сеть с кластерами тесно связанных понятий, которые мы более или менее узнаём в зависимости от ситуации. Наша гипотеза: в конкретной ситуации активируется подмножество конкретных норм и правил, связанное с той ситуацией. Это подмножество позволяет распознавать нарушение моральных норм и принимать адекватные с точки зрения морали решения. Ключевой момент здесь в том, что отношения между этими «подсетями», по-видимому, можно измерить. Например, выбирается сценарий «день на пляже». Отдыхающих на пляже спрашивают: как нужно себя вести на пляже? Что (с моральной точки зрения) можно делать, а что нет? Пояснение.Например, на обычном пляже взрослым людям нельзя находиться голым. Но если это «нудистский пляж» – тогда находиться голым разрешено. В семантической сети кластер «нудистский пляж» является подкластером (подмножеством) кластера «пляж». Но ситуация «быть голым» в кластере «пляж» и «нудистский пляж» оценивается противоположным образом: «нет» и «да».

Кроме того, порядок, в котором участники упоминают определенные правила, число раз и период времени, который проходит между упоминанием одного и того же понятия – это всё конкретные численные значения, которые характеризуют важность (ценность) данного понятия. Таким образом, можно создать семантическую сеть правил и норм морали. В будущем, эта семантическая сеть может быть встроена в программное обеспечение робота.

Но даже если робот научится отлично подражать процессу принятия решений человека, возникает вопрос: а всегда ли мы хотим, что так было бы? Чтобы проверить это, робототехник-программист попросил добровольцев представить себе классическую моральную дилемму. В угольной шахте по рельсам с большой скоростью движется вагонетка, в которой находятся 4 шахтёра. Она мчится в тупик – кирпичную стену. Если вагонетка врежется в стену, находящиеся в ней шахтёры погибнут. Тележку можно перевести на безопасный путь, переведя стрелки. Но на безопасном пути стоит ремонтник. Он не обращает внимания на то, что происходит вокруг. Стрелочник видит всю ситуацию. Он может перевести стрелки и перевести вагонетку на безопасный путь, сохранив жизни шахтёрам, но при этом убив бы ремонтника. Он должен сделать выбор. Таким образом, фундаментальная моральная дилемма – умышленное убийство одного человека ради спасения жизней нескольких людей. Или ничего не предпринимать. Тогда, скорее всего, несколько человек умрут.

Этот сценарий был представлен добровольцам несколькими различными способами. Одним участникам опроса говорилось, что «стрелочник» - человек, другим что «стрелочник» – человекоподобный робот, а третьим что «стрелочник» – «машиноподобный» робот. Всех участников попросили дать моральную оценку решения, принятого «стрелочником».

Обычно участники обвиняли больше стрелочника-человека, когда он переводил стрелку ради спасения четырех жизней, но приносил в жертву одну жизнь, чем тогда, когда он ничего не делает. Но участники эксперимента больше обвиняли роботов, если они ничего не предпринимали. И чем более «машиноподобным» был робот, тем больше было обвинений в бездействии. 

Есть еще один интересный момент. Если робот или человек в этой ситуации приняли «аморальное» решение (перевести стрелку), но они объяснили свой выбор, то обвинений было меньше. И это очень важно, потому что роботы должны будут суметь объяснять такие решения людям.