Искусственный интеллект уронил два Boeing 737

Катастрофа Boeing 737 Max 8 эфиопских авиалиний, случившаяся 10 марта, вызвала беспрецедентно быструю и масштабную реакцию по всему миру. Операторы многих стран поставили лайнеры новой модели на прикол. Даже американские власти после некоторого раздумья согласились с такой необходимостью.

Временный вывод из эксплуатации воздушных судов какого-либо типа после авиапроисшествия не является чем-то из ряда вон выходящим. Но тут случай особый. Отказ от новой модели Boeing носит тотальный характер. И неспроста. Хотя международные авиационные инстанции, как обычно, просят не торопиться с выводами и дождаться результатов расследования, однако независимые авиаэксперты и национальные регуляторы большинства стран, использующих восьмой Max, в своих выводах довольно категоричны. Ведь в самолете обнаружена системная проблема.

Новый 737-й убивает людей второй раз за последние пять месяцев. Похожая авария произошла в октябре 2018 года в Индонезии с бортом компании Lion Air. Так же, как и в эфиопской трагедии, лайнер повел себя непредсказуемо уже через несколько минут после взлета. В обоих случаях экипажи докладывали о проблеме с пилотированием, запрашивали возвращение в аэропорт, пытались поднять нос самолета, который отказывался набирать высоту, но так и не справились с взбунтовавшейся машиной.

В ноябре международная следственная группа пришла к выводу, что лайнер Lion Air разбился из-за некорректной работы бортового компьютера. Говоря точнее, из-за системы искусственного интеллекта, призванной исправлять ошибки пилотирования. На восьмом Max`е установлены новые композитные крылья и более мощные, экономичные двигатели. По мнению производителя, обращаться с таким лайнером достаточно легко, но у некоторых пилотов могут возникнуть трудности с маневрированием.

В помощь им и было обновлено программное обеспечение (система MCAS), которое берет контроль на себя, если решит, что человек управляет судном неадекватно. В частности, если пилот выводит машину на запредельный угол атаки, задирая нос самолета, искусственный интеллект его опустит - ​предотвратит срыв в штопор. На деле же в Индонезии и Эфиопии программа тянула нос лайнера вниз, а пилоты изо всех сил пытались его поднять. Но искусственный интеллект оказался сильнее человека. Оба самолета разбились под чутким управлением компьютера.

После катастрофы в Индийском океане корпорация Boeing выпустила новые руководства по пилотированию, а также разослала всем эксплуатантам обновленное программное обеспечение. Кроме того, с авиаторами провели специальные тренинги, призванные обучить их взаимодействию с компьютерной системой нового 737-го. То, что проблема кроется именно в ней, практически ни у кого не вызывает сомнения. В пользу данной версии свидетельствует и тот факт, что Boeing решал проблему после индонезийской катастрофы именно обновлением программного обеспечение. И теперь собирается сделать то же самое.

Некоторые специалисты полагают, что на трагическое развитие событий повлияла совокупность двух факторов - ​новой конфигурации планера воздушного судна (двигатели и крылья) и несовершенство компьютерного управления. То есть при взлете могла возникнуть ситуация, с которой человек все равно не справился бы. Но и программа действовала ошибочно. Последний вариант еще хуже. Транспортное средство изначально создавалось в расчете на цифровые мозги, а не на человеческие. И вот, исключив человека из системы принятия решений, компьютерный разум убил сотни людей.

Человечество, конечно, не впервые страдает от творений рук своих. Несчастные случаи на производстве - ​регулярное явление с начала промышленной революции. Автокатастрофы происходят по всему земному шару и уносят тысячи жизней. И многие подобные трагедии вызваны техническими неисправностями. Но повинен в них, так или иначе, человек. Исправить их тоже может лишь он. Даже многочисленные аварии широко распиаренного автомобиля Tesla под управлением автопилота обычно связаны с тем, что безответственно вели себя именно люди.

А теперь представьте, что инженер-человек заметил неисправность на конвейере и решил остановить производственную линию, а искусственный интеллект ему запрещает. Или человек, испугавшись опасной ситуации на дороге, начинает тормозить, а мозг автомобиля решает: «Ерунда, проскочим!» и отменяет инструкцию водителя… Представьте, наконец, что конвейеры и машины сплошь становятся такими, что люди не могут управлять ими и распознавать их ошибки.

Здесь принципиально иная ситуация. Иная этически и экзистенциально. Потому что искусственный интеллект не знает, что такое смерть, и не осознает ценность человеческой жизни. Каждая задача даже для самого совершенного искусственного интеллекта - ​алгоритмическая. Моральный запрет рисковать человеком не запрограммируешь. Знаменитые три закона робототехники Айзека Азимова заработают только в том случае, если у роботов и правда появится сознание. Но с сознанием будет уже совсем другой ад…

Есть и еще один аспект проблемы, связанной с катастрофами 737-го. В создании транспорта, управляемого искусственным интеллектом, ключевую роль играют программисты, или, как их теперь часто называют, кодеры. Они подарили миру много новинок, которые облегчают и украшают нашу жизнь. Но, в отличие от инженеров прошлого, у них другая производственная культура. Когда лайнер со 150 пассажирами несется к земле, сделать Undo или нажать Ctrl-Alt-Del, чтобы начать все сначала, не получится.

Вышеизложенное не значит, что надо запретить внедрение искусственного интеллекта и остальной цифры в производство, инфраструктуру и повседневную жизнь. Ни в коем случае! Следующий технологический уклад будет включать в себя искусственный интеллект как важную составную часть. Но успешный переход к новому мироустройству зависит не только от уровня развития технологий, но и от того, смогут ли люди решить этические и культурные проблемы, с ним связанные. Во всяком случае если они собираются оставаться людьми.