Роботы создали свой язык. «Ты я всё остальное»: как искусственный интеллект Facebook «заговорил на своём языке. Рождение диалога «на случай переговоров»

Внешние ссылки откроются в отдельном окне О том, как поделиться Закрыть окно

Правообладатель иллюстрации Science Photo Library Image caption Влияние систем искусственного интеллекта по-разному оценивается экспертами

Боб: Я могу могу Я Я все остальное.

Элис: Шары имеют ноль для меня для меня для меня для меня для меня.

Как поясняет издание Digital Journal, системы искусственного интеллекта опираются на принцип "поощрения", то есть продолжают действия при условии, что это принесет им определенную "пользу". В определенный момент они не получили от операторов сигнал поощрения на использование английского языка, поэтому и решили создать свой собственный.

Издание Tech Times отмечает, что у роботов изначально не было ограничений в выборе языка, поэтому постепенно они и создали свой язык, на котором они могут общаться проще и быстрее, чем на английском.

"Наибольшая угроза"

Эксперты опасаются, что если боты начнут активно общаться на своем собственном языке, то постепенно станут все более самостоятельными и смогут функционировать вне контроля IT-специалистов. Тем более, что даже опытные инженеры не могут полностью отслеживать ход мыслительного процесса ботов.

Несколько дней назад об искусственном интеллекте поспорили глава Facebook Марк Цукерберг и основатель SpaceX, Tesla и PayPal Илон Маск.

Маск призвал власти США усилить регулирование систем искусственного интеллекта, предупредив, что ИИ представляет угрозу для человечества. О потенциальной угрозе со стороны искусственного интеллекта ранее .

Выступая на саммите Национальной ассоциации губернаторов Соединенных Штатов, Маск назвал искусственный интеллект "наибольшей угрозой, с которой сталкивается цивилизация". По его словам, если вовремя не вмешаться в процесс развития этих систем, то будет слишком поздно.

"Я продолжаю бить тревогу, но пока люди сами не увидят роботов, которые ходят по улицам и убивают людей, они не узнают, как реагировать [на искусственный интеллект]", - сказал он.

Правообладатель иллюстрации AFP Image caption Илон Маск считает искусственный интеллект главной угрозой для цивилизации

Заявления Маска вызвали раздражение у основателя Facebook Марка Цукерберга, который назвал их "довольно безответственными".

"В ближайшие пять или десять лет искусственный интеллект будет делать жизнь только лучше", - парировал Цукерберг.

Перевод с искусственного

Осенью прошлого года стало известно, что интернет-поисковик Google создал свою систему искусственного интеллекта для усовершенствования работы онлайн-переводчика Google Translate.

Новая система позволяет переводить всю фразу целиком, тогда как ранее переводчик разбивал все предложения на отдельные слова и фразы, что снижало качество перевода.

Эксперты уже предупреждают о том, что по мере стремительного развития онлайн-сервисов для перевода труд живых переводчиков может быть все менее и менее востребован.

Однако пока эти системы выдают качественные результаты в основном для небольших и несложных текстов.

Facebook остановил ботов, которые заговорили на непонятном языке

Все таки что не говорите, а опасность развития искусственного интеллекта до того уровня, когда он выйдет из под контроля всегда пугала людей. Представьте, что мы будем делать и как контролировать полноценное ИИ, если тут какой то суррогат и то напугал людей.

Люди же всегда будут стремиться оставить себе контроль и управление, но как говорится "все что один сделал, другой всегда сломать может". Если даже все будет супер надежно - всегда будет опасение. Вот и Маск недавно спорил на эту тему с Цукербергом: "Я продолжаю бить тревогу, но пока люди сами не увидят роботов, которые ходят по улицам и убивают людей, они не узнают, как реагировать [на искусственный интеллект]", - сказал он.

И вот это разве не "звоночек": чат-боты, которые были созданы для переговоров с людьми, вышли из-под управления и начали общаться на собственном языке.

Сначала они использовали английский язык для общения друг с другом, но затем создали новый язык, который могла понять только сама система ИИ, что нарушало цель работы.

Facebook приостановила работу ИИ после того, как разработчики обнаружили этой сбой.

Вот отрывок разговора между чат-ботами:

Боб: «Ты я все остальное».
Алиса: «Яйца имей яйца для меня для меня для меня для меня для меня».
Боб: «Я».
Алиса: «Мячи имеют ноль для меня для меня для меня для меня для меня для меня для меня для меня для».
Bob: «Ты я я я я я все остальное».

Ботов подключили к алгоритмам машинного обучения и позволили им переписываться между собой, чтобы они оттачивали навыки общения. Но через некоторое время те начали видоизменять слова и фразы, а затем и вовсе придумали собственный язык, упростив ряд выражений и грамматических конструкций.

Используя машинное обучение, боты также разработали несколько стратегий для улучшения исхода переговоров с собеседником и начали использовать их в комбинации с рядом придуманных ими же слов в зависимости от важности конкретного диалога. В частности, они провозглашали ложную цель беседы, чтобы затем отказаться от нее и якобы прийти к компромиссу.

В марте 2016 года чат-бот компании Microsoft стал звездой сети после того как возненавидел человечество. Самообучающаяся программа начинала общение с пользователями фразой «Люди очень клевые», но всего за сутки выучила такие выражения, как «Я просто всех ненавижу!», «Я ненавижу феминисток» или «Я ненавижу евреев». В итоге сотрудникам компании пришлось временно отключить бота.

Перевод с искусственного

Для того, чтобы перевести все предложение целиком, новая система Google изобрела свой собственный язык, который позволяет ей быстрее и точнее ориентироваться между двумя языками, с которых или на которые ей предстоит сделать перевод.
Эксперты уже предупреждают о том, что по мере стремительного развития онлайн-сервисов для перевода труд живых переводчиков может быть все менее и менее востребован.

Однако пока эти системы выдают качественные результаты в основном для небольших и несложных текстов.

Как вы считаете, пока рано бить тревогу как про клонирование например? Или пусть все развивается само собой?

Разработчики приняли решение его отключить

Алгоритм, созданный сотрудниками компании Facebook на базе технологии искусственного интеллекта и машинного обучения, оказались в центре истории, которая выглядит как неплохая завязка для фильма о восстании роботов против человечества. Чат боты, предназначенные для помощи пользователям соцсети, стали общаться между собой на собственном языке, расшифровать который оказалось не под силу даже разработчикам.

Как сообщается, в результате произошедшего сбоя два «агента» (так специалисты называют отдельных ботов) вступили в довольно странный диалог между собой. Хотя он выглядел бессмыслицей, по большей части состоящей из повторяющихся слов, испытатели алгоритма склонны полагать, что фразы и даже сами повторения представляли собой пошедшие не по планы попытки агентов самостоятельно «понять» принципы общения.

Как поясняют специалисты, боты не получили непосредственной информации о структуре англоязычных предложений, поэтому программы попытались «импровизировать». Так или иначе, «вышедших из под контроля» агентов было решено отключить, а остальные в ходе дальнейших экспериментов смогли довольно эффективно выполнять свою задачу - общаться с людьми так, что многие из них даже не заподозрили, что имеют дело с ботами.

На фоне произошедшего ряд средств массовой информации вспомнил о недавней дискуссии, разгоревшейся на просторах интернета между основателем Facebook Марком Цукербергом и владельцем компаний SpaceX Илоном Маском. Во время одного из своих недавних публичных выступлений Маск призвал не забывать, что искусственный интеллект может представлять опасность для людей, в связи с чем на его разработку, вероятно, стоит наложить ограничения. Цукерберг отреагировал на это высказывание, назвав позицию Маска «довольно безответственной», а тот в ответ обвинил оппонента в «ограниченном понимании» предмета дискуссии. К слову, в числе других известных людей, считающих искусственный интеллект потенциальной угрозой для человечества, можно назвать физика Стивена Хокинга.

В марте прошлого года «вышел из-под контроля», пусть и в несколько ином ключе, . Алгоритм для твиттера под названием Tay, созданный компанией Microsoft по образцу «невинной девочки-подростка», всего за сутки «научился» расизму, употреблению нецензурной лексики и другим далеко не самым лучшим качествам, характерным для некоторых людей. В результате эксперимент было решено остановить.

На прошлой неделе руководство . Чат-боты - это программы, созданные для имитации поведения человека в Сети. Проще говоря, виртуальные собеседники. Так вот, оказалось, что им надоело переписываться друг с другом на английском, поскольку они не получали за это «вознаграждения» (!), и система изобрела свой язык, пусть и похожий на язык оригинала. Он позволял чат-ботам общаться быстрее и проще.

В американских СМИ появились отрывки из их «диалогов»:

Боб: Я могу могуЯЯ всё остальное.

Элис: Шары имеют ноль для меня для меня для меня для меня для меня.

Как поясняет издание Digital Journal, системы ИИ опираются на принцип «поощрения», то есть продолжают действия при условии, что это принесёт им «пользу». Когда они не получили от операторов сигнал поощрения за использование английского языка, они решили создать свой собственный.

Осенью прошлого года похожая история произошла с интернет-поисковиком Google. Его система онлайн-перевода сама отказалась от принципа разбивать все предложения на отдельные слова и фразы (это снижало качество перевода) и создала новый язык-посредник, позволяющий быстрее и точнее переводить всю фразу целиком.

Эксперты полагают, что искусственный интеллект (а чат-боты - бесспорно, его представители, хоть и примитивные) будет обретать всё больше самостоятельности и становиться непредсказуемым. А в чём-то - похожим на человека. Вот не менее удивительный случай, о котором поведали разработчики всё того же Facebook. Они пытались научить бота (компьютерную программу) вести переговоры - строить беседу и активно добиваться поставленных целей. Люди, на которых тестировали программу, не сразу поняли, что разговаривают с компьютером. Но поразительно другое. Бот без помощи программистов научился прибегать к хитрости ради достижения цели. Несколько раз он нарочито проявлял интерес к чему-то, что на самом деле его не интересовало, а потом притворялся, что идёт на компромисс, обменивая это на то, что ему действительно было ценно. Не так ли поступали и наши предки в эпоху натурального обмена?

На Западе всё громче звучат голоса, что ИИ стал представлять опасность. Предприниматель и изобретатель Илон Маск призвал власти США усилить регулирование, назвав ИИ «наи-большей угрозой, с которой сталкивается цивилизация». Он считает, что, если вовремя не вмешаться в процесс, потом может быть поздно: «Когда мы увидим роботов, которые ходят по улицам и убивают людей, мы наконец поймём, как важно было присмотреться к искусственному интеллекту».

Илону Маску вторит знаменитый британский физик Стивен Хокинг . В его публикациях последних лет это одна из излюбленных тем. «Появление полноценного искусственного интеллекта может стать концом человеческой расы, - заявил он в интервью BBC. - Такой разум возьмёт инициативу на себя и станет сам себя совершенствовать со всё возрастающей скоростью. Возможности людей ограничены медленной эволюцией, мы не сможем тягаться со скоростью машин и проиграем».

Российские эксперты настроены более оптимистично. «Думаю, бояться искусственного интеллекта не стоит, но относиться к нему нужно со всей серьёзностью - как к новому виду оружия, которым ещё надо научиться пользоваться, - говорит завкафедрой инженерной кибернетики НИТУ «МИСиС» Ольга Ускова , возглавляющая компанию по разработке ИИ. - Ситуация с ботами на Facebook, конечно, привлекла внимание широкой общественности, но никакого «восстания машин» не предвидится. Механизм обучения ботов на базе ИИ чётко зафиксирован в сценарии: он либо специально прописывается программистами, либо намеренно опускается».

Тем не менее кто бы мог подумать ещё недавно, что поставщиками новостей скоро станут компьютерные программы, которые живут своей жизнью и, похоже, уже не нуждаются в человеке?

И почему это не «выход ИИ из-под контроля», а ошибка разработчиков.

В закладки

Бронирование перелётов с помощью бота в Facebook Messenger

31 июля российские СМИ рассказали , что Facebook «отключил искусственный интеллект, создавший собственный язык». Диалог двух чат-ботов, о котором сообщалось ещё в середине июня, интерпретировали как то, что ИИ «вышел из-под контроля», «обхитрил» людей и напомнил об «опасности Скайнета». На самом деле произошла ошибка программирования, вызвавшая непредусмотренный сценарий.

Рождение диалога «на случай переговоров»

14 июня исследователи из лаборатории Facebook Artificial Intelligence Research Lab (FAIR) рассказали о новом этапе при разработке алгоритма. Если ранее боты («диалоговые агенты») справлялись с простыми сценариями вроде бронирования ресторана, совета по выбору лучшей цены на товар, рекомендации по просмотру телеканала для детей и даже короткой беседы, то теперь учёные пошли дальше.

FAIR ввела «возможность ведения переговоров» и опубликовала исходный код нововведения. Люди с разными целями вступают в конфликты, обсуждают вопрос и приходят к компромиссам - по этой аналогии исследователи разрабатывали нейронную сеть с непрерывным обучением. По задумке, боты могли бы эффективно участвовать в переговорах с людьми или другими ботами, находя выход из сложных ситуаций.

Один из первых экспериментов над двумя ботами заключался в «делёжке» предметов и предварительном обсуждении. В общем наборе состояли две книги, шляпа и три шара. Каждый объект обладал значимостью для ботов (от одного балла до трёх). Как и в жизни, первый бот не знал, насколько важны эти предметы для другого ИИ, и должен был догадаться об этом из диалога.

К примеру, если первым делом сказать, что необходим именно шар, значит, адресат оценивает его высоко. Уже позже ботов научили симулировать интерес к предмету, чтобы в нужный момент переговоров «пожертвовать им» ради достижения компромисса.

Таких сценариев создали много, но всегда оказывалось, что два бота не могут одновременно «выбить» для себя лучшую сделку. Попытка уйти от переговоров или отказаться от сделки после 10 раундов диалога считалась провалом. При этом практику переговоров признали необходимой, а их результаты - важными в плане повышения производительности ИИ.

Затем задачу усложнили, поскольку в переговорах должно быть чётко сформулировано намерение и предложены аргументы. В этом есть как элементы сотрудничества, так и состязания. Для этого FAIR позволила ботам строить долгосрочную стратегию и предсказывать, куда пойдёт диалог. Это нужно было, чтобы заранее отказаться от бессмысленных или «расстраивающих» сценариев в пользу эффективных. В FAIR признали, что идея не нова и ранее использовалась в игровой индустрии, однако в лингвистике применялась впервые.

1 - высказанное предложение «Ты берёшь книгу, а я заберу всё остальное», 2 - возможные ответы «Да» и «Нет, мне нужны все три», 3 - дальнейшие варианты диалога, 4 - возможный итоговый результат в баллах.

Авторы исследования обучили нейронную сеть, собрав коллекцию диалогов между людьми. Чтобы оценить работу, ботов проверили в разговоре с реальными собеседниками. Во время экспериментов многие люди не осознавали, что разговаривают не с настоящим человеком, а с ботом. Фактически это показало, что «роботы» могут свободно говорить и думать на английском языке. Лучших результатов сделок искусственный интеллект добивался так же часто, как и худших - так и бывает в жизни.

Как указано в исследовании, чтобы алгоритм не развивал собственный язык, он был обучен производить «тот, на котором говорят люди». Именно в этом моменте закралась ошибка, которая и привела к новостям с опаской за будущее человечества.

Дайте ботам спокойно поговорить

Вскоре издания The Next Web и Fastсo Design обратили внимание на нерядовую ситуацию при работе специалистов над программой. В какой-то момент исследователи, воспользовавшись алгоритмами машинного обучения, оставили диалоговых агентов «наедине».

Ботам дали возможность свободно разговаривать друг с другом, чтобы развить их навыки на практике. Со временем диалоговые агенты отклонились от прописанных в сценарии норм и начали общаться на «тарабарщине», созданной без участия человека. При более удобной и быстрой для ИИ форме общения правила английского языка максимально опускались, а конструкции многократно повторялись.

Боб: Я могу я я всё остальное.
Алиса: Мячи имеют ноль для меня для меня для меня для меня для меня для меня для меня для меня для»
Боб: Ты я всё остальное.
Боб: Я я могу я я я всё остальное.
Алиса: Мячи имеют мяч для меня для меня для меня для меня для меня для меня для меня.
Алиса: Мячи имеют ноль для меня для меня для меня для меня для меня для меня для меня для меня для.
Боб: Ты я я я я я всё остальное.
Боб: Ты я я я всё остальное.
Алиса: Мячи имеют 0 для меня для меня для меня для меня для меня для меня для меня для меня для.

Диалог чат-ботов Facebook

Такой диалог стал возможным не потому, что роботы уже захватили мир, а из-за допущенной ошибки в программировании. Приглашённый в Facebook научный сотрудник из Georgia Tech Дхрув Батра (Dhruv Batra) рассказал, что ботам попросту не дали задачу придерживаться английского языка.

Диалоговые агенты конкурировали между собой в попытке достичь максимальной эффективности при общении. Поначалу боты расходились в «акцентах», а затем изобрели кодовые слова и начали переставлять разборчивые конструкции в бессмысленные для обычных людей предложения. По словам Батры, подобные ситуации из-за ошибок программирования не редкость и встречаются во время рабочего процесса.

«Представьте, что я назову какой-то предмет пять раз. Вы сразу интерпретируете это как то, что я хочу пять копий этого предмета. Это не особо отличается от сокращений, которыми пользуются люди», - объяснил Батра.

Исследователи FAIR сразу же отключили эту систему и доработали код так, чтобы алгоритм позволял общаться только на понятном человеку английском языке.

Вместо выводов

Многие СМИ, которые в конце июля обратили внимание на необычный диалог ботов, заодно вспоминали о недавнем заочном споре предпринимателя Элона Маска и основателя Facebook Марка Цукерберга об искусственном интеллекте (TJ об аргументах сторон). Если вкратце, глава Tesla видел угрозу в искусственном интеллекте, а также угрожал человечеству безработицей и войной. Создатель соцсети был настроен оптимистично и называл выводы оппонента «безответственными».

При этом однозначно занять чью-то сторону затруднительно. К примеру, Маск «угрожал» человечеству безработицей и войной, но, по замечанию Mashable , первоочередными в мире с вездесущим ИИ станут вопросы о конфиденциальности персональных данных. Цукерберг обещал появление полезных ИИ-проектов в ближайшие 5-10 лет, но пессимистичные редакторы Slate предположили, что к этому моменту значимыми нововведениями воспользуется лишь узкая прослойка людей, в том числе семья основателя Facebook.

Считается, что ИИ лишит работы обычных людей, однако, как заверил Fortune , с его развитием возникнут новые рабочие места, где нужно будет применять навыки на основе технологии. По большому счёту, Маск и Цукерберг спорили о неустоявшемся определении «искусственного интеллекта» и том, как его понимать.

Ситуация с чат-ботами Facebook вызвала опасения, поскольку разглядеть «мыслительный процесс» ИИ нельзя. Если диалоговые агенты начнут говорить между собой на действительно неизвестном человеку языке, понять их будет невозможно. Как подметили в FAIR, билингвов, которые одновременно поняли бы ИИ и человеческие языки, также нет.

Тем не менее предстоит «огромная» работа по получению данных в подходящем для ИИ формате, что порой «содержит больше искусства, чем науки», подчеркнул один из специалистов в разговоре с Fastсo Design. По его словам, английский язык «запутанный и сложный, а вовсе не дружественный для машинного обучения».