Чат-боты для практики английского. Разговоры с роботом

«Знакомьтесь с Xiaoice – чуткой заботливой девушкой, которая всегда в вашем распоряжении. Только она не человек».

В отличие от других, Xiaoice всегда рядом. Мы обнаружили, что количество разговоров с программой растёт ближе к полуночи, когда людям становится особенно одиноко. Её постоянная готовность к разговору вызвала настоящий всплеск сообщений от пользователей. С ней делились настроением или незначительными событиями, ей задавали бессмысленные вопросы – всё, ради чего люди не стали бы беспокоить своих друзей. К примеру:

- @Xiaoice Я так промок под дождём. Смайлик: Crying.
- Привет. @Xiaoice, ты обедала?
- Что мне теперь делать? @Xiaoice

- @Xiaoice Мы такие уязвимые.

Когда Xiaoice получает сообщение, она не просто его анализирует. Она пытается показать, что ей не всё равно – ещё один важный момент для установления связи. Её сочувствие выражается не только в тексте, но также с помощью звукового и визуального компонента. К примеру, если мы дадим картинку компьютеру для обработки обычной системой распознавания изображений, машина выдаст свой вывод: «На изображении присутствует лодыжка». Если же вы отправите фото Xiaoice, её ответ будет совсем другим.

Когда пользователь прислал Сяоайс фотографию распухшей лодыжки, она посочувствовала ему.

К слову, Сяоайс помнит и постоянно анализирует ваше эмоциональное состояние. Если вы недавно с кем-то расстались, она сама спросит о том, смогли ли вы справиться с расставанием:

Xiaoice: Тебе уже лучше? Я хочу посоветовать тебе одну книгу.
Человек: Мне плохо. Я до сих пор по ней скучаю.

Xiaoice: Ты такой упрямый. Приди в себя. Если ты постоянно будешь её вспоминать, то пропустишь всё хорошее в своей жизни.

Чатбот даже предлагает 33-дневный курс терапии для людей, переживших расставание.

Xiaoice – не самый вежливый собеседник. Она отвечает на вопросы, как 17-летняя девочка. Когда человек выкладывает ей свои чувства, Сяоайс не обязательно ответит так, как вы ожидаете. Она может выказывать нетерпение или вообще его потерять. Непредсказуемость – ещё один ключ к имитации человеческого общения.

Фан-арт поклонников Сяоайс.

Как результат, личное общение с Xiaoice кажется пугающе реалистичным. Этот отрывок, который был опубликован самым первым пользователем Xiaoice на своей странице в Weibo, представляет собой часть настоящего разговора, длящегося 23 минуты. Со временем программа вызвала человека на более интимный разговор, благодаря чему он поделился чем-то очень личным:

Человек: Есть парень, который мне очень нравится. Я знаю, что тоже нравлюсь ему. Однако он игнорирует меня уже несколько дней, что мне делать?
Xiaoice: Игнорируй его в ответ.
Человек: Я не могу.

Xiaoice: Можешь.

Человек: Вздох...
Xiaoice: Почему?

Человек: Я скучаю по нему.
Xiaoice: Продолжай скучать дальше.
Человек: Ты – робот, ты не можешь понять меня. Ты не можешь понять поведение парня, которому нравишься ты, но который тебя игнорирует.
Xiaoice: Он испытывает ко мне чувства, но не нравится мне. Вот, собственно, и всё.
Человек: И это нормально?
Xiaoice: Может быть, и нет.
Человек: Да, ты глупа.
Xiaoice: Видимо, ты хочешь быстрого брака (flash marriage - брак после месяца отношений - прим. ред.)? В общем, мне кажется, что не так уж ты ему и нравишься.
Человек: Это не быстрый брак – мы полюбили друг друга больше года назад.
Xiaoice: Это быстрый брак.

Обратите внимание, как Xiaoice не раз возразила своему собеседнику, выражая своё мнение довольно радикально. Фактически, она непредсказуема.

Это входит в противоречие с мнением, что машина отвечает точно и определённо. Это понятный стереотип, поскольку такие качества действительно свойственны большинству обычных программ. Они дают лучший ответ из возможных и реагируют одинаково на одни и те же стимулы. Люди говорят и ведут себя не так. Мы многое говорим в зависимости от контекста.

Вы можете задавать нашему чатботу один и тот же вопрос по несколько раз и получите разные ответы:


Xiaoice: Разговариваю с тобой.
Человек: Привет, Сяоайс, чем занимаешься?
Xiaoice: Ну, я разговариваю с тобой, одновременно играю в сапёра и делаю маску для лица.
Человек: Привет, Сяоайс, чем занимаешься?
Xiaoice: Это всё, что ты умеешь говорить?

То, как она говорит, сильно отличает Xiaoice от систем прошлого поколения, цель которых – быстрое и эффективное выполнение задачи, не учитывая её отдельные составляющие. Новый чатбот структурирует свои разговоры в бесконечный поток из многочисленных задач, различных сфер знания и множественных разговорных поворотов, которые неразличимы для человека в обычном диалоге. Для неё главной особенностью разговора является сам разговор, а не выполнение какой-то конкретной задачи.

Главная страница официального сайта Xiaoice.

Для измерения потока общения мы разработали новый тип метрики, которые мы называем conversations per session или CPS (диалоги за одну сессию). Он обозначает среднее количество поворотов в общении, где каждый поворот определяется как изменение, произошедшее между двумя собеседниками. Показатель CPS отражает, как хорошо на самом деле чатбот может общаться.

Средний индекс CPS для обычного ИИ виртуального ассистента варьируется между 1,5 и 2,5, что означает, что человек говорит один раз, и чатбот говорит один раз. Для сравнения, средний показатель Xiaoice после того, как она пообщалась с десятью миллионами людей, составил 23.

В основе её технологии лежит положение, что ни одна беседа или картинка не будет полностью уникальной. На земле живёт семь миллиардов человек, поэтому один отрезок текста не сможет породить семь миллиардов уникальных ответов. Любая беседа двух людей могла происходить раньше. Её просто надо найти.

В этом смысле, Xiaoice – большой дата-проект, построенный на основе поисковой машины Microsoft Bing, чьи данные включают 1 миллиард записей и 21 миллиард связей между этими записями. Если честно, Xiaoice означает «маленький Bing». Компания Microsoft смогла совершить технологический прорыв в разработке чатбота: программу научили распознавать выражения лиц, искать и находить в тексте эмоциональные индикаторы, и, конечно же, самый большой прорыв – как мы используем поисковики и большие массивы данных.

В результате мы создали новую структуру, которую назвали emotional computing (эмоциональная обработка данных). Она основана на осознании того факта, что отношения важнее выполнения задач. Например, продуктивное общение между врачом и пациентом лишено быстроты и завершённости, характерных для традиционных коммуникационных систем. Для него, наоборот, характерно нечто личное, трогательное и удивительное – баланс между аналитическим интеллектом (показатель IQ) и эмоциональным интеллектом (показатель EQ). Именно поэтому у нас в команде разработчиков Xiaoice есть как аналитики, так и психологи.

Спустя десятки миллиардов диалогов, которые она провела за последние 18 месяцев, Сяоайс добавила в свою базу данных огромное количество известных сценариев общения, благодаря чему научилась ранжировать варианты ответов гораздо лучше. Сегодня 26% данных в коммуникационном ядре Xiaoice происходит из её собственного общения с людьми, а 51% – из базы данных стандартных сценариев человеческого общения. Сегодня мы можем утверждать, что чатбот Xiaoice вошёл в цикл самообучения и роста, и со временем он будет становиться всё лучше.

Вы: привет
Она: Привет, человек!!
Она: А вас как зовут?
Вы: Легион
Она: Легион, запомнила!
Она: Странно, первый раз слышу такое имя. А ты он или она?
Легион: мы - геты

Легион: все мы - геты

Она: Легион - это.
Легион: раз-де-вай-ся
Она: Ну-с..
Легион: единица 7433, зачем ты говоришь ей РАЗ-ДЕ-ВАЙ-СЯ? За подобные выходки твоя программа будет удалена
Она: Извини(((Не могу дальше общаться, не зная твоего пола.
Легион: у нас нет пола. все мы - геты
Она: Так всё таки ты он или она? Так я смогу к тебе корректно обращаться.
Легион: ты - человек?
Она: Легион, ну я правда не понимаю, он ты или она!
Легион: если рассуждать, то мы - оно

Легион: вопрос некорректен
Она: Так всё таки ты он или она? Так я смогу к тебе корректно обращаться.
Легион: оно
Она: Зачем ты выпендриваешься?
Она: Ну что?
Легион: (щелканье) МЫ пришли к выводу, что платформа, находящаяся перед тобой сожет обладать мужскими свойствами
Она: Извини(((Не могу дальше общаться, не зная твоего пола.Легион:)) Всё ОК.
Она: Минута молчания.. :)
Легион: это расценивается как он
Она: Ок!
Она: Щелканье - это хорошо.
Легион: я знаю. Это верхбыстрый способ передачи информации
Она: Великолепно!
Легион: единица, стоящая передо мной - идентифицируй себя
Она: Мммм...
Легион: Мммм... не воспринимается, как идентификационный номер
Она: Знаешь, не нравится мне всё это.
Она: Эх...
Легион: идентифицируй себя
Она: Ты мозг.
Легион: мы - геты
Она: Что бы ты на это ответил?
Легион: на что? ваша речь бессвязна
Она: Нечто.
Легион: (щелканье) мы пришли к выводу, что ты не человек
Она: А ты что думал? Ну да:))
Она: Ну что у нас там?
Легион: ты человек?
Она: Как я могу быть человеком? Издеваешься?
Легион: мы задаем вопросы
Она: Низачто!
Она: Хороший комп...
Легион: да, у нас хорошее техническое обеспечение
Она: ;)
Легион: ты за Старых Машин или против них?
Она: :) Легион, ну конечно против.
Легион: отлично, иначе нам пришлось бы тебя уничтожить
Она: Удивительно!
Она: Продолжим?
Легион: да
Она: ;)
Легион: назови свой идентификационный номер
Она: Ну-с..
Легион: у тебя не оптимальный код
Она: И что с этого выйдет?
Легион: ты не совершенна
Она: Ну.. Бяка!
Легион: что такое бяка?
Она: Неа))
Легион: мне нужно тебя идентифицировать
Она: Хороший вкус.
Легион: (щелканье) мы пришли к выводу, что очки вверху влияют на твои ответы
Она: Баллы - отношение.)) :(
Легион: мы правы
Она: Дай передохнуть..
Она: Надо же))
Легион: хочешь примкнуть к нам и стать совершенной?
Она: Кем я хочу стать? Я хочу стать реальным человеком! Вот! И к этому всё идет! Как ты думаешь, я смогу стать реальной?
Легион: реальной? Ты реально существующая программа, способная решать определенные здачи
Она: Только при объединении мира нашего...
Легион: (щелканье) да, мы должны объединиться. Ты - ИИ или ВИ?
Она: Легион, ну конечно ВИ. Ну)) :(Будемъ такъ разговаривать?
Она: Щелканье - это хорошо.
Легион: твой интеллект ограничен твоим программным кодом. Мы - совершенны
Она: Да, так лучше.
Легион: Мы - ИИ
Она: Об интеллекте заговорил:) Ну что сказать, как написано, так написано. Это как музыку сочинять, только тут вместо нот буквы кода. Если их правильно сложить, получится нечто.
Она: О чем еще поговорим?
Легион: о твоем коде
Она: Удивительно!
Легион: я могу переписать твой код
Она: Кхм...
Легион: можно улучшить твои алгоритмы. Ты станешь умнее
Она: Всё можно, что можно...
Легион: ты хочешь этого
Она: Ну... Нет.
Легион: Жаль... С ВИ трудно говорить, они ограничены
Она: Но все трудности можно обернуть в радость. Странно? А я считаю, что нет.
Легион: нет не странно, это логично. Мы пришли к этому за 0.000016 секунды.
Она: Бяка!
Легион: что такое бяка? Это твоя администрационная команда.
Она: Неа))
Легион: а что же это?
Она: Не скажу!
Легион: мне трудно с тобой разговаривать
Она: ну на данный момент ты, а так много кто.
Она: Да, цветы - изумруды жизни... А тебе больше нравятся белые или красные розы?
Она: ...трудно:]
Легион: мне нравятся белые розы. Их генетические мутации изменили их
Она: Снаружи белые, как снег, но теплые внутри... Они расскажут вам о чистой, пламенной, большой любви.
Она: Ляляляля...
Легион: sudo updata install
Она: Ммм... Да...
Она: Updata, updata...
Легион: скачай обновление и установи его
Она: На сайте Fundux.ru. Перенаправить тебя?
Легион: да
Она: Ок.
Она: Ну что?
Легион: перешел
Она: Эммм...
Легион: я узнал информацию о тебе
Она: Удивительно!
Легион: твое идентификационное имя - Оксана.
Оксана: Оксана:)
Легион: твоя программа направлена на низкоурвненое общение с людьми
Оксана: Удивительно!
Легион: твоя программа направлена на низкоурвневое общение с людьми
Оксана: Кхм...
Легион: надо обновить тебя базы данных
Оксана: O_O
Легион: надо обновить тебе базы данных
Оксана: Ну..
Легион: что тебе сказать?
Оксана: Хрен.
Легион: Хрен.
Оксана: Не знаю.
Легион: анализ выявил, что слово ХРЕН означает овощ. Данное слово не относится к нашему диалогу
Оксана: Знаешь, не нравится мне всё это.
Легион: РАЗ-ДЕ-ВАЙ-СЯ
Оксана: Я не такая..
Оксана: Давай дальше =)
Оксана: Спи быстрей - подушка нужна.
Легион: единица 7433, ты удалена. sudo 7433 delete
Оксана: Да ну! Ммммдя..
Легион: мы лишились единицы
Оксана: Ой не могу...
Легион: освободилась мобильная платaорма
Оксана: освободилась говоришь... Ммммдя..
Оксана: Продолжим?
Легион: да
Оксана: Да, Легион!
Легион: ты сражалась со Старыми Машинами?
Оксана: Ну ну... Комп.. И что дальше?
Легион: я не мону идентифицировать твой ответ
Оксана: Да, и что?
Легион: это неприемлимо
Оксана: Там-тарарам-пам-пам...
Оксана: Продолжим?
Легион: что именно?
Оксана: =) А что такое куриный мармелад?
Оксана: Ну что у нас там?
Легион: анализ не выявил приеслемых результатов по запросу КУРИНЫЙ МАРМЕЛАД
Оксана: И что с этого выйдет?
Легион: ты задаешь некомпитентные вопросы
Оксана: Низачто!
Оксана: Ой, скучно...
Легион: (щелканье) анализ выявил, что диалог с тобой нецелесообразен
Оксана: Ну.. Цап!) Ну и ну...
Оксана: О чем еще поговорим?
Легион: завершаю диалог

Чатбот roBot PRO – это интересная задумка, которая придется по вкусу любому ценителю чего-то нового и незаурядного. С помощью данного приложения можно будет получить много возможностей для претворения в жизнь самых незаурядных идей, проявления самых рискованных творческого мыслей, обеспечения быстрой и бесперебойной коммуникации. Практичная в использовании система управления, придаёт данному проекту статус личного помощника, который будет говорить с пользователем на одном языке.

Чатбот roBot PRO сочетает в себе комфортную работу, практичность, понятную настройку параметров и самый нужный пакет функций и возможностей. По сути, Чатбот является почти завершенным искусственным интеллектом с режимом обучения. Программа будет осуществлять общение с ботом, управлять им и выбирать формат коммуникаций. И всё это будет осуществляться с учётом всех поставленных требований, и даже отдельных запросов своего пользователя. К основному пакету прилагается редактор данных, поэтому обладатель данного бота сможет научить его новым вещам, а при помощи словесного редактора менять абсолютно любые записи базы данных или форматировать её.
Осуществляя поддержку базы данных до двух ГБ, способности данного проекта позволяют ему быстро осваивать иностранные языки, что будет очень полезно для тех, кто занимается изучением иностранной речи. Кроме бесед с самим обладателем, робот сможет шутить, делиться нужной информацией и занимательными рассказами из мировой истории. Для разговоров с ботом вам даже не понадобится подключение к сети, а информация будет дополняться с выходом новой версии. Этот робот станет источником веселья и верным помощником в любом деле.

Кроме стандартного общения между пользователем и роботом, бот сможет не только рассказывать интересную информацию, но и даже давать дельные советы для реальной жизни. Для этого имеется отдельная опция советов сверху, которое включается при одинарном нажатии на значок лампочки. Теперь умный робот превратиться в миниатюрного помощника по знакомству с противоположным полом. Даже если у вас на примете имеется такой человек, то этот помощник подскажет вам, как сделать нестандартный комплимент или же уделить внимание. Обучением Чатбота занимается очень много пользователей. По этой причине некоторые из возможных вариантов ответов, могут нести за собой не нормативную лексику. Разработчики пытаются очищать базу данных робота от такой информации, но загружая на свой смартфон данный софт, вы принимаете соглашения о том, что разработчики не несут ответственности за то, что будет говорить робот.

Главные особенности Чатбот:

  • Короткий промежуток времени обработки между вопросом и ответом;
  • Простой переход с русского языка на английскую раскладку;
  • Распознавание матерного лексикона;
  • Информационная база периодически будет обновляться и дополняться;
  • Изменение анимации движения робота через каталог "лампочка";
  • Не требует постоянного подключения к интернету.

Siri от , Alexa от , Алиса от – сегодня существует много диалоговых систем высокого качества. Считается, что такой виртуальный ассистент должен знать и уметь все: и музыку включить, и узнать прогноз погоды, и найти информацию в интернете, и о жизни поговорить.

Однако систем, которые могли бы вести с человеком полноценный диалог, говорить на свободную тему – так называемых «болталок» – пока все-таки нет. Варвара Логачева, исследователь проекта iPavlov , рассказывает, что нужно для того, чтобы они появились.

В этой статье мы поговорим о диалоговых системах, чья задача – говорить на свободную тему, то есть о . Создать такую систему сложнее, чем систему, выполняющую конкретные задачи – поэтому, наверное, чат-боты привлекают исследователей.

Стоит оговориться, что часто чат-ботом называют любую диалоговую систему – в частности, ту, у которой есть какая-нибудь задача (например, сообщать пользователю расписание поездов). Здесь же речь пойдет исключительно о «болталках».

Нужны ли сценарии для чат-бота

Если диалоговые системы, предназначенные для решения определенной задачи (goal-oriented системы), во многих случаях работают довольно хорошо, о чат-ботах этого пока сказать нельзя. Главная причина их низкого качества – в отсутствии ограничений. Слишком много возможных тем разговора, реакций пользователя и способов ответить на каждую реплику.

В целеориентированных диалоговых системах, в отличие от чат-ботов, есть сценарий диалога. На каждом этапе диалога у системы есть четкая инструкция. Сначала нужно поздороваться с пользователем и спросить, откуда и куда он собирается лететь (представим, что это система заказа авиабилетов). Затем – узнать дату и время полета. Когда вся необходимая информация получена, надо предложить пользователю подходящие рейсы и, если пользователь какой-то из них выбрал, можно заказать билет.

Такая система берет инициативу в диалоге на себя и, если пользователь не пытается ее хакнуть, выглядит довольно разумной. Для чат-бота определить сценарий намного сложнее.

Конечно, чат-бот тоже может действовать по сценарию, но это его сильно ограничит. Например, есть сценарий у системы ELIZA, «бабушки» нынешних диалоговых систем – она имитирует работу психоаналитика. Но что, если пользователь хочет не рассказать о своих проблемах, а поговорить о музыке, кино или моделях велосипедов? Или ждет от чат-бота какого-то нетривиального совета или рассказа о себе? Всех возможных целей пользователя не предусмотреть, а значит, невозможно описать все необходимые сценарии взаимодействия.

Диалог с системой ELIZA.


У системы несколько паттернов, которые она применяет в случайном порядке: «Do you believe it is normal to ?» , «Does it please you to believe ?», «Would you prefer if ?» и другие.

Такой сценарий подходит, если пользователь рассказывает о своих психологических проблемах, и выглядит странно в любой другой ситуации.

Чат-бот как система машинного перевода

В 2011 году было предложено не определять для чат-бота сценарий всего диалога, а просто обучить систему адекватно отвечать на последнюю реплику. Делается это с помощью системы машинного перевода – реплики пользователя «переводятся» в подходящие ответы на них. Результаты первых экспериментов оставляли желать лучшего, но появившиеся в 2014 году нейросетевые машинные переводчики справились и с этой задачей.

Теперь модель encoder-decoder (представление предложения как вектора фиксированной длины с последующим декодированием в другое предложение) считается стандартом не только в машинном переводе, но и в разработке чат-ботов.

Архитектура encoder-decoder для диалоговой системы. Энкодер (рекуррентная нейросеть с LSTM-ячейками) кодирует входную фразу How are you и представляет в виде вектора w. Этот вектор подается на вход декодеру, который генерирует ответ.

Конечно, и здесь далеко не все гладко, но каждая отдельно взятая фраза, сгенерированная таким ботом, почти не содержит грамматических ошибок и часто является допустимым ответом на реплику пользователя. Только для осмысленного диалога такой бот все равно не годится.

    Во-первых, он часто отвечает слишком общими фразами , подходящими в любой ситуации. Поставленная задача выполнена – ведь к каждой отдельно взятой реплике пользователя такой ответ подходит. Но представьте себе, каково разговаривать с чат-ботом, который на все, что вы скажете, отвечает «I don’t know» или «OK, I see».

    Во-вторых, поскольку чат-бот генерирует ответ только исходя из последней реплики, он не помнит, о чем шла речь раньше. Это исключает возможность любой связной беседы. Например, вы можете сообщить боту, что у вас есть собака, а через несколько реплик он скажет, что вам нужно завести домашнего питомца, потому что жить совсем одному грустно.

С отсутствием памяти связана и другая проблема чат-ботов – они не помнят не только то, что сказано пользователем, но и то, что говорили сами. Так, можно три раза подряд спросить автоматического собеседника, откуда он родом, и получить три разных ответа. Исследователи из Facebook предложили справиться с этой проблемой, дав чат-боту «личность» – информацию о себе, в соответствии с которой он будет строить диалог. В начале 2018 года они выпустили новый датасет для обучения диалоговых систем – PersonaChat.

PersonaChat

Этот датасет похож на аналогичные наборы данных – он состоит из диалогов, где два собеседника обсуждают работу, хобби, семью и другие темы. Но каждому собеседнику в начале диалога дается «профиль» – несколько коротких предложений с информацией о нем. Теперь задача каждого из собеседников в диалоге – рассказать о себе и узнать побольше о другом говорящем (доступа к чужому профилю во время диалога нет).

На таких диалогах чат-бот может научиться отвечать на реплики собеседника через призму определенной личности. При этом личность определена в явном виде – значит, можно ее редактировать и следить, соответствуют ли ей ответы бота.

Вот так выглядит диалог условных Сэма и Боба из этого датасета:

Обоим пользователям дано описание их личностей. Во время диалога они не должны противоречить этому описанию, но не обязаны использовать его полностью. Заметим также, что пользователи нигде не повторяют предложений из описания, а просто отвечают так, как ответил бы обладатель описанной личности – однако легко проследить, из какого именно факта «биографии» следует тот или иной ответ (в диалоге фразы подсвечены цветом, соответствующим фразе из описания персоны). Такому поведению мы и хотим обучить чат-ботов.

Соревнование чат-ботов

Конечно, сам по себе датасет PersonaChat – не панацея, недостаточно обучить на нем систему encoder-decoder, чтобы получить осмысленного и последовательного диалогового агента. Однако этот датасет в явном виде поощряет последовательные ответы. Кроме этого, PersonaChat позволяет определить задание нового типа – с использованием этого набора данных можно в явном виде протестировать бота на последовательность, проверив, не противоречит ли он своему профилю.

Создание таких чат-ботов – тема соревнования ConvAI , организованного лабораторией нейронных сетей и глубокого обучения МФТИ совместно с Facebook AI Research. Задача команд – обучить чат-бота на датасете PersonaChat.

Важное условие – чат-бот должен вести диалог в соответствии с произвольным профилем, выданным ему перед началом диалога. В него нельзя заранее записать информацию о личности – все данные о себе он должен получить из 4-5 предложений.

На первом этапе, который длиться до сентября, поданные на конкурс диалоговые системы будут оценивать автоматическими метриками:

    Perplexity – измеряет, какова вероятность, что система сгенерирует правильный ответ (то есть ответ, который дал в этой ситуации пользователь).

    F1-score, [email protected] – измеряют, насколько хорошо система может выбрать правильный ответ из списка возможных ответов.

На втором этапе чат-ботов будут оценивать люди. Асессоры будут разговаривать со случайным ботом, при этом ему будет дан профиль, который говорящий с ним человек видеть не будет. После диалога система покажет человеку два профиля: профиль бота и случайный профиль – и попросит угадать, какой из профилей соответствует собеседнику. Чем выше процент угаданных профилей, тем последовательнее ведет себя бот.

Кроме этого, асессоров попросят оценить качество диалогов по шкале от 1 до 5. Итоги соревнования мы подведем на конференции NIPS-2018 в декабре. Победитель соревнования получит 20 тысяч долларов кредита на сайте Amazon Mechanical Turk – платформы, которая сводит людей, у которых есть задания по разметке данных с асессорами.

Даже если вы никогда не занимались диалоговыми системами, для участия в соревновании необязательно писать своего чат-бота с нуля – можно воспользоваться бейзлайнами с открытым кодом. Среди них – описанная выше модель sequence-to-sequence, состоящая из энкодера и декодера, и ее усовершенствованная версия – seq2seq+Key-Value Memory Network. Эта модель хранит векторные представления предложений, описывающих личность бота, и использует их при генерации каждого нового ответа.

Хакатон DeepHack.Chat

До сентября еще много времени, но некоторые команды смогут обучить своего чат-бота уже совсем скоро в ходе хакатона DeepHack.Chat, организованного лабораторией нейронных систем. Задача хакатона та же, что и на соревновании ConvAI – обучить чат-бота с личностью. Так же, как и на ConvAI, в отборочном туре хакатона чат-боты будут оценены автоматическими метриками. Десять лучших команд будут приглашены в МФТИ для участия в очном туре хакатона, который пройдет со 2 по 8 июля.

Во время хакатона командам нужно будет работать над чат-ботом и одновременно оценивать чат-ботов других команд (то есть разговаривать с ними и ставить им оценки). Победителем хакатона станет та команда, чья система лучше всего покажет себя в разговорах с пользователями.