Фразы для чат бота
Обновлено: 04.11.2024
Чтобы быстро решать вопросы пользователей без вмешательства человека, эффективный чат-бот требует огромного количества обучающих данных. Однако основное узкое место в разработке чат-бота — это получение реалистичных, ориентированных на задачи диалоговых данных для обучения этих систем с помощью методов машинного обучения. Специально к старту нового потока курса «Машинное обучение» делюсь с вами списком лучших наборов данных разговоров из чатов, разбитых на вопросы и ответы, данные службы поддержки клиентов, диалоговые данные и мультиязычные данные.
Чтобы быстро решать вопросы пользователей без вмешательства человека, эффективный чат-бот требует огромного количества обучающих данных. Однако основное узкое место в разработке чат-бота — это получение реалистичных, ориентированных на задачи диалоговых данных для обучения этих систем с помощью методов машинного обучения.Мы составили список лучших наборов данных диалогов из чатов, разбитых на вопросы и ответы, данные службы поддержки клиентов, диалоговые и мультиязычные данные.
Ссылка. Этот корпус включает статьи Википедии, сгенерированные из них вручную фактические вопросы и сгенерированные вручную ответы на эти вопросы для использования в научных исследованиях.
Yahoo Language Data. На этой странице представлены отобранные вручную наборы данных по контролю качества из Yahoo Answers from Yahoo.
Набор данных службы поддержки Ubuntu
Корпус диалогов Ubuntu состоит из почти миллиона бесед двух человек, извлечённых из логов чатов Ubuntu, используемых для получения технической поддержки по различным проблемам, связанным с Ubuntu. Набор содержит 930 000 диалогов и более 100 000 000 слов.
Набор данных диалогов для обучения чат-ботов
Semantic Web Interest Group IRC Chat Logs. Этот автоматически генерируемый лог IRC-чата доступен в RDF, который ежедневно ведётся с 2004 года, включая временные метки и псевдонимы.
Корнелльский корпус кинодиалогов. Этот корпус содержит большую коллекцию метаданных, богатую вымышленными диалогами из сценариев фильмов: здесь найдётся 220 579 диалогов между 10 292 парами героев фильма с участием 9035 персонажей из 617 фильмов.
ConvAI2 Dataset. Этот набор данных содержит более 2000 диалогов для конкурса PersonaChat, где люди, работающие на краудсорсинговую платформу Yandex.Toloka, общались в чате с ботами от участвующих в конкурсе команд.
Санта-Барбара. Корпус разговорного американского английского: этот набор данных включает приблизительно 249 000 слов в транскрипции, аудио- и временных меток на уровне отдельных единиц интонирования.
Ориентированные на цель диалоги в Maluuba. Набор данных диалогов, в которых беседа направлена на выполнение задачи или принятие решения, — например поиск авиарейсов и гостиниц. Содержит комплексную информацию, охватывающую более 250 отелей, рейсов и пунктов назначения.
Мультидоменный набор данных волшебника страны Оз (MultiWOZ). Полностью размеченная коллекция письменных бесед, охватывающая несколько доменов и тем. Набор содержит 10 000 диалогов и как минимум на порядок больше, чем все предыдущие аннотированные корпусы, которые ориентированы на решение задач.
Набор данных для обучения мультиязычных ботов
Набор данных EXCITEMENT (возбуждение). Эти наборы, доступные на английском и итальянском языках, содержат отрицательные отзывы клиентов, в которых клиенты указывают причины неудовлетворенности компанией.
Всё ещё не можете найти нужные данные? Lionbridge AI предоставляет пользовательские данные для обучения чат-бота при помощи машинного обучения на 300 языках, чтобы сделать ваши беседы интерактивнее и поддерживать клиентов по всему миру. А если хотите прокачать себя в машинном обучении — приходите на наш расширенный курс по ML и не забывайте про промокод HABR, добавляющий 10% к скидке на баннере.
Читайте также: