Нейросеть может предсказывать поведение собак


Группа ученых во главе Али Фархади (Ali Farhadi) из Института искусственного интеллекта Аллена (США) научились предсказывать поведение собак по видеозаписи. Исследователи использовали записи камеры GoPro, закрепленной на голове собак, и при помощи этого массива данных обучили нейросеть определять вероятное поведение животного на пять кадров вперед.

Исследования в области компьютерного видения, как правило, сводятся к проблемам обнаружения объектов, распознавания, классификации изображений. Исследователи института Аллена поставили себе более амбициозную задачу: «понимание визуальных данных в той мере, в какой агент выполняет действия и задачи в визуальном мире».

Исследователи выбрали визуальным агентом собаку. У них более простое пространство действий, чем у человека. С другой стороны, умны, реагируют на множество факторов, включая других животных и людей. Для эксперимента важно, что цели и мотивы собак часто неизвестны, а движения активны и разнообразны.

Данные для экспериментов включают видео от первого лица собаки, которое записывала закрепленная на голове камера GoPro, и инерциальные датчики на теле собаки, каждой лапе и на хвосте. Таким образом, положение тела и поза собаки фиксировались одновременно с видом «от собаки». Данные синхронизировали по записи звукового фона, которая велась камерой и датчиками независимо. Видео записывали с частой 5 кадров в секунду, показания датчиков — 20 в секунду.

Ученые вели запись в разных условиях: в комнатах, на лестнице, на улице и в парке, использовали более 50 мест. Запись данных вели при общении с другими собаками, при выполнении команд, поиске предметов и т.д. При этом исследователи никак не отмечали и не типологизировали записи: изучали непосредственно движения.

Экспериментаторы сняли 380 видео, что составило 24500 кадров, из которых 21000 использовали при обучении нейросетей, 1500 для валидации и оставшиеся 2000 — как тестовые.

Модель поведения разбили на три проблемы.

1. Действовать как собака. Нейросеть предсказывает движение собаки, исходя из базы данных.

2. Планировать как собака. Нейросеть прогнозирует последовательность действий, которые использует собака для перемещения из начальной позиции в конечную. Позиции задаются видом «от лица» собаки.

3. Обучаемся как собака. Нейросеть распознает объекты и определяет, по каким поверхностям может перемещаться собака.

Ученые использовали сразу два вида нейросетей. CNN (convolutional neural network) — сверточная сеть, используется для распознавания изображений. LSTM (long short-term memory) — долгая краткосрочная память; этот вид нейронных сетей эффективен для обработки данных, поступающих через неравномерные временные промежутки.

Модель архитектуры «планировать как собака»

Сеть CNN распознает объекты на изображениях, сеть LSTM прогнозирует последовательность действий собаки для заданного кадрами перемещения.

Ученые проверили результат на двух тысячах кадров, которые не использовали при обучении нейросети, полностью незнакомые. Проверка показала, что система успешно планирует движения, которые выполняет живая собака. Достаточно пяти кадров, чтобы обученные нейросети достоверно предсказали поведение собаки на следующих пяти кадрах. Речь идет о визуальной информации, датчики использовали только при обучении нейросетей.

Разработка имеет перспективы развития. Очевидно, что обученная система сможет оценивать проходимость различных поверхностей для собаки. Описанное исследование использовало изображение, но подобным образом нейросети возможно обучить, используя другие виды восприятия (в первую очередь слух). Комбинирование обученных сетей повысит точность прогнозирования. Задача моделирования нескольких общающихся собак также интересна. И, конечно, прогноз возможен и для других животных, а со временем и человека.

Исследователи считают, что продолжение работы поможет лучше понимать не только собак, но и все существа, населяющие наш мир.

Источник: naked-science.ru



Логотип Labuda.blog
Авторизоваться с помощью: 
Яндекс.Метрика