Беспилотные автомобили способны обрабатывать огромные объемы информации за считанные секунды, но их решения далеко не всегда понятны человеку.

Машина может неожиданно затормозить, замешкаться рядом с другим участником движения или выбрать странную траекторию, а пассажир или водитель безопасности не всегда понимает, что именно система увидела и почему поступила таким образом.

Исследователи разработали метод, который делает такие решения более прозрачными. Система получила название Concept-Wrapper Network, или CW-Net. Она переводит внутренние процессы модели автономного вождения в понятные человеку формулировки, не меняя работу самой системы управления.

Как сделать «черный ящик» понятнее

Современные беспилотные автомобили используют алгоритмы машинного обучения, которые фактически выполняют роль центра принятия решений. Они получают данные с камер и лидаров, формируют картину окружающей обстановки и определяют, по какой траектории автомобиль должен двигаться дальше.

Проблема заключается в том, что такие системы часто работают как «черный ящик». Инженеры видят входные данные и итоговое решение, но восстановить точную логику, которая привела алгоритм к конкретному действию, бывает сложно. W-Net должна решить именно эту проблему.

Система преобразует внутренние сигналы модели в простые понятия, например «приближение к остановившемуся автомобилю» или «рядом велосипедист». Эти объяснения появляются практически одновременно с расчетом траектории.

Для обучения исследователи использовали набор данных примерно из 130 млн примеров дорожных ситуаций, в которых были размечены различные понятия и объекты.

При этом CW-Net проектировали так, чтобы она максимально точно отражала решения исходной системы и не снижала качество автономного управления.

Велосипедист помог обнаружить скрытую ошибку

Технологию протестировали на роботакси компании Motional на закрытом полигоне. За рулем находился водитель безопасности.

Один из экспериментов показал, почему объяснимость может иметь критическое значение.

Автомобиль несколько раз останавливался перед велосипедистом. На первый взгляд могло показаться, что беспилотная система правильно распознала человека и сознательно выбрала безопасное действие. Однако CW-Net показала совсем другую картину.

Выяснилось, что основная система планирования не была корректно настроена на обнаружение велосипедиста и фактически выбрала траекторию, которая потенциально могла привести к столкновению.

Машина остановилась только потому, что в последний момент сработала отдельная система экстренного торможения.

Это принципиально важное различие. Успешная остановка может создать впечатление, что алгоритм все сделал правильно, хотя на самом деле основная система допустила серьезную ошибку.

Объяснения могут помочь водителю безопасности

Если водитель понимает причину действий автомобиля, он может быстрее распознать опасную ситуацию.

Например, заметив, что система не учитывает велосипедиста, человек сможет заранее снизить скорость или взять управление на себя.

Для инженеров такая информация также полезна. Она помогает обнаруживать слабые места алгоритмов и выяснять, какие объекты или дорожные ситуации система распознает неправильно.

Таким образом, объяснимость становится не просто удобной функцией, а дополнительным инструментом проверки безопасности.

Людям стало проще предсказывать действия машины

Исследователи также провели более масштабные эксперименты в симуляции, используя реальные дорожные ситуации, записанные в Лас-Вегасе.

Участники, которым показывали объяснения CW-Net, заметно лучше предсказывали дальнейшее поведение беспилотного автомобиля.

Это важно, поскольку безопасность автономного транспорта зависит не только от качества решений самой машины.

Человеку, который контролирует работу системы, необходимо понимать, когда она может повести себя неожиданно.

Профессор Массачусетского технологического института Джули Шах, один из старших авторов исследования, опубликованного в Nature, отметила, что понятные объяснения помогают людям сформировать более точное представление о работе автономной системы.

Ведущий автор работы Эоин Кенни также подчеркнул, что объяснение должно отражать реальные причины решения алгоритма, а не создавать правдоподобную версию уже после того, как действие произошло.

Почему это важно для роботакси

Беспилотные автомобили становятся все более совершенными, но полностью исключить неожиданные ошибки пока невозможно. Простого сообщения о том, что машина собирается сделать дальше, может быть недостаточно, если человек не понимает причину такого выбора.

Главное преимущество CW-Net заключается в том, что система пытается раскрыть логику уже существующей модели, не заменяя ее более простой версией.

При этом исследователи не утверждают, что проблема объяснимости автономного транспорта уже полностью решена. Команда планирует увеличить число понятий, которые способна распознавать CW-Net, и испытать новые методы обучения.

Работа показывает важное направление развития беспилотного транспорта. Безопасность роботакси может зависеть не только от способности принимать правильные решения, но и от того, насколько понятно система способна объяснить человеку причины своих действий.