Поделиться
Машины «Яндекс Драйва» на мойку и в ремонт теперь отправляют нейросети
Сервис «Яндекс Драйв» обновил технологию фотоконтроля. Теперь фотографии арендных автомобилей на необходимость мойки и ремонта анализирует комплекс нейросетей для работы с визуальными данными. Ежедневно через него проходят 150 тыс. фотографий машин из автопарка сервиса, что в 2,5 раза больше в сравнении с предшествующим алгоритмом.
Ранее в каршеринге решения об операционных задачах — мойка и ремонт — принимал алгоритм с ML-фильтрацией и ручной модерацией. Сейчас процесс фотоконтроля стал почти полностью автоматическим благодаря комплексу нейросетей для обработки визуальных данных: визуальному трансформеру (ViT) и визуально-языковой модели (VLM). Эти модели каждый день анализируют состояние 12 тыс. машин из автопарка сервиса.
При аренде приложение запрашивает у пользователя фотографии выбранной машины и просит ответить на несколько вопросов о её состоянии, после чего система анализирует полученные данные. Чтобы нейросети могли выявлять повреждения, например, царапины и вмятины, и фиксировать загрязнения, «Яндекс Драйв» обучил модели на специально размеченных наборах данных. В случае загрязнений компьютерное зрение присваивает транспортному средству балл от 1 до 100: чем выше оценка, тем выше вероятность, что автомобиль в скором времени будет отправлен на мойку. При расчете показателя учитываются текущий сезон и история поездок конкретного автомобиля.
Точность работы системы повышает визуально-языковая модель (VLM). Она используется для подтверждения и уточнения результатов, полученных на более ранних этапах, — помогает различать типы повреждений и определять степень загрязнений, корректно классифицировать спорные случаи и обеспечивать стабильность качества проверки в сервисе. Полнота повреждений, определяемых технологией, равна 99,9%.
Благодаря новому подходу большую часть рутинных решений в «Драйве» технологии принимают самостоятельно, а модераторы сосредоточены на сложных и нестандартных случаях. Внедрение комплекса нейросетей позволило ускорить операционный процесс, не теряя точности, и на 17% снизить негативные отзывы пользователей о чистоте автомобилей.
Короткая ссылка
