Штучний інтелект у поєднанні з новою камерою на основі біотехнологій дозволяє виявляти пішоходів на дорозі у 100 разів швидше, ніж сучасні автомобільні камери. Цей значний прорив у галузі комп'ютерного зору досягнутий дослідниками з Цюріхського університету може значно підвищити безпеку систем допомоги водієві та безпілотних автомобілів.
Ситуація, коли пішохід раптово виходить перед автомобілем, зазвичай залишає водія лише долі секунди на реакцію - це кошмар для будь-якого водія. Нинішні автомобільні системи камер можуть попередити водія або активувати екстрене гальмування, але вони ще не є достатньо швидкими та надійними для застосування в автономних транспортних засобах, де відсутня людина за кермом.
Що пропонується в новому винаході
Даніель Геріг і Давіде Скарамуцца з факультету інформатики Цюріхського університету поєднали нову камеру, інспіровану біологічними процесами, зі штучним інтелектом для створення системи, що може виявляти перешкоди навколо автомобіля набагато швидше, ніж сучасні системи, і з меншими обчислювальними потужностями.
Більшість сучасних камер є кадровими, що означає, що вони роблять знімки через певні проміжки часу. Камери, що використовуються для допомоги водієві в автомобілях, зазвичай здатні робити від 30 до 50 кадрів на секунду, і штучна нейронна мережа може бути навчена розпізнавати об'єкти на цих зображеннях - пішоходів, велосипедистів та інших автомобілів.
«Проте якщо щось відбувається протягом 20-30 мілісекунд між двома кадрами, камера може побачити це занадто пізно. Один з варіантів - це збільшення частоти кадрів, але це вимагає обробки більшої кількості даних у реальному часі і більше обчислювальних потужностей», - пояснює Геріг, перший автор статті.
Камери подій - це інноваційний підхід, що базується на іншому принципі. Замість постійної частоти кадрів вони мають інтелектуальні пікселі, які фіксують інформацію при виявленні швидких рухів.
«Таким чином, вони не мають сліпих зон між кадрами, що дозволяє їм швидше виявляти перешкоди. Їх також називають нейроморфними камерами, оскільки вони імітують те, як людські очі сприймають зображення», - розповідає Скарамуцца, керівник групи робототехніки та сприйняття.
Проте у них також є свої недоліки, оскільки вони можуть пропускати повільно рухаючіся об'єкти, і їхні зображення важко конвертувати в дані, що використовуються для навчання алгоритмів штучного інтелекту.
Геріг і Скарамуцца розробили гібридну систему, що поєднує в собі найкраще з обох технологій:
- Перша включає стандартну камеру, яка захоплює 20 зображень на секунду, що є порівняно низькою частотою кадрів порівняно з поточними. Зображення обробляються системою штучного інтелекту, так званою згортковою нейронною мережею, навченою розпізнавати автомобілі та пішоходів.
- Дані з камери подій суміщуються з іншим типом системи штучного інтелекту - асинхронною графовою нейронною мережею, що особливо добре підходить для аналізу тривимірних даних, які змінюються з часом. Виявлення з камери подій використовуються для передбачення виявлень стандартної камери і підвищення її продуктивності.
«В результаті ми створили візуальний детектор, який здатен виявляти об'єкти так само швидко, як і камера, що робить 5000 знімків на секунду, але вимагає такої ж пропускної здатності, як і стандартна камера зі швидкістю 50 кадрів на секунду», - розповідає Геріг.
Перспективи величезні
В ході тестування команда порівняла свою систему з кращими камерами та візуальними алгоритмами, які сьогодні представлені на автомобільному ринку, і встановила, що вона дозволяє виявляти об'єкти в сто разів швидше. При цьому зменшується обсяг даних, які потрібно передавати між камерою та бортовим комп'ютером, а також обчислювальну потужність, необхідну для обробки зображень, при цьому не порушуючи точність.
Важливо, що система ефективно виявляє автомобілі та пішоходів, що потрапляють у поле зору між двома наступними кадрами стандартної камери, що забезпечує додаткову безпеку як для водія, так і для учасників дорожнього руху. Це особливо важливо на високих швидкостях.
Вчені вважають, що у майбутньому цей метод можна ще більш покращити, інтегруючи камери з LiDAR-датчиками, аналогічними до тих, що використовуються на безпілотних автомобілях.
Гібридні системи такого типу можуть мати вирішальне значення для забезпечення безпеки автономного водіння.