Ô tô đang được dạy cách "nghe" nhờ sự kết hợp giữa trí tuệ nhân tạo (AI) và hệ thống micro. Bước tiến công nghệ âm thanh này được kỳ vọng sẽ bổ sung giác quan còn thiếu mà camera và radar chưa thể cung cấp, giúp xe phản ứng với thế giới xung quanh tương tự như con người.

Đây có thể là một phần của hệ thống ADAS hay xe tự lái trong tương lai.

Khi âm thanh trở thành giác quan mới của xe tự lái

Moritz Brandes (dẫn đầu dự án The Hearing Car tại Fraunhofer IDMT) nhận định: "Việc nhận biết và phân loại chính xác âm thanh bên ngoài là yếu tố quan trọng để quan sát toàn diện môi trường giao thông. Rất nhiều tình huống trên đường được báo trước bằng tín hiệu âm thanh, ví dụ như xe cứu thương đang đến gần sẽ phát tín hiệu bằng còi báo động".

Không giống như hệ thống quang học cần tầm nhìn rõ ràng, cảm biến âm thanh có thể thu nhận những gì đang diễn ra ở các góc khuất hoặc đường phố đông đúc. Khả năng này đặc biệt quan trọng đối với xe tự lái, nơi mỗi mili giây nhận thức đều có giá trị.

Xe demo The Hearing Car được trang bị nhiều micro và phần mềm AI có thể nhận dạng và phân loại âm thanh từ đường phố. Các cảm biến này được thiết kế để chịu được mưa, gió và nhiệt độ khắc nghiệt, với vị trí đặt cẩn thận để đảm bảo thu âm chính xác ngay cả ở tốc độ cao trên đường cao tốc.

Xe đã được thử nghiệm từ Bồ Đào Nha đến vòng Bắc Cực để kiểm tra công nghệ trong điều kiện thực tế.

Để đảm bảo người lái không bỏ lỡ các tín hiệu quan trọng, những âm thanh cần thiết có thể được truyền trực tiếp vào cabin xe qua tựa đầu. Điều này có nghĩa là còi báo động, còi xe hoặc cảnh báo không chỉ được phát hiện mà còn được truyền trực tiếp đến tai người lái, giúp họ phản ứng nhanh hơn.

Không chỉ cho xe: Âm thanh AI còn hỗ trợ sức khỏe và sự tập trung của người lái

Dự án này có sự hợp tác chặt chẽ với các nhà cung cấp và sản xuất ô tô, những người nhìn thấy tiềm năng của cảm biến âm thanh như một bước nhảy vọt tiếp theo trong hỗ trợ người lái.

Công nghệ giúp xe nhận dạng còi báo động cũng cho phép tương tác tự nhiên hơn với hành khách. Người lái có thể ra lệnh bằng giọng nói như "mở cốp", trong khi hệ thống xác minh đảm bảo chỉ giọng nói được ủy quyền mới có thể kích hoạt các thao tác chính.

Bên trong cabin, các nhà nghiên cứu đang phát triển các công cụ để theo dõi sức khỏe và sự tập trung của người lái. Radar tầm ngắn có thể đo nhịp tim và nhịp thở mà không cần tiếp xúc, trong khi hệ thống EEG di động theo dõi hoạt động của não để phát hiện dấu hiệu mệt mỏi. Phân tích giọng nói phát hiện căng thẳng hoặc phấn khích, cung cấp phản hồi theo thời gian thực cho người ngồi trong xe.

YourSound - trợ lý âm thanh cá nhân hóa trải nghiệm trong cabin

Hệ thống YourSound cá nhân hóa trải nghiệm giải trí trong xe, cho phép hành khách tinh chỉnh âm thanh theo sở thích mà không cần kiến thức kỹ thuật. Hệ thống hoạt động như một trợ lý âm thanh ảo, tạo ra môi trường nghe thoải mái hơn cho mọi người.

Bằng cách kết hợp cảm biến âm thanh bên ngoài với hệ thống giám sát bên trong, The Hearing Car cho thấy cách xe hơi có thể phát triển vượt ra ngoài camera và radar để trở thành những cỗ máy thực sự "biết lắng nghe".

Nghiên cứu được hỗ trợ bởi Bộ Khoa học và Văn hóa Lower Saxony, Quỹ Volkswagen và Bộ Nghiên cứu, Công nghệ và Không gian Liên bang Đức theo sáng kiến KI4BoardNet. Nguyên mẫu sẽ được trưng bày từ ngày 9 đến 12-9 tại triển lãm IAA Mobility 2025 ở Munich.

VinFast sắp sản xuất xe điện tự lái

VinFast sẽ hợp tác cùng Tensor để phát triển xe điện tự lái hoàn toàn với hơn 100 cảm biến camera các loại.