Hệ thống điều khiển và dạy học robot, sử dụng duy nhất một camera thông thường

Các nhà nghiên cứu tại Đại học Carnegie Mellon đã phát triển một hệ thống mới cho phép người dùng điều khiển bàn tay và cánh tay robot từ xa, đơn giản bằng cách trình diễn những chuyển động mà người sử dụng muốn robot thực hiện trước camera. Hệ thống điều khiển này, được giới thiệu trong một bài báo trên arXiv, mở ra những khả năng thú vị cho khả năng điều khiển và huấn luyện từ xa các robot hoàn thành những nhiệm vụ trong môi trường hàng ngày và môi trường nguy hiểm con người không thể tiếp cận.

PGS Deepak Pathak, một trong những nhà khoa học phát triển hệ thống mới này, trả lời phỏng vấn TechXplore cho biết, các hoạt động trước đây trong lĩnh vực điều khiển học sử dụng găng tay thông, vật đánh dấu các chuyển động hoặc thiết lập nhiều camera được hiệu chỉnh. Nhưng hệ thống này hoạt động, sử dụng một máy quay đơn giản chưa hiệu chỉnh duy nhất. Người dùng có thể đứng ở bất kỳ đâu vẫn điều khiển thành công rô bốt.

Hệ thống do nhóm nghiên cứu pGS Pathak phát triển trên cơ sở một mô hình có thể chuyển những chuyển động của bàn tay con người thành một chuỗi lệnh, sau đó hướng dẫn những chuyển động của robot. Điểm ấn tượng là mô hình chỉ được đào tạo trên một loạt video YouTube, ghi lại cảnh con người thực hiện những hành động và tương tác với các đối tượng khác nhau.

Robot hoàn thành các nhiệm vụ khéo léo khác nhau, được điều khiển bởi người vận hành chuyên nghiệp bằng cách sử dụng hệ thống điều khiển từ xa robot. Ảnh: Sivakumar, Shaw & Pathak

Sự đa dạng của dữ liệu video thụ động khổng lồ giúp mô hình điều khiển học hoạt động đối với những người dùng, tác vụ và đối tượng chưa được đào tạo. Hệ thống cung cấp một phương pháp tự nhiên và chi phí thấp dạy robot bằng các hoạt động trình diễn, khác với việc điều khiển trực tiếp robot bằng phương pháp động học, đeo găng tay truyền tín hiệu hoặc bộ đồ ghi lại bằng tín hiệu các chuyển động cơ thể và truyền cho robot.

Sử dụng phương pháp phân tích ảnh đơn, hai chiều (2D), hệ thống của nhóm nghiên cứu có thể suy ra các chuyển động mà bàn tay và cánh tay con người đang thực hiện trong không gian ba chiều (3D). Sau đó, hệ thống xác định lại các khớp tay con người, khớp với khớp tay của robot, tái tạo các chuyển động tương tự bằng các lệnh mô phỏng tương đương.

Do bàn tay người và robot khác nhau về hình dạng, kích thước và cấu trúc, nên bản chuyển dịch mô phỏng này bị hạn chế, đặc biệt là với một máy quay duy nhất. Ý tưởng của nghiên cứu là mặc dù dữ liệu thông tin ghép nối giữa người và robot có chi phí rất cao, nhưng Internet chứa một kho dữ liệu khổng lồ về những video tay và bàn tay con người phong phú và đa dạng.

Để đào tạo hệ thống chỉ sử dụng dữ liệu video thụ động, nhóm nhà hoa học máy tính tập trung vào mô phỏng 3D tư thế con người và thị giác máy tính. Kết quả đạt được rất tiềm năng, vì hệ thống có thể cho phép người dùng chưa qua đào tạo điều khiển robot và hoàn thành từ xa các nhiệm vụ thao tác khéo léo khác nhau.

Ấn tượng nhất của hệ thống là sử dụng dữ liệu internet đa dạng cho robot, đây là hướng phát triển trong tương lai, các video trên internet đóng vai trò như một nguồn quan sát phong phú trong điều khiển robot, bổ sung cho nhận thức thị giác của robot.

Để sử dụng hệ thống mới được phát triển, người dùng chỉ cần đứng trước máy quay RGB và thực hiện các chuyển động của bàn tay hoặc cánh tay mà họ muốn robot thực hiện theo. Do công nghệ rất dễ sử dụng và không yêu cầu thiết bị phức tạp, hệ thống khi hoàn thiện có thể giải quyết nhiều vấn đề đào tạo robot trong thế giới thực.

Kỹ thuật điều khiển từ xa bằng robot và những công nghệ tương tự cho phép đào tạo robot trong nhiều tình huống khác nhau, từ ứng dụng dân sự đến cứu hộ cứu nạn và quy trình dạy robot dễ tiếp cận với mọi người. Kỹ thuật này cho phép thu thập dữ liệu quy mô lớn để dạy robot hành động tại thời điểm và tự chủ hoạt động trong thế giới thực.