🚀 Giới thiệu X-VLA; mô hình Vision-Language-Action mới của LeRobot với soft-prompt. X-VLA được xây dựng để mở rộng trên nhiều hình thức: các robot khác nhau, camera, không gian hành động và môi trường, tất cả đều được xử lý bởi một backbone transformer thống nhất. - Chuyên gia đa năng trên các robot (Franka, WidowX, Agibot, mô phỏng + thực tế) - Các ID miền soft-prompt cho phép mô hình thích ứng với phần cứng mới với các embedding có thể học nhỏ gọn - Khớp dòng + lõi transformer cho điều khiển mượt mà, liên tục 50 Hz - Được huấn luyện trước trên một tập dữ liệu hỗn hợp hình thức trải dài trên 7+ nền tảng và các nhiệm vụ đa dạng - Tinh chỉnh trên bất kỳ tập dữ liệu nào bằng cách sử dụng một trong 6 điểm kiểm tra mà chúng tôi cung cấp sẵn.

Rất hào hứng khi phát hành điều này cùng với @frodobots và @BitRobotNetwork, thật tuyệt khi thấy họ mở mã nguồn cho robot và bộ dữ liệu! Khám phá bộ dữ liệu trên Hugging Face Hub và xem Earth Rover Mini+ trong LeRobot!

🚀 Chúng tôi vừa phát hành một bản nâng cấp lớn cho sân chơi học tập mô phỏng trong LeRobot, được xây dựng cùng với @LightwheelAI ! Bây giờ bạn có thể điều khiển robot trong mô phỏng (bằng bàn phím hoặc robot thực) và thu thập các bản demo huấn luyện ngay lập tức. Điều này giúp thực hiện nghiên cứu IL thực sự trên các nhiệm vụ thao tác khó khăn và thực tế hơn, ngay cả khi bạn không có phần cứng. Các nhiệm vụ mới: 🟠 nhặt cam vào đĩa 🧺 gấp vải (đúng vậy!) 📦 nhặt 2 món đồ chơi “e” vào hộp 🔴 nâng khối lập phương đỏ Thông qua sự hợp tác với Lightwheel, LeIsaac đã được tích hợp vào EnvHub ngay từ ngày đầu tiên, một sự tích hợp theo cách tốt nhất giúp củng cố cả hai hệ sinh thái và thúc đẩy robot mô phỏng lên phía trước. 👉 Tải một nhiệm vụ qua EnvHub, bắt đầu điều khiển từ xa, ghi lại demo của bạn, tải dữ liệu lên hub và bạn đã sẵn sàng để huấn luyện hoặc kiểm tra.