Anthropic công bố tính năng Computer Use: Claude 3.5 Sonnet trực tiếp điều khiển chuột và bàn phím máy tính
Lần đầu tiên trong lịch sử, một mô hình AI có thể nhìn vào màn hình máy tính, di chuyển con trỏ chuột, nhấp nút và gõ phím để hoàn thành các tác vụ văn phòng phức tạp thay con người.
Điểm nhấn then chốt (Key Takeaways)
- AI không cần API chuyên biệt mà thao tác trực tiếp trên giao diện người dùng đồ họa (GUI) giống hệt con người.
- Claude chụp ảnh màn hình định kỳ, tính toán tọa độ pixel (x, y) để di chuyển chuột và gửi tín hiệu bàn phím.
- Giải quyết các quy trình nghiệp vụ phức tạp kéo dài qua nhiều phần mềm khác nhau như trình duyệt, bảng tính Excel và CRM.
- Anthropic áp dụng các biện pháp an toàn nghiêm ngặt để ngăn chặn hành vi tự động mua hàng hoặc thao túng tài khoản nhạy cảm.
1. Khái niệm mang tính cách mạng: AI sử dụng máy tính như con người
Từ trước đến nay, để một phần mềm AI có thể tương tác với các ứng dụng khác, các kỹ sư phải viết hàng nghìn dòng mã tích hợp API chuyên biệt. Nếu một phần mềm không có sẵn API hoặc sử dụng giao diện phần mềm cũ (legacy software), AI hoàn toàn bất lực.
Tính năng "Computer Use" được Anthropic tích hợp vào phiên bản nâng cấp của Claude 3.5 Sonnet đã thay đổi hoàn toàn cục diện. Mô hình được huấn luyện để nhìn vào màn hình máy tính thông qua ảnh chụp định kỳ, nhận diện các nút bấm, ô nhập liệu, thanh cuộn, sau đó tự động phát lệnh di chuyển chuột, nhấp chuột trái, chuột phải và gõ phím giống như một nhân viên văn phòng bằng xương bằng thịt.
"Thay vì bắt các nhà phát triển phải viết API riêng cho từng công cụ, chúng tôi dạy Claude cách sử dụng trực tiếp các giao diện phần mềm mà con người đã thiết kế cho chính mình suốt nhiều thập kỷ qua."
2. Thử nghiệm trên các tác vụ thực tế
Trong buổi thử nghiệm của Anthropic, Claude nhận một câu lệnh bằng ngôn ngữ tự nhiên: "Hãy vào website công ty X, tìm bảng giá dịch vụ mới nhất, sao chép vào bảng tính Excel và gửi email báo cáo cho trưởng phòng". Mô hình đã tự động mở trình duyệt Chrome, điều hướng tới trang web, cuộn trang tìm thông tin, mở phần mềm LibreOffice Calc để điền dữ liệu theo cột, rồi mở ứng dụng email soạn thảo nội dung gửi đi một cách trơn tru.
Trên bộ benchmark OSWorld đánh giá khả năng thực hiện tác vụ trên hệ điều hành, Claude 3.5 Sonnet đạt điểm số 14.9% ở chế độ chỉ dùng hình ảnh ảnh chụp màn hình – cao gấp đôi so với mô hình AI tốt nhất trước đó của đối thủ.
3. Bài toán bảo mật và tương lai của lực lượng lao động tri thức
Mặc dù mở ra tiềm năng tự động hóa vô tận, Computer Use cũng dấy lên những lo ngại sâu sắc về an ninh mạng. Nếu kẻ tấn công chèn các câu lệnh độc hại vào một trang web công khai (kỹ thuật Prompt Injection), Claude khi lướt web có thể bị lừa nhấn vào các nút nguy hiểm hoặc gửi thông tin mật ra ngoài.
Anthropic nhấn mạnh tính năng này hiện đang ở giai đoạn thử nghiệm beta công khai dành cho nhà phát triển, đồng thời khuyến cáo các tổ chức cần thiết lập môi trường máy ảo cách ly (sandbox) và yêu cầu con người phê duyệt cho các hành động mang tính rủi ro cao như chuyển tiền hoặc xóa cơ sở dữ liệu.
Nguồn tin & Tài liệu tham khảo chính thống
Bài viết được tổng hợp, đối chiếu và biên dịch từ các ấn phẩm và báo cáo kỹ thuật:
- [1]Developing computer use capabilities on Claude 3.5 Sonnet— (Anthropic Engineering Blog)
- [2]Anthropic gives Claude the ability to control your PC— (TechCrunch Technology News)
Ban biên tập Công nghệ Oloka.net
Bài viết được biên soạn và kiểm chứng độc lập bởi đội ngũ phóng viên công nghệ Oloka.net. Chúng tôi tuân thủ các nguyên tắc minh bạch dữ liệu và trích dẫn nguồn tin gốc. Mọi phản hồi xin vui lòng liên hệ tòa soạn.
