提供Python-运行时arc-cua來管理macOS的介面

開發人員發佈了 arc-cua — 一個專門的Python運行時，旨在創建管理桌面應用程序的代理。該工具面向macOS環境，提供低延遲的用戶命令執行。

系統架構分為高級邏輯推理和低級圖形界面交互。使用內置的 OCR 系統分析螢幕狀態，使用 macOS 的無障礙API管理元素。這使代理能夠以高精度讀取窗口結構並模擬用戶操作。

arc-cua 的標準後端使用 JEV 進行決策。這種組合允許將複雜的認知任務委託給專門的模型，而運行時負責技術執行，例如點擊、文本輸入和菜單導航。

該項目以開源方式發佈，面向開發自動化日常操作的開發人員。使用本地數據處理工具可以最小化將螢幕截圖和命令傳輸到遠程伺服器的延遲。

出現這種解決方案簡化了創建能夠與任何軟體交互的代理的過程，而無需通過API集成。邏輯和執行的分離是計算機視覺和工作流程自動化系統開發的關鍵趨勢。