Ferramentas · · .md (Markdown)
Vercel abre o agent-desktop, que dá computer use ao seu agente sem screenshot
A ferramenta open source lê a árvore de acessibilidade do macOS, Windows e Linux e devolve cada botão como uma referência em JSON pro agente clicar.
A Vercel Labs publicou o agent-desktop, uma ferramenta de linha de comando (e biblioteca em C) open source, sob licença Apache 2.0, que deixa qualquer agente de código operar apps do computador no macOS, no Windows e no Linux. Em vez de mandar screenshots pro modelo, ela lê a árvore de acessibilidade do sistema, a mesma lista de botões e campos que os leitores de tela usam.
Cada snapshot devolve um JSON com uma referência pra cada elemento clicável; o agente age numa referência e tira outro snapshot pra conferir o resultado. A versão 1.0 saiu em 28/10 e a 1.0.2 em 30/10. O README avisa que é um produto Labs e que snapshots, prints e a área de transferência podem carregar dados privados.
Por que importaLer a estrutura real do app é mais barato e erra menos que adivinhar clique por pixel, o que abre automação de ERP e sistema interno sem API. O preço é dar ao agente acesso a qualquer app aberto.
Num computador de teste, instale com npm install -g agent-desktop, libere a acessibilidade no Mac com agent-desktop permissions --guide e rode agent-desktop snapshot --app Finder -i pra ver as referências.
Fonte: Vercel Labs (GitHub) · github.com
Mais notícias do dia
Ferramentas
Anthropic renomeia o plano de US$ 200 pra Ultra e tira o limite de 5 horas
O antigo Max 20x vira Ultra, sem mudar o preço. Conta verificada fica só com o limite semanal, descrito como 10 vezes o do Pro.
Agentes
Extensão falsa do Claude Code na loja do Cursor instalou backdoor de SSH por 11 horas
As versões 2.1.312 e 2.1.313 publicadas na loja do Cursor em 29/10 tentavam pôr a chave do atacante no seu SSH. O Cursor publicou como checar e limpar.
Agentes
Google vai desligar o Jules; sessões só até 11 de novembro
O agente de código assíncrono do Google vira só leitura depois de 11/11 e sai do ar em 31/12. O Google publicou um prompt pra exportar memórias, tarefas e sessões.
Modelos
Microsoft abre modelo de 4B que opera o PC e faz 66% no OSWorld
O Mage-VL-Cowork clica na tela e também roda comandos no terminal quando é melhor. Tem 9,5 GB de pesos e licença Apache 2.0.
Agentes
Shopify abre catálogo de 1 bilhão de produtos e checkout pra qualquer agente
Com o shop.md, ChatGPT, Claude e outros agentes buscam produtos e compram com Shop Pay; toda loja Shopify ganha ferramentas WebMCP pra agentes de navegador.
Receba o resumo da semana por e-mail
Toda sexta, as maiores notícias da semana.
grátis · sem spam · cancele com um clique