Hasta hace relativamente poco, utilizar una inteligencia artificial consistía básicamente en escribir algo y esperar una respuesta. Después llegaron los agentes capaces de ejecutar código, buscar información o trabajar durante varios pasos. Ahora GitHub quiere añadir otra pieza al puzle: una IA capaz de utilizar las aplicaciones de tu ordenador.
La función se llama GitHub Copilot Computer Use y permite que Copilot interactúe con interfaces gráficas: puede interpretar lo que aparece en pantalla, hacer clic, escribir, desplazarse por una aplicación y pasar de una herramienta a otra para completar determinadas tareas.
En ForoPrompt llevamos tiempo hablando de agentes de IA y automatización. Computer Use ayuda a entender hacia dónde se está desplazando todo esto: pasar de una IA que explica los pasos a otra que intenta ejecutarlos.
Y sí, eso también significa darle permiso para tocar botones. Conviene saber cuáles.
Qué es GitHub Copilot Computer Use
GitHub Copilot Computer Use es una capacidad que permite a Copilot interactuar con aplicaciones mediante su interfaz gráfica. GitHub la ha incorporado en vista previa pública a Copilot CLI y a la aplicación de Copilot para macOS y Windows.
En lugar de limitarse a generar texto o comandos, el agente puede utilizar información visual de la pantalla para decidir dónde debe interactuar. Entre sus capacidades se encuentran hacer clic, escribir, desplazarse y navegar entre diferentes aplicaciones.
Esto abre la puerta a automatizar procesos que hasta ahora resultaban incómodos porque una parte del trabajo ocurría en aplicaciones sin una API sencilla o requería utilizar botones, formularios y menús.
Un script tradicional funciona estupendamente cuando todo está perfectamente conectado. La vida cotidiana suele tener otros planes: una web por aquí, una aplicación de escritorio por allá y un formulario que alguien decidió colocar detrás de cuatro menús.
Qué diferencia hay entre Copilot y Computer Use
La diferencia fundamental está en la capacidad de actuar sobre una interfaz.
Imagina que quieres comprobar una serie de cambios en un proyecto. Un asistente convencional puede explicarte qué archivos revisar, generar código o indicarte qué comandos ejecutar.
Un agente con Computer Use puede ir un paso más allá. Puede observar una aplicación compatible, localizar elementos de su interfaz e interactuar directamente con ellos para avanzar en la tarea.
Eso acerca Copilot a lo que habitualmente denominamos un agente de inteligencia artificial: un sistema al que proporcionas un objetivo y que puede realizar varias acciones para intentar alcanzarlo.
Cómo funciona GitHub Copilot Computer Use
El sistema utiliza el contexto visual disponible para interpretar la interfaz. A partir de ahí puede determinar qué elemento necesita utilizar y ejecutar diferentes acciones.
GitHub enumera operaciones como hacer clic sobre controles, introducir texto, desplazarse por una ventana y navegar por distintos pasos de un flujo.
La parte importante está en los permisos. Computer Use no debería lanzarse alegremente sobre cualquier aplicación como un becario con tres cafés encima. El usuario debe aprobar el acceso antes de que Copilot pueda controlar una aplicación.
Esto introduce una separación necesaria entre solicitar una tarea y conceder al agente capacidad para actuar sobre determinadas herramientas.
Qué puedes hacer con una IA que utiliza aplicaciones
El interés de Computer Use aparece cuando pensamos en procesos que combinan varias herramientas. Una tarea profesional rara vez ocurre dentro de una única ventana.
Puedes empezar buscando información, continuar trabajando con archivos, consultar una aplicación y terminar registrando los resultados en otra herramienta. Los agentes con capacidad de utilizar interfaces pueden conectar partes de ese recorrido.
Automatizar tareas repetitivas
Una de las aplicaciones más evidentes es encargarse de procesos mecánicos que requieren repetir una secuencia de acciones.
Por ejemplo, revisar información, abrir diferentes elementos, copiar determinados datos y trasladarlos a otra aplicación. Son tareas perfectamente asumibles por una persona, pero tienen aproximadamente el mismo atractivo intelectual que ordenar tornillos por tamaño durante toda la tarde.
Computer Use puede resultar especialmente interesante cuando automatizar mediante código o API resulta demasiado complicado para justificar el tiempo necesario.
Probar aplicaciones
También existe una aplicación evidente en desarrollo de software: permitir que un agente navegue por una aplicación para comprobar determinadas funciones.
En lugar de analizar únicamente el código, el agente puede interactuar con la interfaz y reproducir parte del comportamiento de un usuario.
Esto puede complementar pruebas automatizadas tradicionales y ayudar a detectar problemas relacionados con flujos, formularios, botones o navegación.
Trabajar entre varias herramientas
Otra posibilidad interesante aparece cuando una tarea necesita pasar por diferentes aplicaciones.
Un agente podría recibir un objetivo, obtener información en una herramienta, procesarla y después utilizar otra aplicación para continuar el proceso.
Ese enfoque encaja con algo que explicamos en nuestra guía sobre cómo usar la IA para ahorrar tiempo en el trabajo: los mayores ahorros suelen aparecer cuando identificas procesos repetitivos completos en lugar de buscar pequeñas tareas sueltas para ChatGPT.
Cómo pedir una tarea a un agente Computer Use
Cuanta más autonomía tiene un agente, más importante resulta definir correctamente el objetivo. Una instrucción ambigua puede producir una respuesta mediocre en un chatbot. En un agente capaz de ejecutar acciones, puede provocar además que dedique varios minutos a recorrer el camino equivocado.
Una estructura útil podría ser esta:
OBJETIVO:
[Describe exactamente el resultado que quieres obtener]
APLICACIONES QUE PUEDES UTILIZAR:
[APLICACIÓN 1]
[APLICACIÓN 2]
TAREA:
1. [PRIMER PASO]
2. [SEGUNDO PASO]
3. [TERCER PASO]
RESTRICCIONES:
- No modifiques ni elimines archivos sin solicitar confirmación.
- No envíes información a terceros.
- No realices compras ni pagos.
- Detente si encuentras información contradictoria.
- Solicita mi aprobación antes de cualquier acción irreversible.
RESULTADO ESPERADO:
[Describe qué debe entregarte cuando termine]
SI FALTA INFORMACIÓN:
No la inventes. Indica qué dato necesitas y espera mi respuesta.La estructura recuerda a las técnicas que explicamos en nuestra guía sobre prompt engineering avanzado, pero aquí las restricciones adquieren todavía más importancia.
Cuando la IA puede actuar, un buen prompt también debe explicar qué no tiene permiso para hacer.
El problema de darle ojos y manos a una IA
Computer Use también introduce riesgos que no existen de la misma manera en una conversación normal.
Si un modelo interpreta incorrectamente una instrucción escrita, puedes corregir la respuesta. Si interpreta incorrectamente una instrucción mientras interactúa con una aplicación, la equivocación puede convertirse en una acción.
Por eso las confirmaciones, permisos y límites de actuación son especialmente importantes en los agentes.
También existe el problema del contenido malicioso que un agente puede encontrarse mientras navega. Una página, documento o interfaz podría contener instrucciones diseñadas para intentar alterar su comportamiento. Es el conocido problema de las inyecciones de prompt indirectas.
Cuanta más autonomía concedemos a estos sistemas, mayor importancia adquiere limitar las aplicaciones disponibles, supervisar las acciones sensibles y evitar proporcionar acceso innecesario a información privada.
¿Significa esto que Copilot puede utilizar todo tu ordenador?
No conviene interpretar Computer Use como una autorización general para que la IA campe a sus anchas por el equipo.
La función funciona mediante permisos y acceso a aplicaciones concretas. El usuario mantiene capacidad de supervisión y debe autorizar determinados accesos.
Además, estamos hablando de una función en vista previa pública. Eso significa que GitHub todavía está probando el comportamiento del sistema y recopilando información antes de considerarlo una capacidad completamente madura.
Si decides probarla, tiene sentido empezar con tareas controladas y evitar procesos donde un error pueda tener consecuencias importantes.
Computer Use explica hacia dónde van los agentes de IA
Lo interesante de GitHub Copilot Computer Use va más allá de Copilot. Representa una tendencia bastante clara en inteligencia artificial.
Durante años hemos utilizado modelos para generar resultados: texto, código, imágenes o análisis. La siguiente etapa consiste en permitir que esos modelos utilicen herramientas para completar acciones.
Ahí aparecen los agentes, los navegadores controlados por IA, las automatizaciones y ahora también la interacción directa con aplicaciones de escritorio.
Para quien trabaja con inteligencia artificial, esto cambia también la habilidad necesaria. Saber escribir prompts continúa siendo útil, pero cada vez importa más saber diseñar procesos, permisos, comprobaciones y límites.
Puedes empezar por nuestra guía sobre cómo escribir un buen prompt, aunque el siguiente paso consiste en pensar menos en preguntas y más en procedimientos.
Porque cuando la IA únicamente responde, un mal prompt puede darte un párrafo absurdo. Cuando además tiene ratón, quizá sea buena idea especificar qué botones preferirías que no tocara.
Si quieres seguir estas novedades y aprender a utilizarlas en procesos profesionales, también puedes consultar nuestros servicios de inteligencia artificial y automatización o apuntarte a la newsletter de ForoPrompt.
