Flow

Equipo de 4

1. Diseñé un único contrato de JSON en streaming, { speech, canvas }: Claude devuelve un solo objeto, el cliente lo parsea y modifica directamente el almacén del lienzo, de modo que cada frase pronunciada se corresponde con una acción sobre el lienzo.
2. Construí el lienzo espacial y el registro de widgets — desplazamiento y zoom de cámara, un gestor de disposición y alrededor de trece tipos de widget (cuestionario, lección, redacción de correo, lista de tareas).
3. Conecté la pila de voz: reconocimiento de voz con Whisper en local dentro de un Web Worker, y síntesis de voz de ElevenLabs con un respaldo nativo de speechSynthesis.
4. Añadí una capa de demostración de dos agentes sobre Claude Haiku (un enrutador de intenciones y un seguidor de progreso) y una integración con Gmail a través de MCP con un respaldo de bandeja de entrada simulada.

Un único contrato de JSON en streaming en lugar de llamadas a herramientas

Claude devuelve un único objeto { speech, canvas } que el cliente parsea directamente, manteniendo la voz y la interfaz sincronizadas con menos latencia que ir y volver con llamadas a herramientas.

Dos pequeños agentes Haiku para una demo robusta

Un enrutador de intenciones y un seguidor de progreso permiten que el escenario guionizado se ejecute en cualquier orden, sin importar la formulación exacta.

Acceso a la API desde el navegador, solo para la demo

La clave de Anthropic se envía al cliente, algo aceptado deliberadamente para una demo local de hackathon y documentado como no seguro para producción.

Un prototipo ejecutable: pronunciar una petición hace que Claude responda en voz alta y ensamble la interfaz correspondiente sobre un lienzo espacial, construido de extremo a extremo en la ventana de 24 horas del hackathon.

• Solo demo local: la clave de la API queda expuesta al navegador y no hay backend ni autenticación, así que no es desplegable tal cual.
• Solo Chrome o Edge, y necesita un micrófono; la voz premium requiere una clave de ElevenLabs.
• El contenido está guionizado en torno a un escenario predefinido; la ruta de Gmail recurre a una bandeja de entrada simulada sin OAuth.
• Sin tests ni CI: es una prueba de concepto, no software mantenido.