Simon — o assistente de voz que mora na sua casa

🎙️ O assistente de voz que mora na sua casa. O site está no ar e as versões para Windows e Android estão chegando.

O Simon transforma um celular antigo num assistente de voz que ouve o nome, conversa, controla o PC e cuida da rotina. Ele nasceu num Galaxy J3 de 2016, com Android 5.1, num suporte em cima da mesa: o celular é o rosto, os ouvidos e a voz; o PC faz o trabalho pesado. A voz é entendida em casa e só o texto do pedido vai para o modelo de IA.

O que ele faz

• Casa: timers, alarmes, lembretes, previsão do tempo, pomodoro e rotinas que rodam num horário ou numa frase — "me acorda às sete".
• Computador: abre programas e sites, arruma janelas ("Chrome na esquerda, VS Code na direita"), corrige e traduz o texto selecionado no lugar, tira print, acha arquivos e liga o PC pela rede.
• Olha a tela: "o que é esse erro?" — ele vê, explica e clica no botão certo.
• Proativo: avisa antes dos compromissos, dá o resumo da manhã e lembra de pausar no foco.
• Spotify e Google Agenda por voz, e workspaces que abrem programas, área de trabalho e playlist de uma vez.
• Oficina: "faz um script que renomeia as fotos" — ele pede ao Claude Code e entrega na pasta.
• Seis personalidades, do mordomo ao piadista. Só o tom muda; regras e confirmações continuam as mesmas.

Três peças, tudo em casa

• O celular é o Simon. Ele guarda e decide: avisos, rotinas, workspaces e quem está pareado. Reconhece o próprio nome no aparelho, sem mandar o microfone para lugar nenhum à toa, e tem um rosto que pisca, boceja, cochila de madrugada e muda de expressão conforme a conversa.
• O servidor de IA é trocável. Ouve (Silero + faster-whisper, na CPU do PC), pensa (o modelo escolhe entre as ferramentas que o celular oferece naquele momento), fala (voz própria em pt-BR) e vê a tela. Trocar de servidor é trocar um endereço no celular.
• O agente do Windows executa ferramentas com parâmetros fechados — abrir programa, janelas, volume, mídia, clipboard, arquivos, captura de tela. Nunca roda comando solto, e o que é sério pede confirmação. Sumiu o agente, somem as ferramentas dele, e o Simon diz que o PC está desligado.

Funciona até sem o PC

Com o servidor fora, o celular segura as pontas: um detector próprio continua ouvindo o nome, e um reconhecedor offline (Vosk, com gramática fechada) entende hora, data, timer, alarme e "liga o computador", que manda o Wake-on-LAN. As respostas saem de um banco de frases que o servidor sintetiza com a mesma voz e o celular baixa quando conecta — "São nove horas" + "e quarenta e dois minutos" —, então até o aviso de um timer offline fala com a voz do Simon.

O que deu trabalho

• Latência. O free tier dos modelos estourava a cota e deixava respostas em 11 a 40 s. O cérebro passou a ser o Claude Code da própria máquina, mantido aberto em modo stream: primeiro texto em ~0,6 s, com os modelos gratuitos de reserva.
• Clicar no lugar certo. Pedir o pixel na tela inteira errava por dezenas de pixels. A solução foi em duas passadas: a célula numa grade rotulada sobre a tela e o ponto num recorte ampliado dela. Ícones da barra de tarefas vêm da UI Automation, não da visão.
• O eco da própria pergunta. Na confirmação, o microfone abria pegando o fim de "...nuvem. Confirma?", que virava "não vem" e cancelava. O servidor tira esse eco antes de decidir.
• Um celular de 2016. Tudo que roda no aparelho — rosto animado, detector do nome, comandos offline — teve de caber no que um J3 com Android 5.1 aguenta.

Stack

Python (orquestrador e servidor), Java (app Android), C# (agente nativo do Windows), faster-whisper, Silero VAD, Vosk, Piper/Kokoro (voz), Claude Code como cérebro, WebSocket entre as peças.