O problema da imagem: por que vídeo é o novo gargalo de memória da IA, e quem está resolvendo

Para texto, os números do desk contam uma história simples. A memória que uma conversa de 128 mil tokens ocupa nos principais modelos abertos caiu de 18,7 GB em janeiro de 2025 para 6,25 GB em 1 de outubro de 2026, segundo a série que alimenta o TCC. Quem fez isso foi a arquitetura dos modelos, não o hardware: a HBM das GPUs de ponta da NVIDIA está parada em 288 GB desde julho de 2025. O detalhe incômodo é que a série mede só texto. Quando o modelo precisa enxergar o mundo, a conta muda, e é aí que o próximo gargalo de memória já está se formando.

O que está acontecendo

• Um modelo que lê uma página de texto gasta mais ou menos uma entrada de cache por palavra. Um modelo que assiste a um vídeo gasta por fragmento de imagem, por quadro, por segundo. O trabalho da Shanghai Jiao Tong University sobre vídeo em tempo real descreve o cache de chaves e valores crescendo linearmente com o tempo e aponta a consequência: consumo de memória e atraso de resposta que inviabilizam usos como direção autônoma e robótica [LiveVLM, arXiv 2505.15269, DAC 2026].
• A resposta que o campo encontrou não é colocar mais memória. É decidir o que esquecer. O LiveVLM trabalha com um orçamento fixo de 12.000 tokens, dá nota aos tokens visuais conforme a atenção que recebem dos demais e, na hora da pergunta, recupera só as páginas relevantes. Numa GPU doméstica de 24 GB, o pico de memória com 256 quadros foi 3,02 vezes menor que o de um método anterior [arXiv 2505.15269].
• Um segundo grupo defende que esquecer é o verbo errado. O RetentiveKV, da Universidade de Zhejiang com a Alibaba, guarda os tokens visuais descartados em um estado contínuo comprimido em vez de apagá-los, porque um fragmento que parecia irrelevante quando o quadro chegou pode ser a resposta três perguntas depois. O artigo relata cache 5 vezes menor, com a memória caindo de 2,24 GiB para 0,23 GiB numa A100 quando o orçamento é de 5 por cento [arXiv 2605.04075].
• Bancos de memória visual que dispensam treinamento já viraram uma linha de pesquisa própria. Um artigo da CVPR 2026 relata compreensão de vídeos com mais de 1.000 quadros numa única RTX 3090, comprimindo o cache em etapas e consultando o resultado [CVPR 2026, FlexMem].
• No texto, as arquiteturas mais enxutas da nossa cesta já funcionam como uma hierarquia de memória: o DeepSeek-V4-Pro guarda o contexto recente em detalhe e o contexto antigo comprimido 4 e 128 vezes, e ocupa 1,3 GB por conversa de 128 mil tokens; o Muse Glimmer 30B da Meta, que é multimodal, combina 13 camadas globais com 39 janelas locais de 2.048 tokens e ocupa 1,83 GB [cálculo do desk a partir das configurações publicadas, 1 de outubro de 2026].

O mecanismo, em um parágrafo

Todos esses projetos fazem a mesma aposta: guardar cada informação na resolução que corresponde à chance de ela ser necessária. O que é recente fica nítido. O que é antigo vira resumo. O resumo do resumo custa menos ainda. É uma memória de várias resoluções, e é por isso que o texto ficou 3 vezes mais leve em 21 meses sem um gigabyte a mais de HBM. Com imagem é mais difícil, porque a entrada bruta é cem ou mil vezes maior. A compressão precisa começar antes, ainda no codificador, e precisa aguentar perguntas que o modelo ainda não viu.

Quem está na frente

A China lidera na prática. Os dois resultados mais concretos sobre vídeo em tempo real citados acima vêm da Shanghai Jiao Tong University com a Fudan (LiveVLM) e da Universidade de Zhejiang com a Alibaba (RetentiveKV), e as arquiteturas de texto mais enxutas da nossa cesta, DeepSeek-V4 e Kimi-K3, são chinesas. A família Qwen3-VL, da Alibaba, é o modelo-base sobre o qual quase toda essa pesquisa é testada, o que já é uma forma de liderança.

A Coreia tem a formulação mais clara da ideia de hierarquia. O Block Transformer, de Namgyu Ho, Sangmin Bae, Se-Young Yun e colegas do KAIST, com coautores do Google DeepMind, primeiro processa blocos inteiros ao longo de toda a sequência e só depois decodifica os tokens dentro de cada bloco. O resultado é uma vazão de inferência 10 a 20 vezes maior com a mesma qualidade [NeurIPS 2024, arXiv 2406.02657]. É uma memória de dois níveis. A pergunta em aberto, nas palavras do próprio Ho, é se vale a pena ir além de dois.

Os Estados Unidos criaram o vocabulário do esquecimento. O trabalho H2O de Beidi Chen, da Carnegie Mellon, com colaboradores em Stanford e outras instituições, mostrou em 2023 que um punhado de tokens, os “heavy hitters”, concentra quase toda a atenção do modelo, e que o resto do cache pode ser descartado [NeurIPS 2023, arXiv 2306.14048]. Quase todos os métodos de descarte dos artigos de vídeo citados acima descendem dessa observação. A alternativa, em que a memória é um estado recorrente de tamanho fixo em vez de um cache que só cresce, vem da linha Mamba, de Albert Gu e Tri Dao, que a NVIDIA agora usa em escala de fronteira no Nemotron 3 Ultra, o segundo modelo mais enxuto da nossa cesta, com 1,52 GB por conversa.

O Brasil não está na corrida dos modelos, e seria desonesto fingir o contrário. O que o Brasil tem é a matemática. O grupo de Odemir Martinez Bruno, no campus de São Carlos da USP, dedicou duas décadas a descritores fractais multiescala para reconhecimento de texturas e formas, que é a arte de descrever uma imagem pela maneira como seus detalhes mudam de uma escala para outra [arXiv 1304.1568, 1412.7963]. Leandro Villas, professor da Unicamp e presidente do ITEC, indica a quem chega ao tema esse trabalho e o de Michael Barnsley, cuja compressão fractal de imagens, nos anos 1980 e 1990, foi a primeira a codificar uma imagem como um conjunto de transformações autossimilares, e não como pixels. O método de Barnsley perdeu para as wavelets e depois para os codecs aprendidos por máquina. A ideia por trás dele não perdeu, e vale dizer com clareza onde está o interesse deste desk.

A pergunta fractal

Toda arquitetura enxuta da nossa cesta é multiescala. Nenhuma é autossimilar. O DeepSeek usa duas taxas de compressão; o Block Transformer usa dois níveis; Gemma e Muse Glimmer usam uma janela local e uma visão global. Uma memória fractal aplicaria a mesma regra em todos os níveis: comprimir o último minuto como se comprime a última hora, e a última hora como se comprime o último ano, com a mesma transformação repetida recursivamente. Ninguém publicou uma versão que funcione para modelos de linguagem ou de visão. Ou é porque não funciona, ou é porque quem entende de sistemas de funções iteradas e quem escreve kernels de atenção nunca sentou na mesma sala. A visão do desk é que a segunda explicação é pelo menos tão provável quanto a primeira, e que a tradição de São Carlos é um dos poucos lugares onde metade dessa sala já existe. Vamos seguir testando a hipótese contra os números, e vamos dizer se os números a derrubarem.

O que isso significa

A consequência para os materiais é direta. Se a memória multimodal seguir a curva do texto, a demanda de HBM por modelo em operação continua caindo mesmo com o uso crescendo, e a escassez de HBM4, com preços de contrato que teriam saído de cerca de US$ 600 por pilha neste ano para US$ 1.300 no ano que vem, alivia pelo lado da demanda. Se não seguir, e os agentes de vídeo chegarem ao mercado com caches que crescem sem parar, cada robô, cada carro e cada assistente que fica ligado o dia inteiro vira uma pressão permanente sobre a produção da SK hynix, da Samsung e da Micron, e os 432 GB que a AMD colocou no MI455X deixam de parecer luxo e passam a parecer piso. A diferença entre as nossas leituras de TCC e TCC-X, 218,5 contra 327,5 em 1 de outubro, mede o quanto a indústria já está se protegendo dessa aposta com hardware.

O que observar

• Se a Alibaba vai incorporar um estado retido no estilo do RetentiveKV a uma versão de produção do Qwen-VL, e não só a um artigo; um config.json que exponha isso mexe na nossa cesta.
• Os desdobramentos do Block Transformer no KAIST: uma hierarquia com três níveis ou mais, com números publicados, seria a primeira evidência de que a direção fractal compensa.
• O primeiro modelo aberto de vídeo, de qualquer laboratório, que publique o tamanho do cache por hora de vídeo junto com o modelo; hoje nenhum publica, e enquanto isso não acontecer a memória multimodal não pode entrar na cesta do TCC.
• Terras raras e tântalo são o lugar onde este desk costuma procurar o ângulo brasileiro. Em memória, o ângulo é São Carlos, e a pergunta é se alguém vai financiar essa colaboração.

Fontes: LiveVLM, Shanghai Jiao Tong University e Fudan University, arXiv 2505.15269 (DAC 2026); RetentiveKV, Universidade de Zhejiang e Alibaba, arXiv 2605.04075; FlexMem, CVPR 2026; Block Transformer, KAIST, NeurIPS 2024, arXiv 2406.02657; H2O, NeurIPS 2023, arXiv 2306.14048; O. M. Bruno et al., descritores fractais multiescala, arXiv 1304.1568 e 1412.7963; cesta do índice de memória da Tantalum Strategy, 1 de outubro de 2026, tantalum.info/indexes/methodology.