Imagens Para Interpretar

Como interpretar imagens em projetos técnicos

Eu passo mais tempo do que deveria revisando saídas de modelos de visão do que eu gosto de admitir. Às vezes a diferença entre um resultado útil e uma alucinação barata está em como você formatou o prompt ou em qual threshold de confiança você decidiu parar de investigar. Esse é um desses assuntos que ninguém ensina direito nas documentações oficiais.

Imagens para interpretar: o que realmente acontece

Quando você diz a um modelo para interpretar uma imagem, nada mágico ocorre. O pipeline é: a imagem passa por um encoder visual (CLIP, SigLIP, ViT, dependendo do modelo), os patches são embaralhados em tokens, e o LLM subjacente gera tokens de texto autoregressive. A parte que todo mundo ignora é que o encoder visual perde resolução em bordas — imagens com muito texto pequeno, esquemas elétricos, ou QR codes quase sempre falham na primeira passada. Me deparei uma vez com um caso onde um modelo estava interpretando erroneamente valores de resistência em um schematic de PCB porque as cores dos resistores estavam distorcidas pela compressão JPEG da imagem de entrada. A solução foi simples na prática, embora irritante de descobrir: converter a imagem para PNG sem compressão e rodar um pré-processamento de upscaling com um super-resolver leve (Real-ESRGAN no modo `--tile 256`) antes de enviar ao modelo. Isso mudou a acurácia de cerca de 42% para 89% nos casos de textos pequenos.

A regra geral que eu uso agora é: se a imagem tem menos de 800px em qualquer dimensão e contém texto ou gráficos técnicos, não confie na primeira interpretação. Faça upscale primeiro, depois rode o modelo, e se ainda houver dúvida, extraia os patches problemáticos separadamente com OCR dedicado (Tesseract ou PaddleOCR) e cruze os resultados.

O processo na prática

Vamos partir do princípio que você já tem uma imagem e quer extrair informação dela. O caminho mais direto envolve três etapas que acontecem em paralelo na maioria das pipelines modernas: Pré-processamento. Normalização de cores, remoção de ruído, e se necessário upscaling. A normalização costuma ser o passo que mais gente pula e que mais causa erros. Um histograma achatado faz o encoder visualizar contrastes que não existem, gerando descrições alucinadas. Use equalização de histograma adaptativa (CLAHE com clip limit 2.0 e tile size 8x8) ao invés de normalização global.

Inferência visual. Aqui é onde a maior parte do trabalho acontece. Modelos como LLaVA, Qwen-VL, InternVL e BLIP-2 se comportam de formas diferentes com tipos de imagem distintos. LLaVA tende a ser mais precisa em fotos reais, Qwen-VL em documentos e tabelas, e InternVL em diagramsas técnicos. Não existe um modelo universal — o que funciona para uma classificação de imagens médicas pode falhar catastroficamente em reconhecer fórmulas químicas em uma imagem de whiteboard. Pós-processamento e validação. A saída textual precisa ser verificada. Para dados estruturados (tabelas, listas, valores numéricos), use validação por regex ou conversão para JSON com schema fixed. Se o modelo outputar "aproximadamente 350 ohms" quando a imagem mostra claramente "3.5 k", a validação por regex captura o erro imediatamente.

Casos onde isso não funciona bem

Imagens muito compactadas (JPEG qualidade abaixo de 40%) praticamente não respondem bem a nenhum modelo de visão atual. O artefato de compressão destrói bordas finas e o encoder visual trata essas regiões como ruído, gerando descrições que soam plausíveis mas estão erradas. Imagens com fundo texturizado complexo também são problemáticas — segmentação de objetos fica instável e o modelo tende a descrever o fundo como parte da cena principal. Outro ponto cego frequente: imagens com muitos elementos sobrepostos (camadas em SVG, diagramas de fluxo densos). Modelos de visão atuais não fazem boa gestão de profundidade visual e frequentemente misturam atributos entre objetos adjacentes. Nesses casos, a abordagem mais confiável é processar cada região separadamente com bounding boxes anotadas manualmente ou por um detector como YOLOv8, e depois agregar os resultados.

Se você precisa interpretar imagens para classificação médica ou inspeção industrial crítica, não conte apenas com vision-language models. Use-os como primeiro filtro ou para gerar relatórios descritivos, mas sempre com validação por especialistas humanos nos casos borderline. A taxa de falsos negativos em diagnósticos automáticos ainda é inaceitavelmente alta para uso clínico direto.

Implementação mínima

Um fluxo funcional básico em Python pode ser estruturado assim:

from PIL import Image
import requests

Pré-processamento
img = Image.open("caminho/da/imagem.jpg").convert("RGB")
img = clahe_enhance(img, clip_limit=2.0)  sua função de equalização

Inferência com Qwen-VL (exemplo)
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen2-VL-7B-Instruct",
    torch_dtype=torch.float16,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-VL-7B-Instruct")

prompt = "Descreva detalhadamente o conteúdo desta imagem técnica."
messages = [{"role": "user", "content": [
    {"type": "image", "image": img},
    {"type": "text", "text": prompt}
]}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(model_inputs, max_new_tokens=512)
output = tokenizer.decode(generated_ids[0][model_inputs.input_ids.shape[1]:], skip_special_tokens=True)

O trecho acima é um esqueleto. Na prática, você vai precisar adicionar tratamento de erro, timeout, retry com backoff exponencial, e validação da saída. O tempo de inferência para um modelo de 7B em GPU dedicada (A10G ou superior) fica entre 2 e 8 segundos por imagem, dependendo do tamanho e complexidade. Em CPU, esse número sobe para 30-120 segundos e a qualidade tende a cair por limitações de precisão. Para produção, considere empacotar o modelo em vLLM ou TGI para servir via API com batching automático. O throughput melhora significativamente quando múltiplas imagens são processadas em paralelo, especialmente se você usar continuous batching.

Alternativas quando vision-language models falham

Se o seu caso específico não responde bem a abordagens end-to-end, há alternativas. Para OCR de alta precisão em documentos, Tesseract 5 com modelo lstm e paginação manual, ou PaddleOCR (que performa melhor em caracteres asiáticos e imagens com fundo irregular). Para detecção e classificação de objetos, YOLOv8 ou Detectron2 com fine-tuning no seu domínio. Para análise de gráficos e tabelas, bibliotecas como Camelot ou Tabula para extrair estruturas tabulares de PDFs antes de qualquer processamento visual. O custo de manutenção dessas pipelines especializadas é maior, mas a acurácia geralmente supera em 15-30 pontos percentuais em domínios específicos quando comparada a soluções genéricas de visão linguística. A escolha depende do trade-off entre velocidade de desenvolvimento e necessidade de precisão.

Uma última observação prática: salve sempre as imagens de entrada junto com as interpretações geradas, em formato binário ou como base64 embutido em um log estruturado. Quando um modelo começa a dar resultados inconsistentes após uma atualização de peso, ter o par imagem-resultado original é o único jeito de reproduzir o problema e fazer debug da mudança. Eu perdi duas semanas investigando uma regressão que poderia ter sido resolvida em 20 minutos se eu tivesse esses logs.