Разные encoders встречаются в согласованном пространстве
Contrastive image-text training строит representations и повышает similarity совпадающих pairs относительно остальных batch pairs. CLIP использует такой подход для transferable visual representations. F19. При L2 normalization dot product равен cosine; temperature/logit scale управляет резкостью contrastive distribution.
Generative VLM может передавать visual features через projection в language model и обучаться на multimodal instructions, как класс систем, исследуемый visual instruction tuning. F20. Projection совместимых shapes не означает, что модель уже научилась связывать pixels и language.
Что показывает модель. Matrix view связывает diagonal pairs и обе retrieval directions: image→text и text→image. Для generative path отдельно показываются image preprocessing, encoder, projector, inserted embeddings и causal decoder. Image resolution/patch count расходуют context/compute и являются частью contract.
Граница применимости. Две ручные vectors не являются обученной vision-language model. Dataset captions содержат культурные и selection biases. Высокая embedding similarity не доказывает детальное spatial reasoning, OCR или безопасность; каждую capability оценивают отдельными наборами и failure analysis.