Дорого, медленно, некачественно? Как мы создали технологию виртуальной примерки с ИИ, ломающую эти стереотипы

Привет! На связи Арсений, тимлид AI-направления Mad Brains. В этой статье расскажу, как мы реализовали технологию для виртуальной примерки одежды Virtual Try-On на основе диффузионных моделей и прошли путь от «сырых» и непригодных для продакшена изображений к действительно качественной виртуальной примерке.

Технология Virtual Try-On является решением для увеличения конверсии и выручки в e-commerce и в fashion-брендах, но на практике её внедрение в большинстве случаев разбивается о классический треугольник дорого-качественно-быстро. Либо наш инференс для виртуальной примерки хорош, но слишком требователен к ресурсам, либо приходится жертвовать качеством и скоростью генерации для того, чтобы укладываться в экономически целесообразные ресурсы.

В этом материале делимся практическим опытом —-  как мы искали баланс среди множества подходов, оптимизировали их, почему SOTA-модели здесь не всегда работают, и как мы пришли к гибридному пайплайну, объединившему архитектуры моделей IDM-VTON и Leffa.