Тут опять вышла новая штука, мимо которой ну никак не пройти.
https://huggingface.co/xinsir/controlnet-union-sdxl-1.0, который (с одной моделью) работает сразу с десятком препроцессоров:
Openpose, Depth, Canny, Lineart, AnimeLineart, Mlsd, Scribble, Hed, Pidi(Softedge), Teed, Segment (!), Normal. Так же, по моим тестам, работают ReColor и Tile/Blur (!)
Т.е., по сути, одна модель перекрывает 90% потребностей - остаются отдельные только на IP-адаптеры, инпаинт и Tile (если не устроит результат универсала).
Смелые заявления, конечно, давайте посмотрим подробнее так ли это.
Во-первых, почитаем https://github.com/xinsir6/ControlNetPlus/tree/main:
Модель имеет следующие ключевые преимущества:
- Генерация изображений высокого разрешения с гибким соотношением сторон.
- Обучение на большом количестве высококачественных данных (более 10 млн изображений).
- Высокая точность понимания подсказок благодаря перефразированным подсказкам и детальным описаниям.
- Использование передовых методов улучшения результатов в процессе обучения.
- Сопоставимое с ControlNet количество параметров без заметного увеличения вычислительных ресурсов.
- Поддерживает более 10 условий управления, при этом не наблюдается заметного снижения качества работы с отдельными условиями по сравнению с моделями, обученными для работы с одним условием.
- Поддерживает генерацию изображений с несколькими условиями, при этом слияние условий происходит в процессе обучения, без необходимости ручной настройки гиперпараметров или подсказок.
Во-вторых, тесты и сравнения с другими моделями!
По картинкам выше. Тестируемая модель названа xinsir_controlnet_xl_UNIVERSAL. Все тесты делал на realismEngineSDXL_v30 (animaPencilXL_v5, если аниме), DPM++ 2M семплер, 20 шагов, 5 CFG, без хайрес фиксов. Промт брал автотагером, негатив - простой стандартный. "Остановка работы" и "Вес" контролнета брались в зависимости от используемого препроцессора, в среднем 0.7-0.9. Выборку не делал, всё с первых попыток.
1-2) Глубина. Здесь и далее - исходник/отработка. У глубины куча различных препроцессоров - и на всех отработало хорошо.
3-4) Тест ОпенПоз. Режим работы контролнета выставлен "ControlNet is more important" (так надо для ОпенПоз).
5-6) Различные Line-препроцессоры. Сравниваем с предыдущим чемпионом - mistoLine.
7-8) Самые проблемные - Сегментация и Normal. Адекватных моделек на сегментацию (для SD XL) до этого не было, и похоже эта - первая нормальная. С Нормалями та же история. Так же интересно, что нарисовано это на реалистик чекпоинте (хоть и с примесью аниме).
9-10) Tile. Сравниваем, опять же с предыдущим "победителем" от того же автора - xinir_Tile. Этот контролнет служит для улучшения качества картинки, но можно и чуть-чуть поднять параметры кастомизации и получить картинку "по мотивам". Первый вариант на изображении - улучшение, второй - "вольная интерпретация". Работает (в первом случае) не идеально, но это вообще автором не планировалось.
Что у нас в выводах? Автор не соврал, и действительно - одна модель может заменить большинство существующих. По качеству она так же либо не уступает другим, либо превосходит.
Модель уже работает в Автоматике1111 (Комфи тоже, естественно), обновлять ничего не нужно. Скачайте, положите в папку с ControlNet, переименуйте как удобно и пользуйтесь! Единственное, что контролнет, по-умолчанию, фильтрует модели по типу, и что бы увиделась ваша моделька - нужно нажать рядом с выбором модели кнопку "обновить" (это сбросит фильтр, в том числе).
