【ControlNet】自分の作画をAIで自動着彩!cannyを堪能しまくった回。(Stable Diffusion)

前回あまりにも自動着彩に感動してしまって、翌日も色々と錬成。こうなると、クリスタの自動着彩プラグインの機能拡張版を使うような感覚だなぁ…

ControlNet」導入については関連記事にて。参考にしたブログさんを紹介してます。
上記を動かすためには、そもそも「Stable Diffusion web UI」が必要なので、それについては下記にて。参考にしたブログさんや、つまづいた点などを紹介してます。

canny:作例その1(一次創作キャラ)

相変わらずフェイスアップだと再現度が高い。ただ、2枚目のように前髪がセンター分けになることも度々発生。実は前髪のデザインを指定するプロンプトもあったりして便利。
この場合は「hair between eyes」(M字バング)を使えば安定しそう?

詠唱のコツは「基本的に単語の羅列」らしいので、DeepLなどがあれば捗る!…んだけど、うちの環境ではAvastとの相性が悪くて切ない。

なお、30代メンズ指定だと体感5割で、特に指定してない「無精髭」の発生。
きらいじゃないけど!たまに「こいつ寝起きだな…」という感じで個人的には楽しい。
絶対に髭を許さない場合はネガティブプロンプトに「beard」でいけるかなと。
というか狼青年、20代の指定に変更するのを忘れてた。
顕著な「無精髭」発生例。これはこれで好きですね…

レタッチで自筆調整してみても楽しい

これは特にいいなと思った錬成結果。耳の中の毛もちゃんと白で分けてくれてる。
首筋は胸鎖乳突筋のラインを入れてると高確率で色分けされてしまう気がする…描き込んでおかない方がいいのかも。これは青年キャラ独自の注意点か。喉仏なんかは特に指定しなくても綺麗に仕上げてもらえてるし。

一応「fang」(牙)指定も入れてあるんだけど歯の錬成がやや不安定。
やや気になった部分だけレタッチしてみることに。
←レタッチ前/レタッチ後→

レタッチしたのは3か所。「口の中」「」「前髪の先端付近」をちょいちょいと。
なお、服は「black_jacket」指定をしたけど襟だけイエローに。肩の飾りファーは髪と同じ認識をされた可能性があるかな、プロンプトが生成画面のどこに作用したのかヒートマップ的なのを作成してくれる拡張機能もあるそうなので今度、導入してみたいかも。

canny:作例その2(二次創作キャラ)

二次創作で失礼します、文アルの直木さん登場。いやぁ、困ったぞ…楽しい!
ついでに背景指定として「in library」を追加。いとも容易く生まれ出る背景…魔法か。
「orange_hair」の呪文はばっちり。ただ、やはり胸鎖乳突筋のラインで区切られがち。
着物の上からエプロン着けてるんだけど、それを線画だけで読み取れとは酷な話。…とはいえ、ステッチには反応して雰囲気を出してくれてるのがすごいんだよな。
←レタッチ前/レタッチ後→

レタッチしたのは「」「鎖骨」の2か所。瞳の造形がやや歪んだので微調整し、あと直木さんの瞳はバイカラー(グレイ~イエロー)のグラデっぽいのが特徴なので、それっぽく。
あとは鎖骨の下が黒くなったので、別の生成結果から移植して馴染ませてみた。
着物についてはレタッチ大変だから見なかったことに…いやぁ、でもすごいな~!!

せっかくなので、アイキャッチ用に作成してみたいと思い、キャラを右寄せにして左に余白を広げた下絵を用意&seed値を固定して再び錬成。
逆光気味になりがち。backlightをネガティブに入れても反映されたり、されなかったり。
これは恐らく別途、mlsdあたりで線を引いておよその背景作画指定をした方がいい?
ControlNet、設定でControl Modelの参照先を増やせるので。
こうなってくると、やっぱりアイレベルなどの知識が必要になってくる…?

ひとまず数枚チャレンジして良さそうな1枚をアイキャッチに採用。

アイキャッチ、さらにお気に入りの着彩が仕上がったので差し替えました(3/7)

【追記】ControlNet様がホントすごい

つまりヒツジが挑戦してみるべきは【背景:segmentation】【人物:canny】で出力?
今度やってみよう(メモ)

canny:おまけ編

口が開いて牙や口元のホクロがスルーされ、デコ出しの前髪になったけど、これはこれで可愛いなと思ったり。口元かわいいな? 眼鏡は反射や半透け、弦の補足してくれてるのすごい。
「デコ見せ」を意味するらしい呪文「hair slicked back」をネガティブに入れれば解決?
でもデコ出してるの可愛いから、もうこれでいいかな…という気持ちになる、あぶない。

あの元絵から、こんな美少年が錬成されると思わなくて、というか「orange_hair」の呪文を変更し忘れていたのもある。結果、某サバナのラ君に似た。可愛いな…(気に入ってる)
塗り方を教えて………
くらつひわ
ほんと、塗り方を教えて……
お前、もっとがんばれよな!とセルフで活を入れられますね、これ……