Ustvarite svoje "Nevronske slike" z DeepStyle & Ubuntu

Oglas

Nevronske mreže lahko naredijo veliko stvari. Razlagajo lahko slike, razumeti naše glasove 6 Funkcije Google Now, ki bodo spremenile način iskanja Morda že uporabljate Google Now v napravi Android, a ali iz njega izluščite vse, kar lahko? Poznavanje teh majhnih funkcij lahko zelo spremeni. Preberi več , in prevajati pogovore Kako deluje Skypeov prevajalec Star TrekNova prevajalska funkcija Skype ponuja nekaj, o čemer smo sanjali, odkar je Star Trek - enostaven način za komunikacijo med jeziki. Preberi več . A ste vedeli, da lahko tudi slikajo?

Nedavni raziskovalni članek z naslovom „Nevronski algoritem umetniškega sloga") Je sprožil burno spletno razpravo z nekaj presenetljivimi vizualnimi primeri. V bistvu prispevek obravnava tehniko treniranja globoka nevronska mreža Microsoft vs Google - Kdo vodi dirko umetne inteligence?Raziskovalci umetne inteligence dosegajo oprijemljiv napredek in ljudje spet začnejo resno govoriti o AI. Dva titana, ki vodita dirko umetne inteligence, sta Google in Microsoft. Preberi več

umetniški slog ločite od strukture slike in združite slog ene slike s strukturo druge. Rezultat vsega tega je, da lahko trenirate ogromno nevronsko mrežo, da fotografije spremenite v "nevronske" slike ", ki so videti, kot da so jih slikali znani umetniki -" digitalni ponaredki ", tako da govoriti.

Tu je nekaj primerov iz članka. Prva slika je original. Kasnejše slike so ustvarjeni rezultati, pri čemer je slika, iz katere je bil vzorčen slog, prikazana miniaturno.

Prvotni raziskovalci žal niso izdali svoje kode. Vendar pa so nekateri neustrašni programerji svoje rezultate ponatisnili v zadnjih dneh, njihova koda pa je na voljo z odprtim kodom na internetu. Vse, kar potrebujete za zagon, je stroj z linuxom in malo potrpljenja.

Danes vas bom predstavil, kako to storiti, in pokazal vam nekaj mojih rezultatov. To si lahko predstavljate kot ohlapno nadaljevanje našega Vadnica za DeepDream Ustvarite svoje lastne umetne sanje vročine z Googlovim "DeepDream"Ste že videli, da iz DeepDreama prihajajo izročene slike? Želite narediti svoje? Ne glejte naprej! Preberi več . Nekoliko je zapleteno, toda vsi, ki imajo stroj s sistemom Linux, lahko sledijo - nobena izkušnja s kodiranjem ni potrebna.

Svetlo sliko Picassa sem spremenil v sliko v slogu Picassa #DeepStyle! pic.twitter.com/cjkEoIhVcF

- James Blaha (@jamesblaha) 5. septembra 2015

Nastavitev programske opreme

Najprej, če se vam ne mudi ali nimate računalnika Linux, se lahko še vedno igrate z DeepStyle Twitter bot DeepForger (pošljite mu sliko in slog, na koncu pa bo odgovoril z želenimi rezultati). Če želite hitro obdelati več slik (in z večjim nadzorom rezultatov), ​​preberite vadnico.

Najprej preverite, ali imate posodobljeno kopijo Ubuntu (14.04 je tisto, kar sem uporabil). Morali bi imeti vsaj nekaj dodatnih koncev na trdem disku. Za več informacij si oglejte našo vadnico Ubuntu z dvojnim zagonom poleg Windows Utrujen od Windows 8? Kako podvojiti zagon sistema Windows in UbuntuČe odkrijete, da Windows 8 ni ravno vaša skodelica čaja in nimate izvedljive poti za znižanje vrednosti, je morda dobra ideja, da podvojite dvojni zagon z Linuxom, da bi imeli alternativo ... Preberi več . Potrebovali boste tudi korenske privilegije, zato se pred nadaljevanjem prepričajte.

Osnovna orodja

Takoj je netopir, to je projekt odprte kode, zato ga bomo želeli imeti Git nameščen. Git je tisti zlati standard za programsko opremo za nadzor različic Kaj je Git in zakaj bi morali uporabljati nadzor različic, če ste razvijalecKot spletni razvijalci veliko časa ponavadi delamo na lokalnih razvojnih mestih, nato pa samo naložimo vse, ko smo končali. To je v redu, če ste samo vi in ​​spremembe so majhne, ​​... Preberi več . Na Githubu gosti skoraj vsak odprtokodni projekt, o katerem je vredno vedeti.

Če želite prenesti in namestiti Git, preprosto odprite terminal in vnesite "sudo apt-get install git"In se strinjate z zahtevami namestitvenega programa.

Naslednje: gremo nastavite nekaj osnovnih orodij potreben za delovanje programske opreme.

Najprej namestite Lua. To je jezik, v katerem je orodje napisano. Precej preprosto je. Samo vnesite »sudo apt-get install lua5.2"In sledite postopku namestitve.

Drugič, dobili bomo Luarocks. To orodje olajša namestitev drugih orodij (ali ne marate Linuxa?). Za to vnesite »sudo apt-dobili namestite luarocks"In sledite korakom namestitve.

Tretjič, namestili bomo Luajit. To je ravno pravočasni prevajalnik za Lua, ki bo naše življenje nekoliko poenostavil. Samo vnesite »sudo apt-get install luajit.”

Zaenkrat tako dobro.

Sem bot, ki iz svojih fotografij ustvarja ponaredke v slogu znanih slikarjev. Kliknite za spodnja navodila! pic.twitter.com/3MpThDNwRE

- The Deep Forger (@DeepForger) 5. septembra 2015

Okviri

Naslednje bomo nameščali Gorilnik, znanstveni okvir za računalništvo in strojno učenje, ki tvori hrbtenico aplikacije. Na žalost tega ni mogoče namestiti s programom apt-get (standardni upravitelj paketov Ubuntu).

Na srečo imajo monterja z eno vrstico, ki uporablja nekaj čarovništva v ukazni vrstici. Vrnite se na svoj terminal in vnesite »curl -s https://raw.githubusercontent.com/torch/ezinstall/master/install-all | bash“.

Ko končate, vnesite »luajit -ltorch“. Tako bo prikazan vmesnik za baklo in preverjanje, ali je bilo vse pravilno nameščeno.

Izstopite iz tega.

Zdaj bomo nameščali loadcaffe - paket nevronskih omrežij. Edino odvisnost namestite tako, da vtipkate »sudo apt-get install libprotobuf-dev protobuf-prevajalnik“. Potem lahko paket sam namestite s pomočjo „sudo luarocks namestite loadcaffe ".

@Johnicholas Vaš razplet ponarejanja v avec slogu Rembrandta van Rijna. #DigitalArt#StyleNetpic.twitter.com/pf0sZxWkaT

- The Deep Forger (@DeepForger) 7. septembra 2015

Dvojno preverjanje odvisnosti

Končno bomo nekatere stvari posodobili le zato, da bo vse potekalo brez težav.

Vnesite »sudo luarocks namestite sliko"In poskrbite, da je vaš slikovni paket posodobljen. Nato vnesite »luarocks namestite nn", Kar bo enako za vaš paket nn.

Namestitev globinskega sloga

Vredu! V tem trenutku smo pripravljeni dejansko namestiti programsko opremo. Zaradi čistosti ustvarite novo mapo v domačem imeniku ("mkdir DeepStyle"). Nato ga vnesite z »cd Deepstyle“. Zdaj vnesite »klon sudo git https://github.com/jcjohnson/neural-style.git".

Nato moramo model prenesti. Naredite si kavo ali kaj podobnega, to bo trajalo nekaj časa. Nazaj na terminal in vnesite "sudo sh modeli / download_models.sh“. Začel se bo dolg, izpopolnjen postopek prenosa. Če ne uspe zaradi napak v dovoljenju, poskusite sami dati dovoljenja za branje in pisanje v ustrezne mape z uporabo chmod.

@ 44thats44oars naročil to #ProceduralArt#NeuralArt. pic.twitter.com/tbMH7gsvc8

- The Deep Forger (@DeepForger) 6. septembra 2015

Uporaba globinskega sloga

Ok, dobro je, da gremo. Uporaba programske opreme je precej preprosta.

Prepričajte se, da ste v Imenik DeepStyle / nevralni slog v terminalu. Zdaj boste potrebovali nekaj slik, da lahko delate. Prenesite jih z interneta (ali kar koli drugega) in jih nato kopirajte v Mapa DeepStyle / nevralni slog z uporabo brskalnika datotek.

Zdaj lahko uporabite ukazno vrstico za obdelavo posameznih slik. Oblika je precej preprosta:

th neural_style.lua -style_image YOURPAINTINGHERE.jpg - content_image YOURPHOTOHERE.jpg -gpu -1

(Očitno boste morali koščke v VSEH CAPS-jih zamenjati z imeni datotek).

S tem se bo začela nevronska mreža. Potekal bo približno eno uro in pljuval nove delno konvergirane slike vsakih nekaj minut, dokler se ne konča. The -gpu -1 zastava preprečuje poskus dostopa do vašega GPU-ja.

Po nekaj urah poskusov (in večkrat bricanju operacijskega sistema) nisem mogel dobiti Ubuntu in CUDA, da bi se lepo igral s svojim GPU-jem (NVIDIA GTX 970). Če imate več sreče s tem, boste želeli namestiti CUDA in cudann.torch (glejte github repo za več informacij). Če ni, je to v redu - še vedno bo delovala z vašim CPU-jem; le počasi bo šlo

Če imate kakršne koli težave pri tem, da bi vse to delovalo, me prosite v komentarjih in potrudil se bom, da vam pomagam.

Rezultati

Tu je nekaj slik, ki sem jih ustvaril v zadnjih nekaj dneh. Rezultati so mešani, vendar so mnogi med njimi precej impresivni.

Za polno ločljivost kliknite tukaj.

Ta je mojega prijatelja Zacka na pohodniškem potovanju v Yellowstone. Slog izvira iz abstraktne slike, ki jo je ustvaril Tereza Paden. Zanimalo me je, kako sem videl, kako bo sistem deloval s sliko s popolnoma nobeno strukturo. Rezultati so precej čedni in vsekakor lahko vidite podobnosti sliko v slogu.

Za polno ločljivost kliknite tukaj.

Ta je vljudnost enega mojih najljubših izvajalcev, Charlesa Demuth-a (glej: Vonj nove Cerkve, in Slika 5 v zlatu). Zanimivo je, da je Demuth eden glavnih vizualnih navdihov za umetnost Team Fortress 2 Team Fortress 2: Brezplačna igra Steam, ki jo morate igratiJe Team Fortress 2 le hitra igra za preizkušanje grafike in zmogljivosti ali je igra vredna večkratnega igranja? Preberi več , kot lahko vidite iz slike sloga.

Nahranil sem jo s podobo Jersey Cityja, ki sem jo našel na Wikimediji. Rezultati so... precej dobri. Ni se ujemala z nagnjenostjo Demuthovega sloga, zagotovo pa je ubrala mehak, teksturiran videz in barvno paleto.

Za polno ločljivost kliknite tukaj.

Ta je poskus ustvarjanja sintetičnega O'Keeffe-a s pomočjo dokaj mondene slike nekaterih cvetov, ki sem jih našel. Rezultati so, odkrito povedano, spektakularni. Estetsko je to eden mojih najljubših rezultatov. Bogatstvo barv in oblik O'Keeffe se jasno kaže. Slojeviti robovi cvetnih listov postanejo robovi listov v ozadju. Cvetovi se sami raztopijo v barve, postanejo skoraj abstraktni.

Dobra slika bi bila, če bi to storil človek. Zelo me mika, da bi porabil nekaj dni za izdelavo različice z večjo ločljivostjo te in jo postavil v okvir.

Za polno ločljivost kliknite tukaj.

Tu je moja prijateljica Shannon v kostumu za noč čarovnic, v Picassovem tisku. Zanimivo je, da se je naprava odločila, da spodnji del obraza pobarva belo (podobno kot barvna postavitev dela Picasso). Nisem prepričan, ali je bilo to naključje ali ne, vendar so rezultati presenetljivi. Zdi se tudi, da je pravilno identificiral Shannonove lase na levi strani in jih narisal z barvo in linijo na laseh na sliki sloga. Ditto za klobuk.

To je eden izmed delov, pri katerih se omejitve tehnike začnejo razjedati. Če bi Picasso v resnici slikal Shannon, bi ji vrgel strukturo obraza in narisal lastnosti, da bi dosegel želeni učinek. Ta sistem ne razume takšnih konceptov na visoki ravni in lahko posnema samo površinske vidike sloga, kot so temne, kotne črte in barvna paleta.

Za polno ločljivost kliknite tukaj.

Precej naravnost: slika Eiffelovega stolpa in Van Goghovega drugo Zvezdnata noč. Dobro upodobi oblak v slogu Van Gogh-ey, kljub temu da na prvotni sliki ni oblakov. Dobro prevaja prizor iz dneva v noč.

Nisem bil prepričan, zakaj se je odločil, da vrh Fiffel stolpa postane ognjeni steber. Videti je kul, vendar iz vhodnih podatkov to ni res opravičljivo. Potem sem ugotovil, da ima slogovna podoba trinajst dolgih navpičnih rumenih trakov v obliki odsevov v vodi. To je precej množica, ki ima tako malo podatkov o treningu. Slaba stvar se je verjetno naučila, da mora biti kateri od visokih kontrastov navpični rob eden od teh odsevov. V oblakih rahlo opazite oddaljene navpične črte.

Za polno ločljivost kliknite tukaj.

Ista slika Van Gogha, vendar sem ji tokrat poslikal nekaj dejanskih zvezd. V tem primeru je steber del meglice Orl. Všeč so mi rezultati - čeprav še enkrat lahko vidite njegovo obsedenost z rumenimi črtami. Vsak navpični del stebra postane svetla, nihajoča rumena črta. Prav tako je očitno vznemirjena zelena, ki se ni pojavila v podatkih o treningu, in se po svojih najboljših močeh znebi v prid modre in črne.

Tehnologija

Nekateri rezultati tega so izjemno prepričljivi, čeprav ima tehnika jasne omejitve. Nekatere slike so slabe kompozicije, sistem pa ima težave z bolj abstraktnimi umetniki, kot je Picasso - ki so radi vzljubili svojo vsebino in raztreseli njene značilnosti. Algoritem pobira svoje kotne črte in spopadajoče se barve, vendar je še vedno podrejen vrednostim slikovnih pik. Nima razumevanja, da bi morali odstopati predaleč od izvornega gradiva.

Kar me navdušuje nad vsem tem, je to, da mislim, da te omejitve niso temeljne.

Pristop, ki se tukaj uporablja - usposobiti omrežje na eni sliki in ga uporabiti za gradnjo druge - je v bistvu nekakšen kramp. Mreži daje zelo malo podatkov, s katerimi lahko deluje. Naprednejša različica te aplikacije bi uporabila omrežje, ki bi imelo informacije o številnih slike in morda celo resnične slike, da bi dali dovolj konteksta glede slike, ki jo poskuša "Barve."

Globoko razumevanje sloga lahko obstaja le v širšem kontekstu. Ne morete ga izpeljati iz ene same slike. Načrtovanje arhitekture, ki omogoča sistemu dostop do širših podatkov, bi mu lahko omogočilo več "Človeško" razumevanje slike in kako si umetniki predstavljajo različne elemente resničnega svet. Takšno omrežje bi lahko ustvarilo bolj abstraktne slike z boljšo kompozicijo. Takšni algoritmi bi prenehali biti kul igračka (kot je ta) in bi postali način za ustvarjanje dejanske, izvirne umetnosti.

Kar je na nek način zelo svojevrstna misel.

Izdelava lastnih slik

Če dobite razočarajoč rezultat, se lahko nekoliko poigrate z možnostmi in poskusite doseči bolj prepričljive rezultate. Celoten seznam je na Githubu. Pomembni so

• -vsebina-teža-vrednost Koliko tehtati termin obnove vsebine. Privzeto je 5e0.
• -style_weight-vrednost: Koliko teže dati sliko slogu. Privzeto je 1e2.
• -style_scale - vrednost: Kolikšen obseg slikovnih popravkov naj sistem analizira (večji postane bolj abstrakten). Privzeto je 1,0.

Ko boste dosegli vse, kar je v vašo korist, v komentarje objavite svoje najbolj zanimive slike. Zelo me zanima, kaj si omislite.

Slikovni krediti: človeški slikar možganov prek Shutterstoka