Tel: +48 519 323 891
Mail:
info@fotokrr.pl
krrgrafika@gmail.com
Zastosowanie AI w naprawie zdjęć
Chciałbym przedstawić krótką analizę i pokazać w praktyce, jak wykonuję rekonstrukcję i naprawę starych zdjęć, wykorzystując sztuczną inteligencję. Temat ten szybko się rozwija, a opisuję tutaj stan na marzec 2023 roku.
Zdjęcie źródłowe, które wykorzystuję pochodzi ze strony https://www.flickr.com/photos/simpleinsomnia. Jest to portret dziewczyny, który to portret w swoim pierwotnym stanie ma wiele defektów i braków. Najbardziej widoczne problemy to: uszkodzone oko, brak detali, problemy z kontrastem i kolorem. Zadaniem AI w naprawie zdjęć jest pomóc w rekonstrukcji szczegółów i detali, które zostały utracone lub uszkodzone na źródłowym zdjęciu. Dzięki temu będziemy mogli poprawić jakość i zobaczyć detale, których nie ma na oryginalnym zdjęciu. Chociaż nie jest to szczególnie trudne zdjęcie do naprawy, to świetnie ilustruje ręczną rekonstrukcję wspieraną przez algorytmy sztucznej inteligencji.
Z lewej strony znajduje się zdjęcie przed rekonstrukcją z prawej po rekonstrukcji.
Czas nie obszedł się ze zdjęciem łagodnie w konsekwencji czego na zdjęciu źródłowym postać zlewa się z tłem. Dlatego pierwszą czynnością jest poprawienie kontrastu i usunięcie kolorowej poświaty tak aby było więcej widać.
Po pierwszych korektach zdjęcie nie jest ani trochę lepsze, jednak widać więcej, także problemów. Powyższe zdjęcie będzie bazą do dalszych działań.
Próba rekonstrukcji "surowego" zdjęcia bez zastosowania ręcznych korekt
Sporo się ostatnio mówi o AI w tym o AI w naprawie zdjęć. Zaprezentuje, więc działanie popularnych algorytmów do naprawy nieobrobionego zdjęcia i zobaczmy jak wypadnie.
Pierwszy algorytm to popularny i moim zdaniem najlepszy do rekonstrukcji twarzy: GFPGAN – Practical face restoration algorithm for old photos or AI-generated faces.
Twarz w jakiś sposób została zrekonstruowana, a raczej wygładzona, reszta sami widzicie. Pomimo marnych efektów i tak uważam, że ten algorytm jest dobry.
Drugi algorytm to: VQFR – Blind Face Restoration with Vector-Quantized Dictionary and Parallel Decoder
Ten algorytm przeprowadził rekonstrukcję trochę inaczej, ale efekt jest bez wątpienia równie słaby jak poprzednio.
Trzecim algorytmem jakiego użyję jest: Microsoft bringing old photos back to life
Jak widać ten algorytm jest wydaje się być najbardziej subtelny, może dlatego, że najmniej zrobił.
Kolejnym, czwartym algorytmem jest AI o nazwie: GPEN – Blind Face Restoration in the Wild
W tym przypadku wyniki działania są z całą pewnością dziwne. Algorytm usiłował postarzyć dziewczynę (klik na zdjęciu, aby zobaczyć powiększenie). Niewątpliwie, ciekawe jest to, że wszystkie algorytmy (poza AI Microsoftu, który nie podjął się wykonania) uszkodzenie okolic oczu potraktowały jak okulary tudzież monokl.
Jak widać rezultat pierwszego podejścia do rekonstrukcji w przypadku wszystkich algorytmów był delikatnie rzecz ujmując słaby .
Można wysnuć wniosek, że AI w naprawie zdjęć ma jeszcze wiele nauki przed sobą. Należy jednak pamiętać, że wyniki działania algorytmów zależą od wielu czynników. Są to m.in. jakość zdjęcia źródłowego, rodzaj uszkodzeń na fotografii czy też użyty algorytm. Wszystkie (lub prawie wszystkie) algorytmy mają w nazwie “Blind” co w tym przypadku oznacza, że działają “na ślepo” nie wiedząc kogo rekonstruują. W jakiś sposób to tłumaczy takie a nie inne działanie. Algorytmów do naprawy i rekonstrukcji zdjęć jest dużo więcej niż powyżej zaprezentowałem. Każdy z algorytmów sprawdza się lepiej lub gorzej przy różnych rodzajach fotografii i uszkodzeń na fotografiach. Ciężko było by opisać działanie wszystkich AI w naprawie zdjęć, należy sprawdzić je praktycznie.
Ręczne poprawki i działanie AI w naprawie zdjęć po zastosowaniu poprawek.
Ponieważ z „surowym” zdjęciem AI sobie nie poraziło postanowiłem, więc ręcznie doprowadzić zdjęcie do sensowniejszego wyglądu.
Sztuczna inteligencja (AI) może okazać się nieskuteczna, zwłaszcza gdy mamy do czynienia z surowym materiałem. Z mojego doświadczenia wynika, że pierwszym etapem rekonstrukcji powinno być ręczne poprawienie największych defektów, a następnej kolejności można użyć AI. Choć AI w naprawie zdjęć zdobywa na popularności. to nie zastępuje precyzyjnej pracy człowieka.
Na powyższym zdjęciu zastosowałem kilka prostych zabiegów, aby poprawić jego jakość. Usunąłem „ręcznie” najbardziej widoczne uszkodzenia oraz pozbyłem się resztek koloru. Aby zredukować uszkodzoną teksturę z twarzy, zdjęcie zostało delikatnie rozmyte. Ostatecznie, planuję dodać sztuczną fakturę, aby uzyskać lepszy efekt.
Dzięki temu, że usunąłem już najbardziej widoczne uszkodzenia i poprawiłem ogólną jakość zdjęcia, algorytm AI będzie miał łatwiejsze zadanie.
Zdjęcie ponownie „przepuściłem” przez AI tym razem tylko przez : GFPGAN, ponieważ tak jak napisałem wyżej ten algorytm jest moim zdaniem najlepszy.
Jak widać, efekt jest bez wątpienia lepszy niż w przypadku poprzedniego podejścia. Niemniej jednak, nadal nie jest idealny. Podczas ręcznych poprawek (celowo) nieco niedbale dosztukowałem oko, co zostało błędnie zinterpretowane przez algorytm AI jako monokl. Niestety, AI nie był w stanie zauważyć, że monokl nie pasuje do osoby na zdjęciu. Nie należy jednak wymagać zbyt wiele – niewątpliwie jest postęp, zdjęcie wygląda lepiej. Nie pozostało nic innego, jak ręcznie poprawić efekty pracy AI, przede wszystkim usuwając ten nieszczęsny monokl (zdjęcie z prawej).
Kolejnym etapem było nałożenie poprawionego efektu pracy AI na wcześniej obrabianą wersję zdjęcia. Warto jednak zauważyć, że nie pracuję bezpośrednio na wersji wygenerowanej przez AI, ponieważ może ona wyglądać dość sztucznie. Zamiast tego, nałożyłem warstwę z efektem pracy AI na wersję zdjęcia, którą obrabiałem wcześniej. Warstwa z efektem pracy AI została ustawiona na krycie 50%. Oprócz nałożenia warstwy z efektem AI, dokonałem także kilku poprawek w okolicy oczu, skóry i włosów.
AI ponowne użycie
Po zastosowaniu powyższych poprawek „ponownie” przepuściłem zdjęcie przez GFPGAN, dzięki czemu jestem bliżej celu, jednak zdjęciu nadal sporo brakuje.
Tym razem żadnych ręcznych poprawek bezpośrednio na wyniku pracy AI nie zrobiłem. Warstwę skopiowałem do poprzednio edytowanego pliku z kryciem 65%, częściowo maskując fragmenty które w poprzedniej wersji były przyzwoite. Na całości jednak wprowadziłem sporo korekt.
W finalnej wersji zdjęcia skupiłem się na poprawie detali, wykonując wiele poprawek. Starałem się dopasować usta i oczy do tego jak wyglądały na zdjęciu źródłowym. Na tego typu zdjęciach nie ma raczej mowy o współcześnie pojmowanym foto-realizmie. Dodałem, więc sporo kontrastu i zastosowałem sztuczną fakturę, która ma za zadanie zamaskować defekty i nadać klimatu zdjęciu. Sztuczna faktura jest widoczna tylko przy powiększeniu zdjęcia. Na zdjęcie dodałem również poświatę, która jest podobna do tego, jaka była na zdjęciu źródłowym.
AI w naprawie zdjęć - podsumowanie
Podsumowując, korzystając z AI w naprawie zdjęć, warto pamiętać o ograniczeniach, zwłaszcza w przypadku mocno uszkodzonych fotografii. Wyniki takiej naprawy mogą być odwrotne od zamierzonych, lub marne, jeśli zdjęcie źródłowe jest w złym stanie.
Jednak połączenie ręcznej obróbki z naprawą proponowaną przez AI może prowadzić do satysfakcjonujących rezultatów. Warto zauważyć, że im lepszy jest stan zdjęcia, tym lepszy będzie końcowy efekt po procesowaniu przez AI.
Algorytmy te świetnie sprawdzają się w rekonstrukcji fotografii, które nie są w znaczącym stopniu uszkodzone. Oznacza to, że dobrej jakości zdjęcia będą przetwarzane przez AI znacznie skuteczniej niż te mocno uszkodzone i wymagające dużych napraw.
Po tym co napisałem powyżej można by stwierdzić, że uważam AI za „ściemę” jednak w żadnym wypadku AI „ściemą dla mnie nie jest. Każdą z czynności którą wykonało AI jestem w stanie wykonać ręcznie, jednak zabrałoby to sporo czasu. Naprawy takie jak: dobranie oczu, poprawki na włosach, wyrównanie skóry, nawet jeśli rekonstrukcja AI nie do końca mi odpowiadała to stanowiła bazę do ręcznych poprawek. Dzięki temu zaoszczędziłem 50% – 60 % czasu. AI zrobiło za mnie “brudną robotę” i o to chyba w AI chodzi.
Zapraszam również z zapoznania się z krótkim opisem AI do koloryzacji zdjęć
Jeśli jesteście Państwo zainteresowani zapraszam do obejrzenia przykładów, zapoznania się z zasadami współpracy i składania zleceń.
Więcej przykładów znajduje się w moim portfolio.
www.fotokrr.pl – Retusz i Szparowanie zdjęć. Tel. +48 519 323 891 mail: info@fotokrr.pl , krrgrafika@gmail.com Z A P R A S Z A M