MGIE - narzędzie AI od Apple do edycji obrazu opisami

Apple wprowadził na rynek nowy model sztucznej inteligencji, który umożliwia użytkownikom opisywanie pożądanych zmian w obrazie za pomocą prostego języka, eliminując konieczność tradycyjnego oprogramowania do edycji zdjęć. Model o nazwie MGIE (MLLM-Guided Image Editing) jest wynikiem współpracy Apple z Uniwersytetem Kalifornijskim.

Model MGIE, zdolny do wykonywania różnych zadań edycji, takich jak przycinanie, zmiana rozmiaru, obracanie i dodawanie filtrów wyłącznie za pomocą poleceń tekstowych, to postęp w technologii edycji obrazów, który w końcu musiał nadejść. Narzędzie może obsługiwać zarówno proste, jak i bardziej skomplikowane żądania, jak np. zmiana konkretnej części obrazu lub poprawa poziomów jasności.

Narzędzie Apple wykorzystuje moc modeli języka wielomodalnego, najpierw interpretując polecenia użytkownika, a następnie generując odpowiednie kroki edycji. Przykładowo żądanie bardziej niebieskiego nieba przekłada się na dostosowanie poziomu jasności nieba na zdjęciu. Ma to zapewnić precyzyjną interpretację i realizację instrukcji. Idąc dalej, podczas edycji zdjęcia pizzy pepperoni, podając komendę, aby była zdrowsza, zaskutkuje to dodaniem warzywnego dodatku na jej wierzchu.

Apple, dotychczas niezbyt aktywny w obszarze sztucznej inteligencji generatywnej, postanowił udostępnić model MGIE do pobrania za pośrednictwem GitHuba. Firma nie ujawniła jednak swoich planów dotyczących modelu poza obszarem badawczym.

Ta inicjatywa stanowi kolejny krok Apple w kierunku wdrażania coraz to bardziej zaawansowanych funkcji sztucznej inteligencji w swoich produktach, co jest zgodne z wypowiedziami CEO Apple'a, Tim Cook, wyraził chęć dodania więcej funkcji opartych na sztucznej inteligencji w urządzeniach Apple. Warto przypomnieć, że w grudniu firma udostępniła framework uczenia maszynowego o nazwie MLX jako open-source, aby ułatwić szkolenie modeli sztucznej inteligencji na chipach Apple Silicon. Nie było to typowym posunięciem z ich strony, gdyż zazwyczaj stronią od publikacji swoich projektów na zasadzie otwartego kodu.