Resim ölçeklendirmede yeni boyut: Seam Carving

Resim ölçeklendirmede yeni boyut: Seam Carving
Mitsubishi Electric araştırma laboratuvarından Profesör Shai Avidan ve The Interdisciplinary Center & MERL'den Profesör Ariel Shamir, resim ölçeklendirme konusunda devrim niteliğinde olan "Content Aware Image Resizeing"(içerik duyarlı resim ölçeklendirme) tekniğine dayalı "Seam Carving"(tabaka yontma) uygulamasını San Francisco 2007 Siggraph etkinliğinde, Youtube üzerindeki videolarından basına tanıttı.
Bu yeni geliştirilen yöntem ile resim ölçeklendirme konusunda büyük bir devrim olacağı kesin. Günümüzde kullanılan resim ölçeklendirme yöntemlerinde yaşanan birçok sorun bu yöntem ile aşılmış durumda. Peki bu içerik duyarlı resim ölçeklendirme sistemi nasıl işliyor? Yöntem teorik olarak, belirli yöntemlerle resmin içindeki en az önemli veya başka bir değişle düşük enerjiye sahip pikselleri hesaplayıp bu piksellerden bir hat oluşturuyor. Bu piksel hattı her satırdan 1 piksel seçip bu pikseli görüntüden çıkarıyor. Resimden çıkan piksellerin büyük bir bölümü önemsiz olduğundan, resim içeriğindeki önemli kesimler çok az değişime uğruyor. Şimdi bir örnek ile yeni yönteme daha yakından göz atalım.
Yukarıdaki resimde 2 adet piksel hattı bulnuyor. Bunlardan biri dikey, diğeri ise yatay pozisyonda. Yatayda ve dikeyde bu kırmızı hatların çıkarıldığını düşünün. Tabi resmi ne kadar küçültüp büyültürseniz o kadar fazla hat çıkarılacak. Şimdi resmin boyunu uzaltıp yüksekliğini düşürelim.
Üstteki ilk resim "çevre duyarlı resim ölçeklendirme" yöntemiyle tekrardan boyutlandırıldı. Gördüğünü gibi, resmin en dikkat çekici noktası olan evin boyutunda çok bir değişme yok. Çıkarılan piksellerin büyük bir bölümü resimdeki sudan. Öyleki su üzerine yansıyan ağaç görüntüsü, ufaltılmış resimde neredeyse alt taraftaki kaya ile aynı hizaya ulaşmış. 2. resim ise normal geometrik yöntemle oluşturulan resim. İçerik aynı korunsa da, ev, taş, ağaçlar daha bir basıklaşıp bulanık hale gelmiş.
Resim küçültme işleminde nasıl düşük enerjili pikseller çıkarılıyorsa, resimleri genişlettiğiniz zaman da belli bölgelere pikseller dolduruluyor. Yine örnek resimler üstünde içerik duyarlı resim ölçeklendirme metodunu kullanarak resim büyütmenin nasıl gerçekleştiğine bakalım.
Büyütmek istediğimiz resim bu. Yanlız resim büyütme konusu, küçültme konusundan daha karmaşık bir yapıya sahip. Eğer resmi büyültmek için en düşük enerjili piksel hattını kullansaydık resim şu hale gelirdi.
Program en önemsiz yani en düşük enerjiye sahip piksellerden bir hat oluşturacak ve bunu tekrar tekrar resime ekleyecekti. Bunun yerine, normalde küçültme işlemi yapıyormuş gibi davranıp, bir çok farklı piksel hattı hesaplayan program, bunları resimden çıkarmak yerine resme ekleyip resmin boyutunu büyütüyor. İşte bu hatlar, ve oluşturulan yeni resim.
Resmin ana figürü olan yunusun boyunda değişiklik yok denecek kadar az. Deniz ve gökyüzünde ise doldurulan pikseller sayesinde sağa ve sola doğru genişleme mevcut.
Yeni ölçeklendirme yönteminin özellikleri bununla da sınırlı değil. Bir çoğumuzun Amerikan filmlerinde görmeye alışık olduğumuz resimlerden obje ve insan çıkartma artık bu teknikle mümkün. Bu tekniğin başarımı tabiki çevre ile birebir bağımlı. Örnek olarak vereceğimiz resimde arka plan çok detaylı olduğundan çok dikkatli inceleğinde resmin özellikle sıkışma noktasında bir gariplik olduğu anlaşılabiliyor. Şimdi örneğimize bakalım.
Resimde bir çift görünmekte. Arka planda da bir kalabalık bulunuyor. Programın özel işaretçisi ile, korumak istediğimiz görüntüyü kırmızı ile, çıkarmak istediğimizi ise yeşil ile işaretliyoruz. Daha sonra program İşaretli bölgeyi resimden çıkarıyor. Sağdaki resme dikkatli bakarsanız asfaltta ve fayton benzeri araçta bir gariplik olduğunu görürsünüz. Özellikle asfalt boyunca uzanan bir hat gözükmekte. Bu çıklarılan bölgeden sonra oluşan bir iz. Tabi bir de erkeğin elinde bileğinden sonrası olmayan bir el var .Daha önce dediğimiz gibi çevre faktörü bu konuda çok önemli. Böyle karışık bir ortamda başarı şansı azalırken, kumsalda yan yana duran kişilerden birini çıkarınca şonuç gayet iyi oluyor. Bu ve kumsal örneği videoda canlı olarak bulunmakta. Konu ile ilgiliyseniz videoya göz atmanızda fayda var.
Yine nesne çıkarmaya başka bir örnek. Cisimlerin çevre ile etkileşimi fazla olmadığı için sonuç çok daha başarılı. Üstteki resim orjinalken, alttaki resimde bir ayakkabı eksik, bulun bakalım. Bunlar programın getirdiği yeniliklerdi. Bu yeni tekniğin şu anki zayıf yanı ise ince hatlara sahip nesnelerde veya insan suratında sorunlar yaşaması. İnce nesnelerde ve insan suratlarında, şu an için grafik hataları ve diğer benzer sorunlar yaşanabiliyor. Bunun şu an için tam bir çözümü olmasa da, bu sorunu aşmanın bir yolu var. Yine bu tarz resimlerde korumak istediğimiz bölümleri işaretleyerek yeniden ölçeklendirme sürecinde bu bölgelerde hata oluşmasını engellemek mümkün. Yeni tekniği ve getirdiklerini daha rahat görebilmek için videonun izlenmesini şiddetle tavsiye ediyoruz. Videoya bu linkden, profesörlerin hazırladığı siteye ve pdf dökümanına ise bu linkten ulaşabilirsiinz.