دوربین موجود در گوشی هوشمند شما چیزی بیش از یک دوربین معمولی است. هر بار که شروع به عکاسی می‌کنید، تنها این موضوع مدنظر نیست که نقاطی از نور توسط سنسور شما ثبت شده و عکس نهایی شما را تشکیل می‌دهند؛ بلکه در واقع، بخش بزرگی از جادوی پشت صحنه، عکاسی محاسباتی است که پیچیده به‌نظر رسیده، اما یک اصطلاح کاملاً وسیع است که به دوربین‌هایی که به‌طور دیجیتالی با استفاده از پردازش داخلی، تصویر را دستکاری کرده و بسیاری از جوانب آن را بهبود می‌بخشند، اشاره میکند. اما عکاسی محاسباتی به‌طور کلی چیست و فرایند انجام آن در دستگاه کوچکی مانند تلفن همراه چگونه است؟ آیا تأثیر آن بیشتر از سخت‌افزار حسگر تصویر بوده و عملاً بدون آن تصویر مطلوب شما شکل خواهد گرفت؟ در ادامه با ما همراه باشید تا به این سؤالات پاسخ جامعی بدهیم.
دوربین هر گوشی هوشمند مدرن، اساساً به‌عنوان یک کامپیوتر مستقل عمل میکند. این دوربین‌ها عموما از هسته‌های محاسباتی تخصصی برای پردازش اطلاعات دیجیتالی گرفته شده توسط سنسور دوربین استفاده کرده و سپس آن را به تصویری تبدیل می‌کنند که می‌توانیم آن را بر روی صفحه‌نمایش دستگاه خود مشاهده کرده، در اینترنت به اشتراک بگذاریم و یا حتی چاپ کرده و بر روی دیوار قرار دهیم. این روش بسیار متفاوت‌تر از سبک قدیمی است که در آن عکاسان از فیلم و اتاق تاریک استفاده می‌کردند.
سنسور (حسگر نوری) تصویر جاییست که همه چیز از آن شروع می‌شود. این سخت‌افزار در واقع یک آرایه مستطیل شکل از نیمه‌رساناهای کوچک حساس به نور است که به‌عنوان Photosites شناخته می‌شوند. محصول نهایی آن نیز، همان تصویر ایجاد شده ما می‌باشد که یک آرایه مستطیلی از پیکسل‌های رنگی ساخته شده است. با این حال، نتیجه نهایی، یک نقشه یک‌به‌یک بین فوتوسایت و پیکسل تصویر نیست؛ در عوض اما، در همین مرحله است که پردازش تصویر شروع شده و عکاسی محاسباتی کار خود را آغاز میکند.
سنسور تصویر گوشی شما با الگویی از فیلترهای نور قرمز، سبز و آبی پوشانده شده است (موارد استثنایی نیز مانند حسگر RYYB موجود در برخی از پرچمداران هواوی و همچنین حسگر تصویر تازه معرفی شده RGBW اوپو نیز وجود دارد). این بدان معناست که یک فتوسایت واحد، نور را تنها در یک رنگ (که توسط یک باند طول موج نور بیان می‌شود) ثبت میکند. تصویر نهایی دارای هر سه رنگ ذکر شده در هر پیکسل است که شدت روشنایی در آن تعیین شده و مشخص میکند که چشم ما چه رنگی را در تصویر نهایی ببیند.
اولین قدم این است که از الگوریتمی استفاده کنید که اطلاعات رنگی گرفته شده از سنسور تصویر را با رنگ واقعی ترکیب کند که پیکسل تصویر باید آن را نشان دهد. نام این مرحله معمولاً به‌عنوان Demosaicing شناخته می‌شود.
گام بعدی که کامپیوتر/دوربین گوشی شما انجام می‌دهد، استفاده از الگوریتم Sharpening (واضح کردن تصویر) است. این الگوریتم در واقع حاشیه‌های هر پیکسل را برجسته کرده و تغییرات را از یک رنگ به رنگ دیگر ترکیب میکند. به یاد داشته باشید، هر پیکسل در تصویر فقط می‌تواند شامل یک رنگ باشد، اما میلیون‌ها رنگ برای انتخاب وجود دارد. به‌عنوان مثال، حاشیه بین یک گل قرمز و یک آسمان آبی باید واضح و مشخص بوده، اما همزمان نیز در امتداد حاشیه ترکیب شده باشد که دستیابی به این امر، به‌هیچ عنوان آسان نیست.
در مرحله بعد، مواردی مانند تعادل رنگ سفید (White Balance) و کنتراست (Contrast) مورد بررسی قرار می‌گیرند. این فرایندها می‌توانند تفاوت زیادی در کیفیت عکس و همچنین رنگ واقعی ثبت شده توسط آن ایجاد کنند. این تغییرات همگی تنها شامل اعدادی هستند که بعد از اینکه الگوریتم تلفن شما حاشیه‌های رنگ را مشخص کرد، تنظیم سایه واقعی رنگ یا سطح کنتراست بسیار ساده‌تر انجام می‌گیرد.
پس از طی مراحل بالا، در نهایت، داده‌های خروجی تجزیه و تحلیل شده و تصویر فشرده‌سازی می‌شود. رنگ‌هایی که بسیار نزدیک به یکدیگر هستند، به یک رنگ تغییر کرده (زیرا تفاوت آنها را نمی‌بینیم) و در صورت امکان، گروهی از پیکسل‌ها در یک اطلاعات واحد ادغام می‌شوند که منجر به کوچکتر شدن حجم فایل خروجی خواهد شد.
عکاسی محاسباتی
این ابزارها تصویری دقیق ایجاد می‌کنند که با روش قدیمی تهیه فیلم همخوانی دارد. اما عکاسی محاسباتی با تغییر داده‌ها با استفاده از الگوریتم‌های یکسان، می‌تواند کارهای بیشتری انجام دهد. به‌عنوان مثال، عکاسی پرتره فرایند تشخیص و وضوح لبه بین دو جسم را تشخیص داده و تغییر می‌دهد، درحالیکه در حالت عکاسی در شب (Night Mode)، الگوریتم‌های کنتراست و تعادل رنگ تغییر می‌یابند. همچنین حالت‌های تشخیص صحنه به‌وسیله‌ی هوش‌مصنوعی “AI” در گوشی‌های هوشمند مدرن نیز، از عکاسی محاسباتی برای تشخیص آنچه در عکس است، برای مثال غروب خورشید، و تغییر تعادل رنگ سفید برای ایجاد یک عکس دلپذیر با رنگ‌های گرم استفاده میکند.
اخیراً، افزایش قدرت پردازشی گوشی‌های هوشمند، قدرت عکاسی محاسباتی را به‌میزان قابل‌توجهی افزایش داده است. این حالت بخش بزرگی از این موضوع است که چرا برخی از بهترین گوشی‌های اندرویدی مانند سری گوگل پیکسل و مدل‌های اخیر گلکسی سامسونگ، می‌توانند عکس‌های فوق‌العاده‌ای را ثبت کنند. قدرت خام و عددی این دستگاه‌ها به این معناست که تلفن‌ها می‌توانند با عکاسی محاسباتی از برخی نقاط ضعف سنسورهای کوچک خود عبور کنند. درحالیکه به‌طور معمول، ممکن است برای گرفتن عکس واضح در شرایط نوری ضعیف به یک سنسور بسیار بزرگتر نیاز باشد، تکنیک‌های محاسباتی می‌توانند تصاویر را به‌طور هوشمندانه‌ای روشن‌تر کرده، نویز تصویر را کم کنند و عکس‌هایی با ظاهر کلی بهتر را برای شما به‌ارمغان آورند.
سری Google Pixel را درنظر بگیرید. در قلب جادویی برنامه Gcam) Google Camera) عکاسی چند فریمی (multi-frame) قرار دارد. این یک تکنیک عکاسی محاسباتی است که شامل ثبت چندین عکس پیاپی در سطوح مختلف نوردهی و سپس تبدیل آنها به یک تصویر واحد با نوردهی یکنواخت است. از آنجا که تلفن شما احتمالاً هنگام گرفتن عکس در حال حرکت می‌باشد، +HDR بر الگوریتم‌های گوگل متکی است تا تصویر را بدون هیچگونه تاری از بابت حرکت یا سایر انحرافات، در کنار هم قرار دهد و درعین‌حال، به‌صورت هوشمند نیز نویز را در تصویر نهایی کاهش دهد. این پروسه یک فرایند بسیار متفاوت‌تر از چیزی می‌باشد که ممکن است به‌عنوان عکاسی تصور کنید. اگر اهمیت تأثیر قدرت محاسباتی اعمال شده و کدی که به آن فرمان می‌دهد از سخت‌افزار دوربین شامل لنز و حسگر تصویر، بیشتر نباشد، کمتر نیز نخواهد بود.
تاثیر رنج دینامیکی بالا در عکس ثبت شده
عکاسی چند فریمی در قلب اکثر قابلیت‌های نایت مود گوشی‌های هوشمند جدید قرار دارد؛ که اولین بار توسط هواوی در سری پرچمدار P20 این کمپانی ارائه شده و سپس توسط تولیدکنندگان دیگر نیز استفاده شد، از جمله Night Sight در گوشی‌های گوگل پیکسل. این ویژگی‌های محاسباتی سنگین، نه‌تنها چندین نوردهی طولانی را در عرض چند ثانیه انجام می‌دهند، بلکه حجم زیادی از حرکات را که احتمالا توسط لرزش دست به‌هنگام ثابت نگه‌داشتن گوشی ایجاد می‌شود، توسط لرزشگیر مناسب (اپتیکال، الکترونیکی و یا هوش‌مصنوعی) جبران میکند. در ادامه، یک بار دیگر قدرت محاسباتی لازم است تا همه این داده‌ها را جمع‌آوری کرده و آنها را در یک عکس دلپذیر و بدون تار شدن تصویر، مجددا تنظیم کند.
این ایده را یک مرحله ارتقا دهید؛ نتیجه چیزی خواهد شد که حالت عکاسی نجومی (Astrophotography Mode) گوشی‌های گوگل پیکسل نام می‌گیرد که از عکاسی محاسباتی برای جبران چرخش زمین استفاده کرده و عکس‌های واضحی از کیهان را ثبت میکند، درحالیکه چشم‌انداز را نیز بیش‌ازحد نورانی (Overexposing) نشان نمی‌دهد.
نایت مورد گوگل پیکسل ۳
عکاسی محاسباتی با مقدار داده‌ای که می‌تواند از سنسور گوشی شما جمع‌آوری کند، که به قدرت پردازشی تلفن شما نیز بستگی دارد، محدود می‌شود؛ به‌همین دلیل یکی از زمینه‌های اصلی تحقیق و توسعه تقریباً همه تولیدکنندگان اصلی تلفن همراه، موضوع جذاب عکاسی محاسباتی و روش‌های توسعه و پیشرفت آن است.
تاثیر پردازش تصویر و عکاسی محاسباتی در ویژگی Deep Fusion اپل
بنابراین زمانی‌که متوجه می‌شوید گوشی بعدی شما عکس‌های بهتری نسبت به مدل پشین ثبت میکند، باید توجه داشته باشید که تنها سخت‌افزار دوربین مسئول نیست، بلکه کل سیستم پردازشی پشت آن به این امر کمک میکند.
گام بعدی در عکاسی محاسباتی، همانطور که شایعه آن برای سری گوگل پیکسل ۶ نیز به‌گوش می‌رسد، استفاده از تکنیک‌های گفته شده بالا برای فیلمبرداری است. پرچمدار 2021 گوگل وعده می‌دهد که همان سطح پردازشی +HDR استفاده شده در عکس‌های ثابت پیکسل‌های گذشته را به حالت ظبط فیلم با رزولوشن 4K و نرخ 30 فریم‌بر‌ثانیه نیز بیاورد.
قابلیت خوبیه