Шум та розмір зображення
Завдання дуже просте: зменшити кількість шуму за допомогою даунсайзу (Downsize, тобто зменшення розмірів зображення).
Сумежні питання:
- Чи можна фотографію на 100 мегапікселів зменшити до 10 мегапікселів (у 10 разів) і при цьому отримати в 10 разів чистішу, позбавлену від шумів картинку?
- Чи можна залишити лише корисні пікселі-інформацію на знімку при даунсайзі?
- Чи існує спеціалізоване програмне забезпечення для подібних маніпуляцій?
- Як правильно зменшити шум при даунсайзі із збереженням прийнятної кількості деталей за допомогою класичних інструментів в Adobe Photoshop та інших поширених редакторах?
- Чи можна зняти на високому значенні ISO, зменшити знімок вдвічі та отримати рівень шуму, що відповідає ISO/2?
Можливо хтось у коментарях поділитися своїм методом або розкриє свої таємниці та хитрощі, пов'язані з шумом та даунсайзом.
матеріал підготував Аркадій Шаповал. Навчання/консультації | Youtube | Facebook | Instagram | Twitter | Telegram
1. якби чистоту картинки можна було виміряти кількісно, то можна було б сказати, у скільки разів картинка стала чистішою
2. всі пікселі корисні, тому при зменшенні розміру кількість корисних пікселів зменшиться:)
5. Ні. Взагалі це не пов'язано, тільки побічно
Кількісно виміряти можна навіть засобами фотошопу
Як? Що є сигналом, а що шумом, ми можемо визначити лише емпірично. Після оцифровки все сигнал. Візьмемо граничний випадок, ми фотографуємо власний шум матриці, щоб розмістити фото на сайті так шум стає сигналом.
Зйомка світів з рівномірними плашками квітів та яскравостей. Далі у фотошопі переводимо гістограму в режим яскравості і вважаємо mean/std.dev – це буде кількісний вимір яскравого шуму. Ніяких проблем
Для конкретної картинки.
Для конкретної матриці та умов освітлення. Рівень шуму відтворюватиметься. Він не буде такий самий, але в цифри будуть в рамках похибки вимірювання
Згоден із Михайлом, але є одне АЛЕ: при ресайзі алгоритми ресайзу по-різному відпрацьовуватимуть однотонну поверхню та реальні фотографії.
А у чому проблема виміряти? Знімаємо рівномірно освітлений білий аркуш паперу та отримуємо зразок шуму.
Отримуємо стандарт шуму при рівномірному освітленні білого однотонного аркуша паперу. Реальні об'єкти висвітлені нерівномірно. Шум більш помітний у тінях, ніж при освітленні. На дрібній деталізації-текстурі-фактурі шум складніше відокремити від корисного сигналу, ніж рівномірно пофарбованих об'єктах.
Загалом у шуму три складові.
Деяка умовно стала, пов'язана з неоднорідністю сенсора. Дві світлочутливі осередки, будучи освітлені одним і тим же кількістю фотонів, умовно, що впали під одним і тим же кутом, будуть давати трохи відрізняються величини, тому що різниться розмір осередків, над ними встановлений фільтр щільності, що трохи відрізняється, і т.д. Тобто. суто фізичний параметр та особливість конструкції.
Умовно змінна складова, похибка кожного наступного виміру.
Та й окремо випадкова величина, яка залежить від загального рівня освітленості. Фотони, що реєструються як частинки. Їхнє число звичайно. Світла мало, кількість відбитих і зареєстрованих фотонів буде відрізнятися, причому тим більше, чим слабший рівень освітлення. З'явиться характерна зернистість, принципово непереборна і найпомітніша. Просто тому, що від однієї точки зображення прийшло 10 фотонів, а від іншої 15. І з огляду на фільтри в тінях вона і проявляється як кольоровий шум. Або спроби підняти експозицію слабо освітленої сцени. Цей тип шуму можна усунути або збільшенням витримки (більшість реєстрованих фотонів, поки шум від неоднорідності матриці не перевищить шум від нестачі фотонів), або стекування та усереднення.
Є певний максимальний рівень шуму, наприклад візьмемо 10%. Якийсь осередок показав колірні складові абсолютно точно, якийсь помилився на 5%, якийсь на 10%. Величина абсолютно випадкова від кадру до кадру навіть на одному осередку (якщо вона не бита). Отримати щось точне з чогось випадкового неможливо, хіба що усереднити з багатьох вибірок, що зазвичай і роблять - 10 однакових кадрів і з них середнє значення - ось тоді, припускаючи що рівень шуму все ж таки менше максимуму, виходить "прибирання" шуму .
Білий лист дозволяє дізнатися про цей максимальний рівень, тільки і всього.
Сірий аркуш паперу.
Таким чином, ви можете тільки еталон пилу на матриці отримати, а не шуму.
Спробую відповісти, що сам шукав)
1. Ні. Шум зменшується не пропорційно дозволу. Певною мірою це залежить від використовуваних алгоритмів downsize.
5. У мене на тестових знімках (для заправки в шумодав) експеримент показав зменшення шуму ISO/0,1 (грубо). Тож не вийде.
Для прикладу був взяв знімок Nikon D300 на ISO 3200 і зменшено розмір у 4 рази за лінійною роздільною здатністю (тобто у 16 разів) За допомогою Perfect Resize та стандартним алгоритмом Фотошопа з бікубічною інтерполяцією. По двох із плашок (світла-тіні) обчислив SNR і потім загнав зменшені копії в Neat Image для оцінки рівня шуму за частотами. У результаті вийшов рівень шуму, що відповідає приблизно ISO 2000.
Графік тут: https://yadi.sk/d/X5VM9FO-zTChF
Результати SNR:
ISO 3200 2.98
ISO 3200 downsize 6.13 (Perfect) та 5.01 (Photoshop)
ISO 2000 6.19
ISO 1600 7.25
Якось так
Дуже цікаво
Чи не узгоджується з Вашими спостереженнями?))
А Аркадій сказав: Просте завдання. Ви не впоралися. Потрібно експериментувати ще.
так ні, справді цікаві спостереження. Узгоджується
5)
Так поділити на 0,1 це помножити на 10
a) Зменшення розміру вдвічі передбачає, що кількість пікселів з кожної із сторін зменшиться трохи менше, ніж на третину. Якщо зменшувати розміри на 50% по кожній із сторін, це рівнозначно зменшенню кадру вчетверо.
Тобто. для кадру розміром 3600х2400 (8.6 МПікс) наполовину (4.3 МПікс) це буде десь 2550*1700. В даному випадку, алгоритм не буде просто плескати чотири піксели до одного, а проводитиме саме перерахунок.
б) Одним із факторів підвищення ISO є лінійне зниження ДД. При даунсамплінг ДД, втрачений в процесі зйомки, додатково буде з'їдений алгоритмом, тому що пікселі, що шумлять, будуть розбавлятися нормальними (в базовому сценарії). Тут, зрозуміло, необхідно розумітися на тонкощах алгоритмів конкретного редактора.
https://topazlabs.com/ai-bundle/
У мене приблизно на цю тему питання. Наприклад беремо повний кадр Никона роздільною здатністю 24 мегапікселя і ІСО 1600 та фокусним 28мм, робимо знімок. Після цього переводимо камеру в кроп режим і робимо знімок на 18мм і ті ж ISO 1600. Питання як зменшитися роздільна здатність знімка на кропі і чи буде ISO 1600 як і раніше чистим як і на повному кадрі?
У кроп-режимі камера викусить центральну частину зображення, що збігається з аналогічним розміром матриці. Дозвіл зменшиться в 1.5 рази з кожної із сторін, замість 6000×4000 буде 4000х2667 або скільки там. По шумах різниця буде незначною, матриця та ж, умови зйомки ті самі. За якістю зображення різниця залежатиме від якості об'єктива (ну або якості різних фокусних відстаней для масштабування).
Але візуально шуму буде трохи більше, за умови розгляду і тієї і іншої картинки на повний екран, просто тому що друга картинка буде збільшена більше в порівнянні з першою, а значить і всі дефекти (не тільки шум, а й ті ж хроматичні аберації) також буде збільшено.
Нічого не вийде, деталей і шуму буде в 1.5*1.5 рази більше.
деталей менше
1. Ні. Вдесятеро не вийде. Вийде втричі.
2. Усі пікселі корисні. При даунсайзі працює алгоритм проявника і що прогресивніший редактор, тим більше інформації він збереже.
3. Топаз. Тільки він має цілий набір інструментів для кожної манпуляції. Для кожного окремо. Може працювати з-під Photoshop. Сам фотошоп на високу якість не здатний - це універсальний інструмент.
4. Ніяк. Класичні інструменти зроблять це не зовсім якісно за сучасними мірками. Якщо не потрібен зразок, то можна зробити як завжди.
5. Не можна. Це не працює. Цим питанням вже задавалися фахівці і дійшли висновку, що до певних дозволів працює одна формула зменшення шуму на високих значеннях ISO, а починаючи з багатопіксельних камер, абсолютно інша. І в даному випадку, щільність пікселів та розмір матриці (4/3 1.5 FF MF) відіграє першорядну роль.
У топаза одна біда - він сильно ненажерливий на комп'ютерні ресурси, їм 1000 фото не так вже й просто прогнати, в той же час ресайзери працюють у тисячі разів швидше.
Так, не квапливий редактор. Однак згодом доопрацюють алгоритм, все до цього йдеться. Та й не завжди шумодав необхідний для потокового фото.
А як чудово працює sharpen-ai. Саме після de-noise і даунсайзу його використовувати. Головне розуміти, що і як “накрутити” для хорошого результату.
1. Це неможливо у принципі.
Життя показує, що можливе все. Той же ІІ може просто перемалювати bkb малювати картинку, намалювати один піксель замість десяти.
Ну хіба що за допомогою ІІ…
убрвть шум матриці = на 50% БІЛЬШЕ ті 12мП робимо на 18мП розмір із записом в тифф 48біт ..шум піде практично………………..
що?
Припустимо, що йшлося про наступне:
Сказати камері, здатної знімати 18 мп, знімати 12 мп. І кількість "шумних" пікселів піде сама.
В принципі, це рішення: оскільки камера оптично побачить більше і менше обробить через цифрову обробку. Не "висмоктувати" з недостатнього освітлення зайві піксілі (шум).
А з приводу все-таки цифрового рішення - як описано в задачі: технічно це реалізується тільки через ІІ, але не впевнений, що ІІ совєрменний досяг того рівня, щоб адекватно визначити "сигнал" від "шуму".
Ще один спосіб технічно вирішити проблему - зробити так, як робиться "всередині" камер телефонів: взяти кілька кадрів до і після і як їх скомпонувати - шум буде відмінний, т.к. на кожному кадрі може бути трохи різним. Але знову ж таки – не підкажу ПЗ, яке вирішувало б цю проблему в такий спосіб…
Це вже робиться на смартфонах.
64мп соні матриця в результаті видає 12мп кадр.
І об'єднує сусідні пікселі в один, тим самим збільшуючи площу/світлочутливість пікселя? Якщо так, то це круто, але швидше за все просто кропить матрицю або зчитує пікселі в шаховому порядку.
Якщо фотографії не потрібна дзвінка різкість, я у Фотошопі йду до: Фільтри – Шум – Ретуш (від одного до трьох разів) і лише потім роблю ресайз з бікубічною інтерполяцією (чітче чи прасніше – особливої різниці не помітив).
Я користуюсь сторонніми плагінами для фотошопу, але жоден з них не вміє зменшувати фото з цільовим завданням насамперед зменшити шум.
Їх немає тому, що даунсайз не прибирає галасу сам по собі. Див нижче пояснення англійською.
Тому логічно, що шум прибирають проги для цього створені, а даунсайз проги роблять саме даунсайз.
Це питання давно вже обговорювалося і є висновок, включаючи статистичні викладки, приклади та аналіз.
Відповідь проста
Downsampling does not reduce noise. Це вірогідно experimentally because it's proven mathematically.
The noise is reduced at exactly the same rate as the detail. Те, що статистична аналітика може бути сильна.
Це не дає змогу зменшити брухт тому, що ви несете глибокий detail. Якщо ви рухаєтеся з зображенням зображення, ви можете скористатися подібним звуком (тобто все це необов'язково залишається) і ви також маєте less detail. Signal to noise ratio still the same.
Якщо ви не збираєтеся скоротити сигнал, тому що ви не збираєтеся сигналу до noise ratio.
Коротко – співвідношення сигнал/шум не змінюється при даунсайзі, шум забирається разом із деталями.
Потрібно зменшити шум – треба використовувати софт, а не даунсайз.
Маячня. Даунсайз візуально зменшує шум, користуюся ним 10 років. Може математично сигнал шум і однакові, але гляньте 1 до 1 повний розмір з шумного знімка та зменшений розмір 1 до 1 і все стане зрозуміло
Перш ніж стверджувати що щось марення, постарайтеся уважно прочитати що зазначено.
Підказка – якщо зменшити кадр з 24мп до 0.5мп, наприклад, шумів очевидно буде менше як і корисної інформації, але сигнал/шум залишиться без зміни.
А якщо зменшити до точки, шуму не буде як і корисної інформації.
Тому що даунсайз видаляє всю інформацію, а не зменшує шуми.
Ваш приклад уже давно обговорено мільйон разів.
Немає інформації – немає піксела – немає шуму.
І давно є інший приклад, де використовується програма шумодав і порівнюється з кадром після даунсайзу. І видно різниця, коли кадр без даунсайзу але після фахівця шумодава візуально набагато чистіше і з деталями в порівнянні з кадром після даунсайзу.
Тому що відрізання/зменшення кадру даунсайз не є шумодавом в принципі.
Я підозрюю, що все залежить від типу шуму. Ну, шум шуму ворожнеча. Так само різні редактори по-різному шум давлять.
З усіх редакторів найкраще тисне шум Rawtherapy. Але там треба вміти танцювати з бубном.
Є певна межа, після якої шум стає нестерпним. І тут уже нічого не вийде.
Коротше, я не вважаю ресайз найефективнішим засобом проти шуму.
І взагалі, шум не такий уже й страшний, як його малюють. Глядач шум не бачить взагалі.
Цікаво чи можна в PS для "чистки" шумів використовувати принцип накамерного шумодава від Ккнона на довгих витримках?
Робиться знімок з відкритим затвором, слідом знімок із закритим затвором при тій же висмикнення, а потім віднімає з першого отриманий шум у другому.
У лоб не вийде. Можна зробити стекінг кількох дублів
З особистого досвіду. Можливо, це стосується теми.
У "дюймовочки" Sony Cyber-shot DSC-RX100M4, яка шумить вже на ISO 400, є сценарний режим антитряс (Anti Motion Blur), який дозволяє знімати на коротких витримках (1/100 і коротше), але задирає ISO до 6400 І ось яка з ним фішка. Зменшую в меню розмір фото з 20 мегапікселів до 5, роблю фото, відбувається секундна затримка на обробку, і на виході – чиста та різка картинка. Як це робиться - розуму не прикладу. Цей режим став одним із улюблених.
Адже дійсно, мені теж це цікаво! Багато хто рекомендує знімати на максимальній роздільній здатності, хоч і не потрібно, а потім чаклувати в редакторах. Звідси питання професіоналам – якщо в меню виставити середню чи низьку роздільну здатність, яким чином камера зменшує її? Об'єднуючи сусідні пікселі в один (з великою площею) чи “висмикує” інформацію у шаховому порядку? Або конкретніше – чи збільшується площа пікселя під час переходу з якості L до якості S?
З особистого досвіду-я друкую 10×15, дуже рідко А4, дивлюся (показую) на планшеті 10′-шумів не бачу, різко позамежна. (canon 60d, iso<3200)
Правильно, це той самий даунсайз, але під час друку. У багатьох випадках шум можна розглянути лише при попіксельному розгляді на моніторі або друку плакатів. Якщо ж він видно навіть на 10х15 – тоді бяда(. Тут врятує лише переклад у Ч/Б та додавання фільтра ”зернистість фотоплівки” аля ретро, типу так задумано).
"Чи можна фотографію на 100 мегапікселів зменшити до 10 мегапікселів (у 10 разів) і при цьому отримати в 10 разів чистішу, позбавлену від шумів картинку?"
Ні, не можна, я про це напишу наприкінці повідомлення. Але, як знаєте, є шуми — наслідки дебайеризації. Ось таких шумів буде менше, ніж зі зйомкою на 10-мп матрицю.
"Чи можна залишити тільки корисні пікселі-інформацію на знімку при даунсайзі?"
Можна перенести в зменшену версію трохи більше деталей, якщо перед зменшенням додати різкості (я додаю різкість тільки в каналі яскравості, щоб не посилювати кольорові шуми). Але всі деталі при зменшенні не зберегти. Додавання різкості після зменшення це вже просто спецефект і нових деталей не привнесе.
"Чи існує спеціалізоване ПЗ для подібних маніпуляцій?"
Я використовую GIMP, корисними виявилися режими каналів LCh Color, LCh Lightness, Unsharp Mask, Selective Blur, це мої основні "інструменти" для шумоподавлення. На жаль, у фотошопі таких режимів каналів немає, проте там є Lab і можна досягти подібних результатів.
Обов'язково перемикаюся в 32-бітовий колір (або хоча б 16-бітний), щоб після зменшення отримати більшу бітність кольору і менше артефактів при подальшому редагуванні. До речі, ось що реально можна отримати від зменшення, так це підвищення бітності (глибини) кольору.
“Як правильно зробити зменшення шуму при даунсайзі із збереженням прийнятної кількості деталей за допомогою класичних інструментів у Adobe Photoshop та інших поширених редакторах?”
Я не помітив різниці між: "придушити шум, а потім зменшувати розмір" та "зменшити розмір, а потім придушувати шум". Хіба що на збільшеній версії радіус шумоподавлення має бути більшим і це займає трохи більше процесорного часу. Але я пригнічую лише кольоровий шум алгоритмом типу Selective Blur (threshold роблю трохи менше, радіус – залежно від зашумленості та розміру зображення), зрідка можу накласти 50% шар з пригніченим шумом і в яркісному каналі якщо яскравий шум надто вже впадає у вічі. Іноді можна виділити некритичні області (розмиті фони) чарівною паличкою та попрацювати з ними окремо.
Але в цілому я не вважаю за необхідність видаляти яскравий шум і його в принципі неможливо видалити так, щоб це залишилося непомітним. Той же Топаз не "прибирає" шум, він домальовує деталі поглинені шумом і місцями робить це дуже грубо і ненатурально, то витончуючи то потовщуючи лінії, залишаючи візерунки, характерні для нейромереж. З ярким шумом краще змиритися як і з зерном на плівці.
“Чи можна зняти на високому значенні ISO, зменшити знімок удвічі та отримати рівень шуму, що відповідає ISO/2?”
Виходячи зі свого досвіду: ні, шуми будуть помітні і на зменшеній копії, і ось чому:
природа матричного шуму така, що шумні пікселі зовсім не нейтралізують один одного, як ви припустили судячи з ваших питань, а просто об'єднуються в більші згустки шуму. Тому доведеться з ним розбиратися і зробити це досить просто (але безбарвне зерно все одно залишиться і в цьому немає нічого поганого).
Адже завдання має прикладне значення для Аркадія… так.. липень 2019, а у вересні вийшла sony a7r-4. Перефразую завдання: “чи варто переходити на А7-4 і робити наступні ресайзи поголовно, зокрема. з метою зниження шуму” =)
Пропоную глянути на це з іншого погляду. Ви знімаєте кадр щоб у результаті отримати якийсь продукт? Відбиток А4 або перегляд на 4к моніторі/телевізорі? Ну, як правило це так. Друкуємо ми рідко. 8к телевізори масовими ще не скоро стануть, так що припущення про 4к ТВ цілком доречне, так? 4к ТВ це 3840х2160, але це 16:9, а знімаємо ми в 3:2, тобто. НА МІЙ ПОГЛЯД після прояву і ретуші треба продукт ресайзити до 3240х2160, а це лише трохи менше 7 Мп.
До речі, це побічно підтверджує непотрібність багатомегапіксельних сенсорів.
PS topaz gigapixel вміє використовувати ресурси відеокарти – вважає у рази швидше, ніж процесор. Але однаково 1000 кадрів – це надовго. Та й яка різниця, головне-що встигло все обрахувати до наступної фотосесії, вірно? =)