Ако се чудите колко добри ще бъдат камерите на следващото поколение смартфони, би било разумно да обърнете внимание на това, до колко производителите наблягат на използването на изкуствения интелект (AI). През последните няколко години, технологията даде възможност за зашеметяващ напредък във фотографията и няма причина да се мисли, че пробивът ще се забави. Вижте защо процесорите за смартфони вече използват изкуствен интелект
Най-впечатляващите постижения в областта на фотографията напоследък се случиха по-скоро със софтуера и чипа, отколкото със сензора или обектива. Това до голяма степен се дължи на факта, че AI дава на камерите по-добро „разбиране за това какво гледат“, смятат от The Verge.
Вижте още: Каква е ролята на изкуственият интелект в смартфоните
Google Photos е идеалния пример за това колко мощна е комбинацията AI и фотографията, още откакто услугата стартира през 2015 година. С течение на времето алгоритъмът става все по-добър и по-добър в разпознаването на лица, сцени и животни. Необходимо е много време и процесорна мощ, за да се обучава такъв алгоритъм, но след като центровете за данни свършат работата си, алгоритъмът може да се изпълнява на мобилни устройства с ниска мощност без много проблеми.
Любопитно: Каква е разликата между различните опции за качество на снимките в Google Photos
Е, тежката работа вече е свършена и след като снимките ви бъдат качени в облака, Google може да използва своя модел, за да анализира и подреди цялата ви библиотека. Около година след пускането на Google Photos, Apple обяви функция за търсене на снимки, която беше „обучена“ по подобен начин, но като част от ангажимента на компанията за поверителност, действителната категоризация се извършва отделно на процесора на всяко устройство, без да се изпращат данните. Това обикновено отнема ден или два и се случва във фонов режим.
Интелигентният софтуер за управление на снимки е едно нещо, но AI и машинното обучение ще имат голямо въздействие и върху начина, по който се заснемат изображенията.
Да, обективите продължават да стават все по-бързи и сензорите винаги могат да станат още малко по-големи, но ние вече достигаме физическите ограничения, налагани от тънките мобилни устройства.
Въпреки това, в днешно време не е необичайно телефоните да правят понякога по-добри снимки, отколкото традиционните фотоапарати. Това е така, защото традиционните фотоапарати не могат да се конкурират с друга категория хардуер, която също е толкова важна за фотографията: едночипова система (systems-on-chip), интегрална схема включваща в себе си всичките основни компоненти – процесор, процесор за обработка на сигнали за изображения и все по-често невронни процесори (NPU).
NPU е хардуерът, използван в така наречената изчислителна фотография – термин, който обхваща всичко от ефектите на дълбочината на полето в портретните режими на телефоните до алгоритмите, които спомагат за повишаване на качеството на изображението на Google Pixel.
Разбира се, AI е основен компонент. Apple използва тази технология, за да управлява своя портретен режим с двойна камера. Процесорът за обработка на сигнала на iPhone използва техники за машинно обучение, за да разпознава хората с едната камера, докато втората камера създава карта на дълбочината, за да изолира обекта и да замъгли фона. Възможността да се разпознават хората чрез машинно обучение не е нова, но управлението ѝ в реално време със скорост, необходима за смартфоните чрез камерите им, вече е пробив.
Google остава очевидният лидер в тази област, трите поколения на Pixel дават превъзходните резултати. Google обучи своя изкуствен интелект като използва огромен набор от етикетирани снимки, както при софтуера Google Photos, и това допълнително подпомага експозицията на камерата.
Но с пускането на функцията „Night Sight“, предимството на Google изглежда още по-голямо. Новата функция на Pixel телефоните им позволява да снимат в почти пълна тъмнина. Тя разчита на изкуствен интелект, за да осигури ярки и ясни снимки снимани на тъмно, без да се ползват статив и светкавица. Night Sight надгражда технологията HDR+, която дебютира през 2014 и разчита на комбинирането на множество кадри за получаване на крайния резултат.
Функцията работи най-добре на Pixel 3, тъй като алгоритмите са проектирани с най-новия хардуер, но Google я прави достъпна за всички телефони Pixel, в това число и оригиналът, който няма оптична стабилизация на изображението. Това вече е зашеметяваща реклама за това как софтуера сега е по-важен от хардуера на камерата, нещо изключително важно за мобилната фотография.
Въпреки това, все още има възможност за подобрения във хардуера, за да се подобрят още повече нещата, особено когато той се използва с AI. Двата телефона Honor View 20 и Huawei Nova 4 са първите, които използват сензора за изображения на Sony IMX586, който е 48 мегапикселов. Това ще осигури възможността за заснемане на огромни снимки, които можете да увеличавате в продължение на дни.
Освен това както изглежда невронни процесорни блокове (NPU) ще поемат все по-голяма роля, тъй като те изпълняват изчисления за нуждите на изкуствения интелект. Huawei беше първата компания, обявила едночипова система със специален AI хардуер, Kirin 970. След това се появи и A11 Bionic на Apple. Google също е разработила свой собствен чип, наречен Pixel Visual Core.
Любопитно: Какво може да прави изкуственият интелект в смартфоните
Последният Apple A12 Bionic, междувременно, има осем-ядрен невронен двигател, който може да изпълнява задачи в Core ML, рамката за машинно обучение на Apple, до девет пъти по-бързо от A11, и за първи път е пряко свързан с процесора за изображения. Apple казва, че това дава на камерата по-добро разбиране на фокалната равнина, например, като помага за генерирането на по-реалистична дълбочина на рязкост.
Този вид хардуер ще става все по-важен за ефективното и перфектно машинно обучение на устройството ви. Не забравяйте, че алгоритмите, които захранват Google Photos, са обучени на огромни, мощни компютри с мощни графични процесори, преди да бъдат пуснати във вашата библиотека от снимки. Голяма част от тази работа може да се направи „предварително“, така да се каже, но възможността за извършване на изчисления за машинно обучение на мобилно устройство в реално време остава решаваща.
Google свърши добра работа, за да се намали тежестта на обработката, докато невронните процесори не станат по-бързи в бъдеще. Но дори на този ранен етап на изчислителната фотография, има реални ползи от камерите на телефона, които са проектирани около машинното обучение. В действителност, от всички възможности и приложения на AI, най-практична днес е може би тази във фотографията. Камерата е съществена характеристика на всеки телефон, а AI е най-добрият начин тя да се подобри.
Вижте 4 нестандартни приложения на изкуствения интелект
Discussion about this post