Гиперспектральная визуализация собирает и обрабатывает информацию по всему электромагнитному спектру. Целью гиперспектральной визуализации является получение спектра для каждого пикселя на изображении сцены с целью поиска объектов, идентификации материалов или обнаружения процессов. Существует три основных типа спектральных формирователей изображений. Существуют сканеры push broom и связанные с ними сканеры whip broom (пространственное сканирование), которые считывают изображения с течением времени, последовательные сканеры band (спектральное сканирование), которые получают изображения области на разных длинах волн, и гиперспектральные формирователи изображений snapshot, которые используют матрицу staring для мгновенного создания изображения.
В то время как человеческий глаз видит цвета видимого света в основном в трех диапазонах (длинноволновые, воспринимаемые как красные; средние длины волн, воспринимаемые как зеленые; и коротковолновые, воспринимаемые как синие), спектральная визуализация делит спектр на множество дополнительных диапазонов. Этот метод разделения изображений на полосы можно расширить за пределы видимого. При гиперспектральной визуализации записанные спектры имеют высокое разрешение по длине волны и охватывают широкий диапазон длин волн. Гиперспектральная визуализация измеряет непрерывные спектральные полосы, в отличие от многоканальной визуализации, которая измеряет разнесенные спектральные полосы.
Инженеры создают гиперспектральные датчики и системы обработки для приложений в астрономии, сельском хозяйстве, молекулярной биологии, биомедицинской визуализации, науках о Земле, физике и наблюдении. Гиперспектральные датчики исследуют объекты, используя обширную часть электромагнитного спектра. Некоторые объекты оставляют уникальные «отпечатки пальцев» в электромагнитном спектре. Эти «отпечатки пальцев», известные как спектральные сигнатуры, позволяют идентифицировать материалы, из которых состоит сканируемый объект. Например, спектральная характеристика нефти помогает геологам находить новые нефтяные месторождения.
Датчики
Образно говоря, гиперспектральные датчики собирают информацию как набор «изображений». Каждое изображение представляет собой узкий диапазон длин волн электромагнитного спектра, также известный как спектральная полоса. Эти «изображения» объединяются в трехмерный (x,y,λ) куб гиперспектральных данных для обработки и анализа, где x и y представляют собой два пространственных измерения сцены, а λ представляет собой спектральное измерение (включающее диапазон длин волн).
С технической точки зрения существует четыре способа, с помощью которых датчики могут сканировать гиперспектральный куб: пространственное сканирование, спектральное сканирование, моментальная съемка и пространственно-спектральное сканирование.
Гиперспектральные кубы генерируются с бортовых датчиков, таких как Airborne Visible/Infrared Imaging Spectrometer (AVIRIS) от NASA, или со спутников, таких как EO-1 от NASA с его гиперспектральным инструментом Hyperion. Однако для многих исследований по разработке и проверке используются портативные датчики.
Точность этих датчиков обычно измеряется спектральным разрешением, которое представляет собой ширину каждой полосы захватываемого спектра. Если сканер обнаруживает большое количество довольно узких полос частот, можно идентифицировать объекты, даже если они захвачены всего несколькими пикселями. Однако пространственное разрешение является фактором в дополнение к спектральному разрешению. Если пиксели слишком велики, в одном пикселе захватывается несколько объектов, и их становится трудно идентифицировать. Если пиксели слишком малы, интенсивность, улавливаемая каждой ячейкой датчика, будет низкой, а уменьшенное соотношение сигнал/шум снижает надежность измеренных характеристик.
Получение и обработка гиперспектральных изображений также называется спектроскопией изображений или, применительно к гиперспектральному кубу, 3D-спектроскопией.
Методы сканирования
Существует четыре основных метода получения трехмерного (x, y, λ) набора данных гиперспектрального куба. Выбор метода зависит от конкретного приложения, поскольку каждый метод имеет зависящие от контекста преимущества и недостатки.
Пространственное сканирование
При пространственном сканировании каждый двумерный (2-D) выходной сигнал датчика представляет собой полный щелевой спектр (x, λ). Устройства гиперспектральной визуализации (HSI) для пространственного сканирования получают щелевые спектры, проецируя полосу сцены на щель и рассеивая щелевое изображение призмой или решеткой. Недостатком этих систем является то, что изображение анализируется по строкам (с помощью сканера Push Broom), а также некоторые механические части интегрированы в оптический поезд. С помощью этих камер линейного сканирования пространственное измерение собирается посредством перемещения платформы или сканирования. Для этого требуются стабилизированные крепления или точная информация о наведении для «реконструкции» изображения. Тем не менее, системы линейного сканирования особенно распространены в дистанционном зондировании, где разумно использовать мобильные платформы. Системы линейного сканирования также используются для сканирования материалов, перемещающихся по конвейерной ленте. Частным случаем линейного сканирования является точечное сканирование (с помощью сканера с метелкой), где вместо щели используется точечная апертура, а датчик по сути является одномерным, а не двумерным.
Спектральное сканирование
При спектральном сканировании каждый выходной сигнал 2-D датчика представляет собой монохроматическую («одноцветную») пространственную (x, y) карту сцены. Устройства HSI для спектрального сканирования обычно основаны на оптических полосовых фильтрах (настраиваемых или фиксированных). Сцена спектрально сканируется путем замены одного фильтра на другой, пока платформа остается неподвижной. В таких «смотрящих» системах сканирования по длине волны может возникнуть спектральное размывание, если в пределах сцены есть движение, что делает недействительной спектральную корреляцию/обнаружение. Тем не менее, есть преимущество в возможности выбора спектральных полос и наличия прямого представления двух пространственных измерений сцены. Если система формирования изображений используется на движущейся платформе, например, на самолете, полученные изображения на разных длинах волн соответствуют разным областям сцены. Пространственные особенности на каждом из изображений могут использоваться для перевыравнивания пикселей.
Без сканирования
В несканирующем режиме один выходной сигнал 2-D датчика содержит все пространственные (x, y) и спектральные (λ) данные. Устройства HSI для несканирующего режима выдают полный куб данных сразу, без сканирования. Образно говоря, один снимок представляет собой перспективную проекцию куба данных, из которой можно реконструировать его трехмерную структуру. Наиболее заметными преимуществами этих систем гиперспектральной визуализации снимка являются преимущество снимка (более высокая светопропускаемость) и более короткое время получения. Разработан ряд систем, включая спектрометрию компьютерной томографической визуализации (CTIS), спектрометрию визуализации с переформатированием волокон (FRIS), интегральную полевую спектроскопию с линзовыми решетками (IFS-L), многоапертурный интегральный полевой спектрометр (Hyperpixel Array), интегральную полевую спектроскопию с зеркалами для нарезки изображений (IFS-S), спектрометрию визуализации с репликацией изображений (IRIS), спектральную декомпозицию стека фильтров (FSSD), спектральную визуализацию с кодированной апертурой (CASSI), спектрометрию картирования изображений (IMS) и многоспектральную интерферометрию Саньяка (MSI). Однако вычислительные затраты и производственные затраты высоки. В попытке снизить вычислительные требования и потенциально высокую стоимость несканирующего гиперспектрального оборудования были продемонстрированы прототипы устройств на основе многомерных оптических вычислений. Эти устройства были основаны на спектральном вычислительном движке многомерного оптического элемента или спектральном вычислительном движке пространственного модулятора света. В этих платформах химическая информация вычисляется в оптической области до получения изображения, так что химическое изображение полагается на обычные системы камер без дополнительных вычислений. Недостатком этих систем является то, что спектральная информация никогда не приобретается, т. е. только химическая информация, так что постобработка или повторный анализ невозможны.
Пространственно-спектральное сканирование
При пространственно-спектральном сканировании каждый выходной сигнал 2-D датчика представляет собой кодированную по длине волны («радужную», λ = λ(y)), пространственную (x, y) карту сцены. Прототип для этой техники, представленный в 2014 году, состоит из камеры на некотором ненулевом расстоянии позади базового щелевого спектроскопа (щель + дисперсионный элемент). Усовершенствованные системы пространственно-спектрального сканирования могут быть получены путем размещения дисперсионного элемента перед пространственной сканирующей системой. Сканирование может быть достигнуто путем перемещения всей системы относительно сцены, путем перемещения только камеры или путем перемещения только щели. Пространственно-спектральное сканирование объединяет некоторые преимущества пространственного и спектрального сканирования, тем самым устраняя некоторые из их недостатков.
Отличие гиперспектральной съемки от мультиспектральной
Гиперспектральная визуализация является частью класса методов, обычно называемых спектральной визуализацией или спектральным анализом. Термин «гиперспектральная визуализация» происходит от разработки NASA Airborne Imaging Spectrometer (AIS) и AVIRIS в середине 1980-х годов. Хотя NASA предпочитает более ранний термин «визуализирующая спектроскопия» вместо «гиперспектральной визуализации», использование последнего термина стало более распространенным в научном и ненаучном языке. В рецензируемом письме эксперты рекомендуют использовать термины «визуализирующая спектроскопия» или «спектральная визуализация» и избегать преувеличенных префиксов, таких как «гипер-», «супер-» и «ультра-», чтобы избежать неправильных названий в обсуждении.
Гиперспектральная визуализация связана с мультиспектральной визуализацией. Различие между гипер- и многополосными иногда ошибочно основывается на произвольном «количестве полос» или типе измерения. При гиперспектральной визуализации (HSI) используются непрерывные и непрерывные диапазоны длин волн (например, 400–1100 нм с шагом 1 нм), тогда как при многоканальной визуализации (MSI) используется подмножество целевых длин волн в выбранных местах (например, 400–1100 нм с шагом 20 нм). ).
Многополосная съемка имеет дело с несколькими изображениями в дискретных и несколько узких полосах. «Дискретность и несколько узость» — вот что отличает многоспектральную съемку в видимой длине волны от цветной фотографии. Многоспектральный датчик может иметь много полос, охватывающих спектр от видимого до длинноволнового инфракрасного. Многоспектральные изображения не создают «спектр» объекта. Landsat — отличный пример многоспектральной съемки.
Гиперспектральный метод занимается визуализацией узких спектральных полос в непрерывном спектральном диапазоне, создавая спектры всех пикселей в сцене. Датчик только с 20 полосами также может быть гиперспектральным, когда он охватывает диапазон от 500 до 700 нм с 20 полосами шириной 10 нм каждая. (В то время как датчик с 20 дискретными полосами, охватывающими видимый, ближний, коротковолновый, средневолновый и длинноволновый инфракрасный диапазон, будет считаться мультиспектральным.)
Ультраспектральный может быть зарезервирован для датчиков изображения интерферометрического типа с очень высоким спектральным разрешением. Эти датчики часто имеют (но не обязательно) низкое пространственное разрешение всего в несколько пикселей, ограничение, налагаемое высокой скоростью передачи данных.
Приложения
Гиперспектральное дистанционное зондирование используется в широком спектре приложений. Хотя изначально оно было разработано для горнодобывающей промышленности и геологии (способность гиперспектральной визуализации идентифицировать различные минералы делает ее идеальной для горнодобывающей и нефтяной промышленности, где ее можно использовать для поиска руды и нефти), теперь оно распространилось в таких распространенных областях, как экология и наблюдение, а также исторические исследования рукописей, такие как визуализация палимпсеста Архимеда. Эта технология постоянно становится все более доступной для общественности. Такие организации, как NASA и USGS, имеют каталоги различных минералов и их спектральных сигнатур и выложили их в Интернете, чтобы сделать их легкодоступными для исследователей. В меньшем масштабе гиперспектральную визуализацию NIR можно использовать для быстрого мониторинга применения пестицидов к отдельным семенам для контроля качества оптимальной дозы и однородного покрытия.
Сельское хозяйство
Хотя стоимость получения гиперспектральных изображений обычно высока для определенных культур и в определенных климатических условиях, гиперспектральное дистанционное зондирование используется все чаще для мониторинга развития и здоровья культур. В Австралии ведутся работы по использованию спектрометров изображений для определения сортов винограда и разработки системы раннего оповещения о вспышках заболеваний. Кроме того, ведутся работы по использованию гиперспектральных данных для определения химического состава растений, что может быть использовано для определения уровня питательных веществ и воды в пшенице в орошаемых системах. В меньшем масштабе гиперспектральная съемка в ближнем инфракрасном диапазоне может использоваться для быстрого мониторинга применения пестицидов к отдельным семенам для контроля качества оптимальной дозы и однородного покрытия.
Другим применением в сельском хозяйстве является обнаружение животных белков в комбикормах для предотвращения губчатой энцефалопатии крупного рогатого скота (ГЭКРС), также известной как коровье бешенство. Были проведены различные исследования для предложения альтернативных инструментов эталонному методу обнаружения (классической микроскопии). Одной из первых альтернатив является микроскопия в ближнем инфракрасном диапазоне (БИК), которая сочетает в себе преимущества микроскопии и БИК. В 2004 году было опубликовано первое исследование, связывающее эту проблему с гиперспектральной визуализацией. Были созданы гиперспектральные библиотеки, которые представляют разнообразие ингредиентов, обычно присутствующих при приготовлении комбикормов. Эти библиотеки можно использовать вместе с хемометрическими инструментами для исследования предела обнаружения, специфичности и воспроизводимости метода гиперспектральной визуализации БИК для обнаружения и количественной оценки животных ингредиентов в кормах.
Камеры HSI также могут использоваться для обнаружения стресса, вызванного тяжелыми металлами, в растениях и стать более ранней и быстрой альтернативой методам влажной химической обработки после сбора урожая.
Зоология
Гиперспектральная визуализация также используется в зоологии; она используется для исследования пространственного распределения окраски и ее распространения в ближний инфракрасный и SWIR диапазоны спектра. Некоторые животные, например, некоторые тропические лягушки и некоторые насекомые, сидящие на листьях, обладают высокой отражательной способностью в ближнем инфракрасном диапазоне.
Сортировка и переработка отходов
Гиперспектральная визуализация может предоставить информацию о химических компонентах материалов, что делает ее полезной для сортировки и переработки отходов. Она применялась для различения веществ с различными тканями и для идентификации натуральных, животных и синтетических волокон. Камеры HSI могут быть интегрированы с системами машинного зрения и, посредством упрощения платформ, позволяют конечным пользователям создавать новые приложения для сортировки отходов и другие приложения для сортировки/идентификации. Система машинного обучения и гиперспектральная камера могут различать 12 различных типов пластика, таких как ПЭТ и ПП, для автоматизированного разделения отходов, по состоянию на 2020 год, крайне нестандартизированных [необходимы дополнительные ссылки] пластиковых изделий и упаковки.
Уход за глазами
Исследователи из Монреальского университета работают с Photon и др. и Optina Diagnostics, чтобы протестировать использование гиперспектральной фотографии в диагностике ретинопатии и макулярного отека до того, как произойдет повреждение глаза. Метаболическая гиперспектральная камера обнаружит снижение потребления кислорода в сетчатке, что указывает на потенциальное заболевание. Затем офтальмолог сможет лечить сетчатку инъекциями, чтобы предотвратить любое потенциальное повреждение.
Переработка пищевых продуктов
В пищевой промышленности гиперспектральная съемка в сочетании с интеллектуальным программным обеспечением позволяет цифровым сортировщикам (также называемым оптическими сортировщиками) выявлять и удалять дефекты и инородные материалы (ИМ), которые невидимы для традиционных камер и лазерных сортировщиков. За счет повышения точности удаления дефектов и ИИМ цель пищевого комбината — повысить качество продукции и увеличить выход продукции.
Использование гиперспектральной визуализации на цифровых сортировщиках позволяет достичь неразрушающего 100-процентного контроля на линии при полных объемах производства. Программное обеспечение сортировщика сравнивает полученные гиперспектральные изображения с заданными пользователем пороговыми значениями приема/отбраковки, а система выброса автоматически удаляет дефекты и посторонние материалы.
Недавнее коммерческое внедрение сортировщиков пищевых продуктов на основе гиперспектральных датчиков наиболее продвинуто в ореховой промышленности, где установленные системы максимально удаляют камни, скорлупу и другие инородные материалы (FM) и посторонние растительные вещества (EVM) из грецких орехов, пекана, миндаля, фисташек, арахиса и других орехов. Здесь улучшенное качество продукции, низкий уровень ложных отбраковок и способность обрабатывать большое количество входящих дефектных грузов часто оправдывают стоимость технологии.
Коммерческое внедрение гиперспектральных сортировщиков также продвигается быстрыми темпами в отрасли переработки картофеля, где эта технология обещает решить ряд выдающихся проблем с качеством продукции. Ведутся работы по использованию гиперспектральной визуализации для обнаружения «сахарных концов», «полого сердца» и «парши обыкновенной» — состояний, которые досаждают переработчикам картофеля.
Минералогия
Геологические образцы, такие как керны буровых скважин, можно быстро картировать для почти всех минералов, представляющих коммерческий интерес, с помощью гиперспектральной визуализации. Слияние спектральных изображений SWIR и LWIR является стандартом для обнаружения минералов в группах полевого шпата, кремния, кальцита, граната и оливина, поскольку эти минералы имеют свою наиболее отличительную и сильную спектральную сигнатуру в областях LWIR.
Гиперспектральное дистанционное зондирование минералов хорошо развито. Многие минералы можно идентифицировать по аэрофотоснимкам, и их связь с наличием ценных минералов, таких как золото и алмазы, хорошо изучена. В настоящее время прогресс направлен на понимание связи между утечками нефти и газа из трубопроводов и природных скважин, а также их воздействием на растительность и спектральные сигнатуры. Недавние работы включают докторские диссертации Верффа и Ноомена.
Наблюдение
Гиперспектральное наблюдение — это реализация технологии гиперспектрального сканирования в целях наблюдения. Гиперспектральная визуализация особенно полезна при военном наблюдении из-за контрмер, которые сейчас принимают военные подразделения, чтобы избежать наблюдения с воздуха. Идея, лежащая в основе гиперспектрального наблюдения, заключается в том, что гиперспектральное сканирование извлекает информацию из такой большой части светового спектра, что любой данный объект должен иметь уникальную спектральную подпись хотя бы в нескольких из множества сканируемых диапазонов. Гиперспектральная визуализация также показала потенциал для использования в целях распознавания лиц. Было показано, что алгоритмы распознавания лиц с использованием гиперспектральной визуализации работают лучше, чем алгоритмы, использующие традиционную визуализацию.
Традиционно, коммерчески доступные тепловые инфракрасные гиперспектральные системы визуализации требовали охлаждения жидким азотом или гелием, что делало их непрактичными для большинства приложений наблюдения. В 2010 году Specim представила тепловую инфракрасную гиперспектральную камеру, которая может использоваться для наружного наблюдения и приложений БПЛА без внешнего источника света, такого как солнце или луна.
Астрономия
В астрономии гиперспектральная визуализация используется для определения пространственно-разрешенного спектрального изображения. Поскольку спектр является важным диагностическим средством, наличие спектра для каждого пикселя позволяет решать больше научных задач. В астрономии этот метод обычно называют интегральной полевой спектроскопией, и примерами этого метода являются FLAMES и SINFONI на Очень Большом Телескопе, а также Advanced CCD Imaging Spectrometer на рентгеновской обсерватории Chandra, использующий этот метод.
Химическая визуализация
Солдаты могут подвергаться воздействию широкого спектра химических опасностей. Эти угрозы в основном невидимы, но их можно обнаружить с помощью технологии гиперспектральной визуализации. Камера Telops Hyper-Cam, представленная в 2005 году, продемонстрировала это на расстоянии до 5 км.
Среда
Большинство стран требуют постоянного мониторинга выбросов, производимых угольными и нефтяными электростанциями, муниципальными и опасными мусоросжигательными заводами, цементными заводами, а также многими другими типами промышленных источников. Этот мониторинг обычно выполняется с использованием систем отбора проб в сочетании с методами инфракрасной спектроскопии. Некоторые недавние измерения с выносом позволили оценить качество воздуха, но не многие дистанционные независимые методы позволяют проводить измерения с низкой неопределенностью.
Гражданское строительство
Недавние исследования показывают, что гиперспектральная съемка может быть полезна для обнаружения развития трещин в дорожных покрытиях, которые трудно обнаружить с помощью изображений, полученных с помощью камер видимого спектра.
Биомедицинская визуализация
Гиперспектральная визуализация также использовалась для обнаружения рака, идентификации нервов и анализа синяков.
Преимущества и недостатки
Основное преимущество гиперспектральной визуализации заключается в том, что, поскольку в каждой точке получается полный спектр, оператору не нужны предварительные знания об образце, а постобработка позволяет извлекать всю доступную информацию из набора данных. Гиперспектральная визуализация также может использовать пространственные отношения между различными спектрами в окрестности, что позволяет создавать более сложные спектрально-пространственные модели для более точной сегментации и классификации изображения.
Основными недостатками являются стоимость и сложность. Для анализа гиперспектральных данных необходимы быстрые компьютеры, чувствительные детекторы и большие емкости для хранения данных. Необходима значительная емкость для хранения данных, поскольку несжатые гиперспектральные кубы представляют собой большие многомерные наборы данных, потенциально превышающие сотни мегабайт. Все эти факторы значительно увеличивают стоимость получения и обработки гиперспектральных данных. Кроме того, одним из препятствий, с которыми пришлось столкнуться исследователям, является поиск способов программирования гиперспектральных спутников для самостоятельной сортировки данных и передачи только самых важных изображений, поскольку и передача, и хранение такого большого количества данных могут оказаться сложными и дорогостоящими. Как относительно новый аналитический метод, полный потенциал гиперспектральной визуализации еще не реализован.