Разработка и внедрение АПАК для поиска дефектов изделий микроэлектроники с помощью искусственного интеллекта Часть 12. Тенденции развития систем освещения в методах автоматизированного оптического обнаружения дефектов изделий электронной техники в 2025 г.
Статья вышла в журнале «Электронные компоненты» №01/2026
Оформить подписку на журнал «Электронные компоненты»
Введение
В настоящей статье рассматриваются современные тенденции в исследованиях и результатах оптического обнаружения дефектов ИЭТ с помощью технологий освещения поверхностей ИЭТ. На фоне достигнутых результатов совершенствования синтеза входных данных, а также исследования перспектив развития машинного обучения и глубокого машинного обучения с использованием генеративного ИИ, ИИ-агентов и агентного ИИ, трехмерного компьютерного зрения Edge AI, где интеллектуальные функции передаются непосредственно в камеру, освещение играет особенную роль в обеспечении необходимого качества изображения поверхности ИЭТ и обнаружения на ней дефектов.
В радиоэлектронной промышленности для обеспечения качества и получения требуемой надежности на этапах производства ИЭТ применяется визуальный контроль по выявлению дефектов на поверхности ИЭТ. Этот метод контроля имеет ряд проблем: он утомительный, длительный, непоследовательный, субъективный, трудоемкий и нерентабельный. Для преодоления таких проблем в производство ИЭТ внедряются разработанные нами предметно-ориентированные, новые и эффективные методы автоматизированного оптического контроля (АПАК) [1].
Разработанные АПАК становятся неотъемлемой частью производства, позволяя оценивать и контролировать качество в режиме реального времени. АПАК значительно снижает нагрузку на технологов, сокращает трудозатраты, повышая качество продукции. Применение АПАК уменьшает негативное воздействие на окружающую среду и потери ресурсов.
Несмотря на то, что для оптической инспекции поверхности ИЭТ были разработаны модели и системы классификации дефектов, большинство из них представляет собой проработанные нами методы автоматизированного оптические контроля, а именно статистические и спектральные методы, методы на основе моделей и обучения. Ограничением этих подходов является их зависимость от экспертных мнений. Вторым недостатком является их двухэтапный характер.
Для извлечения признаков квалифицированным специалистам требуется разработать специальные правила и настроить множество параметров. На втором этапе для выявления дефектов используется машинное обучение (МО). Эти ограничения преодолевались с помощью усовершенствованных методов обнаружения дефектов.
Для совершенствования АПАК применялось глубокое обучения (ГО) на основании опыта других исследователей, решавших задачи по обнаружению дефектов, широко известных в других отраслях: дефекты на поверхности стали, дефекты сварки в авиакосмической технике, сварки труб, лазерной сварки изделий, трещины на бетонных конструкциях или на других строительных объектах, дефекты на линзах в медицинских приборах и т.д. Кроме того, для обнаружения дефектов также использовались гибридные подходы, сочетающие МО и ГО [2], адаптивный бустинг, экстремальный градиентный бустинг и категориальный бустинг [3–5].
С учетом ограниченности выборок в наборе данных ИЭТ рассматривались возможности работы с редкими и несбалансированными наборами данных, а также аугментации данных с помощью генеративно-состязательных сетей. Для оценки качества ИЭТ все модели обучались и тестировались на экспериментальных установках. Результаты показывают, что наилучшую точность обнаружения обеспечивает гибридный метод, достигающий 99,68%. Однако изменение в составе и качестве применяемых материалов, комплектующих, замена оборудования, внешние воздействия (свет, помехи, перемещение персонала и оборудования, транспорта, тележек) делают точность непостоянной, а результаты нестабильными. По этим причинам мы изучаем, применяем и разрабатываем новые методы обнаружения дефектов, обеспечивающие постоянство достигнутых результатов на основании прежде выполненных разработок.
Открытые публикации с эффективными результатами исследования по обнаружению дефектов ИЭТ крайне редки, и качество предлагаемых решений нуждается в улучшении. Наша работа дополняет существующую результаты следующими вкладами:
1) получение образцов изображений поверхности ИЭТ с дефектами и без них, а также создание исходного набора данных с минимальными затратами;
2) предложение гибридного подхода к классификации дефектов, сочетающего в себе особенности ГО и МО для набора данных изображений;
3) проведение трехкратной перекрестной проверки экспериментов по обнаружению дефектов и предоставление результатов с использованием двух наборов данных;
4) исследование и формирование предложений для устранения дефицита и несбалансированности набора данных с помощью метода аугментации данных DCGAN (Deep Convolutional Generative Adversarial Network). Это продвинутая архитектура генеративно-состязательной сети, использующая сверточные слои в генераторе и дискриминаторе для создания высококачественных реалистичных изображений дефектных и недефектных изображений, случайного шума, обучение с использованием конкуренции между генератором и дискриминатором.
На фоне достигнутых результатов минимизации затрат при получении изображений поверхности ИЭТ, а также результатов исследования и применения совершенствующихся методов МО и ГО, искусственного интеллекта с использованием генеративного ИИ, ИИ-агентов и агентного ИИ, а также трехмерного компьютерного зрения Edge AI освещение играет особенную роль в обеспечении необходимого качества изображения поверхности ИЭТ и обнаружения на ней дефектов.
Получение образцов изображений поверхности изделий и создание исходного набора данных
АПАК требуют значительного количества изображений образцов дефектов и недефектных образцов для обучения, в том числе дефектов ИЭТ, которые являются браком или не являются таковым. Последние требуют дополнительного рассмотрения (например, пыль на поверхности).
Изображение получается разными способами. Общее для них: наличие камеры, освещения и предмета инспекции – ИЭТ, как показано на рис. 1. В целом, в силу формирования модульности АПАК [2] такой набор является модулем для получения изображения.
Методы позиционирования камер описаны в [6]. Обзор и анализ методов управления освещением – в [7]. При этом, модули для получения изображений для АПАК совершенствуются. Их основная функция заключается в преодолении помех от окружающего освещения, обеспечении стабильности изображения и получении изображения с высоким контрастом. Таким образом, главная цель – сделать видимыми важные особенности и уменьшить нежелательные особенности поверхности ИЭТ.
К источникам света для освещения ИЭТ в АПАК относятся лампы: светодиодные, люминесцентные, галогенные.
Источник света на основе светодиодов изготавливается в необходимых конфигурациях для обеспечения требуемой интенсивности излучения. Кольцевой массив светодиодов обладает высокой степенью яркости, прост в установке, позволяет эффективно избегать явления теней и выделять дефекты. В структурированном освещении используется линейный массив светодиодов с теплоотводом и гибкостью использования для обнаружения дефектов крупных элементов ИЭТ, например матриц с выводными рамками или полос с сырой керамикой для изготовления корпусов микросхем.
Различные длины световых волн имеют разные характеристики и области применения. При изменении длины волны видимый свет приобретает разные цвета.
Белый свет – многоволновой составной источник света, широко используемый для разных поверхностей ИЭТ. Источники белого света высокой яркости подходят для получения цветных изображений.
Синий свет (длина волны: 450–480 нм) подходит для обнаружения дефектов на металлических элементах ИЭТ (многовыводных рамках, соединительных проводах от контактных площадок кристаллов).
Зеленый свет (длина волны: 510–550 нм) используется для изделий с красным или серебристым фоном (например, для исследования поверхности красной керамики корпусов микросхем, серебряного покрытия контактов, паяных соединений).
Красный свет (длина волны: 630–780 нм) с относительно большой длиной волны, позволяющий пропускать свет сквозь темные объекты, применяется для определения дефектов светопропускающих пленок (печатной, гибкой и органической электроники). Красный источник света может значительно улучшить контрастность изображения.
В силу большой протяженности инфракрасного диапазона оптические свойства поверхности ИЭТ в ИК-излучении могут значительно меняться, в том числе отличаясь от их свойств в видимом излучении. Инфракрасный свет обладает высокой способностью к распространению и используется в системах обнаружения дефектов на поверхности жидкокристаллических экранов, пластин с фотонными схемами.
Ультрафиолетовый свет, имеющий короткую длину волны и высокую проникающую способность, применяется для проверки дефектов на сенсорных экранах, обнаружения царапин на металлических поверхностях элементов ИЭТ.
Для повышения видимости дефектов учитывается взаимодействие света с поверхностью ИЭТ, включая режим распространения света при ее достижении, а также взаимосвязь между длиной волны света и фоном поверхности. Распространение света различно в разных материалах. Дефектная часть ИЭТ также влияет на распространение света.
Геометрические дефекты изменяют отражение поверхности, а дефекты прочности поверхности или дефекты плотности не только изменяют отражение, но и поглощение поверхности.
Дефекты поверхности обладают способностью отражать или поглощать цвет освещения разной длины волны. Поглощенный цвет невидим, и только отраженный цвет может непосредственно воздействовать на устройства получения изображений. Контрастность изображения можно повысить за счет эффективного выбора длины волны света или комбинирования нескольких длин волн света.
Типы конструкций систем освещения, используемые для обнаружения дефектов
С развитием АПАК появились разные типы конструкций осветительных систем. В зависимости от положения источника света, ИЭТ и камеры относительно друг друга освещение делится на прямое и обратное. В зависимости от характеристик источника света освещение делится на структурированный свет и стробоскопический (адаптивный) свет.
При прямом освещении источник света и камера расположены с одной стороны ИЭТ. Являясь наиболее распространенным методом освещения, прямое освещение подходит для обнаружения дефектов поверхности. Угол между световым лучом и поверхностью объекта влияет на эффект освещения. В зависимости от того, отражается ли свет непосредственно на камеру, прямое освещение делится на прямое в светлом и темном полях, как показано на рис. 2–3.
При использовании прямого освещения в темном поле уменьшение угла падения света формирует прямое освещение с низким углом в темном поле, что позволяет выделить края и высоту поверхности, улучшить топологическую структуру изображения и обеспечить высокую эффективность при работе с вогнутостями и выпуклостями поверхности.
Коаксиальное прямое освещение – это особый режим прямого освещения. Коаксиальный источник света предоставляет равномерный свет высокой интенсивности, проходящий через полупрозрачное зеркало с линзой, как показано на рис. 4.
Коаксиальное прямое освещение является более равномерным, чем освещение в традиционном режиме; при этом предотвращается отражение от объекта. Следовательно, оно повышает точность и воспроизводимость изображения.
Для сильно отражающих объектов с гладкой поверхностью свет сначала проецируется на шероховатое покрытие, создавая ненаправленный и мягкий свет, а затем направляется на поверхность обнаруживаемого объекта во избежание сильного отражения, создаваемого режимом прямого освещения, как видно из рис. 5. Рассеянное прямое освещение купольной конструкции широко используется при обнаружении паяных соединений, контактов микросхем и т.д.
В качестве купола применялся также полупрозрачный материал для мягкого и равномерного освещения ИЭТ. Он помогает устранить тени и блики, которые в противном случае могут мешать точности АПАК.
В АПАК рассеянное освещение необходимо при осмотре сильно отражающих поверхностей. Без рассеивателя световые отражения создают яркие пятна или блики, из-за чего камера может упустить важные детали. Рассеиватель помогает равномернее распределять свет, уменьшая резкие отражения и позволяя системе получать более четкие и равномерные изображения. Рассеяние особенно полезно при инспекции блестящих или отражающих поверхностей, предотвращении бликов от изогнутых или полированных элементов.
При нижнем освещении источник света располагается под ИЭТ, как показано на рис. 6.
Важной особенностью нижнего освещения является возможность подсветки теней непрозрачных объектов или наблюдения за внутренней структурой прозрачных объектов. Его преимущество заключается в четком выделении краев проверяемых ИЭТ. Оно применяется для проверки качества пластин с фотонными схемами на участках образования дефектов между слоями.
Вспомогательные оптические устройства и приемы для освещения
В АПАК производственные линии и рабочие среды предъявляют различные требования к яркости, рабочему расстоянию и углу освещения источников света. Иногда они ограничены конкретными условиями применения, и получить качественное изображение непосредственно путем выбора типа источника света или угла освещения очень сложно. В этом случае необходимы специальные вспомогательные оптические устройства.
К таким распространенным устройствам относятся фильтры, отражатели, спектроскопы, призмы, поляризаторы, рассеиватели, оптическое волокно, экраны.
На этапе получения изображения с помощью фильтров можно устранить некоторые шумовые помехи и улучшить отношение сигнал/шум изображения, повысив эффективность АПАК.
Отражатель позволяет изменять путь и угол света, изменять расстояние между точками наблюдения, осуществлять одновременное или попеременное наблюдение нескольких объектов и предоставляет больше возможностей для установки источника света.
В спектроскопе отношение отраженного света к преломленному можно регулировать, изменяя параметры покрытия. Коаксиальное освещение является частным случаем спектроскопа.
Призма, разделяя многоцветный составной свет, позволяет получить источник света одной частоты. Поляризатор устраняет отражение света от неметаллических поверхностей. Диффузор делает свет равномернее и уменьшает нежелательные отражения. Оптическое волокно может собирать световой луч в оптоволокно для передачи, что делает установку источника света более гибкой и удобной.
Применение вспомогательных оптических устройств оказывает большую помощь в работе АПАК. Например, металлические поверхности имеют высокий коэффициент отражения, что затрудняет разработку соответствующей системы освещения для усиления дефектов. Для подавления этого света разработано диффузное освещение в светлом поле, и установлен поляризационный фильтр перед камерой, ориентируя его таким образом, чтобы подавить поляризованный свет.
Анализ примеров применения освещения, для разных поверхностей ИЭТ
Пример 1. Некоторые элементы ИЭТ имеют отражающие поверхности с высокими требованиями к их качеству. Для их выполнения используются оптические двухпроходные модули получения изображения (рис. 7), позволяющие контролировать дефекты малого размера на зеркально отражающей поверхности ИЭТ, например на полупроводниковой пластине с кристаллами.
Пример 2. Для системы мониторинга состояния ленты предъявляются уникальные требования из-за ее особой формы к конструкции системы освещения. Применяются линейные источники света и линейная камера высокой интенсивности, представленные на рис. 8.
Такая конструкция освещения позволяет адаптироваться к структурным характеристикам верхней части ленты и повысить эффективность обнаружения;
Пример 3. Чтобы учесть разные характеристики отражения, применялся адаптивный источник света, который был интегрирован с камерой, имеющей временную задержку для захвата изображений движущихся объектов и облегчения контроля качества поверхности. Использовался тот факт, что высокочастотные колебания можно визуализировать с помощью обычных видеокамер и коротких вспышек света.
Работа системы определяется шириной импульса вспышки светодиодного стробоскопа, поскольку камера недостаточно быстрая для четкой записи очень быстрых событий. Если стробоскопический свет выключен, камера не в состоянии захватывать изображения, и именно поэтому свет записывается только во время выбранных фаз движения, когда стробоскопический свет включен, и потому события могут быть записаны за меньший период времени, чем минимально возможное время экспозиции камеры. Сигнал вспышки светодиодного стробоскопа и время экспозиции камеры должны быть точно синхронизованы по времени. На рис. 9 показана схема применения адаптивного источника света.
В системе использовались: разделитель света, деливший один входящий луч на два; линзовый тубус между камерой и разделителем света, преобразующий параллельные лучи света в сфокусированное промежуточное изображение, минимизируя искажения и обеспечивая необходимое увеличение; конденсорные линзы, собирающие и фокусирующие свет, освещая ИЭТ, управляя количеством, равномерностью и направлением света, а также влияя на качество изображения.
Пример 4. В комбинации адаптивного источника света (см. рис. 9) и белого света применялась стробоскопическая система освещения, в которой структурированный свет и белый свет чередовались во время высокоскоростной съемки камерой. Помимо своей роли в соответствующих циклах, адаптивный свет не воспринимается, и белый свет используется исключительно для визуальной оценки поверхности в момент экранирования адаптивным светом.
Угол падения света на ИЭТ имеет решающее значение в АПАК. Неправильные углы освещения могут привести к отражениям или бликам, которые заслоняют дефект и приводят к неточному анализу: освещение под низким углом – подчеркивает текстуру поверхности и выделяет дефекты, отбрасывая длинные тени; освещение под высоким углом: минимизирует тени и отражения, но может снизить видимость мелких деталей поверхности.
Тщательно регулируя угол освещения, можно избежать нежелательных отражений и добиться оптимального контраста, обеспечив обнаружение даже самых мелких дефектов.
В АПАК используются источники света нескольких типов: светодиодные, которые обладают длительным сроком службы и высокой адаптивностью, что делает их распространенным выбором для АПАК; кварцевые галогенные обладают большой интенсивностью, что делает их подходящими для проверок, требующих сильного освещения; флуоресцентные – для небольших и средних систем; металлогалогенные (ртутные) лампы используются благодаря дискретным пикам длины волны; ксеноновые – мощный источник для применений, требующих яркого стробоскопического света.
Освещение каждого типа служит разным целям в зависимости от задач проверки и конкретных требований к освещению.
Выводы
Освещение играет решающую роль в работе АПАК. Правильное освещение повышает качество изображения, обеспечивая точную обработку и надежные результаты. Корректный выбор сочетания элементов и методов освещения может стать решающим фактором при решении задачи по обнаружению дефектов.
Источники света имеют разные формы и конструкции, благодаря чему излучаемый свет обладает разными характеристиками. Эффективный способ достижения конкретной функции освещения – инновационный дизайн, сочетающий основные методы освещения и некоторые вспомогательные оптические устройства. В некоторых особых случаях применяются специальные методы освещения, включая точечное и бестеневое освещение, освещение с помощью параллельных оптических блоков, освещение микроскопа и индивидуальное освещение в соответствии с требованиями к обнаружению дефектов.
Для АПАК, направленного на получение высококачественных изображений и выявления максимально возможных дефектов, разрабатываются целевые оптические системы освещения с предварительным анализом проекта и настройкой системы освещения по такому плану:
1) в соответствии со специфическими потребностями проекта анализируются такие ключевые факторы, как характеристики и состояние движения объектов, окружающая среда и тип камеры;
2) изучается разница между дефектами и фоном для выявления различий между ними в оптических явлениях;
3) проводится предварительное определение типа и цвета источника света в соответствии с характеристиками материалов и взаимодействием источника света с поверхностью ИЭТ;
4) выполняются эксперименты, по результатам которых регулируется система освещения до тех пор, пока она не будет соответствовать требованиям к АПАК.
Сообщение Разработка и внедрение АПАК для поиска дефектов изделий микроэлектроники с помощью искусственного интеллекта Часть 12. Тенденции развития систем освещения в методах автоматизированного оптического обнаружения дефектов изделий электронной техники в 2025 г. появились сначала на Время электроники.