Как работают сигмовидные методы. Часть 4 (Машинное обучение, 2024 г.) | Автор: Монодип Мукерджи | май 2024 г.
Асимметричная расширенная сигмоида с персептроном (SIGTRON) для несбалансированной линейной классификации
Авторы: Хэнкюн Ву
Аннотация: В этой статье представлена новая полиномиальная сигмовидная модель под названием SIGTRON, которая представляет собой асимметричную сигмовидную форму, расширенную с помощью Perceptron, и связанную с ней выпуклую модель, называемую моделью неравновесной классификации SIGTRON (SIC), которая использует гипотетическую выпуклую функцию потерь, индуцированную SIGTRON. В отличие от традиционной модели обучения с учетом затрат, модель SIC не имеет экзогенного веса для функции потерь, но имеет эндогенные параметры виртуальной функции потерь, индуцированной SIGTRON. В результате, когда данный набор обучающих данных близок к хорошо сбалансированному состоянию с учетом коэффициента (масштабного) дисбаланса классов, мы показываем, что предлагаемая модель SIC более адаптивна к изменениям в наборе данных, таким как противоречивые (масштабные) дисбалансы. )коэффициент дисбаланса между наборами обучающих и тестовых данных. Эта адаптация оправдана уравнением девиантного гиперболоида, полученным путем линеаризации идеального случая удовлетворительного градиента. Кроме того, мы представляем систему квазиньютоновской оптимизации (L-BFGS) для виртуальных выпуклых потерь путем разработки интервального билинейного поиска. Экспериментально мы заметили, что предлагаемый подход превосходит (или сравним) π-взвешенную выпуклую потерю фокуса и сбалансированный классификатор LIBLINEAR (логистическая регрессия, SVM и L2SVM) с точки зрения точности тестовой классификации с 51 двоичным классом и 67 многоклассовыми наборами данных. . В задачах двоичной классификации, где дисбаланс масштабных классов набора обучающих данных невелик, но существует несогласованность, набор моделей SIC с лучшей точностью тестирования для каждого набора данных (TOP1) превосходит LIBSVM (C-SVC с ядром RBF). это хорошо известный классификатор на основе ядра