ПОЛУЧЕНИЕ РАЗРЕЖЕННЫХ РЕШЕНИЙ МЕТОДОМ LS SVM ЧЕРЕЗ ПОСТРОЕНИЕ ВЫБОРКИ С ПОМОЩЬЮ МЕТОДОВ ОПТИМАЛЬНОГО ПЛАНИРОВАНИЯ И ВНЕШНИХ КРИТЕРИЕВ КАЧЕСТВА МОДЕЛЕЙ

Попов Александр Александрович , Бобоев Шараф Асрорович

2018 / Том 22 №1 (132) 2018 [ Информатика, вычислительная техника и управление ]

ЦЕЛЬ. Рассматриваются способы получения разреженных решений на основе метода опорных векторов с квадратичной функцией потерь (LS SVM). МЕТОДЫ. Выполняется разбиение выборки на обучающую и тестовую части для получения разреженного решения. Приводится последовательный алгоритм получения обучающей и тестовой частей выборки наблюдений с использованием метода D -оптимального планирования эксперимента применительно к методу LS SVM. Также приведены последовательные алгоритмы разбиения выборки на части с использованием критерия согласованности. Для проверки работоспособности предлагаемого метода разбиения выборки проведен вычислительный эксперимент. В нем повышение точности решений по LS SVM проводилось посредством подбора масштаба гауссовой ядерной функции. Данный параметр ядерной функции подбирался по минимуму ошибки прогноза на тестовой части выборки. Окончательно точность получаемых решений проверялась по среднеквадратичной ошибке. РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ. Вычислительный эксперимент проводился на модельных данных. В качестве модели, порождающей данные, была выбрана нелинейная зависимость от входного фактора. Дисперсия помехи (уровень шума) определялась в процентах от мощности сигнала. Сравнивались три способа разбиения выборки на обучающую и тестовую: путем замены точек, исключение точек и включение точек в обучающей части. Для выбора параметров алгоритма LS SVM использовался также критерий перекрестной проверки. ВЫВОДЫ. Результаты проведенных вычислительных экспериментов показали, что для получения разреженного решения методом LS SVM можно использовать выборку, разделенную на части с использованием D -оптимального планирования эксперимента.

Ключевые слова:

регрессия, метод LS SVM, квадратичная функция потерь, тестовая выборка, обучающая выборка, оптимальное планирование эксперимента, D-оптимальный план, критерий согласованности, критерий скользящего контроля, коэффициент регуляризации, ядерная функция, среднеквадратичная ошибка

Библиографический список:

1. Vapnik V. Statistical Learning Theory. New York: John Wiley, 1998. 736 p.
2. Johan A.K. Suykens, Tony Van Gestel, Jos De Brabanter, Bart De Moor, Joos Vandewalle. Least Square Support Vector Machines. New Jersey-London-Singapore-Hong Kong: World Scientific, 2002. 290 p.
3. Cherkassky V., Ma Y. Practical selection of SVM parameters and noise estimation for SVM regression // Neural Networks. 2004. No. 17. P. 113–126.
4. Попов А.А., Саутин А.С. Определение параметров алгоритма опорных векторов при решении задачи построения регрессии // Сборник научных трудов НГТУ. 2008. № 2 (52). С. 35–40.
5. Popov A.A., Sautin A.S. Selection of support vector machines parameters for regression using nested grids // The third international forum on strategic technology (IFOST 2008): proceedings (Novosibirsk–Tomsk, 23–29 June 2008). Novosibirsk, 2008. P. 329–331.
6. J.A.K. Suykens., J. De Brabanter, L. Lukas, J. Vandewalle. Weighted least squares support vector machines: robastness and sparse approximation // Neurocomputing. 2002. Vol. 48. P. 85–105.
7. Степашко В.С., Кочерга Ю.Л. Методы и критерии решения задач структурной идентификации // Автоматика. 1985. № 5. С. 29–37.
8. Кочерга Ю.Л. J-оптимальная редукция структуры модели в схеме Гаусса – Маркова // Автоматика. 1988. № 4. С. 34–38.
9. Сарычев А.П. Усредненный критерий регулярности метода группового учета аргументов в задаче поиска наилучшей регрессии // Автоматика. 1990. № 5. С. 28–33.
10. Степашко В.С. Асимптотические свойства внешних критериев выбора моделей // Автоматика. 1988. № 6. С. 75–82.
11. Степашко В.С. Потенциальная помехоустойчивость моделирования по комбинаторному алгоритму МГУА без использования информации о помехах // Автоматика. 1983. № 3. С. 18–28.
12. Степашко В.С. Селективные свойства критерия непротиворечивости моделей // Автоматика. 1986. № 2. С. 40–49.
13. Попов А.А. Использование повторных выборок в критериях селекции моделей // Планирование эксперимента, идентификация, анализ и оптимизация многофакторных систем: сб. науч. ст. Новосибирск: Изд-во Новосибирского электротехнического ин-та, 1990. С. 82–88.
14. Лисицин Д.В., Попов А.А. Исследование критериев селекции многооткликовых регрессионных моделей // Сборник научных трудов НГТУ. 1996. Вып. 2. С. 19–28.
15. Лисицин Д.В., Попов А.А. Конструирование критериев селекции многомерных регрессионных моделей // Сборник научных трудов НГТУ. 1996. Вып. 1. С. 13–20.
16. Попов А.А. Планирование эксперимента в задачах разбиения выборки в МГУА // Сборник научных трудов НГТУ. 1995. Вып. 2. С. 35–40.
17. Попов А.А. Разбиение выборки для внешних критериев селекции моделей с использованием методов планирования эксперимента // Заводская лаборатория. 1997. № 1. С. 49–53.
18. Попов А.А., Бобоев Ш.А. Получение тестовой выборки в методе LS SVM с использованием оптимального планирования эксперимента // Научный вестник Новосибирского государственного технического университета. 2016. № 4. С. 80–99. DOI: 10.17212/1814-1196-2016-4-80-99
19. Попов А.А. Оптимальное планирование эксперимента в задачах структурной и параметрической идентификации моделей многофакторных систем: монография. Новосибирск: Изд-во НГТУ, 2013. 296 с.
20. Попов А.А. Последовательные схемы построения оптимальных планов эксперимента // Сборник научных трудов НГТУ. 1995. Вып. 1. С. 39–44.
21. Попов А.А. Последовательные схемы синтеза оптимальных планов эксперимента // Доклады академии наук высшей школы России. 2008. № 1 (10). С. 45–55.
22. Попов А.А., Бобоев Ш.А. Построение регрессионных зависимостей с использованием квадратичной функции потерь в методе опорных векторов // Сборник научных трудов НГТУ. 2015. № 3 (81). С. 69–78. DOI: 10.17212/2307-6879-2015-3-69-78

Файлы:

• реферат (скачать | просмотреть) - скачано 25 раз
• статья (скачать | просмотреть)