Классификатор на основе RBF.

Евгений Борисов

четверг, 26 декабря 2013 г.

В этой статье описывается классификатор на основе математической модели, которая носит название сеть радиальных базисных функций (RBF).

1 Сеть радиальных базисных функций

Сеть радиальных базисных функций, RBF или гауссова смесь это один из вариантов байесовского классификатора.

a (x ) = argmax λyPypy(x ) y∈Y

(1)

где y ∈ Y - номер класса, λ_y – потеря при ошибочной классификации для класса y, P_y – априорная вероятность класса y (определяется долей объектов x_y класса y в общем наборе X), p_y(x) – плотность распределения x_y из класса y.

Здесь плотность распределения p_y(x) определяется как смесь многомерный нормальных (гауссовских) плотностей.

Рис.1: нейронная сеть RBF

∑k p(x) = w φ(x; 𝜃) j j j=1

где k - количество компонент смеси, w_j - весовой коэффициент (априорная вероятность компоненты), φ(x; 𝜃_j) - нормальная плотность.

( 1 T −1 ) exp--−-2(∘x-−-μ)-Σ---(x-−-μ)-- φ (x;𝜃) = N (x;μ,Σ ) = (2π)n detΣ

здесь μ - мат.ожидание (центр) X, Σ матрица ковариаций X .

RBF можно представить в виде нейронной сети (рис.1).

Рассмотрим набор однотипных учебных множеств

X = {X1, X2 ...,Xd}

Для обучения RBF необходимо задать константы λ и P_i = |X_i| / |X| . а также построить смеси распределений p(x) для каждого учебного множества X_i. Для решения последней задачи можно использовать последовательный EM-алгоритм .

2 Реализация

В этом разделе мы рассмотрим реализации классификатора на основе RBF для точек на плоскости (n = 2)

На рисунках ниже проиллюстрирована результаты работы RBF-классификатора.


Рис.2: учебный набор	Рис.3: тест


Рис.4: результат работы RBF

На рисунках ниже проиллюстрирована работа ЕМ-алгоритма, который восстанавливает смесь плотностей.



Рис.5: результат ЕМ для первого класса	Рис.6: результат ЕМ для второго класса


Рис.7: результат ЕМ для третьего класса

Реализация в системе Octave [ здесь ].

Список литературы

[1] Воронцов К.В. Статистические методы классификации – http://shad.yandex.ru/lectures/machine_learning.xml

[2] GNU Octave – http://www.gnu.org/software/octave/

При использовании материалов этого сайта, пожалуйста вставляйте в свой текст ссылку на мою статью.