О методе кодирования слов word2vec.

1. Введение

2. О способе кодирования слов

Для построения "осмысленного" пространства для слов был разработан метод word2vec [3], который отображает слова $W$ в векторное пространство $V\subset \mathbb{R}^n$. $$ word2vec: W \rightarrow V $$ При этом, совместно употребляемые в тексте $T$ слова из $W$ отображаються в близкие (в смысле евклидовой метрики) точки пространства $V$. К тому же, над точками $V$ можно выполнять операции имеющие смысл в $W$. Приведём ниже пример. $$ word2vec[king] - word2vec[man] + word2vec[woman] \approx word2vec[queen] $$ Далее мы рассмотрим метод кодирования word2vec подробней.

3. word2vec

3.1 подготовка учебного набора

1. Очищаем входной текст $T$ от лишних символов (знаки препинания и т.п.).
2. Из очищенного текста $T$ собираем словарь $W$.
3. Для каждого слова $w_i \in T$ собираем контекст, т.е. набор слов $C_i\subset T$, удалённых от $w_i$ не более чем на $s$ позиций в последовательности слов $T$. $$ C_i = \{ w_j \in T : (i-s) \leq j \leq (i+s), j \neq i \} $$ иначе говоря - $C_i$ это слова $w_j\in T$ из $s$-окрестности слова $w_i\in T$
4. выполняем унитарное кодирование [4] (one-hot encoding) словаря $W$, т.е. каждому слову $w_i\in W$ ставиться в соответствие вектор $u_i \in U$ из нулей и одной единицы, длинна вектора $u_i$ равна размеру словаря $W$, позиция единицы в векторе $u_i$ соответствует номеру слова в словаре $W$.
5. заменяем слова в тексте $T$ и контекстах $C$ соответствующими кодами $P$ и $Q$ из $U$.

Pi:
0 0 1 0 0

Qi:
0 1 0 0 0
0 0 0 0 1
0 0 0 1 0
1 0 0 0 0
0 0 0 1 0

3.2 нейросеть word2vec

Рис 1: схема нейронной сети word2vec

Она состоит из трёх слоёв: размер первого слоя $X$ равен размеру словаря $W$ (длине векторов $U$), скрытый слой $H$ имеет линейную функцию активации, выходной слой $Y$ имеет функцию активации softmax, его размер равен размеру входного слоя $X$. $$ H = X\cdot Vi \\ Y = softmax(H\cdot Vo) $$ Конечный результат, который нас интересует, это матрица внутренних представлений $Vi$, для того чтобы её получить необходимо обучить нашу сеть.

Для обучения сети word2vec применяют метод простого градиентного спуска [7] и одну из двух стратегии - CBOW или Skip-Gram.

• Skip-Gram [5] - по слову восстанавливаем контекст.
• CBOW (Continuous Bag of Words) [6] - по контексту восстанавливаем слово.

3.3 Skip-Gram

Рис 2: схема нейронной сети word2vec (Skip-Gram )

Вычисления изменения весов по методу градиентного спуска в данном случае выглядит следующим образом (рис.2).

1. На вход сети подаётся код слова $P$, вычисляем состояние скрытого слоя $H$ $$ H = P \cdot V_i $$
2. далее вычисляем выход сети $O$, $$ U = H\cdot V_o \\ O = softmax(U) $$
3. для каждого слова контекста $Q_j$ и входа $P$,
   вычисляем ошибку $D$ на выходе сети $O$ и изменение весов сети $\Delta Vo$, $\Delta Vi$. $$ D = O - Q_j \\ \Delta Vo_j = H^T \cdot D \\ \Delta Vi_j = D^T \cdot P \cdot Vo^T ; $$
4. вычисляем суммарное изменение весов сети $\Delta Vo$, $\Delta Vi$. $$ \Delta Vo = \sum_j \Delta Vo_j \\ \Delta Vi = \sum_j \Delta Vi_j $$

3.4 CBOW

Рис 3: схема нейронной сети word2vec (CBOW)

Вычисления изменения весов по методу градиентного спуска в данном случае выглядит следующим образом (рис.3).

1. На вход сети подаётся усреднённое значение контекста $Q$, вычисляем состояние скрытого слоя $H$ $$ H = \frac{1}{c}\sum_{j=1}^c Q_j \cdot Vi $$
2. далее вычисляем выход сети $O$, $$ U = H\cdot V_o \\ O = softmax(U) $$
3. для каждого слова контекста $Q_j$ и кода слова $P$,
   вычисляем ошибку $D$ на выходе сети $O$ и изменение весов сети $\Delta Vo$, $\Delta Vi$. $$ D = O - P \\ \Delta Vo = H^T \cdot D \\ \Delta Vi = \sum_j D^T \cdot Q_j \cdot Vo^T ; $$

4. Реализация

1. кодировщик - на вход поступает очищенный текст, на выходе имеем кодированные наборы слов текста $P$ и контекстов $Q$.
2. обучение сети - на вход поступает учебный набор $P,Q$, на выходе имеем матрицу представлений $Vi$
3. тест результата - на вход поступает словарь и матрица представлений $Vi$, на выходе имеем случайно выбранные слова из словаря и наиболее близкие к ним слова по word2vec.

Ниже представлен результат работы word2vec, сеть была обучена на тексте в 556 слов, словарь состоит из 355 слов, скрытый слой имеет размер 30 нейронов. В левой колонке таблицы находятся случайно выбранные слова из словаря, в правой колонке - слова наиболее близкие к заданному.

Полный текст программы на можно скачать [ здесь].

В заключении статьи надо ещё упомянуть о готовых (библиотечных) реализациях word2vec. Для языка Python существует реализация word2vec в виде модуля gensim (http://radimrehurek.com/gensim/), а также предобученные на значительных массивах текстов базы word2vec, в том числе и для русского языка (http://rusvectores.org/ru/models/).

Пример Python-программы использования gensim можно скачать [ здесь].

Литература

1. Е.С.Борисов Автоматизированная обработка текстов на естественном языке, с использованием инструментов языка Python
   - http://mechanoid.kiev.ua/ml-text-proc.html
2. Е.С.Борисов О методах обучения многослойных нейронных сетей прямого распространения.
   - http://mechanoid.kiev.ua/neural-net-backprop.html
3. Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, Jeffrey Dean
   Distributed Representations of Words and Phrases and their Compositionality
   - https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf
4. Унитарный код - http://ru.wikipedia.org/wiki/Унитарный_код
5. Alex Minnaar Word2Vec Tutorial Part I: The Skip-Gram Model, 12 April 2015
   - http://alexminnaar.com/author/alex-minnaar.html
6. Alex Minnaar Word2Vec Tutorial Part II: The Continuous Bag-of-Words Model, 18 May 2015
   - http://alexminnaar.com/author/alex-minnaar.html
7. Е.С.Борисов Обучение нейронных сетей градиентными методами первого порядка.
   - http://mechanoid.kiev.ua/neural-net-backprop2.html
8. Xin Rong word2vec Parameter Learning Explained
   - http://arxiv.org/abs/1411.2738