Эмбеддинги: слова как точки в пространстве

Зачем это нужно

Компьютеру нужны числа, а не строки. Если слово — это просто индекс в словаре, модель не видит, что «cat» похоже на «dog». Эмбеддинги дают словам координаты, и похожие слова оказываются рядом.

Как это работает

Опора — дистрибутивная гипотеза: слова, которые встречаются в похожих контекстах, имеют похожие значения. Возьмём неизвестное слово «ongchoi» в предложениях «ongchoi is delicious sauteed with garlic» и «ongchoi leaves with salty sauces». Рядом стоят «garlic», «salty», «rice», как у «spinach» и «chard». Значит, это, скорее всего, листовая зелень.

Вектор слова — точка в многомерном пространстве. Плотные эмбеддинги обычно имеют от 50 до 1000 измерений, а значения в них вещественные и могут быть отрицательными.

Пример

В 1957 году Осгуд описал слова тремя числами: валентность, возбуждение, доминирование. Слово heartbreak получает вектор [2.5, 5.7, 3.6]. Так слово впервые представили как точку в пространстве.

Что запомнить

• Эмбеддинг — это вектор слова, выученный из текста.
• Слова с похожими контекстами оказываются рядом.
• Статические эмбеддинги дают одно фиксированное представление на слово; контекстные появятся позже.

Где читать дальше

• SLP3, гл. 5 «Embeddings», разделы 5.1–5.2