Да, да, Опять начал вести блог. Много лет назад уже вел, было интересно, даже не знаю почему перестал. Может мотивация была какая-то другая. Сейчас же я хочу вести блог просто чтобы делиться тем, что мне интересно; чтобы не забывать и возвращаться к интересным темам.

Например, сейчас мне интересны БЯМ (Большие Языковые Модели, LLMs или Large Language Models). Интересно понять, как они устроены, как воссоздать самому хотя бы на уровне, достаточном для понимания работы их базовых алгоритмов.

Поэтому иногда тут будут примеры кода, типа такого:

import numpy as np

# 1. Наш мини-словарь и правильные пары (контекст -> цель)
# Попробуем угадать глагол по маркеру времени
data = [
    ("вчера", "сделал"),
    ("давно", "сделал"),
    ("завтра", "сделает"),
    ("скоро", "сделает")
]

# Инициализируем эмбеддинги (случайные числа от -1 до 1)
# Для наглядности сделаем размерность вектора равной 1
embeddings = {
    "вчера": [0.2], "давно": [-0.4],
    "завтра": [0.6], "скоро": [-0.1],
    "сделал": [0.5], "сделает": [-0.3]
}

lr = 0.1 # Скорость обучения (Learning Rate)
# 
# Продолжение следует...

Подписывайтесь, надеюсь всем будет интересно! ))