Biološki nevron

Naravni vzor za umetne mreže.

Predznanje: Nič razen radovednosti.

Vaši možgani vsebujejo približno 86 milijard nevronov. Vsak je živa celica, ki sprejema, obdeluje in posreduje električne ter kemične signale. Skupaj sestavljajo najpopolnejšo znano informacijsko napravo — in prav ta narava jih je leta 1943 navdahnila McCullochova in Pittsa pri snovanju prvega računalniškega modela.

Nevron je v osnovi preprost: čaka na dovolj signalov, nato pa sproži lasten signal naprej. Ta sproži ali ne narava je temelj vsega, kar sledi.

Ključna abstrakcija: seštevaj in sproži

Iz vsega tega biološkega stroja je mogoče izluščiti eno samo jedro: vzemi vse vhode, jim pripiši pomen (utež), jih seštej — in če vsota preseže prag, sproži signal naprej. To je jedro, ki ga je matematika pretvorila v perceptron.

Perceptron

Matematični model enega nevrona.

Predznanje: Osnovna algebra.

Frank Rosenblatt je leta 1957 definiral perceptron — matematični model enega nevrona. Njegova eleganca je v preprostosti: le peščica množenja, seštevanje in ena odločitev.

Matematična oblika

Uteži določajo, koliko vsak vhod prispeva k odločitvi. Odmik (bias) je prag, ki ga mreža sama nastavi. Aktivacijska funkcija prinaša nelinearnost.

Aktivacijske funkcije

Brez aktivacijske funkcije bi bila nevronska mreža zgolj linearna transformacija. Aktivacijska funkcija zlomi to omejitev in mrežam da zmožnost učiti se nelinearnih vzorcev.

Nevronska mreža

Plasti nevronov, ki skupaj rešijo probleme.

Predznanje: Poglavje 2.

En perceptron reši zgolj linearne probleme. Ko pa povežemo plasti perceptronov — izhodi ene plasti postanejo vhodi naslednje — dobimo stroj, ki se nauči poljubno zapletenih vzorcev.

Prednja propagacija

Ko pošljemo vhod skozi mrežo, se prednja propagacija odvija plast za plastjo:

Učenje

Gradientni spust in vzvratna propagacija.

Predznanje: Poglavje 3.

Nevronska mreža se »uči« tako, da prilagaja svoje uteži na podlagi primerov. Cilj je minimizirati razliko med napovedjo (ŷ) in pravilnim odgovorom (y). Ta razlika se meri s funkcijo izgube:

Gradientni spust

Funkcija izgube je površina v prostoru uteži. Gradientni spust iterativno išče njen minimum:

kjer je η stopnja učenja — kako velik korak naredimo v smeri negativnega gradienta.

Vzvratna propagacija

Da izračunamo gradient za vsako utež, uporabimo vzvratno propagacijo — verižno pravilo odvajanja, ki propagira gradient od izhoda nazaj k vhodom.

Transformer

Pozornostni mehanizem, ki je revolutioniral NJO.

Predznanje: Poglavje 4.

Do leta 2017 so naravni jezik obdelovala rekurentna omrežja (RNN). Njihova ključna omejitev: obdelava je bila zaporedna — vsak žeton je moral čakati na prejšnjega. Za dolge stavke so informacije iz začetka pogosto zbledele.

Vaswani in sodelavci so leta 2017 v prelomnem članku »Attention Is All You Need« predlagali transformer — arhitekturo, ki zaporednost popolnoma opusti in zamenja z mehanizmom pozornosti.

Mehanizem pozornosti

Vsak žeton neposredno pogleda na vse ostale in se odloči, kateri so zanj relevantni. Pozornost je formalizirana z matrikami Q (poizvedbe), K (ključi) in V (vrednosti):

Vložitve besed

Kako spremenimo besede v vektorje.

Predznanje: Poglavje 3.

Nevronska mreža dela s števili. Besede pa so nizi znakov. Vložitev besed (word embedding) vsaki besedi dodeli gost vektor — točko v večdimenzionalnem prostoru — tako da sta si podobni besedi geometrijsko blizu.

Aritmetika besed

Vložitve razkrijejo presenetljivo lastnost: semantični odnosi ustrezajo geometrijskim vektorjem. Slavni primer Word2Vec:

Tokenizacija

Preden besede spremenimo v vložitve, jih razdelimo na žetone — pogosto podbesedne enote:

Veliki jezikovni model

Predučenje, fine-tuning in RLHF.

Predznanje: Poglavja 5–6.

Veliki jezikovni model (VJM) je v svojem jedru transformer z milijardami parametrov, naučen na enem cilju: napovedati naslednji žeton. Da bi to zanesljivo storil v vseh kontekstih, mora razumeti slovnico, dejstva o svetu in logično sklepanje.

Tri stopnje nastanka VJM

Delujoč primer

Mini jezikovni model v Pythonu.

Predznanje: Vsa prejšnja poglavja.

Zgradili bomo bigramski jezikovni model — najpreprostejšo obliko jezikovnega modela, ki se nauči verjetnosti, da po danem žetonu sledi določen naslednji žeton. Koda dela brez posebnih knjižnic — le NumPy.

Korak 1: Tokenizacija na ravni znakov

import numpy as np

# Učno besedilo
text = "nevronska mreža se uči iz podatkov in generira besedilo"

# Slovar: vsak unikaten znak dobi svojo številko
chars = sorted(set(text))
vocab_size = len(chars)
stoi = {ch: i for i, ch in enumerate(chars)}
itos = {i: ch for ch, i in stoi.items()}

data = [stoi[ch] for ch in text]
print(f"Velikost slovarja: {vocab_size} znakov")

Korak 2: Model in učenje

class BigramModel:
    def __init__(self, vocab_size):
        self.W = np.random.randn(vocab_size, vocab_size) * 0.01

    def forward(self, x):
        x_onehot = np.zeros(vocab_size)
        x_onehot[x] = 1.0
        logits = self.W @ x_onehot
        exp_logits = np.exp(logits - logits.max())
        return exp_logits / exp_logits.sum()  # softmax

    def train_step(self, x, y, lr=0.1):
        probs = self.forward(x)
        x_onehot = np.zeros(vocab_size); x_onehot[x] = 1.0
        grad = np.outer(probs, x_onehot)
        grad[y] -= x_onehot               # verižno pravilo
        self.W -= lr * grad               # gradientni spust

model = BigramModel(vocab_size)
for epoch in range(500):
    for i in range(len(data) - 1):
        model.train_step(data[i], data[i+1], lr=0.05)

Preizkusite v brskalniku