- poznámky - bacha na čísla verzí u Pythonu a balíčků - používat pole v numpy - lineární regrese - dvě možnosti - explicitní - pozitiva: přesnost - negativa: outliers dělají problémy - SGD - pozitiva: méně paměti, regularizace - negativa: globální optimum nezaručeno - SGD + momentum - https://distill.pub/2017/momentum/ - AdaGrad - AdaDelta - Adaptive Moment Estimation (ADAM) - co máme - data $(x,y)\in\mathbb R^2$ - model $f(x)=y,\;f:\mathbb R\to \mathbb R$ - při lineární regresi konkrétně $y=ax+b$ - parametry $\theta=(a,b)\in\mathbb R^2$ - predikce $f_\theta(x)=y,\;f:\mathbb R^3\to \mathbb R$ - loss $L(\theta,(x,y)),\;L:\mathbb R^4\to \mathbb R$