|
Vážení kolegovia,
pozývame Vás na prednášku bývalého študenta odboru EFM:
Jakub Konečný (University of Edinburgh):
Semi-Stochastic Gradient Descent and Massively Distributed Optimization,
ktorá sa uskutoční v stredu 21.10.2015 o 13.00 v posluchárni C na FMFI UK.
Na záver seminára Jakub porozpráva pár slov o Edinburghu a o tamojšom PhD
štúdiu - a rád odpovie na otázky.
Abstrakt prednášky:
V tomto talku uvediem koncept Empirical Risk Minimization, ktorý motivuje štruktúru mnohých problémov existujúcich v Machine Learningu, t.j. minimalizovať funkciu, ktorú vieme reprezentovať ako priemer veľkého množstva (n) iných funkcií. Predstavím nový algoritmus, S2GD (Semi-Stochastic Gradient Descent), ktorý v každej z niekoľkých epôch spočíta gradient celej funkcie, a veľký počet stochastických gradientov. Celková práca, ktorú algoritmus potrebuje na vrátenie ε-presného riešenia je ekvivalentná spočítaniu celého gradientu O((n/κ)log(1/ε))-krát, kde κ je condition number.
V duhej časti budem rozprávať o distribuovanom prostredí, v ktorom žiaden počítač nemá kapacitu na to, aby pracoval s celou funkciou osamote. V takom prostredí je často komunikácia medzi počítačmi, typicky v rámci datacentra, časovo náročnejšia ako samotné výpočty. Predstavím projekt mojej letnej stáže v Google, Massively Distributed Optimization, ktorý poukazuje na praktickú potrebu vytvorenia nových algoritmov, ktoré budú flexibilné a výpočtovo použiteľné v inom prostredí ako v datacentrách, napríklad na mobilných zariadeniach používateľov. Zároveň poukážem na prirodzené rozšírenie S2GD do distribuovaného prostredia, ktorý ponúka takúto flexibilitu.
Tešíme sa na Vašu účasť,
organizátori
|
Prihlásenie
Registrovať
FAQ
Hľadať
