Skip to content

Instantly share code, notes, and snippets.

@jarutis
Created May 10, 2015 20:47
Show Gist options
  • Save jarutis/59a4cfc766d95058151e to your computer and use it in GitHub Desktop.
Save jarutis/59a4cfc766d95058151e to your computer and use it in GitHub Desktop.
prezentacija

FDA taikymo galimybės Vinted platformoje

Apie mane

Apie mane

  • Baigiau magistrantūra 2009.
  • Darbo tema “Nestabilumo modeliavimas finansų rinkose”, vadovas prof. A. Račkauskas.
  • 4 metai analizavau akcijas mažam norvegų investiciniam banke.
  • 1 metai konstravau bankroto tikimybės modelius DNB klientam.
  • Nuo 2013 metų pabaigos dirbu Vinted.
  • 2013 įstojau į doktorantūrą pas prof. A Račkauską.

Vinted

Vinted portalas

img/vinted.png

Misija

img/vinted.pdf

“Make second hand the first choice worldwide”

Ką veikia Vinted

  • Orientuota išimtinai į merginas.
  • El. platforma kur galima keistis, parduoti drabužius.
  • > 2 mln. aktyvių narių.
  • Veikla 7 šalyse, įskaitant USA.
  • Šiuo metu rinkoje yra ~21 mln. rūbų.
  • Apie 30 000 sandorių per dieną.

Duomenų surinkimas

Duomenys

  • Iki 19 mlrd. įvykių per mėnesį.
  • Iki 700 mln. įvykių per dieną.
  • Įvykiai papildomi duomenimis iš
    • aplikacijos duomenų bazių (pvz. tranzakcijų duomenys);
    • trečių šalių duomenimis (Facebook ads api, Zendesk api, adjust.io ir t.t.);
    • importuojamais duomenimis iš csv failų.

Įvykių pavyzdžiai

  • user.open.app
  • user.view.screen
  • user.favorite.item
  • user.follow.brand
  • user.follow.user
  • list.show.item
  • user.filter.items
  • user.start.conversation
  • sharing.item.share
  • seller.make.offer
  • buyer.buy

Duomenų apdorojimas

Klasteris

  • 38 serverių klasteris, atviro kodo programos pritaikytos paskirstytiems skaičiavimams
  • Dažniausiai duomenys agreguojami iki lengviau apdorojamo kiekio (mln. eilučių vietoj mlrd.)
  • Šiuo metu naudojami:
    • naujo aplikacijos funkcionalumo testavimui (A/B testai);
    • verslo ataskaitų generavimui;
    • add hoc verslo klausimų atsakymui.

Įrankiai

<img src=”file:img/scalding.png ” alt=”file:img/scalding.png ” />

file:img/hive.png

img/impala.png

Vinted populiacija

Aktualūs klausimai

  • Tikslas turėti didelę aktyvių narių populiaciją.
  • Kaip padidinti gimstamumą, minimizuoti mirtingumo lygi (migraciją).
  • Stebėti ar nauji nariai geresni/blogesni už senus.
  • Stebėti ar visi nariai nepablogėjo/nepagerėjo.

Gimstamumas

  • 2 naujų narių šaltiniai: marketingas ir viruliškumas.

img/fertility.png

Mirtingumas

img/mortality.png

R.J Hyndman išgyvenamumo modelis

Tikslas

  • Tikslas panaudoti FDA ir laiko eilučių modelius prognozuojant mirtingumą, gimstamumą, migraciją ir juos apjungti į bendrą populiacijos modelį.

Metodo apžvalga

  • Tegu \(y_t(x)\) yra empirinio gimstamumo ar mirtingumo lygio logaritmas amžiui \(x\), laiko momentu \(t\).
  • Tariame kad egzistuoja glodi funkcija \(f_t(x)\) kuria stebime diskrečiuose taškuose \(x\).
  • Tada mūsų stebėjimai yra \({x_i, y_t(x_i)}, t = 1, …, n, i = 1,…,p\) kur

\[y_t(x_i) = f_t(x_i) + σ_t(x_i)εt,i, \tag{1}\] \(εt,i\) yra nepriklausomi \(∼ N(0,1)\), \(σ_t(x_i)\) leidžia variacijai priklausyti nuo laiko \(t\) ir amžiaus \(x_i\).

Metodo apžvalga (tęsinys)

  1. Randame \(f_t(x), ∀ t\, x_i\) naudodami neparametrinius suglodinimo metodus.
  2. Išskaidome gautas kreives bazinėmis funkcijomis naudojant sekanti modelį: \[f_t(x) = μ(x) + ∑k=1^K βt,k φ_k(x) + e_t(x), \tag{2}\] kur \(\u(x)\) yra \(f_t(x)\) vidurkis per metus, \({φ_k(x)}\) yra ortogonalios basinės funkcijos randamos principinių komponenčių metodu, \(e_t(x) ∼ N(0, v(x))\).

Metodo apžvalga (tęsinys)

  1. [@3] Laiko eilučių modeliu įvertiname \({βt,k}, k=1,…,K\).
  2. Prognozuojame koeficientus \({βt,k}, k=1,…,K\) norimam periodų kiekiui į ateitį.
  3. Naudodami prognozes kartu su (2) gauname prognozes \(f_t(x)\) ir \(y_t(x)\).
  4. Klaidų variacijos įverčiai iš (1) ir (2) naudojami surandant prognozės pasikliautinuosius intervalus.

R.J Hyndman gautų rezultatų apžvalga

R.J Hyndman prezentacija

Modelio taikymas mirtingumo prognozavimui

Mirtingumo funkcijos

img/logmortality.pdf

Suglodintos mirtingumo funkcijos

img/logmortalitysm.pdf

Funkcijų komponentės

img/components.pdf

Mirtingumo funkcijos prognozė

img/forecast.pdf

Paklaidos

img/residuals.pdf

Problema

Nariai prisikelia iš numirusių

  • Reikia atsižvelgti ir į tai kad narys gali sugrįžti po ilgo periodo neaktyvumo.

img/activity.png

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment