td_intern otto

cv1_dataset.sql

-- トレーニングデータに乱数を入れる
INSERT OVERWRITE TABLE training_with_rnd
  select *, rand(1) as rnd
  from training;

-- rnd が0.3 以上のものをトレーニングデータ
INSERT OVERWRITE TABLE train_cv
  select *
  from training_with_rnd where rnd >= 0.3;

-- rnd が0.3 未満のものを検証用データ
INSERT OVERWRITE TABLE test_cv
  select *
  from training_with_rnd where rnd < 0.3;