GINK03

lightgbmでkfoldする

対応するデータタイプ

• pandas dataframe
• numpy

対応していないデータタイプ

• scisparseのhstack(連結)したやつ
• 解決法は後述

GINK03

リンクが全く無いので補足

https://console.cloud.google.com/compute/metadata

ここからプロジェクト全体のSSHを追加できる

GINK03

~@Hatsuzuki:~$ sudo dpkg -i /var/cache/apt/archives/linux-aws-tools-4.15.0-1009_4.15.0-1009.9_amd64.deb
(データベースを読み込んでいます ... 現在 166377 個のファイルとディレクトリがインストールされています。)
.../linux-aws-tools-4.15.0-1009_4.15.0-1009.9_amd64.deb を展開する準備をしています ...
linux-aws-tools-4.15.0-1009 (4.15.0-1009.9) を展開しています... 
dpkg: アーカイブ /var/cache/apt/archives/linux-aws-tools-4.15.0-1009_4.15.0-1009.9_amd64.deb の処理中にエラーが発生しました (--install):
 '/usr/lib/libcpupower.so.4.15.0-1009' を上書きしようとしています。これはパッケージ linux-azure-tools-4.15.0-1009 4.15.0-1009.9 にも存在します
dpkg-deb: エラー: ペースト subprocess was killed by signal (Broken pipe)
処理中にエラーが発生しました:
 /var/cache/apt/archives/linux-aws-tools-4.15.0-1009_4.15.0-1009.9_amd64.deb

GINK03

change date in ubuntu.

NTPを止める

# timedatectl set-ntp false

Dateを変更

# date +%Y%m%d -s "20190523"

GINK03

このようにする

$ bq --location=US extract 'bigquery-public-data:usa_names.usa_1910_2013' gs://adhoc-bq/her.csv 

ローカルに出力できない

GINK03

$ sudo apt install pigz

$ tar -I pigz -cf ${TARGET}.tar.gz ${SOURCE}

コア数の数だけスレッドが立つが、たいてい、ディスクが間に合ってないのでSSD、nvmeなどを使う

GINK03

-- Feature engineering BigQuery SQL queries for the kaggle talkingdata competition by tkm2261
-- it may acheve 0.9823 on the public LB with simple GBDT.

-- destination table: takling.train_test
SELECT
null as click_id,
ip, app, device, os, channel, click_time, attributed_time, is_attributed, timediff, year, month, day, dayofweek, hour, minute, second
FROM
`talking.train`
UNION ALL

GINK03

@Ikazuchi:/usr/lib/python3/dist-packages$ sudo cp apt_pkg.cpython-35m-x86_64-linux-gnu.so apt_pkg.so

GINK03

例えば踏み台を利用して一気に透過的にパスする

sshpass -p $SSHPASS ssh -o ProxyCommand='sshpass -p '"${SSHPASS}"' ssh -W %h:%p '${SONET}'' 192.168.14.17

Jupyterなどのユーザアプリとマップする

sshpass -p $SSHPASS ssh -L 8888:localhost:8888 -o ProxyCommand='sshpass -p '"${SSHPASS}"' ssh -L 8888:localhost:8888 -W %h:%p '${SONET}'' 192.168.14.17

GINK03

import concurrent.futures 

import re

import random

import numpy as np

import json