Skip to content

Instantly share code, notes, and snippets.

View HirofumiYashima's full-sized avatar

HirofumiYashima HirofumiYashima

  • (a data science consulting venture company)
  • Tokyo, Japan
View GitHub Profile
@HirofumiYashima
HirofumiYashima / (R言語) 年月日の並びが不規則な日次データ( 土日祝日分の行が抜けている等 ) を、365日 抜けのない日次データに加工するスクリプト
Created May 9, 2014 06:28
データ欠落日のある日次データオブジェクトに、欠落日の行(年月日列以外のカラム値 0ゼロ)を一括挿入するR言語スクリプト
【問題設定】
データ欠落日のある日次データオブジェクトに、欠落日の行(年月日列以外のカラム値 0ゼロ)を一括挿入するR言語スクリプト
(データ例)
   <データ期間> 1980年1月1日~2013年12月31日
<データ欠落日> 1980年1月1日, 1980年1月2日,1980年1月7日, 1980年1月8日,1980年1月9日・・・
   <データ形式> (1列目) YYYY-MM-DD , (2列目) 数値 ※カンマ区切り
【欠落行(欠落日のデータ行)を一括挿入する方法】
@HirofumiYashima
HirofumiYashima / 【R言語】 日次データオブジェクトに、曜日列を挿入する
Created May 9, 2014 08:44
R言語を用いて、日経ウェブサイトから日経平均株価の日次データを取り込み、年月日列(1列目)と終値列(2列目)の間に、曜日列を挿入するデータ加工を行うスクリプト例
Qiita アップロード先 URL
http://qiita.com/HirofumiYashima/items/f2b39ca1556c809e00d3
#### ウェブサイト「日経平均プロフィル 日経の指数情報サイト」で公開されている日経平均株価の日次データファイルをRに取り込む
address <- "http://indexes.nikkei.co.jp/nkave/historical/nikkei_stock_average_daily_jp.csv"
nikkei225 <- read.csv(file=url(address), header=TRUE, sep=",")
#### データの冒頭を確認。
@HirofumiYashima
HirofumiYashima / Python 2.7
Last active August 29, 2015 14:14
Python のリスト内包表記に、if ~ だけでなく、else ~ を付ける方法 ref: http://qiita.com/HirofumiYashima/items/0e5fcebd083bae1a78a2
[x if type(x)!=int else x**2 for x in data_list_2]
@HirofumiYashima
HirofumiYashima / Python2.7
Created February 8, 2015 03:44
Python で、NULL や n.a, N.A, 空欄 を含んだ 数値データ のリスト を、数値要素 だけ パーセント表示 に変えて、それ以外の要素はもとの値のまま変えないで出力して、新しいリストを得るコード例 ref: http://qiita.com/HirofumiYashima/items/96d12e215125bebc207c
from decimal import Decimal
import types
data_lit_3 = [0.01, 0.07, 'NULL', 0.08, 'na', '']
['%g%%' % y if type(y)==Decimal else y for y in [Decimal(str(x))*Decimal('100') if type(x)==float else x for x in data_list_3]]
@HirofumiYashima
HirofumiYashima / Python 2.7
Last active August 29, 2015 14:15
Python の zip( ) は、3つ以上のシーケンス・オブジェクトでも、同時にループできる ~4つまでテストして、成功した件 ref: http://qiita.com/HirofumiYashima/items/d19fe66ffd41a76edb9b
[a+b+c+d for (a, b, c,d) in zip(list1, list2, list3, list4)]
@HirofumiYashima
HirofumiYashima / file0.txt
Last active August 29, 2015 14:15
プログラミング言語別の 市場ニーズ 調査法 ① ~ 情報源 Paiza ref: http://qiita.com/HirofumiYashima/items/00890954bbce4df056e3
1-1.(例)数学(「圏論」)の世界構造をコードに表現できる関数型言語を極めたい
1-2. アーティスト向けの言語、Processing で、グラフィカルな表現を愉しみたい
1-3.メモリ容量には制約があるけど、手元の小さなデータで、最新の機械学習・データ解析のアルゴリズム提唱論文を実装できる、R 言語であれこれデータの挙動を試したい
@HirofumiYashima
HirofumiYashima / Python 2.7
Last active August 29, 2015 14:15
Python で、None を含む リスト の要素の総和を求める方法 ref: http://qiita.com/HirofumiYashima/items/bafa1acc074b8f4a9236
filter(None, [1,2,3,None])
sum(filter(None, [1,2,3,None]))
@HirofumiYashima
HirofumiYashima / Python 2.7
Last active August 29, 2015 14:15
(解決済み:原因はコード1行漏れ)Python から Gmail にメール送信 拒否される件 ~Gmail アカウント設定したのになぜ? ref: http://qiita.com/HirofumiYashima/items/1b24397c2e915658c984
#!/Usr/bin/env python
# -*- coding: utf-8 -*-
import smtplib
from email.mime.text import MIMEText
class sendGmail:
username, password = 'hirofumi.yashima2012@gmail.com', 'XXXXX'
def __init__(self, to, sub, body):
@HirofumiYashima
HirofumiYashima / bash
Created February 12, 2015 04:12
Ubuntu 14.04 の .bash_profile ファイル のファイル名 は、.profile に変わっていた件 ref: http://qiita.com/HirofumiYashima/items/4b1db4f05fc11d160b4e
sudo find .profile
@HirofumiYashima
HirofumiYashima / Python 2.7
Last active August 29, 2015 14:15
Python で 日時データ・オブジェクトを得るには、Pandas の pd.date_range() で作成した後で型変換すると簡単 ref: http://qiita.com/HirofumiYashima/items/883368095d45590de11a
[x for x in str_date_list]