Skip to content

Instantly share code, notes, and snippets.

View umihico's full-sized avatar

Umihiko Iwasa umihico

99 followers · 5 following
View GitHub Profile
@umihico
umihico / get_image_path_and_current_cell.bas
Last active May 18, 2018 21:51
エクセルシート上の画像のファイル名とセル位置の隣に入力し保存するマクロ
Attribute VB_Name = "Module1"
Sub get_image_path_and_current_cell()
Dim pic As Shape, TCht As Object
Dim ACWidth As Long, ACHeight As Long
For Each pic In ActiveSheet.Shapes
Debug.Print (pic.AlternativeText)
Range(pic.TopLeftCell.Address).Offset(0, 1) = pic.AlternativeText
ACWidth = pic.Width
ACHeight = pic.Height
@umihico
umihico / clone_all.sh
Last active October 11, 2018 04:01
python3, selenium, tmux, japanese fonts and timezone, github, bitbucket. aws linux ec2インスタンス起動時用
mkdir -p umihico_gist
git clone git@github.com:umihico/aws.git ./aws
git clone git@github.com:umihico/calc_effective_keymap.git ./calc_effective_keymap
git clone git@bitbucket.org:umihico/dj_webserver.git ./dj_webserver
git clone git@gist.github.com:96b18f481ebc41c8df6e5c54b19ccf78.git ./google_search_backup
git clone git@github.com:umihico/ipo_autoapplier.git ./ipo_autoapplier
git clone git@github.com:umihico/passpacker.git ./passpacker
git clone git@bitbucket.org:umihico/crowdworks.git ./crowdworks
git clone git@bitbucket.org:umihico/private.git ./private
git clone git@bitbucket.org:umihico/scrap_ochan.git ./scrap_ochan
@umihico
umihico / get_related_keywords.py
Last active August 12, 2018 12:15
return related keywords http://www.related-keywords.com/
@umihico
umihico / del_all_ec2.sh
Last active June 2, 2021 05:05
aws cliを使ってec2の複数を起動してセットアップしたり、落としたり。
#!/bin/bash -eu
all_ids=`aws ec2 describe-instances --query "Reservations[].Instances[].InstanceId" --output text | tr '\t' ' '`
echo terminating... $all_ids
aws ec2 terminate-instances --instance-ids $all_ids --query "TerminatingInstances[].CurrentState[].Name" --output text
@umihico
umihico / get_stock_metadata.py
Last active July 10, 2018 23:40
東京証券取引所のdata_j.xls「東証上場銘柄一覧（20xx年x月末）」からデータ取得
from io import BytesIO
from requests import get
from umihico_commons.xlsx_wrapper import _load_xlsx
import xlrd
def get_stock_metadata():
url = "https://www.jpx.co.jp/markets/statistics-equities/misc/tvdivq0000001vg2-att/data_j.xls"
response = get(url)
with BytesIO(response.content) as f:
@umihico
umihico / get_stock_info_yahoo.py
Last active July 12, 2018 08:09
yahooファイナンスから銘柄情報を取得する
def gen_url(stock_code="8604"):
fundamental_url = f"https://profile.yahoo.co.jp/fundamental/{stock_code}"
consolidate_url = f"https://profile.yahoo.co.jp/consolidate/{stock_code}"
independent_url = f"https://profile.yahoo.co.jp/independent/{stock_code}"
urls = [fundamental_url, consolidate_url, independent_url]
return urls
def get_stock_info_yahoo(lxmltrees):
@umihico
umihico / get_investment_urls_wikipedia.py
Last active July 10, 2018 11:23
各上場企業のwikipediaのurlを取得する
from umihico_commons.chrome_wrapper import Chrome
def get_investment_urls_wikipedia():
parent_url_dict = {
"札証上場企業": "https://ja.wikipedia.org/wiki/Category:%E6%9C%AD%E8%A8%BC%E4%B8%8A%E5%A0%B4%E4%BC%81%E6%A5%AD",
"ジャスダック上場企業": "https://ja.wikipedia.org/wiki/Category:%E3%82%B8%E3%83%A3%E3%82%B9%E3%83%80%E3%83%83%E3%82%AF%E4%B8%8A%E5%A0%B4%E4%BC%81%E6%A5%AD",
"東証PRO上場銘柄": "https://ja.wikipedia.org/wiki/Category:%E6%9D%B1%E8%A8%BCPRO%E4%B8%8A%E5%A0%B4%E9%8A%98%E6%9F%84",
"東証一部上場企業": "https://ja.wikipedia.org/wiki/Category:%E6%9D%B1%E8%A8%BC%E4%B8%80%E9%83%A8%E4%B8%8A%E5%A0%B4%E4%BC%81%E6%A5%AD",
"東証二部上場企業": "https://ja.wikipedia.org/wiki/Category:%E6%9D%B1%E8%A8%BC%E4%BA%8C%E9%83%A8%E4%B8%8A%E5%A0%B4%E4%BC%81%E6%A5%AD",
@umihico
umihico / get_info_wikipedia.py
Last active July 11, 2018 02:48
wikipedia単ページのスクレイピング
def get_info_wikipedia(lxml_htmltree):
result = {}
title = lxml_htmltree.xpath(
"//h1[@id='firstHeading']")[0].text_content()
result = {"title": title}
result.update(_get_righttop_infobar(lxml_htmltree))
return result
@umihico
umihico / debug.log
Last active August 13, 2018 09:02
有名どころプロキシサイトから匿名プロキシ取得 https://youtu.be/BmoM4pO7_Os
[0715/123734.075:ERROR:process_reader_win.cc(123)] NtOpenThread: {アクセス拒否} プロセスはオブジェクトのアクセスを要求しましたが、アクセス権が与えられていません。 (0xc0000022)
[0715/123734.077:ERROR:exception_snapshot_win.cc(88)] thread ID 3176 not found in process
[0715/123916.407:ERROR:process_reader_win.cc(151)] SuspendThread: アクセスが拒否されました。 (0x5)
[0715/123916.409:ERROR:process_reader_win.cc(151)] SuspendThread: アクセスが拒否されました。 (0x5)
[0715/123916.409:ERROR:process_reader_win.cc(151)] SuspendThread: アクセスが拒否されました。 (0x5)
[0715/123916.409:ERROR:process_reader_win.cc(151)] SuspendThread: アクセスが拒否されました。 (0x5)
[0715/123916.409:ERROR:process_reader_win.cc(151)] SuspendThread: アクセスが拒否されました。 (0x5)
[0715/123916.410:ERROR:process_reader_win.cc(151)] SuspendThread: アクセスが拒否されました。 (0x5)
[0715/123916.410:ERROR:process_reader_win.cc(151)] SuspendThread: アクセスが拒否されました。 (0x5)
[0715/123916.410:ERROR:process_reader_win.cc(123)] NtOpenThread: {アクセス拒否} プロセスはオブジェクトのアクセスを要求しましたが、アクセス権が与えられていません。 (0xc0000022)
@umihico
umihico / get_all_company_urls_wiki.py
Last active July 11, 2018 02:14
wikipedia上の日本企業全てのurlを取得する
from requests import get
from lxml import html
def get_all_company_urls_wiki():
base_url = "https://ja.wikipedia.org/wiki/%E6%97%A5%E6%9C%AC%E3%81%AE%E4%BC%81%E6%A5%AD%E4%B8%80%E8%A6%A7"
url_dict = {
"水産・農林の企業の一覧": "https://ja.wikipedia.org/wiki/%E6%97%A5%E6%9C%AC%E3%81%AE%E4%BC%81%E6%A5%AD%E4%B8%80%E8%A6%A7_(%E6%B0%B4%E7%94%A3%E3%83%BB%E8%BE%B2%E6%9E%97)",
"鉱業の企業の一覧": "https://ja.wikipedia.org/wiki/%E6%97%A5%E6%9C%AC%E3%81%AE%E4%BC%81%E6%A5%AD%E4%B8%80%E8%A6%A7_(%E9%89%B1%E6%A5%AD)",
"建設の企業の一覧": "https://ja.wikipedia.org/wiki/%E6%97%A5%E6%9C%AC%E3%81%AE%E4%BC%81%E6%A5%AD%E4%B8%80%E8%A6%A7_(%E5%BB%BA%E8%A8%AD)",