Skip to content

Instantly share code, notes, and snippets.

View shu-yusa's full-sized avatar

Shusaku Yusa shu-yusa

  • Tokyo, Japan
View GitHub Profile
@shu-yusa
shu-yusa / heroku.md
Created September 24, 2017 06:27
Heroku

Heroku tutorial

Prerequisite

  • a free Heroku account.
  • Python3.6.
  • pipenv installed locally. If not, install by pip install pipenv.
  • Postgresql installed locally. If not, install by brew install postgresql.

Setup

Install Heroku CLI from Getting Started on Heroku with Python | Heroku Dev Center.

Use PostgreSQL in mac using docker

Create docker container.

docker run --name some-postgres -e POSTGRES_PASSWORD=mysecretpassword -p 5432:5432 -d postgres

Install postgresql client into mac.

brew install postgresql
@shu-yusa
shu-yusa / file0.txt
Last active June 14, 2018 16:16
[TensorFlow] MirroredStrategyを用いて複数GPU計算を行う ref: https://qiita.com/shu-yusa/items/e93e934a14849541de78
distribution = tf.contrib.distribute.MirroredStrategy()
config = tf.estimator.RunConfig(train_distribute=distribution)
classifier = tf.estimator.Estimator(model_fn=model_fn, config=config)
  • ヒアドキュメントは変数がパースされる. Nowdocはされない. const属性の定数の代入にNowdocを使える.

  • unset()で変数の割当を解除すると、それ以後その変数を参照したとき "未定義の変数"としてエラー(Notice)が発生するのに対し、nullの代入された変数は 変数としては定義しているものとして扱われる.

  • (float)'15.33foo' -> 15.33が返る

Software Engineering Radio Episode #417

Alex Petrov on Database Storage Engines

Database Internals: A Deep Dive into How Distributed Data Systems Workの著者がゲスト。書籍の内容をもとに、データベースの内部についてトーク。

  • Q. ストレージエンジンとは?
    • A. データの保存を助けるもの
    • Q. ストレージエンジンは交換可能(プラガブル)?
  • A. そうだとよいと思っている。実例としてはMongoDBで使われているWiredTiger、Cassandraで使われているRocksDBなど。

fukabori.fm #8

8. AWS Aurora、GCP Spannerへ辿り着くまでのDBの進化

  • 70年代 メモリが高価(1MB 100万円)でハードディスクが比較的安価(100MB 数十万円)の時代
    • バッファに乗り切らないデータをハードディスクに書き戻さないといけない。しかし復旧時にもトランザクションに矛盾を起こしてはいけないという課題があった。
    • 80年代にIBMがARIESを作り、その後の標準的な実装となった.
    • ARIESではログの仕方、バッファプールの仕方、リカバリの仕方は密結合になる。ARIESはSteal/No-forceの組み合わせでログを取る。
  • Steal: トランザクションをコミットする前にディスクにフラッシュすることを許容する。リカバリの際には、未コミットだけどフラッシュされたトランザクションはundoする
@shu-yusa
shu-yusa / coverage_markdown.sh
Last active July 6, 2022 02:16
Convert Python coverage output to GitHub Actions job summary
#!/bin/sh
## https://docs.github.com/en/actions/using-workflows/workflow-commands-for-github-actions#adding-a-job-summary
repo_url=https://github.com/your-user-id/your-repository/blob
branch=master
coverage report | sed "1,3 s/-\+/--|--|--|--/g" | \
sed "/-\{3\}/d"| \
sed "0,/TOTAL*/ s/ \+/|/g" | \
sed "0,/TOTAL*/ s/^/|/g" | \
sed "0,/TOTAL*/ s/$/|/g" | \
sed "1i # Test Coverage" | \