Skip to content

Instantly share code, notes, and snippets.

View sile's full-sized avatar

Takeru Ohta sile

380 followers · 8 following
  • Tokyo, Japan
View GitHub Profile
@sile
sile / multi_process_storage.py
Last active October 29, 2023 21:55
An Optuna storage that uses multiprocessing module for inter process communication
import copy
from datetime import datetime
import multiprocessing
from optuna import distributions # NOQA
from optuna.storages import base
from optuna.storages.base import DEFAULT_STUDY_NAME_PREFIX
from optuna import structs
from optuna import type_checking
@sile
sile / stars.md
Last active April 10, 2019 05:24
2019/04/10時点でのリポジトリのスター数

starzを使って集計:

$ starz sile
Total: 1030

jsone                      ★  173
libflate                   ★  59
gomoku                     ★  32
hash_ring                  ★  28
rustun                     ★  25
@sile
sile / README.md
Last active August 18, 2023 05:40
Optunaを使ったRocksDBのパフォーマンスチューニング

概要

  • Optunaというハイパーパラメータ最適化ツールを使って、RocksDB(組み込みDB・KVS)のパフォーマンスチューニングを試してみた際の結果メモ
    • 対象となるワークロードに対して、最適な性能を発揮するパラメータ群を自動で見つけ出すのが目的
  • 結果としては、デフォルトパラメータをそのまま使った場合に比べて、かなり良い性能が得られるパラメータ群を見つけることができた:
    • デフォルトでのベンチマークの所要時間: 372秒
    • Optunaによる最適化後のパラメータでの所要時間: 30秒

モチベーション

@sile
sile / README.md
Last active April 1, 2024 07:33
Optunaを使ってFFmpegのエンコードパラメータを最適化してみる

概要

  • Optunaというハイパーパラメータ最適化ツールを使って、FFmpegでの動画エンコードパラメータの最適化を試してみた結果のメモ
  • 具体的には、決められた制約(後述)下で、画質(SSIM)を最大化するようなパラメータ群を自動で見つけ出すのが目的
  • 結果としては、
    • 画質的には、FFmpegが提供しているプリセットの中で二番目に重いもの(slower)より若干良い程度のパラメータ群が見つかった
    • また、Optunaが見つけたパラメータ群の方がslowerに比べて、CPU負荷が小さかった

方針

@sile
sile / rfc_2113.md
Last active August 1, 2022 13:13
Rustの『RFC 2113: dynトレイト構文』の要約メモ
@sile
sile / rfc_1859.md
Last active July 9, 2021 09:20
Rustの『RFC 1859: Tryトレイト』の要約メモ
@sile
sile / rfc.md
Last active June 2, 2022 15:19
Rustの『RFC 2033: 実験的なコルーチン』の要約メモ
@sile
sile / 2141-alternative-registries.md
Last active October 14, 2017 15:50
Rustの「RFC 2141: cargo_alternative_registries」の要約メモ
@sile
sile / rust_memo.md
Last active April 3, 2019 04:47
2017年6月時点のRustの開発用メモ

2017年6月時点のRustの開発用メモ

注意

  • 特に最新動向を追ったりはしていないので、情報が古い可能性はある

インストール

@sile
sile / main.md
Last active June 30, 2019 20:32
『Brewer's Conjecture and the Feasibility of Consistent, Available, Partition-Tolerant Web Services』の要約

要約: 『Brewer's Conjecture and the Feasibility of Consistent, Available, Partition-Tolerant Web Services』

概要

  • 著者: Seth Gilbert、Nancy Lynch、発行年: 2002
  • いわゆる"CAP定理"の話:
    • 「分散環境では 一貫性(Consistency) と 可用性(Availability) と 分断耐性(Partition tolerance) の三つを同時に達成することはできない」
  • その不可能性の証明と、その制限を非同期環境および部分的同期環境でどう緩和するか、が述べられている