Skip to content

Instantly share code, notes, and snippets.

@fddcddhdd
fddcddhdd / amazon_comic_scraping.php
Last active March 12, 2021 05:47
PHPでamazonのWebスクレイピングをしてみた。最新コミック未来と過去の30日以内を取得できた。
<?php
// 50ページ目(24冊✕50ページ=1200冊)までしか表示されなかった
for($i=1; $i < 50+1; $i++){
// コンテンツを取得
$ch = curl_init();
curl_setopt_array($ch, [
CURLOPT_URL => 'https://www.amazon.co.jp/s/?rh=n%3A465392%2Cn%3A%21465610%2Cn%3A466280%2Cn%3A2278488051%2Cp_n_publication_date%3A2285541051&sort=date-asc-rank&unfiltered=1&page=' . $i, // 未来30日以内
// CURLOPT_URL => 'https://www.amazon.co.jp/s/?rh=n%3A465392%2Cn%3A%21465610%2Cn%3A466280%2Cn%3A2278488051%2Cp_n_publication_date%3A82837051&sort=date-asc-rank&unfiltered=1&page=' . $i, // 過去30日以内
@fddcddhdd
fddcddhdd / master_check.php
Last active September 14, 2016 02:14
郵便番号などのマスタと、手入力された郵便番号のリストを比較して、マスタに存在しない値をリストアップしてくれるWebアプリ
<?php
// サンプル初期値を入れておく。POSTされた値があったら、それを使う
if(empty($_POST['parents'])){
$posted_parents = "100-0001\n100-0002\n100-0003";
}else{
$posted_parents = $_POST['parents'];
}
if(empty($_POST['children'])){
$posted_children = "100-0001\n100-0002\n100-0003\n123-4567";
@fddcddhdd
fddcddhdd / echo_reply.js
Last active November 10, 2022 14:17
オウム返し返信をしてくれるtwitterボットをnode.jsで作ってみた。 ツイートに@相手のユーザIDを含ませるだけでは返信にならないので、パラメータに相手のツイートIDを指定する
// twitterモジュールを読み込み( npm install twitter )
var twitter = require('twitter');
// アプリ登録時に取得したkeyを入れてOAuth認証し、初期化
var client = new twitter({
consumer_key: 'xxxx',
consumer_secret: 'xxxxx',
access_token_key: 'xxxxx',
access_token_secret: 'xxxxx'
});
@fddcddhdd
fddcddhdd / pulldown.html
Created January 5, 2016 08:56
jQueryで第一希望~第三希望までの連動プルダウンを作ってみた(初期値あり、上位の希望が選ばれたら下位プルダウンは自動的に選択)
<!doctype html>
<html lang="ja">
<head>
<meta charset="UTF-8" />
<title>連絡先の第三希望まで選択肢を減らしていくサンプル</title>
<script src="http://code.jquery.com/jquery-1.11.2.min.js"></script>
<script>
$(function() {
$("#優先順位1").change(function() {
@fddcddhdd
fddcddhdd / age_update.bat
Last active October 19, 2015 08:28
kintoneレコードで年齢が毎日更新されるwin7用バッチファイルを作ってみた。 http://www.messiahworks.com/archives/9352
@echo off
echo %time%
set APP_NO=
set SUB_DOMAIN=
set API_TOKEN=
rem 会員管理アプリから全レコードをダウンロード
echo kintone downloading...
cli-kintone.exe -a %APP_NO% -d %SUB_DOMAIN% -t %API_TOKEN% -c "$id,年齢" -e sjis > download.csv
@fddcddhdd
fddcddhdd / kintone_chart.js
Last active September 9, 2015 02:02
chart.jsを使ったkintoneレコードの独自グラフ生成をやってみた
/*
chart.jsを使ったkintoneレコードのグラフ化
http://www.messiahworks.com/archives/9005
kintoneデフォルトのグラフ化機能に比べて、これを使うメリット
メリットその1、過去の年月と比較できる(デフォルトだと日付順にしかグラフ化できない)
メリットその2、データのない月(月単位はともかく、売上等など日単位だとレコードが生成されない)でも、初期値の0で表示される
公式サンプル(レーダーチャート)
https://cybozudev.zendesk.com/hc/ja/articles/202982064-Cybozu-CDN%E3%82%92%E4%BD%BF%E3%81%A3%E3%81%A6%E3%83%AC%E3%83%BC%E3%83%80%E3%83%BC%E3%83%81%E3%83%A3%E3%83%BC%E3%83%88%E3%82%92%E8%A1%A8%E7%A4%BA%E3%81%99%E3%82%8B
@fddcddhdd
fddcddhdd / stock_graph.html
Created August 31, 2015 08:45
JSだけで動的グラフを生成してみた(c3.jsというライブラリを使用、値は2013-2015の日経平均株価)
<!doctype html>
<html lang="ja">
<head>
<meta charset="UTF-8">
<title>c3.jsのテスト</title>
<!-- グラフのライブラリをインポート -->
<script src="http://d3js.org/d3.v3.min.js" charset="utf-8"></script>
<!-- https://github.com/masayuki0812/c3 からダウンロードする -->
<script src="c3.min.js"></script>
@fddcddhdd
fddcddhdd / header_search.js
Created August 25, 2015 05:32
javascriptで、kintoneのヘッダ部分に検索窓を付けてみた。
/*
※kintoneでの検索の注意点!!
1, 1文字では検索出来ない(最低でも2文字以上)
2, 英数字検索が単語単位(cyで、cybozeがヒットしない!)
https://help.cybozu.com/ja/k/user/search_details.html
*/
// 設定値
const FIELD_CODE1 = "company_name_a";
const FIELD_CODE1_NAME = "会社名A";
@fddcddhdd
fddcddhdd / camera.py
Last active December 2, 2015 07:02
RaspberryPi + USBカメラ + Paython + OpenCV を使って、顔モザイク処理済のWebフォトアルバムを自動生成するシステム
# -*- coding:utf-8 -*-
# OpenCVの検出器を指定
cascade_list = [
'/usr/share/opencv/haarcascades/haarcascade_frontalface_alt.xml', #正面顔
'/usr/share/opencv/haarcascades/haarcascade_profileface.xml', #横顔
# '/usr/share/opencv/haarcascades/haarcascade_eye.xml', #目
# '/usr/share/opencv/haarcascades/haarcascade_eye_tree_eyeglasses.xml', #眼鏡を掛けた目
# '/usr/share/opencv/haarcascades/haarcascade_frontalface_alt2.xml', #正面顔
# '/usr/share/opencv/haarcascades/haarcascade_frontalface_alt_tree.xml', #正面顔
@fddcddhdd
fddcddhdd / upsert.php
Last active January 10, 2018 02:10
kintone REST APIのupsert用PHPスクリプト(数百~数千くらいなら実用的に使えそう)
<?php
/*
kintone REST APIのupsert自動化の処理時間テスト。
時間かかかるので、コマンドラインから実行する( php upsert.php )
100件で試した所、処理時間は33-38秒だった。単純計算すると1時間で1万レコード?
1レコード毎にselect → update/insertしているので遅い(オーバーヘッドがありすぎ)
フィールド数が50なのは、csv/excelからのアプリ生成の上限だから(フィールド数は、速度に無関係っぽい)
Web APIのエラーコード一覧みたいなのが無いので、エラー処理が出来ない。