Skip to content

Instantly share code, notes, and snippets.

@clodio
clodio / awk-analyse-apachelog.sh
Created December 27, 2013 06:56
Awk script to analyse apache log to find bottleneck
#!/bin/bash
#command line to analyse apache log to get most consuming ressources
## Configure apache log
### Apache log format must be changed
#- %D is added to get service time in microsecondes
#- separator | is used in apache log to facilitate the analysis (awk -F"|")
@clodio
clodio / gist:0e9166a8602a4d69862d
Last active August 29, 2015 14:17
count apache process, server status
while true; do date; ps aux | grep prefork | wc -l; sleep 10; done
while true; do curl -il http://localhost/server-status | head -n40; sleep 2; done
<?xml version="1.0" encoding="UTF-8"?>
<xsl:stylesheet version="2.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform" xmlns:xs="http://www.w3.org/2001/XMLSchema" >
<!--
XSLT permettant de changer le format de sortie solr pour faire de la pagination au format JSON
TODO : tester en charge pour valider les performances
*** Installation
Déposer ce ficher json_paginate.xsl dans le répertoire conf/xslt de l'index solr concerné
Installer les extensions permettant de faire des XPATH 2.0
@clodio
clodio / logstash.conf
Created May 29, 2015 13:42
kibana_logstah_elasticserch geolocation from custom field
input {
file {
path => "/tmp/access_log"
start_position => "beginning"
#echo '98.83.179.51 - - [18/May/2011:19:35:08 -0700] "GET /css/main.css HTTP/1.1" 290 566 "http://www.safesand.com/information.htm" "Mozilla/5.0 (Windows NT 6.0; WOW64; rv:2.0.1) Gecko/20100101 Firefox/4.0.1"1837' >>/tmp/access_log
}
}
filter {
@clodio
clodio / site_information.yaml
Created May 29, 2015 13:43
logstash geolocation dictionnary
"566": [4.7204615, 45.3155245,"bourges PDC1"]
"1189": [2.3247297, 48.8202482,"loir PDC2"]
"1837": [2.055075, 48.788135,"félines PDC2"]
while true; do curl -il http://localhost/server-status | head -n40; sleep 2; done
{
"identifiant": "096682",
"nom": "TABAC PRESSE ROUSSEAU",
"adresse1": "194 RUE NATIONALE",
"adresse2": "",
"adresse3": "",
"indiceDeLocalisation": "",
"codePostal": "72000",
"localite": "LE MANS",
"coordGeolocalisationLatitude": "48",
{
"pickups": [
{
"identifiant": "096682",
"nom": "TABAC PRESSE ROUSSEAU",
"adresse1": "194 RUE NATIONALE",
"adresse2": "",
"adresse3": "",
"indiceDeLocalisation": "",
"codePostal": "72000",
swagger: '2.0'
info:
description: >-
# Description des API prestations
## Modèle de ressources
<img src="https://docs.google.com/drawings/u/0/d/1H6WV7owLt3ivdq41Wl20MyBY5i1aeIJ9W82Ii4pBam4/export/png?id=1H6WV7owLt3ivdq41Wl20MyBY5i1aeIJ9W82Ii4pBam4&pageid=p">
source image : http://bit.ly/prestations_modele_donnees_light
{
"swagger": "2.0",
"info": {
"description": "# Description des API prestations\n\n## Modèle de ressources\n<img src=\"https://docs.google.com/drawings/u/0/d/1H6WV7owLt3ivdq41Wl20MyBY5i1aeIJ9W82Ii4pBam4/export/png?id=1H6WV7owLt3ivdq41Wl20MyBY5i1aeIJ9W82Ii4pBam4&pageid=p\"> source image : http://bit.ly/prestations_modele_donnees_light\n## TODO\n* revoir le modèle\n* revoir les noms des attributs pour garder un cohérence avec les autres SI\n* revoir la liste des fonctionnalités métier et les API associées\n* liaison avec le legacy (coclico, traceo, FS+,...)\n* comment est géré le référentiel des tournées des prestations\n* Liaisons avec les autres SI\n## Volumétrie et performances (hypothèses à challenger par le métier)\n* 20 000 000 prestations par an\n* 2 000 000 prestations par mois max\n* 400 000 prestations max par campagne\n* 200 Commanditaires (clients)\n* 1 000 campagnes par an\n* 3 000 GCP (utilisateurs pilotant l'activité des prestations)\n* Temps de réponse des interface <3 sec\n* Tem