jackypanster

( find . -type d -name ".git" && find . -name ".gitignore" && find . -name ".gitmodules" ) | xargs rm -rf

jackypanster

Docker Hub 镜像加速器

国内从 Docker Hub 拉取镜像有时会遇到困难，此时可以配置镜像加速器。Docker 官方和国内很多云服务商都提供了国内加速器服务。

配置加速地址

Ubuntu 16.04+、Debian 8+、CentOS 7+

创建或修改 /etc/docker/daemon.json：

jackypanster

import asyncio
from asyncio.queues import Queue

TERMINATOR = object()


class TaskPool(object):
    def __init__(self, loop, num_workers):
        self.loop = loop
        self.tasks = Queue(loop=self.loop)

jackypanster

from timeit import timeit
import asyncio
import requests
from threading import Thread

import aiohttp

client = aiohttp.ClientSession()

jackypanster

爬虫爬了好久，总共从豆瓣爬下来了 16894465 本书，有评分的有 279377 本。

简单统计如下：

• 评分在9分及以上的有 24038 本，评分在9分及以上且评价人数在1000以上的有 980 本。
• 评分在8.5分及以上的有 59521 本，评分在8.5及以上且评价人数在1000以上的有 2941 本。
• 评分在8分及以上的有 112513 本，评分在8及以上且评价人数在1000以上的有 4968 本。
• 评分在7分及以上的有 244044 本，评分在7及以上且评价人数在1000以上的有 7760 本。
• 评分在6分及以上的有 276303 本，评分在6及以上且评价人数在1000以上的有 8115 本。
• 评分在5分及以上的有 279005 本，评分在5及以上且评价人数在1000以上的有 8126 本。

jackypanster

Ubuntu 16.04 Developer Tools Installation

First things first !

sudo apt update
sudo apt upgrade

Standard Developer Tools

sudo apt-get install build-essential git

jackypanster

// This is an example program that iterates over all 
// items in a mongodb collection in a memory safe way
package main 

import (
	"labix.org/v2/mgo"	
	"labix.org/v2/mgo/bson"
	"fmt"
)