crawl skill tags from 51hunter

51hunter_crawler.py

# -*- coding: utf-8 -*-


import requests
import sys

reload(sys)
sys.setdefaultencoding('utf8')  # @UndefinedVariable

skills = '''
互联网
技术
后端开发
Java
Python
PHP
.NET
C#
C++
C
VB
Delphi
Perl
Ruby
Hadoop
Node.js
数据挖掘
搜索算法
精准推荐
自然语言处理
全栈工程师
Go
ASP
Shell
Scala
其它后端开发
前端开发
web前端
Flash
HTML5
JavaScript
U3D
COCOS2D-X
其它前端开发
移动开发
Android
Ios
WP
其它移动开发
测试
测试工程师
自动化测试
功能测试
性能测试
测试开发
游戏测试
手机测试
硬件测试
其它测试
测试经理
白盒测试
灰盒测试
黑盒测试
运维
运维工程师
运维开发工程师
网络工程师
系统工程师
IT支持
系统管理员
病毒分析
WEB安全
网络安全
系统安全
运维经理
其它运维
DBA
MySQL
SQLServer
Oracle
DB2
MongoDB
ETL
Hive
数据仓库
其它DBA
项目管理
项目总监
项目经理
项目助理
硬件开发
嵌入式
自动化
单片机
电路设计
驱动开发
系统集成
FPGA开发
DSP开发
ARM开发
PCB工艺
模具设计
热传导
材料工程
精益工程
射频工程
其它硬件开发
企业软件
实施工程师
售前工程师
售后工程师
BI工程师
其它企业软件
高端职位
技术总监
技术经理
架构师
CTO
运维总监
技术合伙人
项目总监
测试总监
安全专家
其它高端技术职位
产品
产品经理
产品经理
网页产品经理
移动产品经理
数据产品经理
电商产品经理
游戏策划
用户研究
数据分析
用户研究
游戏数值策划
产品助理
产品专员
产品设计师
网页产品设计
移动产品设计
高端职位
产品部经理
产品总监
游戏制作人
其它高端产品职位
设计
视觉设计
网页设计
Flash设计
APP设计
UI设计
平面设计
美术设计（2D/3D）
广告设计
多媒体设计
原画
游戏特效
游戏界面设计
视觉设计
游戏场景
游戏角色
游戏动作
交互设计
网页交互设计
无线交互设计
硬件交互设计
高端职位
设计经理/主管
设计总监
视觉设计经理/主管
视觉设计总监
交互设计经理/主管
交互设计总监
用户研究经理/主管
用户研究总监
运营
内容运营
产品运营
数据运营
用户运营
活动运营
商家运营
品类运营
游戏运营
网络推广
网店运营
新媒体运营
海外运营
运营专员
运营经理
运营
商品/类目运营
编辑
主编
副主编
内容编辑
文案策划
记者
客服
售前咨询
售后客服
淘宝客服
客服经理
高端职位
运营总监
COO
客服总监
市场和销售
市场/营销
市场策划
市场顾问
市场营销
市场推广
SEO
SEM
商务渠道
商业数据分析
活动策划
网络营销
海外市场
ASO
公关
政府关系
媒介经理
广告协调
品牌公关
销售
销售专员
销售经理
客户代表
大客户代表
BD经理
商务渠道
渠道销售
代理商销售
销售助理
电话销售
销售顾问
商品经理
高端职位
市场总监
销售总监
商务总监
CMO
公关总监
采购总监
投资总监
媒介总监
其他高端职位
'''


def crawl(x):
    url = 'http://www.51lietou.com/home/getCompetenceLabelByJobTitle'
    resp = requests.post(url, data={'jobTitle': x})
    if not resp.json():
        return []
    return resp.json().keys()


if __name__ == '__main__':
    ret = dict(map(lambda x: (x, crawl(x)), filter(lambda x: x, skills.split('\n'))))
    with open('51hunter_tags.txt', 'w+') as f:
        for k in filter(lambda x: x, skills.split('\n')):
            line = '%s\t%s' % (k, ','.join(ret[k]))
            f.write(line + '\n')