Last active
August 29, 2015 14:11
-
-
Save easylogic/78c0f39c767487adba64 to your computer and use it in GitHub Desktop.
Collector 를 만들자.
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
일단 collector 를 만들어보자. | |
모든 데이타는 json 으로 저장해보자. | |
그럼 mongodb 가 필요할까? 그럴지도 모르겠다. | |
그럼 무엇이 필요한지 생각해보자. | |
1. 대상 | |
가지고 올 대상이 필요하다. 어떤 대상을 가지고 와서 저장할 것인가 ? | |
2. 방법 | |
지정한 대상을 어떤 방식으로 가지고 올 것인가도 중요하다. | |
http, resful api, socket, db 등등 | |
3. 저장 | |
모든 데이타의 저장은 json 으로 하자. mongodb ? | |
4. 주기, 패턴 | |
특정한 주기, 특정한 패턴으로 데이타 가지고 오는 것을 자동화 해야한다. |
가지고 오는 방법
http get www.naver.com/news params ?
{
type : 'http',
method : 'get', // default is get
url : 'www.naver.com',
path : "/news',
params : {
page : 1,
limit : 10
}
}
json 형태로 쿼리를 만든다.
이제 가지고 와서 어떤식으로 저장할 것인가가 남아있다.
return type : xml
text, json, xml 3가지의 타입으로 지정한다.
return type 을 지정하면 각각의 타입에 맞게 데이타를 저장한다. (실제로는 그냥 필드에 저장한다.)
나만의 저장언어를 만들어야할지도모르겠다.
search
http
get
www.naver.com
/news
params
set 이름 selector func
set 이름 selector func
query http://www.naver.com/news
주기마다 변하는 변수를 어떻게 적용할 것인가?
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
open api
공공 데이타
html 페이지 스크랩
기타 api 를 제공하는 모든 http 서비스