Collector 를 만들자.

gistfile1.txt

일단 collector 를 만들어보자. 

모든 데이타는 json 으로 저장해보자. 

그럼 mongodb 가 필요할까?  그럴지도 모르겠다. 

그럼 무엇이 필요한지 생각해보자. 

1. 대상 

가지고 올 대상이 필요하다. 어떤 대상을 가지고 와서 저장할 것인가 ? 

2. 방법 

지정한 대상을 어떤 방식으로 가지고 올 것인가도 중요하다. 

http, resful api, socket, db  등등 

3. 저장 

모든 데이타의 저장은 json 으로 하자. mongodb ? 

4. 주기, 패턴 

특정한 주기, 특정한 패턴으로 데이타 가지고 오는 것을 자동화 해야한다. 

가지고 오는 방법

http get www.naver.com/news params ?

{
type : 'http',
method : 'get', // default is get
url : 'www.naver.com',
path : "/news',
params : {
page : 1,
limit : 10
}
}

json 형태로 쿼리를 만든다.

이제 가지고 와서 어떤식으로 저장할 것인가가 남아있다.

return type : xml

text, json, xml 3가지의 타입으로 지정한다.

return type 을 지정하면 각각의 타입에 맞게 데이타를 저장한다. (실제로는 그냥 필드에 저장한다.)

나만의 저장언어를 만들어야할지도모르겠다.

search
http
get
www.naver.com
/news
params

set 이름 selector func
set 이름 selector func
query http://www.naver.com/news

주기마다 변하는 변수를 어떻게 적용할 것인가?