Last active
August 29, 2015 14:11
-
-
Save easylogic/78c0f39c767487adba64 to your computer and use it in GitHub Desktop.
Collector 를 만들자.
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
일단 collector 를 만들어보자. | |
모든 데이타는 json 으로 저장해보자. | |
그럼 mongodb 가 필요할까? 그럴지도 모르겠다. | |
그럼 무엇이 필요한지 생각해보자. | |
1. 대상 | |
가지고 올 대상이 필요하다. 어떤 대상을 가지고 와서 저장할 것인가 ? | |
2. 방법 | |
지정한 대상을 어떤 방식으로 가지고 올 것인가도 중요하다. | |
http, resful api, socket, db 등등 | |
3. 저장 | |
모든 데이타의 저장은 json 으로 하자. mongodb ? | |
4. 주기, 패턴 | |
특정한 주기, 특정한 패턴으로 데이타 가지고 오는 것을 자동화 해야한다. |
나만의 저장언어를 만들어야할지도모르겠다.
search
http
get
www.naver.com
/news
params
set 이름 selector func
set 이름 selector func
query http://www.naver.com/news
주기마다 변하는 변수를 어떻게 적용할 것인가?
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
이제 가지고 와서 어떤식으로 저장할 것인가가 남아있다.
return type : xml
text, json, xml 3가지의 타입으로 지정한다.
return type 을 지정하면 각각의 타입에 맞게 데이타를 저장한다. (실제로는 그냥 필드에 저장한다.)