Last active
January 17, 2021 07:33
-
-
Save choiseoungho/43906e3e01c54791c8ada33215177d01 to your computer and use it in GitHub Desktop.
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Bench Marking Test (BMT) | |
- 도입하고자 하는 Solution Boundary 가 정해지면 몇 개의 대상 Vendor를 선정해서 성능 테스트를 진행 | |
- 고객사가 과제를 내고 해당 과제를 특정일까지 구현한 후에 기능 검증 및 성능 검증: H/W 환경은 동일 | |
- 하드웨어나 소프트웨어의 성능을 비교 분석하여 평가하는 것, e.g) 다양한 서버 컴퓨터 기종간의 처리 속도를 테스트하기 위해 실제 서버를 이용하여 성능을 측정하고 테스트 결과를 바탕으로 평가를 내리는 것을 벤치마킹 테스트라고 함 | |
https://ko.wikipedia.org/wiki/%EB%B2%A4%EC%B9%98%EB%A7%88%ED%82%B9 | |
스트레스 테스트 (Stress testing) 는 주어진 시스템이나 실체의 안정성을 결정하기 위해 진행되는 신중하고 면밀한 테스트. | |
- 결과 관찰을 목적으로 이 한계점에 이를 만큼의 일반적인 운용 능력을 넘어서는 테스트를 수반 | |
- 한계점이나 안전 이용 한계를 결정하기 위해 | |
- 의도된 규격이 충족하는지 확인하기 위해 | |
- 고장 원인을 결정하기 위해 (어떻게 시스템이 실패하는지) | |
- 표준 이용을 벗어난 시스템이나 그 일부의 안정적인 동작을 테스트하기 위해 | |
- https://ko.wikipedia.org/wiki/%EC%8A%A4%ED%8A%B8%EB%A0%88%EC%8A%A4_%ED%85%8C%EC%8A%A4%ED%8A%B8 | |
데이터 웨어하우스 (Data warehouse) | |
- 사용자의 의사 결정에 도움을 주기 위하여, 기간시스템의 데이터뻬이스에 축적된 데이터를 공통의 형식으로 변환해서 관리하는 데이터베이스 | |
- 방대한 조직 내에서 분산 운영되는 각각의 데이터 베이스 관리 시스템들을 효율적으로 통합하여 조정 관리하기 때문에 효율적인 의사 결정 시스템을 위한 기초를 제공하는 실무적인 활용 방법론이 제공 | |
- 데이터 웨어하우스의 구성은 관리 하드웨어, 관리 소프트웨어, 추출 변환 정렬 도구, 데이터 베이스 마케팅 시스템, 메타 데이터, 최종 사용자 접근 및 활용 도구등으로 구성 | |
https://ko.wikipedia.org/wiki/%EB%8D%B0%EC%9D%B4%ED%84%B0_%EC%9B%A8%EC%96%B4%ED%95%98%EC%9A%B0%EC%8A%A4 | |
배깅 (Bagging) (Parallel) | |
- Bootstrap aggregating의 줄임말로 통계적 분류와 회귀 분석에서 사용되는 기계학습 알고리즘의 안정성과 정확도를 향상시키기 위해 고안된 일종의 앙상블 학습법의 메타 알고리즘 | |
- 샘플을 여러 번. 뽑아 각 모델을 학습시켜 결과물을 집계 하는 방법 | |
https://ko.wikipedia.org/wiki/%EB%B0%B0%EA%B9%85 | |
부스팅 (Boosting) (Sequential) | |
- 가중치를 활용하여 약 분류기를 강 분류기로 만드는 방법 | |
- 배깅은 결정 트리 1와 2가 서로 독립적으로 결과를 예측, 그 결과 값을 집계해 최종 결과 값을 예측하는 방식 | |
https://bkshin.tistory.com/entry/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-11-%EC%95%99%EC%83%81%EB%B8%94-%ED%95%99%EC%8A%B5-Ensemble-Learning-%EB%B0%B0%EA%B9%85Bagging%EA%B3%BC-%EB%B6%80%EC%8A%A4%ED%8C%85Boosting | |
시계열 데이터베이스의 주요 특징 | |
- 시간 처리에 최적화된 인덱스 지원 | |
- SQL 기반 시계열 질의 지원 | |
- 초고속 데이터 입력 | |
- 트랜잭셕 지원 불가 | |
- 변경 연산 불가 | |
- 실시간 데이터 압축 | |
- 롤업(Rollup) 기능 지원 | |
- 스트림 (Stream) 연산 지원 | |
- https://www.datanet.co.kr/news/articleView.html?idxno=137339 | |
파이쎤 단점 | |
- 순수 파이썬의 상대적으로 저조한 성능 | |
- 최적화 되지 않은 라이브러리들의 함정 | |
- 불완전한 쓰레딩 지원(GIL) | |
- 느슨한 타입 시스템과 그로 인한 런타임 에러에 대한 노출 | |
EMA (Exponential moving average - 지수이동평균) | |
-> 반복 연산 중 하나로서, 한 시점의 데이터 노이즈를 줄여주고 추세를 더 명확하게 보여주는 조작 중 하나 | |
- 과거에서부터 현재로서 값을 수정하면서 계산되기 때문에, 병렬처리를 통해 속도를 향상시킬 수 없음 | |
https://medium.com/qraft/%ED%8C%8C%EC%9D%B4%EC%8D%AC-%EA%B8%88%EC%9C%B5-%EC%8B%9C%EA%B2%8C%EC%97%B4-%EC%B2%98%EB%A6%AC-%EC%B5%9C%EC%A0%81%ED%99%94%ED%95%98%EA%B8%B0-571b4d716a2e | |
마이크로바이옴(Microbiome) | |
- 마이크로 바이오타 (microbiota) 와 게놈(genome)이 합쳐서 만들어진 합성어 | |
- 인간, 동, 식물, 토양, 바다, 암 벽, 대기 등 모든 환경에서 서식하거나 공존하는 미생물과 그 유전정보 전체를 포함하는 미생물군집 | |
https://www.google.com/search?q=%EB%A7%88%EC%9D%B4%ED%81%AC%EB%A1%9C%EB%B0%94%EC%9D%B4%EC%98%B4+%EC%84%A4%EB%AA%85&rlz=1C5CHFA_enKR823KR823&sxsrf=ALeKk02rG8vxanskJGg7iowsGmpWmZH3BQ:1610850263537&ei=158DYMqhIK7YhwOdoaeAAg&start=0&sa=N&ved=2ahUKEwiK6fnt9KHuAhUu7GEKHZ3QCSA4ChDy0wN6BAgFEDk&biw=889&bih=946 | |
MACD (Moving Average Convergence & Divergence) | |
- 이동 평균선들의 수렴과 확산, 이동 평균선들간의 차이를 보기 쉽게 나타낸 지표임. | |
- 단기 이평선과 장기이평선이 멀어지게 되면 다시 가까워질려고 하는 속성을 이용하여 두 개의 이평선의 차이가 제일 큰 시점을 찾아내는 분석기법 | |
MACD 값에 따른 의미 | |
- MACD >0 / MACD <0 / MACD 와 시그널이 골든크로스 / MACD 와 시그널이 데드 크로스. / OSC 가 0 위로 돌파 / OSC가 0 밑으로 하락 | |
MACD oscilator | |
- MACD 선과 Signal 선이 서로 교차하는 것을 조금 더 자세하게 나타내기 위해 Oscillator로 값을 산출한 것 | |
- https://m.blog.naver.com/PostView.nhn?blogId=myplan76&logNo=220666352258&proxyReferer=https:%2F%2Fwww.google.com%2F | |
볼린저밴드 | |
- 이동 평균선을 기준으로 주가가 어느정도 위치에 있는지 측정하기 위한 도구 | |
- 기존의 Envelope 지표가 적절한 매매시기를 보여주지 못했기에 주가변동성을 이용하여 가격변동띠를 탄력적으로 보여주도록 제작한 것 | |
매물대차트 | |
- 일정기간동안 특정한 가격에서 거래된 주식 수량을 나타낸 것 | |
- 거래량이 많았다는 것은 이 가격에 주식을 산 사람들이 많다는 뜻, 즉, 해당 가격에 주식을 보유하고 있는 사람들이 많다는 것 | |
- 주가의 지지선과 저항선을 나타내는 지표로 사용됨, 즉, 주가가 계속 떨어지지 않도록 지지해주는 역할을 하며 반대로 주가가 급등하는 것을 저지하는 역할도 담당함 | |
- 가격이 하락할때 : 매물대가 지지선 역할을 담당, 주가 반등의 여지가 있음. 또한 매물대 지지선 아래로 주가가 급락할 경우, 매도신호로도 활용 | |
- 가격이 상승할대 : 매물대가 저항선 역할을 담당하므로, 주가 하락의 여지가 있음. 또한, 저항선을 강하게 돌파시 매수신호로도 활용. | |
- https://md2biz.tistory.com/344 | |
정형 (Structured) | |
- 데이터베이스의 정해진 규칙(Rule)에 맞게 데이터를 들어간 데이터 중에 수치 만으로 의미 파악이 쉬운 데이터를 말한다. | |
- 규칙적인 값으로 데이터가 들어갈 경우 정형 데이터 | |
- 데이터 스타마 지원 | |
- 탐색 방법 : 스키마 구조를 통해 탐색 기능 | |
비정형 (Unstructed data) | |
- 정해진 규칙이 없어서 값의 의미를 쉽게 파악하기 힘든 경우, e.g. 텍스트, 음성, 영상과 같은 데이터가 비정형 데이터 범위 | |
- 대용량에 속한 비정형 데이터를 분석함으로서 새로운 인사이트를 얻게 되기 때문이다. | |
- 데이터 세트가 아니라 하나의 데이터가 객체화되어 있음 | |
- 구조화 되어 있지 않아 딱 봐서 이해하기 힘듬 | |
- 탐색 방법 : 이진 파일 데이터 일때 데이터 탐색 방법은 종류별로 응용소프트웨어를 이용하여 탐색 | |
반전형 (Semi-Structured) | |
- 약한 정형 데이터 e.g.) HTML 이나 XML 과 같은 포맷을 반정형 데이터의 범위 | |
- 데이터베이스의 데이터를 Dump 하여 JSON 이나 XML 형태의 포맷으로 변경하면 이 순간 반정형 데이터가 되는 것 | |
- 한 텍스트 파일에 Column 과 Value를 모두 출력하게 됨 | |
- 스키마에 해당하는 메타 데이터가 데이터 내부에 있음 | |
- 탐색 방법 : 데이터 내부에 있는 규칙성을 파악해 파싱 규칙을 적용 | |
https://needjarvis.tistory.com/502 | |
https://top100itw.medium.com/big-data-%EC%A0%95%ED%98%95%EB%8D%B0%EC%9D%B4%ED%84%B0-%EB%B9%84%EC%A0%95%ED%98%95%EB%8D%B0%EC%9D%B4%ED%84%B0-%EB%B0%98%EC%A0%95%ED%98%95%EB%8D%B0%EC%9D%B4%ED%84%B0-ffdc84512252 | |
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment