Skip to content

Instantly share code, notes, and snippets.

@choiseoungho
Last active January 17, 2021 07:33
Show Gist options
  • Save choiseoungho/43906e3e01c54791c8ada33215177d01 to your computer and use it in GitHub Desktop.
Save choiseoungho/43906e3e01c54791c8ada33215177d01 to your computer and use it in GitHub Desktop.
Bench Marking Test (BMT)
- 도입하고자 하는 Solution Boundary 가 정해지면 몇 개의 대상 Vendor를 선정해서 성능 테스트를 진행
- 고객사가 과제를 내고 해당 과제를 특정일까지 구현한 후에 기능 검증 및 성능 검증: H/W 환경은 동일
- 하드웨어나 소프트웨어의 성능을 비교 분석하여 평가하는 것, e.g) 다양한 서버 컴퓨터 기종간의 처리 속도를 테스트하기 위해 실제 서버를 이용하여 성능을 측정하고 테스트 결과를 바탕으로 평가를 내리는 것을 벤치마킹 테스트라고 함
https://ko.wikipedia.org/wiki/%EB%B2%A4%EC%B9%98%EB%A7%88%ED%82%B9
스트레스 테스트 (Stress testing) 는 주어진 시스템이나 실체의 안정성을 결정하기 위해 진행되는 신중하고 면밀한 테스트.
- 결과 관찰을 목적으로 이 한계점에 이를 만큼의 일반적인 운용 능력을 넘어서는 테스트를 수반
- 한계점이나 안전 이용 한계를 결정하기 위해
- 의도된 규격이 충족하는지 확인하기 위해
- 고장 원인을 결정하기 위해 (어떻게 시스템이 실패하는지)
- 표준 이용을 벗어난 시스템이나 그 일부의 안정적인 동작을 테스트하기 위해
- https://ko.wikipedia.org/wiki/%EC%8A%A4%ED%8A%B8%EB%A0%88%EC%8A%A4_%ED%85%8C%EC%8A%A4%ED%8A%B8
데이터 웨어하우스 (Data warehouse)
- 사용자의 의사 결정에 도움을 주기 위하여, 기간시스템의 데이터뻬이스에 축적된 데이터를 공통의 형식으로 변환해서 관리하는 데이터베이스
- 방대한 조직 내에서 분산 운영되는 각각의 데이터 베이스 관리 시스템들을 효율적으로 통합하여 조정 관리하기 때문에 효율적인 의사 결정 시스템을 위한 기초를 제공하는 실무적인 활용 방법론이 제공
- 데이터 웨어하우스의 구성은 관리 하드웨어, 관리 소프트웨어, 추출 변환 정렬 도구, 데이터 베이스 마케팅 시스템, 메타 데이터, 최종 사용자 접근 및 활용 도구등으로 구성
https://ko.wikipedia.org/wiki/%EB%8D%B0%EC%9D%B4%ED%84%B0_%EC%9B%A8%EC%96%B4%ED%95%98%EC%9A%B0%EC%8A%A4
배깅 (Bagging) (Parallel)
- Bootstrap aggregating의 줄임말로 통계적 분류와 회귀 분석에서 사용되는 기계학습 알고리즘의 안정성과 정확도를 향상시키기 위해 고안된 일종의 앙상블 학습법의 메타 알고리즘
- 샘플을 여러 번. 뽑아 각 모델을 학습시켜 결과물을 집계 하는 방법
https://ko.wikipedia.org/wiki/%EB%B0%B0%EA%B9%85
부스팅 (Boosting) (Sequential)
- 가중치를 활용하여 약 분류기를 강 분류기로 만드는 방법
- 배깅은 결정 트리 1와 2가 서로 독립적으로 결과를 예측, 그 결과 값을 집계해 최종 결과 값을 예측하는 방식
https://bkshin.tistory.com/entry/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-11-%EC%95%99%EC%83%81%EB%B8%94-%ED%95%99%EC%8A%B5-Ensemble-Learning-%EB%B0%B0%EA%B9%85Bagging%EA%B3%BC-%EB%B6%80%EC%8A%A4%ED%8C%85Boosting
시계열 데이터베이스의 주요 특징
- 시간 처리에 최적화된 인덱스 지원
- SQL 기반 시계열 질의 지원
- 초고속 데이터 입력
- 트랜잭셕 지원 불가
- 변경 연산 불가
- 실시간 데이터 압축
- 롤업(Rollup) 기능 지원
- 스트림 (Stream) 연산 지원
- https://www.datanet.co.kr/news/articleView.html?idxno=137339
파이쎤 단점
- 순수 파이썬의 상대적으로 저조한 성능
- 최적화 되지 않은 라이브러리들의 함정
- 불완전한 쓰레딩 지원(GIL)
- 느슨한 타입 시스템과 그로 인한 런타임 에러에 대한 노출
EMA (Exponential moving average - 지수이동평균)
-> 반복 연산 중 하나로서, 한 시점의 데이터 노이즈를 줄여주고 추세를 더 명확하게 보여주는 조작 중 하나
- 과거에서부터 현재로서 값을 수정하면서 계산되기 때문에, 병렬처리를 통해 속도를 향상시킬 수 없음
https://medium.com/qraft/%ED%8C%8C%EC%9D%B4%EC%8D%AC-%EA%B8%88%EC%9C%B5-%EC%8B%9C%EA%B2%8C%EC%97%B4-%EC%B2%98%EB%A6%AC-%EC%B5%9C%EC%A0%81%ED%99%94%ED%95%98%EA%B8%B0-571b4d716a2e
마이크로바이옴(Microbiome)
- 마이크로 바이오타 (microbiota) 와 게놈(genome)이 합쳐서 만들어진 합성어
- 인간, 동, 식물, 토양, 바다, 암 벽, 대기 등 모든 환경에서 서식하거나 공존하는 미생물과 그 유전정보 전체를 포함하는 미생물군집
https://www.google.com/search?q=%EB%A7%88%EC%9D%B4%ED%81%AC%EB%A1%9C%EB%B0%94%EC%9D%B4%EC%98%B4+%EC%84%A4%EB%AA%85&rlz=1C5CHFA_enKR823KR823&sxsrf=ALeKk02rG8vxanskJGg7iowsGmpWmZH3BQ:1610850263537&ei=158DYMqhIK7YhwOdoaeAAg&start=0&sa=N&ved=2ahUKEwiK6fnt9KHuAhUu7GEKHZ3QCSA4ChDy0wN6BAgFEDk&biw=889&bih=946
MACD (Moving Average Convergence & Divergence)
- 이동 평균선들의 수렴과 확산, 이동 평균선들간의 차이를 보기 쉽게 나타낸 지표임.
- 단기 이평선과 장기이평선이 멀어지게 되면 다시 가까워질려고 하는 속성을 이용하여 두 개의 이평선의 차이가 제일 큰 시점을 찾아내는 분석기법
MACD 값에 따른 의미
- MACD >0 / MACD <0 / MACD 와 시그널이 골든크로스 / MACD 와 시그널이 데드 크로스. / OSC 가 0 위로 돌파 / OSC가 0 밑으로 하락
MACD oscilator
- MACD 선과 Signal 선이 서로 교차하는 것을 조금 더 자세하게 나타내기 위해 Oscillator로 값을 산출한 것
- https://m.blog.naver.com/PostView.nhn?blogId=myplan76&logNo=220666352258&proxyReferer=https:%2F%2Fwww.google.com%2F
볼린저밴드
- 이동 평균선을 기준으로 주가가 어느정도 위치에 있는지 측정하기 위한 도구
- 기존의 Envelope 지표가 적절한 매매시기를 보여주지 못했기에 주가변동성을 이용하여 가격변동띠를 탄력적으로 보여주도록 제작한 것
매물대차트
- 일정기간동안 특정한 가격에서 거래된 주식 수량을 나타낸 것
- 거래량이 많았다는 것은 이 가격에 주식을 산 사람들이 많다는 뜻, 즉, 해당 가격에 주식을 보유하고 있는 사람들이 많다는 것
- 주가의 지지선과 저항선을 나타내는 지표로 사용됨, 즉, 주가가 계속 떨어지지 않도록 지지해주는 역할을 하며 반대로 주가가 급등하는 것을 저지하는 역할도 담당함
- 가격이 하락할때 : 매물대가 지지선 역할을 담당, 주가 반등의 여지가 있음. 또한 매물대 지지선 아래로 주가가 급락할 경우, 매도신호로도 활용
- 가격이 상승할대 : 매물대가 저항선 역할을 담당하므로, 주가 하락의 여지가 있음. 또한, 저항선을 강하게 돌파시 매수신호로도 활용.
- https://md2biz.tistory.com/344
정형 (Structured)
- 데이터베이스의 정해진 규칙(Rule)에 맞게 데이터를 들어간 데이터 중에 수치 만으로 의미 파악이 쉬운 데이터를 말한다.
- 규칙적인 값으로 데이터가 들어갈 경우 정형 데이터
- 데이터 스타마 지원
- 탐색 방법 : 스키마 구조를 통해 탐색 기능
비정형 (Unstructed data)
- 정해진 규칙이 없어서 값의 의미를 쉽게 파악하기 힘든 경우, e.g. 텍스트, 음성, 영상과 같은 데이터가 비정형 데이터 범위
- 대용량에 속한 비정형 데이터를 분석함으로서 새로운 인사이트를 얻게 되기 때문이다.
- 데이터 세트가 아니라 하나의 데이터가 객체화되어 있음
- 구조화 되어 있지 않아 딱 봐서 이해하기 힘듬
- 탐색 방법 : 이진 파일 데이터 일때 데이터 탐색 방법은 종류별로 응용소프트웨어를 이용하여 탐색
반전형 (Semi-Structured)
- 약한 정형 데이터 e.g.) HTML 이나 XML 과 같은 포맷을 반정형 데이터의 범위
- 데이터베이스의 데이터를 Dump 하여 JSON 이나 XML 형태의 포맷으로 변경하면 이 순간 반정형 데이터가 되는 것
- 한 텍스트 파일에 Column 과 Value를 모두 출력하게 됨
- 스키마에 해당하는 메타 데이터가 데이터 내부에 있음
- 탐색 방법 : 데이터 내부에 있는 규칙성을 파악해 파싱 규칙을 적용
https://needjarvis.tistory.com/502
https://top100itw.medium.com/big-data-%EC%A0%95%ED%98%95%EB%8D%B0%EC%9D%B4%ED%84%B0-%EB%B9%84%EC%A0%95%ED%98%95%EB%8D%B0%EC%9D%B4%ED%84%B0-%EB%B0%98%EC%A0%95%ED%98%95%EB%8D%B0%EC%9D%B4%ED%84%B0-ffdc84512252
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment