allieus

Ask Company - [크롤링 중급편] 파이썬 selenium 활용, 샘플 코드

• 코스 URL : https://www.askcompany.kr/r/sections/9cc68bb/

allieus

%matplotlib inline

from matplotlib import pyplot as plt
import numpy as np

x = np.arange(0, 10, 0.01)
plt.plot(x, np.cos(x))
plt.plot(x, np.sin(x))

allieus

멜론 차트 크롤링 샘플 코드

• https://www.facebook.com/groups/askdjango
• me@askcompany.kr

melon_top100 = get_song_list()

내역

allieus

출처 : https://docs.microsoft.com/ko-kr/cli/azure/install-azure-cli-apt

allieus

import requests
from bs4 import BeautifulSoup

res = requests.get("http://naver.com")
html = res.text
soup = BeautifulSoup(html, 'html.parser')
tag_list = soup.select('.PM_CL_realtimeKeyword_rolling .ah_k')

for rank, tag in enumerate(tag_list, 1):  # 항상 하위 block 전에 콤마(:)를 씁니다.
    label = tag.text

allieus

<a href="https://www.askcompany.kr" style="display: block;">
    <img src="https://askcompanyjpe.blob.core.windows.net/static/askcompany_vod_shared_banner.jpg" style="border: 0; width: 250px;" />
</a>

allieus

keyword_encode 로직은 교보문고 페이지의 javascript 로직을 그대로 흉내내어 만들었습니다.

실행결과

>>> search('파이썬')

Do it! 점프 투 파이썬
http://www.kyobobook.co.kr/product/detailViewKor.laf?ejkGb=KOR&mallGb=KOR&barcode=9788997390915&orderClick=LAG&Kc=

allieus

http://dream.ahboom.net/entry/한글-유니코드-자소-분리-방법 에 대한 파이썬 구현입니다.

>>> korean_to_code('파이썬')
'vkdlTjs'

allieus

Extension을 통한 설치에서는 종종 Timeout이 발생합니다.

본 설치를 통해 Azure Function에서 파이썬3를 활용하고 있습니다.

함수 앱 > 플랫폼 기능 > 고급도구 (KUDU) > Debug Console > CMD

필요한 라이브러리는 d:/home/site/tools/python -m pip install 필요한팩키지명 명령으로 설치해주세요.

allieus

def myfilter(filter_fn, alter_value):    
    def wrap (fn):
        def inner(*args):            
            # fn을 호출하는 코드가 없네요.

#           iterator = list(filter (filter_fn, [*args]))
#           if [*args] not in iterator:
#               return alter_value

            # args 값이 현재 (1, 2, 3, 4, 5) 이죠?