자연어 처리 환경 설정

pynlp.md

Codebasic (c) 2023

다음 문서는 아래 플랫폼별 딥러닝 기반 자연어 소프트웨어 라이브러리 설치 절차를 안내합니다.

플랫폼

1. Windows (x86-64bit)
2. 유닉스 계열 (Unix-Like)
   1. Mac (Apple Silicon/Intel x86-64bit)
   2. Linux (x86-64bit)

윈도우의 경우, 직접 설치보다는 환경 구성이 완료된 도커 사용을 권장합니다.

유닉스 계열 플랫폼은 직접 설치를 권장합니다.

Docker Desktop for Windows 설치

Docker Desktop은 무료로 설치가 가능하지만 상용 라이선스 소프트웨어입니다. 개인 및 중소 규모 조직은 무료로 사용할 수 있습니다.

정부 기관 및 대기업 환경에서 활용 시 라이선스를 검토하시기 바랍니다. 상용 라이선스 소프트웨어 설치와 활용에 대한 우려가 있는 경우, 직접 설치 절차를 진행하기 바랍니다.

https://docs.docker.com/desktop/install/windows-install

요구사항

• Windows 10+ 64비트 (x86-64)
• WSL 설치

도커 컨테이너 실행

최초 실행 시, 약 3 GB 용량의 도커 이미지(codebasic/nlp) 다운로드가 실행됩니다.

두 가지 중, 환경에 따라 하나 선택.

NVIDIA 칩셋 그래픽 카드 장치가 활용 가능한 경우 (최신의 드라이버 설치가 필요합니다.)

docker run --name nlp-gpu -p 8888:8888 --gpus all -it codebasic/nlp

하드웨어 가속을 위한 그래픽 카드 장치가 없는 경우 (CPU만 활용)

docker run --name nlp -p 8888:8888 -it codebasic/nlp

직접 설치 (Native)

제시된 절차는 오픈 소스 라이선스 소프트웨어만을 활용하고 있습니다.

conda

Conda는 패키지 관리 프로그램입니다. 소프트웨어 버전과 의존성 관리에 활용합니다.

Windows

Miniconda Windows 다운로드 및 설치

Mac

아래 절차는 Homebrew 소프트웨어를 가정합니다.

$ brew install miniforge
$ conda init "$(basename "${SHELL}")"

터미널 세션 새로 시작 필요.

Linux

Miniforge 설치

$ wget -O Miniforge3.sh "https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-$(uname)-$(uname -m).sh"
$ ./Miniforge3.sh
conda init "$(basename "${SHELL}")"

터미널 세션 새로 시작 필요.

파이썬 패키지

파이썬 환경 생성

$ conda create --name nlp python=3.9
$ conda activate nlp

TensorFlow

x86-64

(nlp)$ pip install tensorflow==2.9

Windows의 경우, TensorFlow 동작을 위해 Microsoft Visual C++ 재배포 가능 패키지 설치 필요 (64비트)

Apple Silicon

참조: Apple 개발자 문서

(nlp)$ conda install -c apple tensorflow-deps
(nlp)$ pip install tensorflow-macos==2.9 tensorflow-metal==0.5.0

공통 패키지

(nlp)$ pip install scikit-learn pandas matplotlib gensim~=4.0 transformers~=4.0 BeautifulSoup4 lxml pyko soynlp tweepy==3.10 konlpy~=0.5.0 mecab-python3

의존성

파이썬 패키지 설치로 같이 설치되지 않는 C/C++ 기반 소프트웨어를 수동으로 설치하는 것이 필요.

Mecab

관리자 권한 필요. Windows 설치 불가.

Mac

$ brew install mecab-ko mecab-ko-dic
$ sudo ln -s /opt/homebrew/lib/mecab /usr/local/lib/mecab

카카오 형태소 분석기(Khaiii)

Windows 설치 불가.

Mac

파이썬 바이너리 설치 패키지 다운로드: khaiii-0.4-cp39-cp39-macosx_12_0_arm64.whl

(nlp)$ pip install khaiii-0.4-cp39-cp39-macosx_12_0_arm64.whl

GPU 가속

Winodws 및 Linux 플랫폼에서 지원하는 NVIDIA GPU 기반 그래픽 카드 필요.

(nlp)$ conda install -c conda-forge cudatoolkit=11.2 cudnn=8.1.0

Mac의 경우, Apple Silicon은 추가 설정 없이 GPU 가속 가능. Intel 기반 맥은 GPU 가속을 지원하지 않음.

[선택적] Jupyter

코드 작성 환경 (IDE) Jupyter Lab 설치.

주의! 한글 사용자명. 예: C:\Users\성주

(nlp)$ pip install jupyterlab
(nlp)$ python -m ipykernel install --user --name nlp --display-name nlp