jskim0406

import os
from google.colab import drive
drive.mount('/drive')
os.chdir("/drive/MyDrive/KSOE/AI_test/2024/study/")
print(os.getcwd())

requirements.txt

jskim0406

import random
from konlpy.tag import Mecab
from typing import List, Set

class EDA:
    """
    EDA 기법을 사용하여 텍스트 데이터를 증강하는 클래스입니다.
    동의어 대체 기능을 제외한 버전입니다.

    Args:

jskim0406

import random
from konlpy.tag import Mecab
from nltk.corpus import wordnet
from sentence_transformers import SentenceTransformer, util
from typing import List, Set

class EDA:
    """
    EDA 기법을 사용하여 텍스트 데이터를 증강하는 클래스입니다.

jskim0406

import json
import random
import re
import torch
from torch.utils.data import Dataset
from konlpy.tag import Mecab
from sentence_transformers import SentenceTransformer, util
from string import punctuation
from soynlp.normalizer import repeat_normalize
from pykospacing import Spacing

jskim0406

KLUE STS 튜토리얼 보완: Loss Function 정의 및 Pretrained Model을 사용한 STS Model 구현

이 튜토리얼은 기존 KLUE STS 튜토리얼에 다음 두 가지 주요 개선 사항을 통합합니다.

1. STS Task 수행을 위한 Loss Function 정의: PyTorch를 사용하여 STS task에 적합한 loss function을 직접 정의하고 구현합니다.
2. Pretrained Model을 사용한 STS Model 구현: Hugging Face Transformers 라이브러리에서 제공하는 pretrained model을 기반으로 STS model을 구현하고, low-level PyTorch 코드를 사용하여 유연성과 제어력을 높입니다.

1. Loss Function 정의

STS task는 두 문장 간의 의미적 유사도를 예측하는 regression 문제입니다. 따라서, 예측된 유사도와 실제 유사도 간의 차이를 최소화하는 방향으로 모델을 학습해야 합니다. 이를 위해 Mean Squared Error (MSE) loss function을 사용하겠습니다.

jskim0406

KLUE STS 데이터셋과 DeBERTa를 활용한 한국어 의미 유사도(STS) 모델 학습 튜토리얼 (개선판)

개요

본 튜토리얼에서는 huggingface datasets에서 제공하는 KLUE STS 데이터셋을 로드하고, 향상된 데이터 전처리 기법, EDA (Easy Data Augmentation)를 활용한 데이터 증강, KoNLPy의 Mecab을 사용한 토큰화, Microsoft의 DeBERTa 모델을 학습하고 평가하는 전체 과정을 단계별로 상세하게 설명합니다. 특히, 데이터 전처리 과정에서는 URL, 이메일, 전화번호, 숫자 등을 특수 토큰으로 치환하고, HTML 태그와 이모지를 제거하며, 반복되는 문자를 정규화합니다. 또한, Py-Hanspell과 PyKoSpacing을 사용하여 맞춤법 및 띄어쓰기 교정을 수행하여 데이터의 품질을 높입니다. 데이터 증강 과정에서는 Sentence-BERT를 활용하여 생성된 문장과 원본 문장 간의 의미적 유사도를 측정하여 일정 수준 이상의 유사도를 가진 문장만 증강에 활용하도록 제어하고, GPU/CPU 사용을 옵션으로 선택할 수 있도록 하여 효율적인 실험 환경을 제공합니다.

1. 환경 설정

1.1. 필요 라이브러리 설치

jskim0406

Q

현재 local에 "product_specialist_241118" 이라는 docker image를 갖고 있어. 이 docker image를 Google Cloud artifact registry(PATH="asia-northeast3-docker.pkg.dev/pjt-dev-hcecbt-chat/ar-dev-hcecbt-chat-specialist")에 업로드하는 CLI는?

Google Cloud Artifact Registry에 Docker 이미지를 업로드하기 위한 CLI 명령어들을 순서대로 작성해드리겠습니다.

# 1. Google Cloud 인증 설정 (처음 한번만 실행)
gcloud auth configure-docker asia-northeast3-docker.pkg.dev

jskim0406

1. Meta characters(메타 문자): 본래 그 문자가 가진 뜻이 아닌 다른 용도로 사용하는 문자
   • 정규표현식에 아래 메타문자를 사용하면 특별한 역할을 수행함

.
^
$
*
+
?
{ }

jskim0406

# 새 tmux 세션 생성하고 해당 세션으로 이동하기
tmux new-session -s <세션이름>

• ctrl+b 키를 누른 후 손을 떼었다가 %를 입력(shift+5)하면 가로로 터미널 화면을 분할
• ctrl+b 키를 누른 후 손을 떼었다가 "를 입력(shift+')하면 세로로 터미널 화면을 분할
• 분할된 창 끼리 커서 전환을 하려면 ctrl+b 키를 누른 후 손을 뗀 후 이동하려는 방향으로 방향키

# 현재 동작중인 세션 목록 확인

jskim0406

[문제 해결의 패턴]
* 문제를 해결하기 위한 풀이를 작은 단계로 나눈다.

1. "이 문제에서 어떤 작업을 요구하고 있는 가" 파악, 나열
2.