느낀점
번역본을 만들고 관리하는 노력은 감사하지만, 번역본만 보면서 작업하기에는 무리가 있다. 원문을 띄워놓고 함께 보고 있다.
자막 스크립트를 가져와 AI로 번역한 티가 난다. 깔끔하게 번역되지 않고 스크립트가 누락되거나, 페이지에 올바르지 않는 번역본이 위치하는 등의 문제가 있었다. 이슈들
나노바나나로 마인드맵을 만들어주는데, 올바른 글자가 아니고, 복잡해보이기만 하는 이미지가 많다. 그래서 이미지는 보지 않고 있다.
====================================================================================
프로젝트 포크를 하고, 1주차 실습을 완료했다.
제공해준 관련 자료를 학습하고 실습을 하니 배웠던 내용을 써먹을 수 있어서 재미있다. 자료 학습 없이도 가능했겠지만 그럼 학습 효과는 딱히 없었을 듯?
실용성 부분에서 의미있는지는 모르겠다. 현대 대형 모델에선 이미 충분히 실습에서 사용한 기법 없이도 잘 동작하고, LLM API를 쓰더라도 좀 비싸지만 좋은 모델 대신 소형 모델을 쓰고 저런 튜닝을 할만한 가치가 있는가? 로컬 LLM 정도에나 유용할거 같음.
그래도 프롬프트 동작 원리를 실습을 통해 느껴보고, 프롬프트 엔지니어나 개발자가 하는 작업이 무엇인지 추상적으로 이해하는데 도움이 됨.
====================================================================================
너무 길고, 나중에 따로 볼 수도 있을거 같아 별도 GIST로 정리
링크: https://gist.github.com/YangSiJun528/5bcb1cf16552a710498bcb82f1dae54e
====================================================================================
그냥 인상깊은 부분만 요약, 나머진 알고있거나 강의 설명이라 스킵한 내용.
- AI 스타트업들이 코딩 업계를 뒤흔들고 있다.
- 경쟁 우위는 AI 자체가 아니라 AI 도구를 숙달한 엔지니어에게 돌아간다.
- AI가 아직 대체하지 못한 역량에 집중해야 한다: 비즈니스 이해력, 테크 리드 역할.
- 확립된 AI 활용 패턴이 아직 없으므로 적극적으로 실험하라.
- LLM 출력 품질은 입력 품질에 의존한다. 본인이 코드베이스를 이해하지 못하면 LLM도 마찬가지다.
- 코드를 많이 읽고 리뷰하라. 좋은 코드와 나쁜 코드를 구별하는 안목을 기르라.
- LLM 현실적 제약
- 강점: 코드 자동완성, 코드 이해, 코드 수정
- 한계:
- 환각(hallucination): 존재하지 않거나 구버전 API 생성 → 컨텍스트 엔지니어링으로 완화
- 컨텍스트 윈도우 제한: ~100-200K 토큰
- 지연시간: 작업당 수 초~수 분
- 비용: 최상위 모델 기준 입력 토큰 100만개당 $1-3, 출력 토큰 100만개당 $10 이상
====================================================================================
프롬프트 엔지니어링 개요? 느낌임 다음에 2시간짜리 긴거 있음
프롬프트 엔지니어링 정의: LLM이 원하는 출력을 생성하도록 입력(프롬프트)을 설계·최적화하는 기술.
Andrej Karpathy의 표현으로 "Software 3.0" - 전통적 코드(1.0), 신경망 가중치(2.0)에 이어 프롬프트로 프로그래밍하는 패러다임.
| 기법 | 설명 | 적합한 상황 |
|---|---|---|
| Zero-shot | 예시 없이 직접 지시 | 단순 작업 |
| Few-shot (K-shot) | 1~5개 입출력 예시 제공 (in-context learning) | 일관된 스타일 필요, 추론 단계 적은 작업 |
| Chain-of-Thought (CoT) | 단계별 추론 유도. Multi-shot CoT, Zero-shot CoT ("Think step by step"), 태그 기반 CoT | 수학, 프로그래밍, 다단계 논리 |
| Self-consistency | 다중 출력 생성 후 다수결 선택 | 환각 감소, 모델 앙상블 효과 |
| Tool Use | 외부 도구(pytest, API 등) 호출 허용 | 환각 감소, 자율성 확보 |
| RAG | 외부 문서/코드를 컨텍스트로 주입 | 최신 정보 필요, 인용/해석 가능성 확보 |
| Reflexion | LLM이 자기 출력을 비판·수정 (observe → reflect → extend) | 오류 수정, 반복 개선 |
- 명확한 목표: 동사로 작업 지정, 출력 형식/길이 정의
- 컨텍스트 제공: 관련 데이터, 용어 정의, 대상 독자 명시
- 구체성: 모호한 표현 제거, 복잡한 작업은 단계 분해
- 구조화: XML 태그(
<log>,<error>,<code>,<tools>등)로 입력 구분 - 역할 프롬프팅(Role prompting): 시스템 프롬프트에 페르소나 적극 활용 (예: "pedantic senior developer", "Gen Z digital bestie")
- 반복 실험: 표현, 길이, 세부 수준 조정
- 명시적 요청: 언어, 기술 스택, 라이브러리, 제약조건 구체화
| 용어 | 설명 |
|---|---|
| System prompt | LLM에 먼저 제공되는 숨겨진 메시지. 페르소나, 규칙, 스타일 정의 |
| User prompt | 사용자의 실제 질문/지시 |
| Assistant | LLM이 생성한 응답 |
====================================================================================
Anthropic의 4명의 전문가가 프롬프트 엔지니어링에 대해 논의하는 영상.
별도 Gist로 정리, 이유는 한글 자료가 이상해서 직접 AI 요약을 돌림.
링크: https://gist.github.com/YangSiJun528/acc9bd7b1e6873f732650bf3ef2b590d
====================================================================================
이 기법들이 구분 없이 나열되어 있는데, 용도에 따라 세 범주로 나눠야 한다. 그렇지 않으면 실제로 어디에 적용해야 하는지 판단이 어렵고, 모델을 직접 만드는 곳이 아니면 활용할 수 없는 기법들도 섞여 있다.
- A. 모델 제공자 영역: 후속학습(SFT/RL) 또는 추론 시간 스케일링(다중 생성, 내부 reasoning chain 확장 등)
- B. 개발자 영역: 이미 만들어진 모델에 대한 프롬프트 설계
- C. 시스템 아키텍처 영역: 모델 외부에 검색·도구·실행 환경을 연동하는 통합 설계
설명은 건너 뜀.
A. 모델 제공자 영역 (post-training / inference-time)
- Chain-of-Thought (CoT)
- Tree of Thoughts (ToT)
- Self-Consistency
- ReAct
- Reflexion
- Active-Prompt
- Multimodal CoT
- Graph Prompting
B. 프롬프트 설계 (개발자 영역)
- Zero-shot Prompting
- Few-shot Prompting
- Prompt Chaining
- Meta Prompting
- Directional Stimulus Prompting
- Generate Knowledge Prompting
- Automatic Prompt Engineer (APE)
C. 시스템 아키텍처 (deployment/integration)
- RAG
- Automatic Reasoning and Tool-use (ART)
- Program-Aided Language Models (PAL)
====================================================================================
그냥 자료 보기: https://kr.themodernsoftware.dev/readings/week1/how-openai-uses-codex