Instructor: 김재욱

Office hours: 아무때나

Lecture: 수 6:30 ~ 8:00

장소: 전자정보대학 539호

Course Duration: 10주

Format: Hands-on Coding, Assignments

📘 LLM101n: Introduction to Language Modeling

📜 트랙 소개

What I cannot create, I do not understand. -Richard Feynman

이 트랙은 딥러닝과 언어 모델링을 배우는 입문 과정 코스입니다. Andrej Karpathy의 Neural Networks: Zero to Hero에서 영감을 받아, 이론과 실습을 균형 있게 조합하여 직관적인 단계별 접근 방식으로 진행됩니다.

🔍 배우게 될 내용

✅ 머신러닝과 딥러닝의 기본 개념

✅ Linear Regression, MLP, CNN과 같은 기본 모델 구현 방법

✅ Attention과 Transformer의 작동 원리

✅ PyTorch를 사용하여 GPT를 처음부터 직접 구현하는 방법 이 강의를 마치면, PyTorch를 활용하여 직접 언어 모델을 코딩하고 학습할 수 있으며, 더 나아가 AI, LLM, 딥러닝 전반에 대한 깊은 이해를 갖출 수 있습니다.

🗝 수강 대상 및 선수 지식

이 강의는 누구에게 적합한가요?

✔️ 기본적인 Python 지식이 있는 초보자

✔️ 딥러닝과 자연어 처리(NLP)에 관심 있는 학생

✔️ LLM을 직접 만들어 보고 싶은 사람

필요한 선수 지식

🔹 Python 기초

🔹 Git 및 GitHub 사용 경험

🗓️ Course Schedule

강의자료

Lecture_01.ipynb

Lecture_02.ipynb

Lecture_03.ipynb

Lecture_04.ipynb

Lecture_05.ipynb

Transformers.pdf

https://colab.research.google.com/drive/1JMLa53HDuA-i7ZBmqV7ZnA3c_fvtXnx-?usp=sharing

팀 구성

https://docs.google.com/spreadsheets/d/12hdpc3j972T5qL49-2KFST6Rd1WWjJzOjuqf1ruESQY/edit?gid=0#gid=0

💻 과제 제출 방법

깃허브 레포 링크 올려주세요

⏳ 지각 정책

인정결석
- 세션 최소 24시간 전까지 결석사유와 증빙서류를 보낸 경우에만 인정결석 처리됩니다.
인정지각
- 세션 최소 2시간 전까지 지각사유와 증빙서류를 보낸 경우에만 인정지각 처리됩니다.
과제 지각 제출
- 과제 마감일 이후 24시간 동안 과제를 제출하게 되면 과제 지각 제출 처리됩니다.
- 24시간이 지나면 과제 미제출 처리됩니다.

ML 세션과 동일

📚 Suggested Readings

<aside> 📌 사용 교재: 없음

</aside>

LLM Detection