PretrainingLLMs

Deeplearning.AI & Upstage의 Pretraining LLMs 강의를 들으며 작업한 노트북을 저장합니다.

**** M1 Mac 에서는 두 가지 문제 발생 ****

torch.bfloat16 학습 미지원 -> 미사용
CustomDataset, CustomArguments를 직접 선언하면 에러 발생 -> 별개 스크립트(util.py)로 분리 후 import하여 실행

Name		Name	Last commit message	Last commit date
Latest commit History 5 Commits
images		images
Lesson1.ipynb		Lesson1.ipynb
Lesson2.ipynb		Lesson2.ipynb
Lesson3.ipynb		Lesson3.ipynb
Lesson4.ipynb		Lesson4.ipynb
Lesson5.ipynb		Lesson5.ipynb
Lesson6.ipynb		Lesson6.ipynb
README.md		README.md
requirements.txt		requirements.txt
util.py		util.py

Provide feedback