- Tìm hiểu, so sánh 2 kỹ thuật tinh chỉnh phổ biến trong thời điểm hiện tại:
- Tinh chỉnh toàn phần (full fine-tune - FFT)
- LoRA (Low-Rank Adaptation of Large Language Models)
- Sử dụng nhiều GPUs để hỗ trợ tinh chỉnh các mô hình ngôn ngữ lớn đồng thời
- Tinh chỉnh mô hình ngôn ngữ lớn cho 2 tác vụ xử lý ngôn ngữ tự nhiên
- Phân tích cảm xúc (Sentiment Analysis - SA)
- Nhận dạng thực thể có tên (Named Entity Recognition - NER)
- Full Model Fine-tuning
- LoRA (Low-Rank Adaptation)
- Pytorch
- Jupyter Notebook (Nếu cần)
- Cài đặt Transformer phiên bản mới nhất cho bài toán SA trên tập UIT-VSFC (để chạy ViT5 cho bài toán SequenceClassification)
- Cài đặt Transformer phiên bản có thể sử dụng Fast text cho PhoBERT theo hướng dẫn tại Repo PhoBERT để chạy bài toán NER
pip install pandas
pip install datasets adapters peft bitsandbytes
pip install lightning torchmetrics
pip install underthesea
pip install matplotlib seaborn
pip install peft==0.5.0