这是一个基于NVIDIA的nGPT的小型语言模型， 其前身为KyvYang的个人项目minilm。 但是为了性能而将重新实现的BPE换成了HuggingFace的Tokenizes提供的BPE， 模型本身的实现并不变，而重新实现了训练循环和数据处理部分。
forked from SwarmClone/MiniLM2
-
Notifications
You must be signed in to change notification settings - Fork 0
计划的核心——大语言模型
License
javaxiong/MiniLM2
Folders and files
| Name | Name | Last commit message | Last commit date | |
|---|---|---|---|---|
Repository files navigation
About
计划的核心——大语言模型
Resources
License
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published
Languages
- Python 99.6%
- Shell 0.4%