nlhappy致力于复现自然语言处理各类任务的SOTA模型(不包含LLM相关任务)。
文档地址:
它主要的依赖有
- transformers: 下载预训练权重
- pytorch-lightning: 模型训练
- datasets: 构建数据集
- pydantic: 数据校验
- 实体抽取
- 嵌套实体抽取
- 非连续实体抽取
- 关系抽取
- 事件抽取
- 文本单标签分类
- 文本多标签分类
- 阅读理解
- 文本对分类
- 文本对相似度(文本向量化)
安装nlhappy
推荐先去pytorch官网安装pytorch和对应cuda
# pip 安装
pip install --upgrade pip
pip install --upgrade nlhappy其他可选
推荐安装wandb用于可视化训练日志
- 安装:
pip install wandb - 注册: https://wandb.ai/
- 获取认证: https://wandb.ai/authorize
- 登陆:
wandb login- 使用
# 命令行训练
nlhappy datamodule=xxx model=xxx trainer=xxx logger=wandb
模型训练开始后去官网查看训练实况