Python_NLP

本仓库记录寒假在小牛翻译实验室编写的一些程序

creat_data

构造带标签的双语语料

首先编辑 main.sh , 配置好文件

chmod +x main.sh
./main.sh  -l <protection> -m <model>

<protection> 只能是 'no' 'tok' 'bpe'中的一种

<model> 只能是 0 或 1 或 2


0 : 不泛化
1 : 标签两端加$copy
2 : 完全泛化

举例


./main.sh -l bpe -m 1

Name		Name	Last commit message	Last commit date
Latest commit History 46 Commits
count_HTML		count_HTML
creat_data		creat_data
doc		doc
evaluate_model		evaluate_model
note		note
script		script
.gitignore		.gitignore
LICENSE		LICENSE
README.md		README.md
clean.sh		clean.sh
main.sh		main.sh
test.sh		test.sh