TXT文本语料数据清洗（Text corpus data cleaning）

🤩🌍🤩🌍🤩🌍一行代码完成 TXT语料文本 “初步”清洗🌍🤩🌍🤩🌍🤩

国内镜像：https://gitee.com/adetion/text-corpus-data-cleaning

🤩 1、run.py

一行代码完成 语料文本 “初步”清洗。自动转UTF-8编码、自动过滤Html标签/url网址/email地址/emoji表情符号/全角字符/无用空白行、自动进行简繁体双向互转。

效果展示

🌍 2、txt2utf8.py

TXT文本语料文本编码转换为UTF8。

🤩 3、txt_merge.py

自动合并TXT语料文件，合并前逐行进行“自定义”高级过滤清洗，并对人名、地名、组织机构进行遮码处理

🌍 4、spider_txt_from_website.py

TXT文本语料素材爬虫示例