折腾语料的全角半角

折腾语料：整理语料时需要统一编码，开始是折腾utf8和gb的统一，后来折腾全角半角。又折腾出来一个经验：如果语聊中全角半角混杂的话，需要谨慎的统一，现在试验找到的final solution是先全部转半角，再全部转全角。由于转全角时保留了英文字幕为半角，原先的方案是直接将语料全部转全角，这两天发现那样原先语料库中的全角英文字母就会一直存在。

恩，还得谨慎啊。