之前写过 ChsPinyinUDL 的四种格式。这里补多来源词频是怎么合并的。
方法全文在 merge_pipeline.md,这里只说思路与三个难点。
三个难点
第一是量纲对不上。各家统计口径、语料规模、平滑方式都不一样,同一个词在一份表里频率是两百,在另一份表里可能是二十万,直接相加或求平均没有意义,得先换算到同一把尺子上。
第二是最容易被忽略的:某份来源里偶尔会混进局部异常值。可能是语料被污染了——某种固定格式的模板文本被当成正文统计进去——也可能是提取环节算错了。结果就是某个词条的频率高得不正常。如果拿这种带病的数据去校准别的来源,异常会顺着校准这条链路扩散出去,越滚越大。整套方法里花心思最多的就在这里。
第三,只有一份来源收录、别的地方都没有的词条,可信度天然要打折扣,不能跟被好几份独立来源共同验证过的词条一视同仁。
逐步校验
流程按顺序解决这三件事,每一步都能单独拿出来验证、单独调参数,不需要牵一发动全身。
文档本身只写思路和伪代码,异常处理、边界条件、具体库的调用方式留给实现的人自己填。它跟具体来源是谁、合并出来的东西最终拿去干什么都没关系:只要手上的数据能整理成约定的格式,这套方法就能套用。
1 | github.com/lunzima/ChsPinyinUDL |
评论
点击下面的按钮加载评论框。评论提交后需经确认,不会立即显示。
已提交,确认后会显示。