借鉴Shell实现思路,如何更优雅地用PowerShell统计文本词频?
优化PowerShell词频统计的开头逻辑
这是个非常有意思的问题!先回顾下这段经典的编程公案:Donald Knuth曾受命编写一个10页的Pascal程序来做词频统计,而Doug McIlroy只用几行Shell命令就完成了等价功能:
tr -cs A-Za-z '\n' | tr A-Z a-z | sort | uniq -c | sort -rn | sed ${1}q
你自己转换的PowerShell版本已经抓住了核心——用Group-Object合并了sort | uniq -c的功能,确实是PowerShell风格的精妙设计。针对开头部分不够优雅的问题,我们可以用直接提取单词的思路来简化,避免先替换非字母再拆分的两步操作:
方案1:用正则匹配直接提取单词
利用[regex]::Matches()直接从文本中抓取所有小写单词,一步到位拿到目标内容:
[regex]::Matches((Get-Content -Raw test.txt).ToLower(), '\w+') | ForEach-Object { $_.Value } | Group-Object | Sort-Object Count -Descending | Select-Object -First $Args[0] | Format-Table Count, Name
这里\w+会匹配所有字母/数字组成的序列(如果只想保留纯字母,可以换成[a-z]+),直接跳过非单词字符,不需要先做替换操作,逻辑更直接清晰。
方案2:用正则分隔符拆分文本
如果更倾向于用-split,可以直接指定非单词字符作为分隔符,再过滤掉拆分产生的空字符串:
(Get-Content -Raw test.txt).ToLower() -split '\W+' | Where-Object { $_ } | Group-Object | Sort-Object Count -Descending | Select-Object -First $Args[0] | Format-Table Count, Name
-split '\W+'会把所有非单词字符(包括空格、标点、换行等)作为拆分标记,拆分后可能会出现空字符串(比如文本开头/结尾的非单词字符),所以用Where-Object { $_ }过滤掉空元素即可。
这两种写法都比原版本更简洁优雅,也更符合“直接处理目标数据”的编程思路,同时完全保持了可读性(没有使用任何别名)。
内容的提问来源于stack exchange,提问作者qznc
相关产品推荐
相关产品推荐

