Scalding Cascading 的 Scala API

Scalding 是一个 Scala 库简化了 Hadoop MapReduce 作业开发。基于 Cascading 构建。Scalding 跟 Pig 类似，但提供更紧密的 Scala 集成。

Hadoop 是一个统计词（counting words）的分布式系统。这里看 Scalding 如何实现统计词：

packagecom.twitter.scalding.examplesimportcom.twitter.scalding._classWordCountJob(args:Args)extendsJob(args){TypedPipe.from(TextLine(args("input"))).flatMap{line=>tokenize(line)}.groupBy{word=>word}//useeachwordforakey.size//ineachgroup,getthesize.write(TypedTsv[(String,Long)](args("output")))//Splitapieceoftextintoindividualwords.deftokenize(text:String):Array[String]={//Lowercaseeachwordandremovepunctuation.text.toLowerCase.replaceAll("[^a-zA-Z0-9\\s]","").split("\\s+")}}