gnu

高速に並列処理: xargs -P vs parallel -j vs split -n r/

gnu

最近になって、 GNU Coreutils の split(1) に --filter ってオプションがあり、入力を並列処理する方法の1つになることを知りました*1。並列処理をしたいときに使うものとして GNU Findutils の xargs(1) -P, --max-procs (おそらく GNU 拡張) と、そのまま…

awkで大きな連想配列

あいかわらずですが、でっかい int 集合を uniq したいときのもう一つの方法として、連想配列を使う方法があります。特定の値を除外したいなど、ちょっとデータを加工したいときになんかしらの言語を使うかんじです。 php だったら (ひさしぶりの) php でや…

uniq のための sort -n と LC_MONETARY

ファイルに int な文字列がたくさん書いてあって、 uniq するだけのために sort するときって、 "-n" つけますか??きっと sort するためには numeric で扱ってくれたほうが楽なんだろうけど、 numeric に変換するのもまたコストだよなー、とおもうところです…

xargs

どうでもいいツッコミですが。 じゃあどうすればいいんでしょうか。実は、GNU coreutilsのcpやmvにはxargsと組み合わせて使うためのオプションが用意されています。coreutilsのinfoにも書いてありますが、「-t」または「--target-directory」オプションでdes…