今天碰到了个需求，就是我需要在一个文件里随机抽一些行出来做训练集，剩下的做测试集。因为原来的文件排列有一定的顺序可能影响结果，所以不能直接head或者tail。我以为肯定有个命令很方便的完成这件事情，结果搜了半天没搜到可以直接用的（可能还是有，只是我太蠢没有找到。。。），结果发现了一个博客是用c结合shell做的，感觉还挺不错。思路就是用c把文件每行的尾部加上一个随机数（各行后面的随机数不重复），之后再用shell按最后一列排序就好。
原文在这里：http://blog.csdn.net/liyuxia713/article/details/7445592
备份下代码在下面：
//random.c#include#include #include #include using namespace std;const int LEN = 4098;//返回属于[p,q)的随机整数 int rand(int p, int q){ int size = q-p+1; return p+ rand()%size;}//交换两个元素值 void swap(int& a , int& b){ int temp = a; a = b; b = temp;}//打印数组值void print(int *v, int n){ for(int i=0; i < n ; i++) { printf("%u\n", v[i]); }} //给数组a[n], 随机不重复赋值[1,n]之间的数void randomize(int *v, int n){ //initialize for(int i=0; i < n; i++) { v[i] = i+1; } for(int i=n-1; i>0; i--) { int r = rand(0,i+1); swap(v[r], v[i]); }}//删除换行符int chomp(char *str){ int len = strlen(str); while(len > 0 && (str[len - 1] == '\n' || str[len - 1] == '\r')) { str[len - 1] = 0; len--; } return len;}//主函数int main(int argc, char *argv[]){ int line_num = atoi(argv[1]); printf("%u\n",line_num); int *value = (int*)malloc((line_num) * sizeof(int)); printf("%u\n",line_num); randomize(value, line_num); //print(value, N); FILE* infile = fopen(argv[2], "r"); if( infile == NULL ) { printf("Cann't open file %s.", argv[1]); return 0; } FILE* outfile = fopen(argv[3], "w"); if( outfile == NULL) { printf("Cann't open file %s to write.", argv[2]); return 0; } int i=0; char str[LEN]; str[0] = 0; str[LEN-1] = 0; while( !feof(infile) ) { if( !fgets(str, sizeof(str),infile)) { break; } str[LEN- 1] = 0; chomp(str); fprintf(outfile, "%s\t%u\n", str, value[i]); i++; } fclose(infile); fclose(outfile); return 0;}
#!/bin/sh### note: sh random.sh in_fname out_fname ###infile=$1outfile=$2line_num=`cat $infile | wc -l `./random $line_num $infile $outfile.tmpsort $outfile.tmp -k 2 -n -t ' ' | cut -f1 > $outfile
恩补充一下sort：
-n表示按数值排序
-k是第几列（从1计数）
-t指定分割符 （如果在命令行里tab可以用ctrl+v+i）