大v用户数据统计分析

1，统计数据的基本情况，包括微博总数，用户总数，最活跃和最不活跃的用户id

#!/bin/sh
source_dir=/home/minelab/data/DATA
source_file_name=userinfo_00_au_1_out
source_file=$source_dir/$source_file_name
#source_file=test.src
out_dir=/home/minelab/liweibo/daV

out_file_name=basic_satic.txt
out_file=$out_dir/result/$out_file_name

out_id_file_name=id_count.list
out_id_file=$out_dir/result/$out_id_file_name

rm -rf $out_file
rm -rf $out_id_file
##进行大v用户基础数据统计###
#统计所有微博总数#
echo "#微博总数：">>$out_file
cat $source_file | wc -l >> $out_file
#统计用户总数,发布微博最多的用户和最少的用户#
cat $source_file | awk -F'\t' '{print $16}' | sort | uniq -c | sort -r -n | sed 's/^ *//g' | awk '{print $2"\
\t"$1}'> $out_id_file
echo "#用户总数：">> $out_file
wc -l $out_id_file | awk '{print $1}'>> $out_file
#统计发布微博最多的用户#
echo "#发布微博最多的用户id：">>$out_file
head -n  $out_id_file >> $out_file
#统计发布微博最少的用户#
echo "#发布微博最少的用户id:">>$out_file
tail -n  $out_id_file >> $out_file

大v用户基本统计脚本