c++实现文本中英文单词和汉字字符的统计

源代码下载：http://download.csdn.net/detail/nuptboyzhb/4987141

1.统计文本中汉字的频数，为后续的文本分类做基础。对于汉字的统计，需要判断读取的是否为汉字。源代码如下：

[C++ code]

[cpp] view plaincopy

1. /*
2. *@author:郑海波 http://blog.csdn.net/NUPTboyZHB
3. *参考：实验室小熊
4. *注：有删改
5. */
6. #pragma warning(disable:4786)
7. #include <iostream>
8. #include <vector>
9. #include <fstream>
10. #include <string>
11. #include <map>
12. #include <queue>
13. #include <ctime>
14. using namespace std;
15. void topK(const int &K)
16. {
17. double t=clock();
18. ifstream infile("test.txt");
19. if (!infile)
20. cout<<"can not open file"<<endl;
21. string s="";
22. map<string,int>wordcount;
23. unsigned char temp[2];
24. while(true)//国标2312
25. {
26. infile>>temp[0];
27. if(infile.eof()) break;
28. if (temp[0]>=0xB0)//GB2312下的汉字，最小是0XB0
29. {
30. s+=temp[0];
31. infile>>temp[1];
32. s+=temp[1];
33. }
34. else//非汉字字符不统计
35. {
36. s="";
37. continue;
38. }
39. wordcount[s]++;
40. s="";
41. }
42. cout<<"单词种类："<<wordcount.size()<<endl;
43. //优先队列使用小顶堆，排在前面的数量少，使用">";
44. priority_queue< pair< int,string >,vector< pair< int,string > >,greater< pair< int,string> > > queueK;
45. for (map<string,int>::iterator iter=wordcount.begin(); iter!=wordcount.end(); iter++)
46. {
47. queueK.push(make_pair(iter->second,iter->first));
48. if(queueK.size()>K)
49. queueK.pop();
50. }
51. pair<int,string>tmp;
52. //将排在后面的数量少，排在前面的数量多
53. priority_queue< pair< int,string >,vector< pair< int,string > >,less< pair< int,string> > > queueKless;
54. while (!queueK.empty())
55. {
56. tmp=queueK.top();
57. queueK.pop();
58. queueKless.push(tmp);
59. }
60. while(!queueKless.empty())
61. {
62. tmp=queueKless.top();
63. queueKless.pop();
64. cout<<tmp.second<<"\t"<<tmp.first<<endl;
65. }
66. cout<<"< Elapsed Time: "<<(clock()-t)/CLOCKS_PER_SEC<<" s>"<<endl;
67. }
68. int main()
69. {
70. int k=0;
71. cout<<"http://blog.csdn.net/NUPTboyZHB\n";
72. while (true)
73. {
74. cout<<"查看前K个频率最高的汉字，K=";
75. cin>>k;
76. if(k<=0)break;
77. topK(k);
78. }
79. return 0;
80. }

[图1]

2.统计英文单词的出现频率。这比统计汉字更加的容易，因为单词和单词之间是用空格分开的，所以，直接将单词保存到string中即可。

[c++ code]

[cpp] view plaincopy

1. /*
2. *@author:郑海波 http://blog.csdn.net/NUPTboyZHB
3. *参考：实验室小熊
4. *注：有删改
5. */
6. #pragma warning(disable:4786)
7. #include <iostream>
8. #include <vector>
9. #include <fstream>
10. #include <string>
11. #include <map>
12. #include <queue>
13. #include <ctime>
14. using namespace std;
15. void topK(const int &K)
16. {
17. double t=clock();
18. ifstream infile;
19. infile.open("test.txt");
20. if (!infile)
21. cout<<"can not open file"<<endl;
22. string s;
23. map<string,int>wordcount;
24. while(true)
25. {
26. infile>>s;
27. if(infile.eof()) break;
28. wordcount[s]++;
29. }
30. cout<<"单词种类："<<wordcount.size()<<endl;
31. //优先队列使用小顶堆，排在前面的数量少，使用">";
32. priority_queue< pair< int,string >,vector< pair< int,string > >,greater< pair< int,string> > > queueK;
33. for (map<string,int>::iterator iter=wordcount.begin(); iter!=wordcount.end(); iter++)
34. {
35. queueK.push(make_pair(iter->second,iter->first));
36. if(queueK.size()>K)
37. queueK.pop();
38. }
39. pair<int,string>tmp;
40. priority_queue< pair< int,string >,vector< pair< int,string > >,less< pair< int,string> > > queueKless;
41. while (!queueK.empty())
42. {
43. tmp=queueK.top();
44. queueK.pop();
45. queueKless.push(tmp);
46. }
47. while(!queueKless.empty())
48. {
49. tmp=queueKless.top();
50. queueKless.pop();
51. cout<<tmp.second<<"\t"<<tmp.first<<endl;
52. }
53. cout<<"< Elapsed Time: "<<(clock()-t)/CLOCKS_PER_SEC<<" >"<<endl;
54. }
55. int main()
56. {
57. int k=0;
58. cout<<"http://blog.csdn.net/NUPTboyZHB\n";
59. while (true)
60. {
61. cout<<"PUT IN K: ";
62. cin>>k;
63. if(k<=0)break;
64. topK(k);
65. }
66. return 0;
67. }

[图2]

参考：实验室小熊