数据处理项目Beta阶段软件架构建议

class：Dataserver

string serverIP
string serverPassword
string sqlAccount
string sqlPassword
bool DataUpdate(int id, string key, string content)
	#用来更新数据，id用来定位更新的位置 key是要更新的字段 content是要更新的内容
	#需要详细考虑多线程的同时调用以及错误处理
setServerIP(string)
setServerPassword(string)
setSqlAccount(string)
setSqlPassword(string)
bool tryToConn()
	#尝试连接 返回账户信息设置是否正确
bool checkIfDeal(int id)
	#查看是否已经处理过了
void sentSolr( ? )
	#用来连接solr服务器
	#提供必要相关操作 如果有必要 可以进行拆分

class：Crawler

	#可以爬下来数据并且储存到数据库里
	string [] startingURLs
	void addstartingURLs()string;

class: DataAnalysis

	#完成对于数据的分析工作
	#多线程
run()
	#处理数据
	grab()
	asscording to type:
	pdfHandler() / htmlHandler() / wordHandler()
grab()
	#从数据库随机抓取一个文件
pdfHandler()
	#处理pdf文档
	。。。
	write();
htmlHandler()
	#处理html文档
。。。
	write();
wordHandler()
	处理word文档
	。。。
	write();
write()
	Dataserver 实例
string translator(string aim, string type)
	#如果type是0 英译汉  1：汉译英
htmlContentExtraction()
	#从html里面提取文本信息出来
wordContentExtraction()
	#从word文档里面提取文本信息出来
pdfContentExtraction()
	#从pdf里面提取文本信息出来
string denoising(type，string)
	#根据类型输入 从文本中删除无关字符 专一化处理
string keyWordSegment(string)
	#用词频统计的方法从文本输入中提取关键词出来

tips：

1. 考虑线程安全
2. 统一错误输出
3. 对于需要标准化的东西一致写到readme里面