java使用代理发post请求
这东西啊，本身是无用的，但是要是移植就有用。
package util;
import java.util.Properties; public class HttpProxyConfiger {
public static void configProxy(){
Properties prop=System.getProperties(); prop.setProperty("proxySet","true");
prop.setProperty("http.proxyHost","192.168.xx.xx");
prop.setProperty("http.proxyPort","port"); }
}
工具类中包括很多种方法，读写txt，发post请求等。
package util; import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.OutputStreamWriter;
import java.io.PrintWriter;
import java.net.HttpURLConnection;
import java.net.URL;
import java.net.URLConnection;
import java.net.URLDecoder;
import java.net.URLEncoder;
import java.sql.Timestamp;
import java.text.SimpleDateFormat;
import java.util.ArrayList;
import java.util.Date;
import java.util.HashMap;
import java.util.List;
import java.util.Map; import org.apache.commons.lang.StringEscapeUtils; import com.google.gson.Gson;
import com.google.gson.JsonObject;
import com.google.gson.JsonParser;
import com.sun.org.apache.bcel.internal.generic.NEW; import dao.DataBaseDao;
import dao.impl.DataBaseDaoImpl;
import entity.AiDataBase;
import entity.AiResultBai;
import entity.AiResultFs; public class Tools {
static Date datetime=new Date();
static Timestamp ts = new Timestamp(datetime.getTime());
//读取本地文件pos.txt
public static List<String> readFile02(String path) {
// 使用一个字符串集合来存储文本中的路径 ，也可用String []数组
List<String> list = new ArrayList<String>();
try {
FileInputStream fis = new FileInputStream(path);
// 防止路径乱码 如果utf-8 乱码 改GBK eclipse里创建的txt 用UTF-8，在电脑上自己创建的txt 用GBK
InputStreamReader isr = new InputStreamReader(fis, "UTF-8");
BufferedReader br = new BufferedReader(isr);
String line = "";
while ((line = br.readLine()) != null) {
// 如果 t x t文件里的路径 不包含---字符串 这里是对里面的内容进行一个筛选
list.add(line);
}
br.close();
isr.close();
fis.close();
} catch (Exception e) {
e.printStackTrace();
}
return list;
}
/**
* 分析fs数据结果时用
* @param path
* @return
*/
public static List<String> readFiletofs(String path) {
// 使用一个字符串集合来存储文本中的路径 ，也可用String []数组
List<String> list = new ArrayList<String>();
try {
FileInputStream fis = new FileInputStream(path);
// 防止路径乱码 如果utf-8 乱码 改GBK eclipse里创建的txt 用UTF-8，在电脑上自己创建的txt 用GBK
InputStreamReader isr = new InputStreamReader(fis, "UTF-8");
BufferedReader br = new BufferedReader(isr);
String line = "";
while ((line = br.readLine()) != null) {
// 如果 t x t文件里的路径 不包含---字符串 这里是对里面的内容进行一个筛选
list.add(line.replace("+", "%2B"));
}
br.close();
isr.close();
fis.close();
} catch (Exception e) {
e.printStackTrace();
}
return list;
} /*
* 专门给百度去用的，把一份大文件拆分成几个小文件
* 本地读取13W基础数据，拆分成每1W条存入一个list执行一次分析
*/
public static Map readFilechaifen(String path) {
Map map=new HashMap();
//存放总数的text
List<String> listall=new ArrayList<String>();
try { FileInputStream fis = new FileInputStream(path);
// 防止路径乱码 如果utf-8 乱码 改GBK eclipse里创建的txt 用UTF-8，在电脑上自己创建的txt 用GBK
InputStreamReader isr = new InputStreamReader(fis, "UTF-8");
BufferedReader br = new BufferedReader(isr);
String line = "";
while ((line = br.readLine()) != null) {
// 如果 t x t文件里的路径 不包含---字符串 这里是对里面的内容进行一个筛选
listall.add(line.replace("+", "%2B"));
}
br.close();
isr.close();
fis.close(); } catch (Exception e) {
e.printStackTrace();
}
//每读取一样，index加一，到了index % 5000 == 0 的时候，就用一个新的list
//把if里面的代码放到后面来，list定义在for外面， 在你这个if里面再次new一下
//就好了
List<String> listnew=null;
for(int i=0;i<=listall.size();i++) {
if(i%5000==0) {
listnew=new ArrayList<String>();
listnew.add(listall.get(i)); }
listnew.add(listall.get(i));
}
return map;
} public static List<AiDataBase> readFiletoadb(String path) {
// 使用一个字符串集合来存储文本中的路径 ，也可用String []数组
List<AiDataBase> adblist = new ArrayList<AiDataBase>();
try {
FileInputStream fis = new FileInputStream(path);
// 防止路径乱码 如果utf-8 乱码 改GBK eclipse里创建的txt 用UTF-8，在电脑上自己创建的txt 用GBK
InputStreamReader isr = new InputStreamReader(fis, "UTF-8");
BufferedReader br = new BufferedReader(isr);
String line = "";
//int i=0;
while ((line = br.readLine()) != null) { //i++;
//System.out.println(i+"==========="+line);
// 如果 t x t文件里的路径 不包含---字符串 这里是对里面的内容进行一个筛选
if(line.contains("+")) {
line=line.replace("+", "%2B");
//System.out.println("替换+后=="+line);
}
if(line.contains("'")) {
line=line.replaceAll("'", "");
//System.out.println("替换'后=="+line);
}
if(line.contains("\\")){
line=line.replace("\\", "");
}
AiDataBase aiDataBase=new AiDataBase();
aiDataBase.setText(line.replaceAll(" ", "").trim());
aiDataBase.setCreate_time(ts);
adblist.add(aiDataBase);
} br.close();
isr.close();
fis.close();
} catch (Exception e) {
e.printStackTrace();
}
return adblist;
} /*public static void main(String[] args) {
List<AiDataBase> adblist =readFiletoadb("E:\\360downloads\\111\\data_jd.txt");
System.out.println(adblist.size());
}*/
//读取本地文件result_fs.txt
public static List<AiResultFs> readFileforFs(String path) {
// 使用一个字符串集合来存储文本中的路径 ，也可用String []数组
List<AiResultFs> list = new ArrayList<AiResultFs>();
try {
FileInputStream fis = new FileInputStream(path);
// 防止路径乱码 如果utf-8 乱码 改GBK eclipse里创建的txt 用UTF-8，在电脑上自己创建的txt 用GBK
InputStreamReader isr = new InputStreamReader(fis, "UTF-8");
BufferedReader br = new BufferedReader(isr);
DataBaseDao dbd=new DataBaseDaoImpl();
String line = "";
int j=0;
while ((line = br.readLine())!=null) {
if(line.contains("…")) {
line=StringEscapeUtils.escapeHtml(line);
}
if(line.contains("+")) {
line=line.replace("+", "%2B");
//System.out.println("替换+后=="+line);
}
/*if(line.contains("'")) {
line=line.replaceAll("'", "");
//System.out.println("替换'后=="+line);
}*/
j++; if((dbd.getIdByText1(line.split("===")[0].trim().replaceAll(" ", "")))>0){
AiResultFs arf=new AiResultFs();
System.out.println(j+line);
arf.setData_base_id(dbd.getIdByText1(line.split("===")[0].trim().replaceAll(" ", "")));
arf.setSentiment(Integer.parseInt(((((line.split("==="))[1]).split(":"))[1])));
arf.setScore(Double.parseDouble(((((line.split("==="))[2]).split("："))[1])));
arf.setCreate_time(ts);
list.add(arf);
}else {
System.out.println(line+"不存在");
} //} }
br.close();
isr.close();
fis.close();
} catch (Exception e) {
e.printStackTrace();
} return list;
}
/**
* 给aibaidu.java用的，把13W的数据拆成5000一个list然后进行分析
* @param paramlist
* @return
*/
public static Map<Integer, List<String>> getmapchafen(List<String> paramlist){
List<String> listnew=new ArrayList<String>();
Map<Integer , List<String>> lMap=new HashMap<Integer , List<String>>();
for(int i=0;i<paramlist.size();i++) {
if(i==0 ||i%5000==0) {
listnew=new ArrayList<String>();
listnew.add(paramlist.get(i));
lMap.put(i+1, listnew); }else {
//listnew=new ArrayList<String>();
listnew.add(paramlist.get(i));
} }
System.out.println(lMap.size());
return lMap;
}
//读取本地文件result_baidu.txt,存储为List<AiResultBai>
public static List<AiResultBai> readFileforbaidu(String path) {
// 使用一个字符串集合来存储文本中的路径 ，也可用String []数组
List<AiResultBai> list = new ArrayList<AiResultBai>();
try {
FileInputStream fis = new FileInputStream(path);
// 防止路径乱码 如果utf-8 乱码 改GBK eclipse里创建的txt 用UTF-8，在电脑上自己创建的txt 用GBK
InputStreamReader isr = new InputStreamReader(fis, "UTF-8");
BufferedReader br = new BufferedReader(isr);
DataBaseDao dbd=new DataBaseDaoImpl();
String line = "";
int j=0;
while ((line = br.readLine())!=null) {
if(!line.equals("")) {
if(line.length()>=256) {
line.substring(0, 256);
}
if(line.contains("+")) {
line=line.replace("+", "%2B");
//System.out.println("替换+后=="+line);
}
/*if(line.contains("'")) {
line=line.replaceAll("'", "''");
//System.out.println("替换'后=="+line);
}*/
/*if(line.contains("…")) {
line=StringEscapeUtils.escapeHtml(line);
}*/
j++;
System.out.println(j+line);
;
AiResultBai arBai=new AiResultBai();
if((dbd.getIdByText1(((line.split("===")[0]).trim().replaceAll(" ", ""))))>0) {
arBai.setData_base_id(dbd.getIdByText1((line.split("===")[0]).trim().replaceAll(" ", "")));
arBai.setSentiment(Integer.parseInt(((((line.split("==="))[1]).split(":"))[1])));
arBai.setPositive_prob(Double.parseDouble(((((line.split("==="))[2]).split(":"))[1])));
arBai.setNegative_prob(Double.parseDouble(((((line.split("==="))[3]).split(":"))[1])));
arBai.setCreate_time(ts);
list.add(arBai);
}else {
System.out.println(line+"不存在");
} } }
br.close();
isr.close();
fis.close();
} catch (Exception e) {
e.printStackTrace();
} return list;
} /*public static void main(String[] args) {
String string="物流很快，手机壳也很精美，自己真的超喜欢啊……但河马嘴巴上的灰渍是脏";
StringEscapeUtils.escapeHtml(string);
System.out.println(string);
//System.out.println(list.size());
}*/
//把字符串一行行写入文件
public void writeTxt(String result,String resultfilepath) {
//写入中文字符时解决中文乱码问题
try {
FileOutputStream fos = new FileOutputStream(new File(resultfilepath),true);
OutputStreamWriter osw = new OutputStreamWriter(fos, "UTF-8");
BufferedWriter bw = new BufferedWriter(osw);
bw.write(result + "\t\n"); //注意关闭的先后顺序，先打开的后关闭，后打开的先关闭
bw.close();
osw.close();
fos.close();
} catch (Exception e) {
e.printStackTrace();
}
}
//2个文本文件一行一行对比
public static List<String> compare(String path1,String path2) {
// 使用一个字符串集合来存储文本中的路径 ，也可用String []数组
List<String> strlist = new ArrayList<String>();
try {
FileInputStream fis = new FileInputStream(path1);
// 防止路径乱码 如果utf-8 乱码 改GBK eclipse里创建的txt 用UTF-8，在电脑上自己创建的txt 用GBK
InputStreamReader isr = new InputStreamReader(fis, "UTF-8");
BufferedReader br = new BufferedReader(isr); FileInputStream fis1 = new FileInputStream(path2);
InputStreamReader isr1 = new InputStreamReader(fis1, "UTF-8");
BufferedReader br1 = new BufferedReader(isr1);
String line1 = "";
String line2="";
while (((line1 = br.readLine()) != null)&&((line2 = br1.readLine()) != null)) {
// 如果 t x t文件里的路径 不包含---字符串 这里是对里面的内容进行一个筛选
if(!((line1.trim().replace(" ", "")).equals(line2.trim().replace(" ", "")))) {
strlist.add((line1.split("==="))[0].trim()+"=="+(line1.split("==="))[1]+"=="+(line2.split("==="))[1]);
} }
br.close();
isr.close();
fis.close();
} catch (Exception e) {
e.printStackTrace();
}
return strlist;
}
//post请求获取结果
/**
* sendUrl （远程请求的URL）
* param （远程请求参数）
* JSONObject （远程请求返回的JSON）
*/ public String sendPostUrl(String url,String param){
PrintWriter out = null;
BufferedReader in = null;
Gson gson = new Gson();
JsonParser parser=new JsonParser();
String result = "";
List<String> reslutlist=new ArrayList<String>();
String qingganqingxiang="";
String jieguo="";
try {
URL realUrl = new URL(url);
// 打开和URL之间的连接
URLConnection conn = realUrl.openConnection();
// 发送POST请求必须设置如下两行
conn.setDoOutput(true);
conn.setDoInput(true);
// 获取URLConnection对象对应的输出流（设置请求编码为UTF-8）
out = new PrintWriter(new OutputStreamWriter(conn.getOutputStream(), "UTF-8"));
// 发送请求参数
out.print(param);
// flush输出流的缓冲
out.flush();
// 获取请求返回数据（设置返回数据编码为UTF-8）
in = new BufferedReader(
new InputStreamReader(conn.getInputStream(), "UTF-8"));
String line;
while ((line = in.readLine()) != null) {
result += line;
}
JsonObject jsonObject = parser.parse(result).getAsJsonObject();
// System.out.println(jsonObject);
//分析结果，得出字符串 装了好几台机子了，一直都用这个===情感倾向:2===分值:0.632563
if((Double.parseDouble(jsonObject.get("score").toString()))>0.5){
qingganqingxiang="===2";
}
else {
qingganqingxiang="===0";
}
String score="==="+jsonObject.get("score").toString();
String sentence=jsonObject.get("sentence").toString();
System.out.println("json获取的值"+sentence);
jieguo=sentence+qingganqingxiang+score;
// jieguo=param+qingganqingxiang+score;
} catch (IOException e) {
e.printStackTrace();
} finally{
try{
if(out!=null){
out.close();
}
if(in!=null){
in.close();
}
}
catch(IOException ex){
ex.printStackTrace();
}
} return jieguo;
}
/**
* 改变post方法，最终获取的是一个list<airesultfs>
* @param url
* @param paramlist
* @return
*/
public static List<AiResultFs> sendPostUrl1(String url,List<String> paramlist){
Date datetime=new Date();
Timestamp ts = new Timestamp(datetime.getTime());
PrintWriter out = null;
BufferedReader in = null;
Gson gson = new Gson();
JsonParser parser=new JsonParser();
DataBaseDao dBaseDao=new DataBaseDaoImpl(); List<AiResultFs> reslutlist=new ArrayList<AiResultFs>();
for (String param : paramlist) {
try {
HttpProxyConfiger.configProxy();
//System.out.println(param);
URL realUrl = new URL(url);
// 打开和URL之间的连接
HttpURLConnection conn = (HttpURLConnection)realUrl.openConnection();
//URLConnection conn = realUrl.openConnection();
// 发送POST请求必须设置如下两行
conn.setDoOutput(true);
conn.setDoInput(true);
// 获取URLConnection对象对应的输出流（设置请求编码为UTF-8）
out = new PrintWriter(new OutputStreamWriter(conn.getOutputStream(), "UTF-8"));
// 发送请求参数
out.print("sentence="+param);
// flush输出流的缓冲
out.flush();
// 获取请求返回数据（设置返回数据编码为UTF-8）
in = new BufferedReader(
new InputStreamReader(conn.getInputStream(), "UTF-8"));
String line;
String result = "";
while ((line = in.readLine()) != null) {
result += line;
} JsonObject jsonObject =parser.parse(result.replace("'", "''")).getAsJsonObject();
//System.out.println("jsonObject=="+jsonObject);
//分析结果，得出字符串 装了好几台机子了，一直都用这个===情感倾向:2===分值:0.632563
int sentiment;
if((Double.parseDouble(jsonObject.get("score").toString()))>0.5){
sentiment=2;
}
else {
sentiment=0;
}
double score=Double.parseDouble(jsonObject.get("score").toString());
String sentence=jsonObject.get("sentence").toString();
System.out.println("param========"+param);
int database_id=dBaseDao.getIdByText1(param.trim().replace(" ", ""));
System.out.println(database_id);
if(database_id>0) {
AiResultFs arf=new AiResultFs();
arf.setData_base_id(database_id);
arf.setSentiment(sentiment);
arf.setScore(score);
arf.setCreate_time(ts);
reslutlist.add(arf);
}
//System.out.println("结束");
} catch (IOException e) {
e.printStackTrace();
} finally{
try{
if(out!=null){
out.close();
}
if(in!=null){
in.close();
}
}
catch(IOException ex){
ex.printStackTrace();
}
}
} return reslutlist;
} }
java使用代理发post请求的更多相关文章
- Java学习笔记--通过java.net.URLConnection发送HTTP请求
http://www.cnblogs.com/nick-huang/p/3859353.html 使用Java API发送 get请求或post请求的步骤: 1. 通过统一资源定位器(java.net ...
- JAVA 年老代收集器 第10节
JAVA 年老代收集器 第10节 上一章我们讲了新生代的收集器,那么这一章我们要讲的就是关于老年代的一些收集器.老年代的存活的一般是大对象以及生命很顽强的对象,因此新生代的复制算法很明显不能适应该区域 ...
- JAVA 年轻代收集器 第九节
JAVA 年轻代收集器 第九节 继续上一章所讲的,STW即GC时候的停顿时间,他会暂停我们程序中的所有线程.如果STW所用的时间长而且次数多的话,那么我们整个系统稳定性以及可用性将大大降低. 因此我 ...
- 通过java.net.URLConnection发送HTTP请求的方法
一.前言 如何通过Java发送HTTP请求,通俗点讲,如何通过Java(模拟浏览器)发送HTTP请求. Java有原生的API可用于发送HTTP请求,即java.net.URL.java.net.UR ...
- Java过滤器处理Ajax请求，Java拦截器处理Ajax请求，拦截器Ajax请求
Java过滤器处理Ajax请求,Java拦截器处理Ajax请求,拦截器Ajax请求 >>>>>>>>>>>>>>&g ...
- java动态代理源码解析
众所周知,java动态代理同反射原理一直是许多框架的底层实现,之前一直没有时间来分析动态代理的底层源码,现结合源码分析一下动态代理的底层实现 类和接口 java动态代理的主要类和接口有:java.la ...
- Java过滤器处理Ajax请求，Java拦截器处理Ajax请求，java 判断请求是不是ajax请求
Java过滤器处理Ajax请求,Java拦截器处理Ajax请求,java 判断请求是不是ajax请求 Java过滤器处理Ajax请求,Java拦截器处理Ajax请求,拦截器Ajax请求 java ...
- java 模拟浏览器发送post请求
java使用URLConnection发送post请求 /** * 向指定 URL 发送POST方法的请求 * * @param url * 发送请求的 URL * @param param * 请求 ...
- 通过java.net.URLConnection发送HTTP请求(原生、爬虫)
目录 1. 运用原生Java Api发送简单的Get请求.Post请求 2. 简单封装 3. 简单测试 如何通过Java发送HTTP请求,通俗点讲,如何通过Java(模拟浏览器)发送HTTP请求.Ja ...
随机推荐
- [PA2014]Bohater
[PA2014]Bohater 题目大意: 有\(n(n\le10^5)\)只怪物,你的血量为\(z\).要打败第\(i\)只怪物时,你需要先消耗\(d_i\)点生命值,再恢复\(a_i\)点生命值. ...
- 2018 完美搭建VS Code 的JAVA开发环境并解决print乱码问题
出自微软的Visual Studio Code 并不是一个 IDE,它是个有理想,有前途的编辑器,通过相应语言的插件,可以将其包装成一个 轻量级的功能完善的IDE. 自从遇见了她,真的是对她一见钟情不 ...
- 2000万行表从SqlServer转移到Mongodb
就是记录一下操作过程,备忘,没什么难的
- yii动态配置International(Yii::t())
Yii:t()的动态配置 \Yii::$app->i18n->translations['categoryName*'] = [ 'class' => 'yii\i18n\PhpMe ...
- Mac下hadoop运行word count的坑
Mac下hadoop运行word count的坑 Word count体现了Map Reduce的经典思想,是分布式计算中中的hello world.然而博主很幸运地遇到了Mac下特有的问题Mkdir ...
- 大数据hadoop生态圈
大数据本身是个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的.你可以把它比作一个厨房所以需要的各种工具.锅碗瓢盆,各有各的用处,互相之间又有重合.你可 ...
- C_狐狸和兔子的故事
题目描述 围绕着山顶有10个洞,一只狐狸和一只兔子各住一个洞.狐狸总想吃掉兔子.一天兔子对狐狸说:“你想吃我有一个条件,先把洞从1-10编上号,你从10号洞出发,先到1号洞找我:第二次隔1个洞找我,第 ...
- Node_初步了解（3）回调，作用域，上下文
1. //回调:回调是异步编程最基本的方法,node.js需要按顺序执行异步逻辑的时候,一般采用后续传递的方式,将后续逻辑封装在回调函数中,作为起始函数的参数. //具名函数 function lea ...
- openstack 之~keystone之网关协议
第一:静态页面和动态页面 上一篇博客介绍了HTTP后,我们知道一个web server的本质就是 浏览器发送一个HTTP请求: 服务器收到请求,生成一个HTML文档: 服务器把HTML文档作为HTTP ...
- seq_file学习（2）—— seq_file
li {list-style-type:decimal;}ol.wiz-list-level2 > li {list-style-type:lower-latin;}ol.wiz-list-le ...