java使用代理发post请求
这东西啊，本身是无用的，但是要是移植就有用。
package util;
import java.util.Properties; public class HttpProxyConfiger {
public static void configProxy(){
Properties prop=System.getProperties(); prop.setProperty("proxySet","true");
prop.setProperty("http.proxyHost","192.168.xx.xx");
prop.setProperty("http.proxyPort","port"); }
}
工具类中包括很多种方法，读写txt，发post请求等。
package util; import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.OutputStreamWriter;
import java.io.PrintWriter;
import java.net.HttpURLConnection;
import java.net.URL;
import java.net.URLConnection;
import java.net.URLDecoder;
import java.net.URLEncoder;
import java.sql.Timestamp;
import java.text.SimpleDateFormat;
import java.util.ArrayList;
import java.util.Date;
import java.util.HashMap;
import java.util.List;
import java.util.Map; import org.apache.commons.lang.StringEscapeUtils; import com.google.gson.Gson;
import com.google.gson.JsonObject;
import com.google.gson.JsonParser;
import com.sun.org.apache.bcel.internal.generic.NEW; import dao.DataBaseDao;
import dao.impl.DataBaseDaoImpl;
import entity.AiDataBase;
import entity.AiResultBai;
import entity.AiResultFs; public class Tools {
static Date datetime=new Date();
static Timestamp ts = new Timestamp(datetime.getTime());
//读取本地文件pos.txt
public static List<String> readFile02(String path) {
// 使用一个字符串集合来存储文本中的路径 ，也可用String []数组
List<String> list = new ArrayList<String>();
try {
FileInputStream fis = new FileInputStream(path);
// 防止路径乱码 如果utf-8 乱码 改GBK eclipse里创建的txt 用UTF-8，在电脑上自己创建的txt 用GBK
InputStreamReader isr = new InputStreamReader(fis, "UTF-8");
BufferedReader br = new BufferedReader(isr);
String line = "";
while ((line = br.readLine()) != null) {
// 如果 t x t文件里的路径 不包含---字符串 这里是对里面的内容进行一个筛选
list.add(line);
}
br.close();
isr.close();
fis.close();
} catch (Exception e) {
e.printStackTrace();
}
return list;
}
/**
* 分析fs数据结果时用
* @param path
* @return
*/
public static List<String> readFiletofs(String path) {
// 使用一个字符串集合来存储文本中的路径 ，也可用String []数组
List<String> list = new ArrayList<String>();
try {
FileInputStream fis = new FileInputStream(path);
// 防止路径乱码 如果utf-8 乱码 改GBK eclipse里创建的txt 用UTF-8，在电脑上自己创建的txt 用GBK
InputStreamReader isr = new InputStreamReader(fis, "UTF-8");
BufferedReader br = new BufferedReader(isr);
String line = "";
while ((line = br.readLine()) != null) {
// 如果 t x t文件里的路径 不包含---字符串 这里是对里面的内容进行一个筛选
list.add(line.replace("+", "%2B"));
}
br.close();
isr.close();
fis.close();
} catch (Exception e) {
e.printStackTrace();
}
return list;
} /*
* 专门给百度去用的，把一份大文件拆分成几个小文件
* 本地读取13W基础数据，拆分成每1W条存入一个list执行一次分析
*/
public static Map readFilechaifen(String path) {
Map map=new HashMap();
//存放总数的text
List<String> listall=new ArrayList<String>();
try { FileInputStream fis = new FileInputStream(path);
// 防止路径乱码 如果utf-8 乱码 改GBK eclipse里创建的txt 用UTF-8，在电脑上自己创建的txt 用GBK
InputStreamReader isr = new InputStreamReader(fis, "UTF-8");
BufferedReader br = new BufferedReader(isr);
String line = "";
while ((line = br.readLine()) != null) {
// 如果 t x t文件里的路径 不包含---字符串 这里是对里面的内容进行一个筛选
listall.add(line.replace("+", "%2B"));
}
br.close();
isr.close();
fis.close(); } catch (Exception e) {
e.printStackTrace();
}
//每读取一样，index加一，到了index % 5000 == 0 的时候，就用一个新的list
//把if里面的代码放到后面来，list定义在for外面， 在你这个if里面再次new一下
//就好了
List<String> listnew=null;
for(int i=0;i<=listall.size();i++) {
if(i%5000==0) {
listnew=new ArrayList<String>();
listnew.add(listall.get(i)); }
listnew.add(listall.get(i));
}
return map;
} public static List<AiDataBase> readFiletoadb(String path) {
// 使用一个字符串集合来存储文本中的路径 ，也可用String []数组
List<AiDataBase> adblist = new ArrayList<AiDataBase>();
try {
FileInputStream fis = new FileInputStream(path);
// 防止路径乱码 如果utf-8 乱码 改GBK eclipse里创建的txt 用UTF-8，在电脑上自己创建的txt 用GBK
InputStreamReader isr = new InputStreamReader(fis, "UTF-8");
BufferedReader br = new BufferedReader(isr);
String line = "";
//int i=0;
while ((line = br.readLine()) != null) { //i++;
//System.out.println(i+"==========="+line);
// 如果 t x t文件里的路径 不包含---字符串 这里是对里面的内容进行一个筛选
if(line.contains("+")) {
line=line.replace("+", "%2B");
//System.out.println("替换+后=="+line);
}
if(line.contains("'")) {
line=line.replaceAll("'", "");
//System.out.println("替换'后=="+line);
}
if(line.contains("\\")){
line=line.replace("\\", "");
}
AiDataBase aiDataBase=new AiDataBase();
aiDataBase.setText(line.replaceAll(" ", "").trim());
aiDataBase.setCreate_time(ts);
adblist.add(aiDataBase);
} br.close();
isr.close();
fis.close();
} catch (Exception e) {
e.printStackTrace();
}
return adblist;
} /*public static void main(String[] args) {
List<AiDataBase> adblist =readFiletoadb("E:\\360downloads\\111\\data_jd.txt");
System.out.println(adblist.size());
}*/
//读取本地文件result_fs.txt
public static List<AiResultFs> readFileforFs(String path) {
// 使用一个字符串集合来存储文本中的路径 ，也可用String []数组
List<AiResultFs> list = new ArrayList<AiResultFs>();
try {
FileInputStream fis = new FileInputStream(path);
// 防止路径乱码 如果utf-8 乱码 改GBK eclipse里创建的txt 用UTF-8，在电脑上自己创建的txt 用GBK
InputStreamReader isr = new InputStreamReader(fis, "UTF-8");
BufferedReader br = new BufferedReader(isr);
DataBaseDao dbd=new DataBaseDaoImpl();
String line = "";
int j=0;
while ((line = br.readLine())!=null) {
if(line.contains("…")) {
line=StringEscapeUtils.escapeHtml(line);
}
if(line.contains("+")) {
line=line.replace("+", "%2B");
//System.out.println("替换+后=="+line);
}
/*if(line.contains("'")) {
line=line.replaceAll("'", "");
//System.out.println("替换'后=="+line);
}*/
j++; if((dbd.getIdByText1(line.split("===")[0].trim().replaceAll(" ", "")))>0){
AiResultFs arf=new AiResultFs();
System.out.println(j+line);
arf.setData_base_id(dbd.getIdByText1(line.split("===")[0].trim().replaceAll(" ", "")));
arf.setSentiment(Integer.parseInt(((((line.split("==="))[1]).split(":"))[1])));
arf.setScore(Double.parseDouble(((((line.split("==="))[2]).split("："))[1])));
arf.setCreate_time(ts);
list.add(arf);
}else {
System.out.println(line+"不存在");
} //} }
br.close();
isr.close();
fis.close();
} catch (Exception e) {
e.printStackTrace();
} return list;
}
/**
* 给aibaidu.java用的，把13W的数据拆成5000一个list然后进行分析
* @param paramlist
* @return
*/
public static Map<Integer, List<String>> getmapchafen(List<String> paramlist){
List<String> listnew=new ArrayList<String>();
Map<Integer , List<String>> lMap=new HashMap<Integer , List<String>>();
for(int i=0;i<paramlist.size();i++) {
if(i==0 ||i%5000==0) {
listnew=new ArrayList<String>();
listnew.add(paramlist.get(i));
lMap.put(i+1, listnew); }else {
//listnew=new ArrayList<String>();
listnew.add(paramlist.get(i));
} }
System.out.println(lMap.size());
return lMap;
}
//读取本地文件result_baidu.txt,存储为List<AiResultBai>
public static List<AiResultBai> readFileforbaidu(String path) {
// 使用一个字符串集合来存储文本中的路径 ，也可用String []数组
List<AiResultBai> list = new ArrayList<AiResultBai>();
try {
FileInputStream fis = new FileInputStream(path);
// 防止路径乱码 如果utf-8 乱码 改GBK eclipse里创建的txt 用UTF-8，在电脑上自己创建的txt 用GBK
InputStreamReader isr = new InputStreamReader(fis, "UTF-8");
BufferedReader br = new BufferedReader(isr);
DataBaseDao dbd=new DataBaseDaoImpl();
String line = "";
int j=0;
while ((line = br.readLine())!=null) {
if(!line.equals("")) {
if(line.length()>=256) {
line.substring(0, 256);
}
if(line.contains("+")) {
line=line.replace("+", "%2B");
//System.out.println("替换+后=="+line);
}
/*if(line.contains("'")) {
line=line.replaceAll("'", "''");
//System.out.println("替换'后=="+line);
}*/
/*if(line.contains("…")) {
line=StringEscapeUtils.escapeHtml(line);
}*/
j++;
System.out.println(j+line);
;
AiResultBai arBai=new AiResultBai();
if((dbd.getIdByText1(((line.split("===")[0]).trim().replaceAll(" ", ""))))>0) {
arBai.setData_base_id(dbd.getIdByText1((line.split("===")[0]).trim().replaceAll(" ", "")));
arBai.setSentiment(Integer.parseInt(((((line.split("==="))[1]).split(":"))[1])));
arBai.setPositive_prob(Double.parseDouble(((((line.split("==="))[2]).split(":"))[1])));
arBai.setNegative_prob(Double.parseDouble(((((line.split("==="))[3]).split(":"))[1])));
arBai.setCreate_time(ts);
list.add(arBai);
}else {
System.out.println(line+"不存在");
} } }
br.close();
isr.close();
fis.close();
} catch (Exception e) {
e.printStackTrace();
} return list;
} /*public static void main(String[] args) {
String string="物流很快，手机壳也很精美，自己真的超喜欢啊……但河马嘴巴上的灰渍是脏";
StringEscapeUtils.escapeHtml(string);
System.out.println(string);
//System.out.println(list.size());
}*/
//把字符串一行行写入文件
public void writeTxt(String result,String resultfilepath) {
//写入中文字符时解决中文乱码问题
try {
FileOutputStream fos = new FileOutputStream(new File(resultfilepath),true);
OutputStreamWriter osw = new OutputStreamWriter(fos, "UTF-8");
BufferedWriter bw = new BufferedWriter(osw);
bw.write(result + "\t\n"); //注意关闭的先后顺序，先打开的后关闭，后打开的先关闭
bw.close();
osw.close();
fos.close();
} catch (Exception e) {
e.printStackTrace();
}
}
//2个文本文件一行一行对比
public static List<String> compare(String path1,String path2) {
// 使用一个字符串集合来存储文本中的路径 ，也可用String []数组
List<String> strlist = new ArrayList<String>();
try {
FileInputStream fis = new FileInputStream(path1);
// 防止路径乱码 如果utf-8 乱码 改GBK eclipse里创建的txt 用UTF-8，在电脑上自己创建的txt 用GBK
InputStreamReader isr = new InputStreamReader(fis, "UTF-8");
BufferedReader br = new BufferedReader(isr); FileInputStream fis1 = new FileInputStream(path2);
InputStreamReader isr1 = new InputStreamReader(fis1, "UTF-8");
BufferedReader br1 = new BufferedReader(isr1);
String line1 = "";
String line2="";
while (((line1 = br.readLine()) != null)&&((line2 = br1.readLine()) != null)) {
// 如果 t x t文件里的路径 不包含---字符串 这里是对里面的内容进行一个筛选
if(!((line1.trim().replace(" ", "")).equals(line2.trim().replace(" ", "")))) {
strlist.add((line1.split("==="))[0].trim()+"=="+(line1.split("==="))[1]+"=="+(line2.split("==="))[1]);
} }
br.close();
isr.close();
fis.close();
} catch (Exception e) {
e.printStackTrace();
}
return strlist;
}
//post请求获取结果
/**
* sendUrl （远程请求的URL）
* param （远程请求参数）
* JSONObject （远程请求返回的JSON）
*/ public String sendPostUrl(String url,String param){
PrintWriter out = null;
BufferedReader in = null;
Gson gson = new Gson();
JsonParser parser=new JsonParser();
String result = "";
List<String> reslutlist=new ArrayList<String>();
String qingganqingxiang="";
String jieguo="";
try {
URL realUrl = new URL(url);
// 打开和URL之间的连接
URLConnection conn = realUrl.openConnection();
// 发送POST请求必须设置如下两行
conn.setDoOutput(true);
conn.setDoInput(true);
// 获取URLConnection对象对应的输出流（设置请求编码为UTF-8）
out = new PrintWriter(new OutputStreamWriter(conn.getOutputStream(), "UTF-8"));
// 发送请求参数
out.print(param);
// flush输出流的缓冲
out.flush();
// 获取请求返回数据（设置返回数据编码为UTF-8）
in = new BufferedReader(
new InputStreamReader(conn.getInputStream(), "UTF-8"));
String line;
while ((line = in.readLine()) != null) {
result += line;
}
JsonObject jsonObject = parser.parse(result).getAsJsonObject();
// System.out.println(jsonObject);
//分析结果，得出字符串 装了好几台机子了，一直都用这个===情感倾向:2===分值:0.632563
if((Double.parseDouble(jsonObject.get("score").toString()))>0.5){
qingganqingxiang="===2";
}
else {
qingganqingxiang="===0";
}
String score="==="+jsonObject.get("score").toString();
String sentence=jsonObject.get("sentence").toString();
System.out.println("json获取的值"+sentence);
jieguo=sentence+qingganqingxiang+score;
// jieguo=param+qingganqingxiang+score;
} catch (IOException e) {
e.printStackTrace();
} finally{
try{
if(out!=null){
out.close();
}
if(in!=null){
in.close();
}
}
catch(IOException ex){
ex.printStackTrace();
}
} return jieguo;
}
/**
* 改变post方法，最终获取的是一个list<airesultfs>
* @param url
* @param paramlist
* @return
*/
public static List<AiResultFs> sendPostUrl1(String url,List<String> paramlist){
Date datetime=new Date();
Timestamp ts = new Timestamp(datetime.getTime());
PrintWriter out = null;
BufferedReader in = null;
Gson gson = new Gson();
JsonParser parser=new JsonParser();
DataBaseDao dBaseDao=new DataBaseDaoImpl(); List<AiResultFs> reslutlist=new ArrayList<AiResultFs>();
for (String param : paramlist) {
try {
HttpProxyConfiger.configProxy();
//System.out.println(param);
URL realUrl = new URL(url);
// 打开和URL之间的连接
HttpURLConnection conn = (HttpURLConnection)realUrl.openConnection();
//URLConnection conn = realUrl.openConnection();
// 发送POST请求必须设置如下两行
conn.setDoOutput(true);
conn.setDoInput(true);
// 获取URLConnection对象对应的输出流（设置请求编码为UTF-8）
out = new PrintWriter(new OutputStreamWriter(conn.getOutputStream(), "UTF-8"));
// 发送请求参数
out.print("sentence="+param);
// flush输出流的缓冲
out.flush();
// 获取请求返回数据（设置返回数据编码为UTF-8）
in = new BufferedReader(
new InputStreamReader(conn.getInputStream(), "UTF-8"));
String line;
String result = "";
while ((line = in.readLine()) != null) {
result += line;
} JsonObject jsonObject =parser.parse(result.replace("'", "''")).getAsJsonObject();
//System.out.println("jsonObject=="+jsonObject);
//分析结果，得出字符串 装了好几台机子了，一直都用这个===情感倾向:2===分值:0.632563
int sentiment;
if((Double.parseDouble(jsonObject.get("score").toString()))>0.5){
sentiment=2;
}
else {
sentiment=0;
}
double score=Double.parseDouble(jsonObject.get("score").toString());
String sentence=jsonObject.get("sentence").toString();
System.out.println("param========"+param);
int database_id=dBaseDao.getIdByText1(param.trim().replace(" ", ""));
System.out.println(database_id);
if(database_id>0) {
AiResultFs arf=new AiResultFs();
arf.setData_base_id(database_id);
arf.setSentiment(sentiment);
arf.setScore(score);
arf.setCreate_time(ts);
reslutlist.add(arf);
}
//System.out.println("结束");
} catch (IOException e) {
e.printStackTrace();
} finally{
try{
if(out!=null){
out.close();
}
if(in!=null){
in.close();
}
}
catch(IOException ex){
ex.printStackTrace();
}
}
} return reslutlist;
} }
java使用代理发post请求的更多相关文章
- Java学习笔记--通过java.net.URLConnection发送HTTP请求
http://www.cnblogs.com/nick-huang/p/3859353.html 使用Java API发送 get请求或post请求的步骤: 1. 通过统一资源定位器(java.net ...
- JAVA 年老代收集器 第10节
JAVA 年老代收集器 第10节 上一章我们讲了新生代的收集器,那么这一章我们要讲的就是关于老年代的一些收集器.老年代的存活的一般是大对象以及生命很顽强的对象,因此新生代的复制算法很明显不能适应该区域 ...
- JAVA 年轻代收集器 第九节
JAVA 年轻代收集器 第九节 继续上一章所讲的,STW即GC时候的停顿时间,他会暂停我们程序中的所有线程.如果STW所用的时间长而且次数多的话,那么我们整个系统稳定性以及可用性将大大降低. 因此我 ...
- 通过java.net.URLConnection发送HTTP请求的方法
一.前言 如何通过Java发送HTTP请求,通俗点讲,如何通过Java(模拟浏览器)发送HTTP请求. Java有原生的API可用于发送HTTP请求,即java.net.URL.java.net.UR ...
- Java过滤器处理Ajax请求，Java拦截器处理Ajax请求，拦截器Ajax请求
Java过滤器处理Ajax请求,Java拦截器处理Ajax请求,拦截器Ajax请求 >>>>>>>>>>>>>>&g ...
- java动态代理源码解析
众所周知,java动态代理同反射原理一直是许多框架的底层实现,之前一直没有时间来分析动态代理的底层源码,现结合源码分析一下动态代理的底层实现 类和接口 java动态代理的主要类和接口有:java.la ...
- Java过滤器处理Ajax请求，Java拦截器处理Ajax请求，java 判断请求是不是ajax请求
Java过滤器处理Ajax请求,Java拦截器处理Ajax请求,java 判断请求是不是ajax请求 Java过滤器处理Ajax请求,Java拦截器处理Ajax请求,拦截器Ajax请求 java ...
- java 模拟浏览器发送post请求
java使用URLConnection发送post请求 /** * 向指定 URL 发送POST方法的请求 * * @param url * 发送请求的 URL * @param param * 请求 ...
- 通过java.net.URLConnection发送HTTP请求(原生、爬虫)
目录 1. 运用原生Java Api发送简单的Get请求.Post请求 2. 简单封装 3. 简单测试 如何通过Java发送HTTP请求,通俗点讲,如何通过Java(模拟浏览器)发送HTTP请求.Ja ...
随机推荐
- 潭州课堂25班：Ph201805201 django框架 第八课 表关联对象方法add,create,remove,clear，多表查询 (课堂笔记)
查表: 数据的插入 新建添加 删除 清空
- docker 与启动后的镜像进行交互
docker ps docker exec -t -i jenk /bin/bash 在启动时进行交互 docker run -i -t ubuntu:15.10 /bin/bash
- URAL Palindromic Contest
A. Non-palidromic cutting 考虑无解的情形:只能是形如$aaaaa$.$aaabaaa$.$abababa$这三种情况. 有解时,对于最小划分,答案必定是$1$或者$2$,判断 ...
- BZOJ3945 : 无聊的邮递员
因为两个人方案的对称性,可以将$k$除以$2$,转化为在$n-1$个间隔中设置若干断点,求第$k$小的增量. 对于选中的相邻的断点$(a,a+1)$和$(b,b+1)$,增量为$|x_a-x_{b+1 ...
- windows下安装Mysql—图文详解
mysql安装过程及注意事项: 1.1. 下载: 我下载的是64位系统的zip包: 下载地址:https://dev.mysql.com/downloads/mysql/ 下载zip的包: 下载后解压 ...
- Ubuntu或linux 运行后台进程运行不挂断的办法
nohup python ChatReq.py 20000 >>log_cronjob.txt 2>&1 & 之前把nohup去掉,发现就算运行python Chat ...
- jdk各种包安装方式
大家都知道,现在JAVA的发展可谓是如日中天,它覆盖面非常广泛,小到个人PC,大到商业应用都能见到它的身影.以前它是由SUN公司来维护的,现在已经归属到甲骨文旗下了. 今天我们来学习一下Java JD ...
- Oracle分组小计、总计示例(grouping sets的使用)
1.首先创建一个表 create table TE ( ID VARCHAR2(2), T_CODE VARCHAR2(4), T_NAME VARCHAR2(4), T_A ...
- JAVA自学笔记03
1.三目运算符 1)格式:(关系表达式)?表达式1:表达式2 true则执行表达式1,false则执行表达式2 @ 例题1 :求两数中的较大值 System.out.println(x>y?x: ...
- CSS魔法堂：Transition就这么好玩
前言 以前说起前端动画必须使用JS,而CSS3为我们带来transition和@keyframes,让我们可以以更简单(声明式代替命令式)和更高效的方式实现UI状态间的补间动画.本文为近期对Tran ...