Java爬虫----有道翻译初步】的更多相关文章

目标:http://fanyi.youdao.com/ 用爬虫实现翻译功能. 利用f12查看网页Network,可以发现 有关翻译的表单请求通过  http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule 来发送 其返回是一个JSON字符串. 内部数据为要翻译的信息和被翻译的信息,参考JSON解析和正则表达式(可不用正则),对网页信息和返回请求做出很好的处理. 可参考之前的博客: JSON解析 http://www…
我的博文地址 https://www.cnblogs.com/lingdurebing/p/11618902.html 使用的库 1.commons-codec 主要是为了加密,可以直接用java原生的,这里偷懒了,有点大才小用的感觉. 2.requests-5.0.7 大佬写的java 类似python的requests库 github地址:https://github.com/zhangjingpu/requests 和python的requests用法差不多. 3.fastjson 主要为…
有道翻译-js加密破解 这是本地爬取的网址:http://fanyi.youdao.com/ 一.分析请求 我们在页面中输入:水果,翻译后的英文就是:fruit.请求携带的参数有很多,先将参数数据保存下来,做一个记录. 我们再输入一个新的词:西瓜 i: 西瓜 from: AUTO to: AUTO smartresult: dict client: fanyideskweb salt: 15681884266087 sign: 1ea84aac4a04982f4a775f361ae30351 t…
py2.7 #coding: utf-8 import time import random import hashlib import requests while(1): url = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule&sessionFrom=' content = raw_input('输入>>>: ') s = "AUTO", l = &q…
import urllib.request import urllib.parse import json import hashlib from datetime import datetime import re while True: d = input('translation:\n') if d == 'quit': break heads = {} heads['User-Agent'] = 'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_…
1.urllib和urllib2区别实例 urllib和urllib2都是接受URL请求相关模块,但是提供了不同的功能,两个最显著的不同如下: urllib可以接受URL,不能创建设置headers的Request类实例,urlib2可以. url转码 https://www.baidu.com/s?wd=%E5%AD%A6%E7%A5%9E python字符集解码加码过程: 2.爬虫GET提交实例 #coding:utf-8 import urllib #负责url编码处理 import ur…
写接口测试框架,找了有道翻译API来当测试数据 package com.httpGetTest; import java.beans.Encoder; import java.net.URLEncoder; import java.security.MessageDigest; import java.util.HashMap; import java.util.Map; public class CreatHttpUrl { public static void main(String[] a…
在实现这一功能时遇到了一些困难,由于按照<零基础入门python>中的代码无法实现翻译,会爆出“您的请求来源非法,商业用途使用请关注有道翻译API官方网站“有道智云”: http://ai.youdao.com”这种神奇的错误.无奈百度,在一篇不错的博主上找到一个优化的代码,可以实现.分享一下链接https://blog.csdn.net/c406495762/article/details/59095864#comments from urllib import request from u…
目标url 有道翻译 打开网站输入要翻译的内容,一一查找network发现数据返回json格式,红框就是我们的翻译结果 查看headers,发现返回结果的请求是post请求,且携带一大堆form_data,一一理下一表单数据 i:要翻译的数据 from.to:from to 表示从哪国语言翻译到哪国语言 smartresult.doctype:返回结果的形式以字典形式 client.keyfrom.action:区分客户端类型 salt.sign.ts.bv:看起来不太友善,好像是反爬虫参数 观…
环境: 火狐浏览器 pycharm2017.3.3 python3.5 1.url不仅可以是一个字符串,例如:http://www.baidu.com.url也可以是一个Request对象,这就需要我们先定义一个Request对象,然后将这个Request对象作为URLopen的参数使用,方法如下: from urllib import request req = request.Request("http://fanyi.baidu.com/") response = request…