对于electron以及nodejs开发,是一只小菜鸟,第一次想做个应用

只能边学边做,遇到各种各样的问题。

1、不想把所有的主进程函数放到一个文件中,这样文件比较乱,并且不好处理

想法:将另一个js文件引入到该文件中,进行调用等

问题:js不存在互相调用的功能

解决方案:

自定义nodejs模块,并在main.js中导入,然后进行处理(以下代码来自网络)

 'use strict';
const electron = require('electron');
const app = electron.app;
const CrawlService = require('./libs/crawlService'); //start crawl service
CrawlService.start(); // adds debug features like hotkeys for triggering dev tools and reload
require('electron-debug')(); // prevent window being garbage collected
let mainWindow; function onClosed() {
// dereference the window
// for multiple windows store them in an array
mainWindow = null;
} function createMainWindow() {
const win = new electron.BrowserWindow({
width: 1200,
height: 800
}); win.loadURL(`file://${__dirname}/static/index.html`);
win.openDevTools();
win.on('closed', onClosed); return win;
} app.on('window-all-closed', () => {
if (process.platform !== 'darwin') {
app.quit();
}
}); app.on('activate', () => {
if (!mainWindow) {
mainWindow = createMainWindow();
}
}); app.on('ready', () => {
mainWindow = createMainWindow();
})

以上代码中的4、5、6、7行就是引入自定义模块进行处理,自定义模块代码为

const request = require('request'),
async = require('async'),
ipcMain = require('electron').ipcMain,
db = require('./dbService'),
cheerio = require('cheerio'); const CrawlService = {
start: function () {
ipcMain.on('search-keyword', function (event, keyword) {
console.log('channel "search-keyword" on msg:' + keyword); let match = {$regex: eval('/' + keyword + '/')};
var query = keyword ? {$or: [{title: match}, {content: match}]} : {};
db.find(query).sort({publishDate: -1}).limit(100).exec(function (err, mails) {
event.sender.send('search-reply', {mails: mails});
});
}); ipcMain.on('start-crawl', (event, arg) => {
console.log('channel "start-crawl" on msg:' + arg);
var updater = {
sender: event.sender,
channel: arg,
updateProgress: function (progress) {
this.sender.send(this.channel, {progress: progress});
}
};
crawler(updater);
});
}
}; function UrlCrawler(targetUrl) {
return {
targetUrl: targetUrl,
startCrawl: function (processDom) {
request(this.targetUrl, (err, response, body) => {
if (err) throw err;
var $ = cheerio.load(body);
processDom($)
});
}
};
} function pageCrawl(page, totalPage, updater, crawlNextPage, crawProgress) {
new UrlCrawler('http://12345.chengdu.gov.cn/moreMail?page=' + page).startCrawl(($) => {
var $pageMails = $('div.left5 ul li.f12px'),
sameMailsInPage = 0; async.eachOfLimit($pageMails, 10, function iteratee(item, key, nextMail) {
if(crawProgress.skip){
return nextMail();
}
let $item = $(item),
mailDetailUrl = $item.find('a').prop('href'),
divs = $item.find('div');
var mail = {
_id: mailDetailUrl.match(/\d+/g)[0],
title: $(divs[0]).text().trim(),
sender: $(divs[1]).text().trim(),
receiveUnit: $(divs[2]).text().trim(),
status: $(divs[3]).text().trim(),
category: $(divs[4]).text().trim(),
views: $(divs[5]).text().trim()
}; new UrlCrawler('http://12345.chengdu.gov.cn/' + mailDetailUrl).startCrawl(($) => {// crawl mail detail
mail.content = $($('.rightside1 td.td2')[1]).text().trim();
mail.result = $('.rightside1 tbody tr:last-child').text().trim();
mail.publishDate = $($('.rightside1 td.td32')[0]).text().trim() || $($('.rightside1 td.td32')[1]).text().trim(); console.log(mail._id); db.update({_id: mail._id}, mail, {upsert: true, returnUpdatedDocs: true}, function (err, numReplaced, affectedDocuments, upsert) {
if (err) {
throw err;
}
if(!upsert && affectedDocuments.result == mail.result){//if a mail are not update
if(++sameMailsInPage == 15){ //if all mails in one page are note update.
crawProgress.skip = true;
}
}
}); nextMail();
});
}, function done() {
crawlNextPage();
updater.updateProgress(Math.floor(page * 100 / totalPage));
});
});
} /**
* 1. get total page size
* 2. iterator from page 1 to totalSize
* 2.1 fetch mails summary list on 1 page
* 2.2 iterator from mails 1 to maxItems mails summary in 1 page
* 2.2.1 fetch mails detail from url
* 2.2.2 save mail to db
* 2.3 test if none of mails in current page updated? if none, stop crawling or continue step 2.
*
* @param url
*/
function crawler(updater) {
new UrlCrawler('http://12345.chengdu.gov.cn/moreMail').startCrawl(($) => {
var totalSize = $('div.pages script').html().match(/iRecCount = \d+/g)[0].match(/\d+/g)[0],
totalPageSize = Math.ceil(totalSize / 15),
pagesCollection = [],
crawProgress = {skip: false};
for (let i = 1; i <= totalPageSize; i++) {
pagesCollection.push(i);
}
async.eachSeries(pagesCollection, function (page, crawlNextPage) {
pageCrawl(page, totalPageSize, updater, crawlNextPage, crawProgress);
})
});
} module.exports = CrawlService;

electron主进程引入自定义模块的更多相关文章

  1. Visual Studio Code调试electron主进程

    Visual Studio Code调试electron主进程 作者: jekkay 分类: electron 发布时间: 2017-06-11 14:56  一·概述 此文原出自[水滴石]: htt ...

  2. 研究Electron主进程、渲染进程、webview之间的通讯

    背景 由于某个Electron应用,需要主进程.渲染进程.webview之间能够互相通讯. 不过因为Electron仅提供了主进程与渲染进程的通讯,没有渲染进程之间或渲染进程与webview之间通讯的 ...

  3. electron 主进程,和渲染进程的通信

    ipcMain https://electronjs.org/docs/api/ipc-main 当在主进程中使用时,它处理从渲染器进程(网页)发送出来的异步和同步信息, 当然也有可能从主进程向渲染进 ...

  4. python引入自定义模块

    Python的包搜索路径 Python会在以下路径中搜索它想要寻找的模块:1. 程序所在的文件夹2. 标准库的安装路径3. 操作系统环境变量PYTHONPATH所包含的路径 将自定义库的路径添加到Py ...

  5. Python 如何引入自定义模块

    Python 中如何引用自己创建的源文件(*.py)呢? 也就是所谓的模块. 假如,你有一个自定义的源文件,文件名:saySomething.py .里面有个函数,函数名:sayHello.如下图: ...

  6. 使用Visual Studio Code调试Electron主进程

    1.打开VS Code,使用文件->打开,打开程序目录 2.切换到调试选项卡 3.打开launch.json配置文件 4.在“附加到进程”节点上增加localhost配置 5.使用命令行启动el ...

  7. [转]Python如何引入自定义模块?

    转自 http://www.cnblogs.com/JoshuaMK/p/5205398.html Python运行环境在查找库文件时是对 sys.path 列表进行遍历,如果我们想在运行环境中注册新 ...

  8. Python如何引入自定义模块?

    Python运行环境在查找库文件时是对 sys.path 列表进行遍历,如果我们想在运行环境中注册新的类库,主要有以下四种方法: 1.在sys.path列表中添加新的路径.这里可以在运行环境中直接修改 ...

  9. 自己实现一个Electron跨进程消息组件

    我们知道开发Electron应用,难免要涉及到跨进程通信,以前Electron内置了remote模块,极大的简化了跨进程通信的开发工作,但这也带来了很多问题,具体的细节请参与我之前写的文章: http ...

随机推荐

  1. python学习笔记(四) 思考和准备

    一.zip的坑 zip()函数接收多个可迭代数列,将数列中的元素重新组合,在3.0中返回迭代器指向 数列首地址,在3.0以下版本返回List类型的列表数列.我用的是3.5版本python, 所以zip ...

  2. wx.showToast 延时跳转~~~

    //提交预约订单 wx.request({ url: 'http://www.pusonglin.cn/app/index.php?i=2&c=entry&do=api&op= ...

  3. 前端PHP入门-005-爱情是常量还是变量

    常量 常--汉语字面为:长久,经久不变. 常量那就好翻译了:长久不变的值. 常量的使用范围非常广泛. 我们在以后,定义我们的工作目录.定义一些特点的帐户密码.版本号等我们都会使用到常量.所以这一块的知 ...

  4. OpenCV---图像二值化

    一:什么是二值图像 彩色图像:三个通道0-,-,-,所以可以有2^24位空间 灰度图像:一个通道0-,所以有256种颜色 二值图像:只有两种颜色,黑和白,1白色,0黑色 二:图像二值化 (一)先获取阈 ...

  5. Oracle恢复误删除表操作语句

    一.表和数据恢复 1.从回收站里查询被删除的表 select object_name,original_name,partition_name,type,ts_name,createtime,drop ...

  6. Spring整合JMS(一)——基于ActiveMQ实现 (转)

    *注:别人那复制来的 1.1     JMS简介 JMS的全称是Java Message Service,即Java消 息服务.它主要用于在生产者和消费者之间进行消息传递,生产者负责产生消息,而消费者 ...

  7. Debian最完美安装flash的教程//适用于所有linux版本

    话说不管是新手还是老手,都离不开flash.没有flash的支持,菜鸟们也少了一些把玩linux的动力. flash有很多安装的方法,不过性能相差很大.这里的缘由就不重要了. 下面我介绍在chromi ...

  8. Git同时push到多个远程仓库

    添加第二个远程地址时使用以下命令: git remote set-url --add origin git@github.com:morethink/programming.git 查看远程分支:gi ...

  9. 实用技巧:如何用 CSS 做到完全垂直居中

    本文将教你一个很有用的技巧——如何使用 CSS 做到完全的垂直居中.我们都知道 margin:0 auto; 的样式能让元素水平居中,而 margin: auto; 却不能做到垂直居中……直到现在.但 ...

  10. 【AtCoder】ARC092 D - Two Sequences

    [题目]AtCoder Regular Contest 092 D - Two Sequences [题意]给定n个数的数组A和数组B,求所有A[i]+B[j]的异或和(1<=i,j<=n ...