使用 yield 减少内存消耗
php 里面想要处理一个文本文件,有一个方法是使用 file() 函数,但是这个函数会读取文件所有内容,可能会导致占用很大内存。
// 28.1 M 的文本文件, 200w 行
$file = 'storage/logs/runningtime/2019-03-17.log'; $file = file($file); // 219.28M
dd(round(memory_get_usage() / 1024 / 1024, 2) . 'M');
但是我们可以以另外一种方式处理,使用 fgets 逐行读取,逐行处理。
// 28.1 M 的文本文件, 200w 行
$file = 'storage/logs/runningtime/2019-03-17.log'; $fp = fopen($file, 'r');
while (($line = fgets($fp)) !== false) {
// do something
} // 1.87M
dd(round(memory_get_usage() / 1024 / 1024, 2) . 'M');
现在,我们也有另外一种选择,使用 yield 关键字,用法如下:
// 28.1 M 的文本文件, 200w 行
$file = 'storage/logs/runningtime/2019-03-17.log'; function generator($file)
{
$fp = fopen($file, 'r');
while (($line = fgets($fp)) !== false) {
yield $line;
}
fclose($fp);
} foreach (generator($file) as $line) {
// do something
} // 1.86M
dd(round(memory_get_usage() / 1024 / 1024, 2) . 'M');
使用 yield 减少内存消耗的更多相关文章
- python  变量作用域  v.__sizeof__()  python  深复制  一切皆对象  尽量减少内存消耗
		
python 深入理解 赋值.引用.拷贝.作用域 - 江召伟 - 博客园 https://www.cnblogs.com/jiangzhaowei/p/5740913.html a=[1,2,5]b= ...
 - Android 获得图片并解码成缩略图以减少内存消耗
		
本文内容 环境 演示 下载 Demo 环境 Windows 2008 R2 64 位 Eclipse ADT V22.6.2,Android 4.4.3 SAMSUNG GT-I9008L,Andro ...
 - python3使用迭代生成器yield减少内存占用
		
技术背景 在python编码中for循环处理任务时,会将所有的待遍历参量加载到内存中.其实这本没有必要,因为这些参量很有可能是一次性使用的,甚至很多场景下这些参量是不需要同时存储在内存中的,这时候就会 ...
 - 如何减少idea的内存消耗
		
如何减少idea的内存消耗 标签: idea 内存 内存泄露 异常 版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/u014028392/articl ...
 - Android高级之十二讲之如何降低应用内存消耗
		
安卓应用的内存往往是有限的,从开始的8M到16M,24M,32M,48M,64M等逐步变大,但内存的变大是由于分辨率的提高导致,并不意味着可以随意声明使用内存,而不及时回收(即使Java有自己的垃圾回 ...
 - (译)内存沉思:多个名称相关的神秘的SQL Server内存消耗者。
		
原文出处:https://blogs.msdn.microsoft.com/sqlmeditation/2013/01/01/memory-meditation-the-mysterious-sql- ...
 - 一文了解 Redis 内存监控和内存消耗
		
Redis 是一种内存数据库,将数据保存在内存中,读写效率要比传统的将数据保存在磁盘上的数据库要快很多.所以,监控 Redis 的内存消耗并了解 Redis 内存模型对高效并长期稳定使用 Redis ...
 - 如何让手游内存占用更小?从内存消耗iOS实时统计开始
		
为什么iOS内存使用过多会崩溃,性能会下降?腾讯游戏学院专家Devlin在本文给了解释,如何让手游内存占用更小?从内存消耗iOS实时统计开始. 一.问题 在之前的手游项目中,内存使用过多,都开始崩溃了 ...
 - Drawable实战解析:Android XML shape 标签使用详解(apk瘦身,减少内存好帮手)
		
Android XML shape 标签使用详解 一个android开发者肯定懂得使用 xml 定义一个 Drawable,比如定义一个 rect 或者 circle 作为一个 View 的背景. ...
 
随机推荐
- Python+Selenium爬取动态加载页面(2)
			
注: 上一篇<Python+Selenium爬取动态加载页面(1)>讲了基本地如何获取动态页面的数据,这里再讲一个稍微复杂一点的数据获取全国水雨情网.数据的获取过程跟人手动获取过程类似,所 ...
 - Luogu  P4322 [JSOI2016]最佳团体
			
JZdalao昨天上课讲的题目,话说JSOI的题目是真的不难,ZJOI的题目真的是虐啊! 题意很简单,抽象一下就是:有一棵树,一次只能选从根到某个节点上的链上的所有点,问从中取出k个节点所得到的总价值 ...
 - 软件测试_测试工具_Loadrunner_IP欺骗
			
一.设置IP欺骗的原因: 1.当某个IP的访问过于频繁或者访问量过大时,服务器会拒绝访问请求: 2.某些服务器配置了负载均衡,使用同一个IP不能测出系统的实际性能.Loadrunner中的IP欺骗通过 ...
 - GitHub 新手教程 五,Git GUI 新手教程(2),Clone Existing Repository 克隆代码库
			
1,注意: 网上大部分教程都是从“Create New Repository”讲起,这其实给我们新手埋了很大的一个坑.按照类似的教程,仅做到一半,各种错误窗口就会弹出来了,像什么:“非同一代码库”.“ ...
 - Unity3d Transform.forward和Vector3.forward的区别!
			
在Unity中有两个forward,一个是Transform.forward一个是Vector3.forward. 对于Vector3来说,它只是缩写.没有其它任何含义. Vector3.forwar ...
 - 【翻译】Brewer's CAP Theorem  CAP定理
			
Brewer's CAP Theorem 原文地址:http://www.julianbrowne.com/article/brewers-cap-theorem Brewer’s (CAP) The ...
 - Linux DDos防御
			
今天要说的就是一款能够自动屏蔽DDOS攻击者IP的软件:DDoS deflate. DDoS deflate介绍 DDoS deflate是一款免费的用来防御和减轻DDoS攻击的脚本.它通过netst ...
 - CSAPP lab2 二进制拆弹 binary bombs   phase_3
			
给出对应于7个阶段的7篇博客 phase_1 https://www.cnblogs.com/wkfvawl/p/10632044.htmlphase_2 https://www.cnblogs. ...
 - 20135202闫佳歆--week7 可执行程序的装载--学习笔记
			
此为个人学习笔记存档 week 7 可执行程序的装载 一.预处理.编译.链接和目标文件的格式 可执行文件的创建--预处理.编译和链接 cd Code vi hello.c gcc -E -o hell ...
 - Win 2008 r2 远程桌面多用户登陆,一用户多登陆配置
			
Windows 2008 R2远程桌面,设置最大连接数,一个登录后另一个就被踢掉等问题 Windows 2008 R2配置如图: 1.打开远程桌面回话主机配置 2.右键RDP-Tcp,属性,可设置最大 ...