编译器的前端词法分析:将源文件解析成一个个的单词流。为语法分析做准备。

在词法分析阶段,我们要做的就是将词分出来,而且确定单词的类型,一般的程序设计语言的单词符号能够份为下面5种:

1.keyword,如int,long等

2.标识符,用来表示各种名字,如常量名,变量名等

3.常数。各种类型的常数,如12。1.2等

4.运算符:如+,-,*,/等

5.界符,如“,”“;”等

那么在实际的过程中应该怎样来区分这5中类型,在后面的文章中我将详细讲到。

词法分析第一阶段。非常明显,须要从源文件里读取数据。考虑到如今的硬件内存都达到了2G及以上的标准,那么就将所有源文件读到内存中,并设置指针指向头位置。那么在随后的分词操作中,将直接操作指针就可以。在其它的编译器中,非常多类型都是从文件里按行读取然后对该行中的数据进行解析,这样做的优点就是空间的大大节省,特别是当内存紧凑的时候。而我之所以所有读取,不不过由于硬件的原因,另一个原因是在随后的分词中,我会相对简单一些。

我们先构造一个结构用来存储对源文件有关的操作:

struct File {
void *file;// 指向文件的指针
char *fileName;//文件名称
unsigned char *cursor;//光标的位置
unsigned char *first;//内存区的首地址
unsigned long size;//文件的大小
};

接着用一个函数来实现读取源文件的操作:

int readSourceFile(char *fileName) {
source.file = fopen(fileName, "r");
if (source.file == NULL) {
Error("Can not open file.\n");
return 0;
}
source.fileName = fileName;
fseek(source.file, 0, SEEK_END);
source.size = ftell(source.file);
source.first = malloc(source.size + 1);
if (source.first == NULL) {
Error("The file is too big");
fclose(source.file);
return 0;
}
fseek(source.file, 0, SEEK_SET);
source.size = fread(source.first, 1, source.size, source.file);
fclose(source.file);
source.first[source.size] = END_OF_FILE;
source.cursor = source.first;
return 1;
}

用fseek重定位文件的指针,ftell来取得指针对于文件首部的偏移量,从而得出文件的大小,接着开辟等量的空间,最后对文件结构体进行赋值

在编译器中由于要对错误进行处理,所以就将全部的出错函数封装起来。以便随时调用。

出错函数:

void Error(const char *format, ...)
{
va_list ap;
fprintf(stderr, "error:");
va_start(ap, format);
vfprintf(stderr, format, ap);
fprintf(stderr, "\n");
va_end(ap);
} void Warning(const char *format, ...)
{
va_list ap;
fprintf(stderr, "warning:");
va_start(ap, format);
vfprintf(stderr, format, ap);
fprintf(stderr, "\n");
va_end(ap); return;
}

最后我们来进行測试:

測试函数:

/*
* debug put all content from source file
* */
void putSrc(){
unsigned char *ch=source.first;
while(*ch != END_OF_FILE){
printf("%c", *ch++);
}
}

主函数:

int main() {
readSourceFile("test.txt");
putSrc(); }

到这里我们完毕了词法分析的第一步。在下篇文章中就是对源文件里的数据进行解析。

编译器DIY——读文件的更多相关文章

  1. 编译器DIY——词法分析

    在上一篇文章中已经介绍了读文件的操作,那么这一篇文章中将会细致解释词法分析. 在源文件里解析出的单词流必须识别为保留字,标识符,常量,操作符和界符五大类 1.显然我们须要列举出全部的保留字,而这里与保 ...

  2. GoLang几种读文件方式的比较

    GoLang提供了很多读文件的方式,一般来说常用的有三种.使用Read加上buffer,使用bufio库和ioutil 库. 那他们的效率如何呢?用一个简单的程序来评测一下: package main ...

  3. Python之路 day2 按行读文件

    #1. 最基本的读文件方法: # File: readline-example-1.py file = open("sample.txt") while 1: line = fil ...

  4. java的读文件操作

    java读取文件内容,可以作如下理解: 首先获得一个文件句柄,File file = new File():file即为文件句柄.两人之间联通电话网络了,就可以开始打电话了. 通过这条线路读取甲方的信 ...

  5. PHP使用feof()函数读文件的方法

    这篇文章主要介绍了PHP使用feof()函数读文件的方法,以实例形式对比了正确与错误的用法,阐明了feof()函数的使用技巧,需要的朋友可以参考下 本文实例讲述了PHP使用feof()函数读文件的方法 ...

  6. Java基础之读文件——使用输入流读取二进制文件(StreamInputFromFile)

    控制台程序,读取Java基础之读文件部分(StreamOutputToFile)写入的50个fibonacci数字. import java.nio.file.*; import java.nio.* ...

  7. c++中ifstream读文件的问题(关于eof())

    今天帮别人找BUG,是一段关于c++读写文件的问题,使用的是ifstream与outstream类,关于ofstream与ifstream的用法,此处不再獒述,见代码: #include<ios ...

  8. python (11)文件的读写 按行读文件

    读文件: 读取文件 f = open('\info.txt') fil = f.read() f.close() 按行读文件: f = open("info.txt") while ...

  9. Python学习入门基础教程(learning Python)--5.2 Python读文件基础

    上节简单的说明了一下Pyhon下的文件读写基本流程,从本节开始,我们做几个小例子来具体展示一下Python下的文件操作,本节主要是详细讲述Python的文件读操作. 下面举一个例子,例子的功能是读取当 ...

随机推荐

  1. Lua中的元表和元方法

    Lua中每个值都可具有元表. 元表是普通的Lua表,定义了原始值在某些特定操作下的行为.你可通过在值的原表中设置特定的字段来改变作用于该值的操作的某些行为特征.例如,当数字值作为加法的操作数时,Lua ...

  2. CentOS安装mysql*.rpm提示conflicts with file from package的解决的方法

    CentOS 6.5下安装MySql 5.6 解压文件:tar xvf MySQL-5.6.19-1.linux_glibc2.5.x86_64.rpm-bundle.tar 释放出下面文件: MyS ...

  3. Android 交叉编译程序提示(not found)

    原因是缺少库文件, 解决办法:arm-linux-readelf -a helloword | grep NEEDED 拷贝so文件到安卓下 或者 arm-linux-gcc hello.c -o h ...

  4. JQuery 动态提交form

    function exportExcel() { var merchantName = $('#merchantName').val(); var merchantNo = $('#merchantN ...

  5. http://m.blog.csdn.net/article/details?id=49132747

    http://m.blog.csdn.net/article/details?id=49132747

  6. 如何使用Linux匿名上网-四大法宝

    信息时代给我们的生活带来极大便利和好处的同时也带来了很大的风险.一方面,人们只要点击几下按钮,就能基本上访问已知存在的全部信息和知识;另一方面,要是这种权力落到个别不法分子手里,就会引起重大破坏和灾难 ...

  7. android 程序更新(没有sdcard)

    今天总结一下我们写的程序需要更新(默认用户已经安装上旧版本了),而用户更新时却没有sdcard的情况,如果有sdcard,那就不用废话了... 先说一下软件更新的基本原理,从服务器下载一个程序的apk ...

  8. Android之GPS定位详解

    一.LocationManager LocationMangager,位置管理器.要想操作定位相关设备,必须先定义个LocationManager.我们可以通过如下代码创建LocationManger ...

  9. Quartz.NET——作业调度组件

    之前有个旧同事说他在项目中碰到某些功能需要使用到作业调度,于是找到了这个组件,据说相当好用,叫我有时间的话去了解一下.哈,于是小了解了一下,基本的使用算是明白了,深层次的东西就不了解了,本文简单记录一 ...

  10. 格式化文本数据抽取工具awk

    在管理和维护Linux系统过程中,有时可能需要从一个具有一定格式的文本(格式化文本)中抽取数据,这时可以使用awk编辑器来完成这项任务.发明这个工具的作者是Aho.Weinberg和Kernighan ...