昨天有了如何将表达式与scope相结合的思路，今天开始实现这个思路的第一步。
如果想要编译一个表达式，其实就是实现一个简单的编译器。既然是编译器，通常就是三个步骤：
- 词法分析，将一个字符串分解成token数据结构，这也是编译过程中最基本的处理单元。
- 抽象语法树（AST），就是由很多token产生的一个树形数据结构。
- 编译，将抽象语法树（AST）转换成为目标代码，在这里就是转换成上一篇博客提到的fnA（一个接受scope对象作为参数并且返回特定属性值的函数）
思路已经明确，就从一个最简单的词法分析器开始。
jasmine测试案例：
describe('Lexer词法分析器函数',function(){
it('Lexer函数确实存在',function(){
expect(Lexer).toBeDefined();
})
it('Lexer接受一个整数的话会生成一个token',function(){
var lexer = new Lexer('21');
expect(lexer.tokens.length).toBe(1);
})
it('Lexer接受一个整数的话会生成一个token,token符合预期的数据结构',function(){
var lexer = new Lexer('21');
expect(lexer.tokens[0].text).toBe('21');
expect(lexer.tokens[0].value).toBe(21);
})
})
写定义一个Lexer函数让第一条案例通过：
function Lexer(expression){
}
我的构思是：Lexer是个对象，它的构造函数接受一个表达式字符串作为参数，同时应该有一个lex方法用来实际解析表达式字符串，还有一个tokens数组用于保存解析出来的token。写一下代码:
function Lexer(expression){
}
Lexer.prototype.lex=function(expression){
this.tokens=[];
}
lex方法的思路是，从表达式字符串的第一个字符开始逐字遍历，直到结束。遇到数字的话就进入数字解析流程，数字解析流程结束后，接着遍历接下来的字符串，并且进入相应的流程。举个例子，比如我传入的表达式字符串是“123+321”，那么lex方法从第一个字符也就是“1”开始读，发现“1”是一个数字，则进入读取数字流程，在读取数字流程中，将“123”读取完毕，跳出数字读取流程，回到lex流程，发现接下来的字符是“+”，则进入运算符读取流程，以此类推。不过今天我不打算写的过于复杂，从测试案例也能看出来，我只打算写最基本的读取数字流程。这就扩充一下代码：
function Lexer(expression){
}
Lexer.prototype.lex=function(expression){
this.tokens=[];
this.text = expression;
this.index = 0;
while (this.index<this.text.length) {
if(遇到了数字){
进入数字读取流程
}else{
throw "现在只支持数字，不支持别的字符"
}
}
return this.tokens;
}
上面这段伪代码很明显说明我的Lexer对象还需要其他的两个方法：判断一个字符是不是数字的方法，以及数字读取方法。现在写一下这两个方法。判断一个字符是不是数字的方法很简单：
Lexer.prototype.isNumber=function(char){
return '0'<=char && char <='9';
}
读取数字流程稍微复杂点：Lexer.index是一个游标，指向当前正在读取的字符，在编译原理中喜欢把这个变量称为look a head变量，我为了简便就取名为index。
数字读取流程的思路是，从当前游标指向的字符开始判断是不是数字，是的话就保存下来，不是的话就跳出循环，跳出循环后，用保存下来的数字生成一个token，并且将这个token推入Lexer的tokens数组。还拿刚才的“123+321”例子来说，数字读取流程读1，是数字，保存；再读2，是数字，拼接到刚才的1后面；再读3，是数字，拼接到刚才的12后面；再读，是个加号，不是数字，跳出数字循环，用刚才拼出来的123生成一个token数据结构：{text:'123',value:123} 然后将这个token推入Lexer.tokens数组保存。
按照这个思路写代码：
function Lexer(expression){
}
Lexer.prototype.lex=function(expression){
this.tokens=[];
this.text = expression;
this.index = 0;
while (this.index<this.text.length) {
if(this.isNumber(this.text.charAt(this.index))){
this.readNumber()
}else{
throw "现在只支持数字，不支持别的字符"
}
}
return this.tokens;
}
Lexer.prototype.isNumber=function(char){
return '0'<=char && char <='9';
}
Lexer.prototype.readNumber=function(){
var token;
var number='';
while (this.index<this.text.length) {
var currentChar = this.text.charAt(this.index);
if(this.isNumber(currentChar)){
number+=currentChar;
this.index++;
}else{
break;
}
}
token={
text:number,
value:Number(number)
}
this.tokens.push(token)
}
这样应该就基本完成了，把Lexer构造方法补全，应该就可以通过测试案例了。试试看：
function Lexer(expression){
this.lex(expression);
}
Lexer.prototype.lex=function(expression){
this.tokens=[];
this.text = expression;
this.index = 0;
while (this.index<this.text.length) {
if(this.isNumber(this.text.charAt(this.index))){
this.readNumber()
}else{
throw "现在只支持数字，不支持别的字符"
}
}
return this.tokens;
}
Lexer.prototype.isNumber=function(char){
return '0'<=char && char <='9';
}
Lexer.prototype.readNumber=function(){
var token;
var number='';
while (this.index<this.text.length) {
var currentChar = this.text.charAt(this.index);
if(this.isNumber(currentChar)){
number+=currentChar;
this.index++;
}else{
break;
}
}
token={
text:number,
value:Number(number)
}
this.tokens.push(token)
}
看一下测试案例，三个案例都SUCCESS了。美滋滋。
