util.go

packagesego

import(

    "bytes"

    "fmt"

)

//输出分词结果为字符串

//

//有两种输出模式，以"中华人民共和国"为例

//

//普通模式（searchMode=false）输出一个分词"中华人民共和国/ns"

//搜索模式（searchMode=true）输出普通模式的再细致切分：

//"中华/nz人民/n共和/nz共和国/ns人民共和国/nt中华人民共和国/ns"

//

//搜索模式主要用于给搜索引擎提供尽可能多的关键字，详情请见Token结构体的注释。

funcSegmentsToString(segs[]Segment,searchModebool)(outputstring){

    ifsearchMode{

        for_,seg:=rangesegs{

            output+=tokenToString(seg.token)

        }

    }else{

        for_,seg:=rangesegs{

            output+=fmt.Sprintf(

                "%s/%s",textSliceToString(seg.token.text),seg.token.pos)

        }

    }

    return

}

functokenToString(token*Token)(outputstring){

    for_,s:=rangetoken.segments{

        output+=tokenToString(s.token)

    }

    output+=fmt.Sprintf("%s/%s",textSliceToString(token.text),token.pos)

    return

}

//输出分词结果到一个字符串slice

//

//有两种输出模式，以"中华人民共和国"为例

//

//普通模式（searchMode=false）输出一个分词"[中华人民共和国]"

//搜索模式（searchMode=true）输出普通模式的再细致切分：

//"[中华人民共和共和国人民共和国中华人民共和国]"

//

//搜索模式主要用于给搜索引擎提供尽可能多的关键字，详情请见Token结构体的注释。

funcSegmentsToSlice(segs[]Segment,searchModebool)(output[]string){

    ifsearchMode{

        for_,seg:=rangesegs{

            output=append(output,tokenToSlice(seg.token)...)

        }

    }else{

        for_,seg:=rangesegs{

            output=append(output,seg.token.Text())

        }

    }

    return

}

functokenToSlice(token*Token)(output[]string){

    for_,s:=rangetoken.segments{

        output=append(output,tokenToSlice(s.token)...)

    }

    output=append(output,textSliceToString(token.text))

    returnoutput

}

//将多个字元拼接一个字符串输出

functextSliceToString(text[]Text)string{

    varoutputstring

    for_,word:=rangetext{

        output+=string(word)

    }

    returnoutput

}

//返回多个字元的字节总长度

functextSliceByteLength(text[]Text)(lengthint){

    for_,word:=rangetext{

        length+=len(word)

    }

    return

}

functextSliceToBytes(text[]Text)[]byte{

    varbufbytes.Buffer

    for_,word:=rangetext{

        buf.Write(word)

    }

    returnbuf.Bytes()

}

<wiz_tmp_tag id="wiz-table-range-border" contenteditable="false" style="display: none;">