hyuki/kagome-sample.go

## kagome-sample.go
package main

import (
	"fmt"
	"strings"

	"github.com/ikawaha/kagome/tokenizer"
)

func main() {
	t := tokenizer.New()
	tokens := t.Tokenize(`僕「そうそう。どんな正の$\varepsilon$が与えられたとしても、この条件を満たすような$\delta$が存在するといえるかな？　ということ。どんな正の$\varepsilon$に対してもそのような$\delta$が存在するならば、$x \to a$のとき$f(x) \to A$だといえるし、そんな$\delta$が存在するとは限らないならば、$x \to a$のとき$f(x) \to A$だとはいえない。《関数の極限》は、そういう定義になっているね。何がひっかかるの？」`)

	for _, token := range tokens {
		if token.Class == tokenizer.DUMMY {
			// BOS: Begin Of Sentence, EOS: End Of Sentence.
			fmt.Printf("%s\n", token.Surface)
			continue
		}
		features := strings.Join(token.Features(), ",")
		fmt.Printf("%s\t%v\n", token.Surface, features)
	}
}
	package main

	import (
	"fmt"
	"strings"

	"github.com/ikawaha/kagome/tokenizer"
	)

	func main() {
	t := tokenizer.New()
	tokens := t.Tokenize(`僕「そうそう。どんな正の$\varepsilon$が与えられたとしても、この条件を満たすような$\delta$が存在するといえるかな？　ということ。どんな正の$\varepsilon$に対してもそのような$\delta$が存在するならば、$x \to a$のとき$f(x) \to A$だといえるし、そんな$\delta$が存在するとは限らないならば、$x \to a$のとき$f(x) \to A$だとはいえない。《関数の極限》は、そういう定義になっているね。何がひっかかるの？」`)

	for _, token := range tokens {
	if token.Class == tokenizer.DUMMY {
	// BOS: Begin Of Sentence, EOS: End Of Sentence.
	fmt.Printf("%s\n", token.Surface)
	continue
	}
	features := strings.Join(token.Features(), ",")
	fmt.Printf("%s\t%v\n", token.Surface, features)
	}
	}