開發者 ctokenizer.sf.net

CTokenizer C++作為輸入並輸出 CToken 物件的向量，該向量包含權杖字串和 a（n 枚舉）令牌類型，然後可用於分析輸入。