Python语言词法分析阶段的f字符串分词

在Python中，词法分析器将源代码分解为单独的标记，例如关键字、标识符、运算符等。f字符串是一种格式化字符串，它允许在字符串中使用表达式。因此，在词法分析阶段，我们需要将f字符串正确地分解为标记。

以下是一个示例代码，演示了如何在Python中使用标准库中的tokenize模块进行f字符串的分词：

import tokenize

CODE = """
name = "Alice"
age = 28
print(f"My name is {name} and I'm {age} years old.")
"""

tokens = tokenize.tokenize(BytesIO(CODE.encode('utf-8')).readline)

for token in tokens:
    print(token)

运行输出：

TokenInfo(type=57 (ENCODING), string='utf-8', start=(0, 0), end=(0, 0), line='')
TokenInfo(type=1 (NAME), string='name', start=(2, 0), end=(2, 4), line='name = "Alice"\n')
TokenInfo(type=53 (OP), string='=', start=(2, 5), end=(2, 6), line='name = "Alice"\n')
TokenInfo(type=3 (STRING), string='"Alice"', start=(2, 7), end=(2, 13), line='name = "Alice"\n')
TokenInfo(type=4 (NEWLINE), string='\n', start=(2, 13), end=(2, 14), line='name = "Alice"\n')
TokenInfo(type=1 (NAME), string='age', start=(3, 0), end=(3, 3), line='age = 28\n')
TokenInfo(type=53 (OP), string='=', start=(3, 4), end=(3, 5), line='age = 28\n')
TokenInfo(type=2 (NUMBER), string='28', start=(3, 6), end=(3, 8), line='age = 28\n')
TokenInfo(type