토크나이저 (Tokenizer) 텍스트를 모델이 처리할 수 있는 최소 단위인 토큰으로 분리하는 도구 용례 "업데이트된 토크나이저로 인해 동일한 입력값이 이전보다 약 1.0~1.35배 더 많은 토큰으로 매핑될 수 있음." - 앤스로픽, 코딩 및 에이전트 성능 강화한 '클로드 오퍼스 4.7' 출시
