토크나이저 (Tokenizer)
자연어 문장을 AI가 이해할 수 있는 최소 단위인 숫자 벡터 데이터로 변환해 주는 전처리 알고리즘 도구
1 / 2
용례
"코드와 수학 영역에 걸친 30개 검사 항목에서 해당 모델의 토크나이저 결과가 이전 중국계 인프라와 완벽하게 일치하는 것으로 나타남."
"업데이트된 토크나이저로 인해 동일한 입력값이 이전보다 약 1.0~1.35배 더 많은 토큰으로 매핑될 수 있음."
자연어 문장을 AI가 이해할 수 있는 최소 단위인 숫자 벡터 데이터로 변환해 주는 전처리 알고리즘 도구
"코드와 수학 영역에 걸친 30개 검사 항목에서 해당 모델의 토크나이저 결과가 이전 중국계 인프라와 완벽하게 일치하는 것으로 나타남."
"업데이트된 토크나이저로 인해 동일한 입력값이 이전보다 약 1.0~1.35배 더 많은 토큰으로 매핑될 수 있음."