문자 인코딩 파해치기! (UTF, BOM, NFD vs NFC)

고객에게 문의가 왔다.CSV 파일을 업로드 했는데 데이터가 정상적으로 생성되지 않았다는 내용이였다. 그래서 고객이 올린 파일의 내용을 확인하기 위해 파일 서버에서 해당 파일을 다운로드해 열어보니... 흔히 텍스트가 깨졌다고 하는데. 왜 이런 현상이 발생했을까?문자 인코딩이란?컴퓨터가 문자를 인식하기 위해서는 이를 바이트(Byte) 형태로 변환하는 과정이 필요하다.이를 문자 인코딩이라고 하며, 문자 인코딩에는 다양한 규격이 존재한다. 대표적으로 다음과 같은 인코딩 형식이 있다.ASCIIUTF-8UTF-16EUC-KR: 2Byte로 한글 표현 EUC-JP: 2Byte로 일어 표현etc.... 즉, 문자는 지정된 규격에 따라 인코딩되어 바이트로 변환되 저장하기 때문에, 문자가 깨지지 않게 읽기 위해선 사용된 ..