AI 엣지에서 약간의 오차가 있어도 정수 계산 능력이 중요한 이유

AI(딥러닝) 추론에서 높은 정밀도(FP32/FP16)보다 낮은 정밀도의 정수 계산(INT8)을 대량으로 처리하는 것이 훨씬 유리한 이유는 딥러닝 모델의 고유한 특성과 하드웨어 효율성 때문이다. 이는 정밀한 자 한 개보다, 대충 맞는 자 수백 개가 한꺼번에 움직이는 게 빠르다는 개념과 같다.

① 딥러닝 모델의 강한 노이즈 내성 (Robustness)

• 인공신경망은 사람의 뇌를 모방했다. 우리가 강아지 사진을 볼 때, 픽셀의 소수점 아래 다섯째 자리 값까지 정확히 계산해서 강아지라고 판단하지 않고, 귀의 모양, 털의 질감 같은 큰 특징을 보고 종합적으로 판단한다.
• 딥러닝 모델도 마찬가지로 수많은 파라미터(가중치)가 서로 연결되어 결과에 기여하기 때문에, 개별 파라미터의 값이 소수점에서 정수로 조금 바뀌어(오차 발생) 성능(정확도)이 치명적으로 떨어지지 않는다. 약간의 값 왜곡은 무시할 수 있는 강인한 수학적 내성을 지니고 있다.

② 하드웨어 연산 능력의 기하급수적 상승

• (면적과 전력) 16비트 실수(FP16) 곱셈기는 8비트 정수(INT8) 곱셈기에 비해 칩 내부에서 훨씬 많은 트랜지스터 면적과 전력을 소모한다.
• (처리량(Throughput)의 차이) 반도체 칩 안에 FP16 연산 장치를 10개 넣을 수 있다면, 그보다 훨씬 단순한 INT8 연산 장치는 20개 이상 넣을 수 있다. 결과적으로 같은 시간, 같은 전력 대비 동시에 처리할 수 있는 연산의 양(TOPS)이 2배 이상 폭발적으로 증가한다.

③ 메모리 대역폭(Bandwidth) 병목 해결

• 엣지 AI 장치(Jetson)에서 가장 큰 병목은 대게 계산 속도가 아니라 메모리(RAM)에서 데이터를 읽어오는 속도이다.
• 데이터 포맷을 FP16(2바이트)에서 INT8(1바이트)로 줄이면 메모리 이동량이 절반으로 줄어든다. 이는 데이터를 가속기에 공급하는 고속도로의 차선을 2배로 넓히는 것과 같은 효과를 낸다.