본문 바로가기
AI 안전성 관점에서 본 학습 방식 AI 시스템의 위험한 행동을 우리가 발견하고 고칠 수 있다고 믿는 근거는 사실 하나이다."내부를 들여다보면 이상 신호가 보인다"는 전제이다. 그런데 이 전제에는 숨겨진 가정이 있다. 똑같이 위험해 보이는 행동이라도, 그게 모델 안에 어떻게 자리 잡았느냐에 따라 발견 난이도가 달라질 수 있다는 가정을 우리가 충분히 검증하지 않았다는 것이다.AI 안전성이 실무적으로 의존하는 거의 모든 도구(감사(audit), 레드팀, 해석가능성 기법, 편향 탐지)가 전부 "발견 가능성"을 전제로 설계되어 있다. 만약 발견 가능성 자체가 어떻게 생겨난 문제냐에 따라 요동친다면, 우리가 "안전하다"고 판단하는 근거 자체가 흔들린다.왜 "학습 방식"이 탐지 난이도를 바꾸는가직관적으로 이해할 수 있는 메커니즘이 있다. 나중에 덧붙.. 2026. 9. 17.
소형 드론 RCS 분석 1. RCS 분포 히스토그램 (Distribution of RCS)이 데이터셋이 가진 RCS 값의 전반적인 스케일과 특성을 한눈에 보여주는 그래프입니다.핵심 인사이트: RCS 데이터가 약 -13dB에서 -15dB 부근에 가장 집중되어 있으며, 전반적으로 소형 드론 수준의 낮은 반사 면적 특성을 보입니다.비대칭성 (Left-skewed): 중심을 기준으로 왼쪽(-30dB 이하)으로 길게 꼬리가 늘어져 있습니다. 이는 특정 각도나 주파수 조건에서 레이더 전파를 거의 반사하지 않는 '데드 존(탐지 불가능 영역)'이 존재함을 암시합니다.히스토그램을 보면 평균적으로 -14dB 내외의 RCS 분포를 가집니다. 일반적인 소형 민간 드론의 레이더 반사 크기와 일치하며, 왜 왼쪽으로 꼬리가 긴 형태를 띠는지는 두 번째 .. 2026. 9. 17.
고속 드론 레이싱 환경에서 VIO 드리프트의 비행 시간 분석 데이터 셋(이름/출처) #TII-RATM-Drone-Racing / #Voxel51 (CC BY 4.0)(데이터셋) 4개의 게이트가 설치된 실내 트랙에서 쿼드콥터 드론이 타원(Ellipse) 및 레미니스케이트(Lemniscate, 8자 모양) 경로를 비행하며 수집한 로보틱스 데이터셋하드웨어 구성으로는 어지아이(Fisheye) 카메라 이미지와 500Hz의 고주파수 IMU(관성측정장비) 센서 값이 포함되어 있으며, 모션 캡처 시스템을 통해 방 전체의 비행 궤적(Ground Truth, 정답 좌표)을 기록원래 rosbag2 형태로 공개된 원본 데이터를 컴퓨터 비전 라이브러리인 FiftyOne의 네이티브 멀티모달 포맷인 MCAP(.mcap) 에피소드 형태로 변환하여 제공연구 배경 및 방법(연구 배경) 고속 드론.. 2026. 9. 14.
AI 엣지에서 약간의 오차가 있어도 정수 계산 능력이 중요한 이유 AI(딥러닝) 추론에서 높은 정밀도(FP32/FP16)보다 낮은 정밀도의 정수 계산(INT8)을 대량으로 처리하는 것이 훨씬 유리한 이유는 딥러닝 모델의 고유한 특성과 하드웨어 효율성 때문이다. 이는 정밀한 자 한 개보다, 대충 맞는 자 수백 개가 한꺼번에 움직이는 게 빠르다는 개념과 같다. ① 딥러닝 모델의 강한 노이즈 내성 (Robustness)인공신경망은 사람의 뇌를 모방했다. 우리가 강아지 사진을 볼 때, 픽셀의 소수점 아래 다섯째 자리 값까지 정확히 계산해서 강아지라고 판단하지 않고, 귀의 모양, 털의 질감 같은 큰 특징을 보고 종합적으로 판단한다.딥러닝 모델도 마찬가지로 수많은 파라미터(가중치)가 서로 연결되어 결과에 기여하기 때문에, 개별 파라미터의 값이 소수점에서 정수로 조금 바뀌어(오차 .. 2026. 8. 26.
피지컬 AI, '모션 토큰'의 환각을 넘어서야 한다. 피지컬 AI가 실험실을 벗어나 국방으로 향하고 있다. 무인기, 무인차량, 로봇은 이제 인지·판단·행동을 하나의 자율 루프로 통합하고 있다. 디지털 영역의 위험은 물리 영역에서 증폭되며 물리 영역은 치명적인 물리적 결과를 낳는다.최근 로보틱스는 거대언어모델(LLM)이 단어를 쪼개듯 로봇의 움직임을 기호화하는 '모션 토큰(Motion Token)' 기술을 도입하며 피지컬 AI의 행동 자율성을 극대화하고 있다. 그러나 이 혁신적인 기술은 테스팅 체계에 전에 없던 거대한 숙제를 던진다.언어 모델이 텍스트를 토큰으로 쪼개 학습하듯, 최근의 로봇·피지컬 AI 파운데이션 모델은 움직임(motion)을 토큰으로 변환해 학습한다. 트랜스포머는 이산적인 '토큰'을 다루는 시퀀스 모델이고, 로봇의 출력은 팔 관절 각도 같은.. 2026. 8. 26.
왜 LLM의 가드레일을 '완벽하게' 방어하는 것은 불가능한가 (들어가며) Fable 5가 던진 질문2026년 6월, Anthropic이 새 프론티어 모델 Fable 5를 공개했다. 더 강력한 Mythos 5와 같은 기반 모델이되, 사이버보안·생물학·화학 등 고위험 영역의 요청을 더 약한 모델로 우회시키는 안전장치를 얹은 공개용 버전이었다. 그런데 출시 직후 두 가지 사건이 잇따랐다.하나는 레드팀 연구자 'Pliny'가 출시 며칠 만에 안전 분류기를 우회했다고 주장하며 시스템 프롬프트를 공개한 일이고, 다른 하나는 미 상무부가 국가안보를 이유로 Fable 5와 Mythos 5에 대한 외국인 접근을 차단하는 수출 통제 지시를 내려 Anthropic이 두 모델을 전면 비활성화한 일이다. 한 AI 기업이 이미 공개 배포한 모델을 정부 개입으로 내린 사실상 첫 사례였다... 2026. 6. 13.
728x90

티스토리툴바