AI 안전

사람의 뇌에는 “의식이 접근할 수 있는 곳"과 “그 바깥"이 있다. 숨쉬기·걷기 같은 건 무의식적으로 처리되지만, 계획을 세우거나 문제를 풀 때는 뇌 여러 영역이 하나의 “작업대(workspace)“에 정보를 올려놓고 함께 굴린다. 인지과학에서 오래 논의된 **글로벌 워크스페이스 이론(Global Workspace Theory, 뇌 안의 다양한 처리 모듈이 하나의 공용 공간에 정보를 올려 놓아야 의식적으로 활용된다는 가설)**이다. Anthropic이 어제 발표한 연구는 Claude 안에서도 비슷한 것을 발견했다고 주장한다. 이름은 J-공간(J-space). 이 공간은 모델의 전체 신경 활동 중 10분의 1도 안 되는 좁은 슬롯이지만, 여기에 무엇이 올라오느냐가 이후 추론 방향을 결정한다. 관찰 도구는 새로 만든 Jacobian lens(J-lens, 야코비안 렌즈: 모델 내부의 현재 활동 패턴이 “앞으로 어떤 단어를 말할 확률"에 얼마나 기여하는지 역추적하는 해석가능성 기법). ...

“AI가 AI를 스스로 만든다"는 말은 그동안 SF 같은 추상적인 구호였다. 그런데 6월 3일 Anthropic이 공개한 자료에서 이 추상이 사내 숫자로 바뀐다. Anthropic 자기 회사에서 production에 머지되는 코드의 80% 이상을 Claude가 직접 짜고, 엔지니어 1인의 분기 코드 출력이 2024년 대비 8배가 됐다는 것이다. 핵심은 단순히 “AI가 코딩을 잘한다"가 아니라, AI 회사가 자기 다음 모델을 만드는 일 자체에 본격적으로 자기 AI를 쓴다는 보고라는 점이다. Anthropic은 이 상태를 “recursive self-improvement(재귀적 자기 개선, AI가 자기 후속 모델을 자율적으로 설계·개발하는 단계)로 향하는 길목"이라고 부른다. ...