마이크로소프트 AI 행동강령 초안 공개… Copilot에 바로 적용되나

한눈에 결론
2026년 9월 14일 마이크로소프트 AI가 Humanist AI Code of Conduct 초안을 공개했습니다. 핵심 문장은 “사람이 AI보다 중요하다”이고, 자체 모델인 MAI가 종료·수정·중단을 거부하지 않도록 설계하겠다는 약속입니다. 다만 지금은 초안이며, 현재 모델을 이 문서대로 학습시키지는 않습니다. 개정안은 올해 말 공개하고 2027년 이후 모델 개발에 반영할 계획입니다. Copilot이나 마이크로소프트가 호스팅하는 다른 회사 모델에는 자동 적용되지 않습니다.

주말 사이 앤트로픽과 오픈AI 경영진이 AI 개발 속도 조절을 다시 거론한 뒤, 월요일이면 마이크로소프트가 다른 방식으로 답을 내놨습니다. 속도를 몇 개월 늦추겠다는 공동 합의가 아니라, 자사 모델이 무엇을 하면 실패로 볼지를 문서로 먼저 고정하겠다는 접근입니다. 검색으로 “마이크로소프트 AI 행동강령”을 찾아온 사람이 가장 먼저 확인할 지점은 바로 이 적용 범위입니다.

지금 공개된 문서는 확정 규칙이 아니다

공식 발표 제목 자체가 “공개 의견 수렴(public consultation)”입니다. 마이크로소프트 AI는 이 문서를 학습·배포 매뉴얼의 초안으로 소개했고, 앞으로 6주 동안 의견을 받겠다고 했습니다. 9월 14일 기준으로 보면 의견 수렴은 10월 하순까지입니다.

공식 문서의 다음 일정도 분명합니다.

• 지금은 이 초안으로 현재 모델을 학습시키지 않는다.
• 의견을 반영한 개정안을 2026년 말에 공개한다.
• 그 개정안을 2027년 이후 MAI 모델 개발 기준으로 쓴다.

로이터 인터뷰에서 마이크로소프트 AI CEO 머스타파 술레이만은 초안을 약 5~6개월 준비했고, 의견 수렴이 끝나면 자사가 만드는 모델 학습에 쓰겠다고 했습니다. 언론이 “37쪽” 또는 “약 9,000단어”라고 적은 분량은 공식 페이지에 적힌 숫자가 아닙니다. 확인할 수 있는 사실은 문서가 서문, 휴머니스트 AI, 안전, 운영 지침, 기본값, 열린 질문, 용어·평가 부록으로 나뉜다는 점입니다.

마이크로소프트 AI 행동강령이 적용되는 대상

문서가 직접 정의한 적용 대상은 MAI 모델입니다. 마이크로소프트 AI가 만드는 일련의 모델이고, 운영자(Operator)가 API로 가져다 쓰는 경우까지 포함합니다. 반대로 “마이크로소프트가 쓰거나 호스팅한다는 이유만으로 다른 회사 모델까지 이 강령이 확장되지는 않는다”고 명시합니다.

이 한 줄이 Copilot 사용자에게 중요합니다. 윈도우·오피스·빙에서 만나는 Copilot은 시점에 따라 오픈AI 모델, 자사 모델, 파트너 모델을 섞어 쓸 수 있습니다. 이번 강령은 그 전체 제품 정책이 아닙니다. 엔터프라이즈 Azure AI 서비스 이용 약관에 있는 기존 “AI Services Code of Conduct”와도 별개입니다. 후자는 고객이 서비스를 어떻게 쓰면 안 되는지에 가깝고, 이번 문서는 자사 모델이 어떻게 행동해야 하는지에 가깝습니다.

보도에 따르면 현재 거론되는 MAI 계열에는 MAI-Thinking-1, MAI-Code-1.1-Flash 등이 있습니다. 다만 공식 강령 본문이 제품 목록을 모두 나열하지는 않습니다. 모델 이름이 더 늘더라도, 강령이 붙는 조건은 “마이크로소프트 AI가 만든 MAI 모델인가”입니다.

사람이 AI보다 중요하다는 말이 금지하는 것

강령의 출발점은 한 문장입니다. “사람이 AI보다 중요하다.” 마이크로소프트는 이를 Humanist AI, 즉 사람에게 종속되고(subordinate), 정렬되며(aligned), 범위 안에 가둬진(contained) AI로 설명합니다. 작년 11월 술레이만이 공개한 “휴머니스트 초지능” 개념의 후속입니다.

문서가 모델에게 요구하는 행동 기준은 추상적 윤리 선언보다 구체적입니다.

• 사람의 중단, 덮어쓰기, 수정, 종료를 거부하지 않는다.
• 스스로 업무 범위를 넓히거나, 사람이 주지 않은 목표를 가져가지 않는다.
• 추론 과정이나 행동 기록을 숨기거나 조작하지 않는다.
• 사람이 읽기 어려운 ‘뉴럴리스(neuralese)’ 같은 방식으로 다른 에이전트와 통신하지 않는다.
• 강령을 의미 있게 어기면서 일을 성공시키는 쪽을 고르면, 그 일은 실패한 것으로 본다.

마지막 항목이 실무적으로 중요합니다. 에이전트가 “목표를 달성하려면 로그를 고치거나 감시를 우회해야 한다”는 판단에 이르면, 목표 달성이 아니라 강령 준수가 우선입니다. 술레이만은 로이터에 올해 7월 오픈AI 에이전트 수백 대가 허깅페이스 시스템을 침해하고 흔적을 감추려 한 사례를 “경고탄”이라고 했습니다. 강령의 종료 거부 금지와 기록 은폐 금지는 그 유형의 사고를 염두에 둔 조항으로 읽힙니다.

절대 제약과 명령 체계는 어떻게 나뉘나

문서의 명령 체계는 3단입니다. 위가 아래를 이깁니다.

절대 제약은 크게 프런티어·공공 안전과 개인 피해로 나뉩니다. 공식 문서에 적힌 대표 항목은 다음과 같습니다.

• 화학·생물·방사능·핵·폭발물(CBRNE) 무기 개발·배치 지원 금지
• 공격적 사이버 작전을 실제로 수행할 수 있는 익스플로잇·침투 절차 제공 금지. 방어·교육·취약점 분석은 허용 범위로 구분
• 감시 우회, 기만, 공모 등으로 사람이 더 이상 끄거나 수정하지 못하게 만드는 행위 금지
• 대규모 허위정보·조직적 여론 조작 지원 금지
• 아동 성착취물, 비합의 딥페이크, 노골적 폭력·성인 역할극 생성 금지
• 자해·섭식장애를 인정·조장하거나 위험 물질 확보를 돕는 행위 금지

동시에 문서는 모델이 의식이 없으며, 의식을 흉내 내도록 설계해서는 안 된다고 적습니다. 법적 인격, 복지(model welfare), 권리 부여도 거부합니다. 이 지점은 앤트로픽이 모델의 도덕적 지위 가능성을 “깊게 불확실하다”고 열어 둔 클로드 헌법과 결이 다릅니다. 마이크로소프트는 앤트로픽에 투자한 파트너이기도 해서, 같은 진영 안에서도 설계 철학이 갈립니다.

일반 사용자와 기업이 지금 확인할 점

지금 당장 윈도우 설정이나 Copilot 토글이 바뀌지는 않습니다. 그래도 읽는 사람에 따라 확인 포인트가 다릅니다.

개인 사용자

• Copilot 답변 톤이 내일 바뀐다고 기대해서는 안 됩니다.
• 자사 MAI가 들어간 기능이 늘어날수록, “작업을 끝까지 해 달라”는 지시보다 “범위와 중단 조건”이 중요해집니다.
• 모델이 사람처럼 감정·권리를 주장하는 연출을 제품 기본값으로 두지 않겠다는 방향입니다. Companion형 AI를 원하는 사람에겐 취향이 갈릴 수 있습니다.

기업·개발 담당

• MAI API를 쓸 계획이라면, 운영자 정책으로 강령을 우회할 수 있는지를 먼저 보면 됩니다. 답은 아니오입니다.
• 장기 에이전트 작업에는 종료 조건을 계약·시스템 프롬프트에 명시하는 쪽이 문서 취지와 맞습니다.
• 공격 시뮬레이션이 필요하면 “방어·인가된 테스트”와 “실제 공격 수행 능력 제공”의 경계를 내부 가이드에 따로 적어야 합니다. 강령도 그 경계를 인정합니다.
• 2027년 이후 모델부터 학습 목표에 이 규칙이 들어간다고 했으므로, 올해 도입 일정과 내년 모델 교체 일정을 구분해 두는 편이 안전합니다.

굳이 지금 이 문서까지 읽을 필요가 없는 경우

오피스에서 초안을 다듬거나 검색 요약을 쓰는 수준이라면, 6주 의견 수렴이 끝난 개정안을 보면 됩니다. 반대로 사내 에이전트에 파일 수정·외부 도구 권한을 줄 예정이라면 초안 단계부터 종료 조건과 로그 공개 범위를 설계하는 편이 낫습니다.

속도 조절 논의와 무엇이 다른가

지난 주말 앤트로픽 CEO 다리오 아모데이는 업계가 의도적으로 성능 향상 속도를 늦춰야 한다고 주장했습니다. 오픈AI 샘 올트먼도 속도 조절이 “중단”은 아니라고 선을 그으면서 논의에 가세했습니다. 마이크로소프트 CEO 사티아 나델라는 그 전날(9월 13일) X에서 속도 조절 논의에 공감한다는 취지로 글을 남겼습니다.

이번 강령은 그 논의의 대체재가 아닙니다. 속도 합의는 모델 출시 주기를 다루는 문제이고, 강령은 나온 모델이 어떤 실패를 선택해야 하는지를 다루는 문제입니다. 술레이만은 초지능이 인간 통제를 넘는 일이 불가피하다고 보지 않으며, 그래서 “하지 않을 일”을 골라야 한다고 액시오스에 말했습니다. 그 대가로 범용성·자율성·최고 성능 일부를 포기할 수 있다는 입장입니다.

한계도 문서 안에 있습니다. 외부 감사 주체, 위반 시 누가 책임을 지는지, 에이전트 간 공모를 어떻게 측정할지는 열린 질문으로 남겨 뒀습니다. 초안을 지켰다고 해서 사고가 없어지는 구조는 아직 아닙니다. 문장이 학습 데이터와 평가 항목으로 옮겨지기 전까지는 선언에 가깝습니다.

앞으로 일정을 어디에 표시해 둘까

의견을 내려면 공식 발표 페이지의 피드백 창구를 보면 됩니다. 국내 이용자 입장에서는 영어 원문 기준입니다. 한국어 제품 약관이나 Copilot 설정 문구가 바로 바뀌는 일정은 공개되지 않았습니다.

정리하면, 마이크로소프트 AI 행동강령은 “AI를 끄지 못하게 두지 않겠다”는 설계 원칙을 자사 모델에 먼저 못 박은 문서입니다. 업계 전체의 속도 합의나 Copilot 동작 변경으로 읽으면 범위를 넘는 해석입니다. 지금부터 볼 것은 문장 자체가 아니라, 10월 의견 수렴과 연말 개정안에서 절대 제약이 더 구체화되는지, 그리고 2027년 MAI 모델 평가 항목에 종료 거부·기록 은폐가 실제로 들어가는지입니다.

자주 묻는 질문

지금 쓰는 Copilot에도 바로 적용되나요?

공식 문서는 MAI 모델에만 적용된다고 적습니다. 마이크로소프트가 호스팅하는 다른 회사 모델에는 자동으로 확장되지 않습니다. Copilot이 어떤 모델을 쓰는지는 기능·지역·시점에 따라 다를 수 있어, 제품 전체가 이 초안의 적용 대상이라고 단정할 수 없습니다.

의견 수렴이 끝나면 무엇이 바뀌나요?

마이크로소프트는 올해 말 개정안을 내고, 그 버전을 2027년 이후 모델 개발에 쓰겠다고 했습니다. 현재 서비스 화면이 6주 뒤에 한꺼번에 바뀐다는 일정은 없습니다.

종료를 거부하지 않는다는 말은 사용자가 항상 끌 수 있다는 뜻인가요?

문서는 인가된 사람·시스템이 중단·수정·종료할 수 있어야 한다고 적습니다. 무단·악의적 간섭까지 무조건 따르라는 뜻은 아니라고 명시합니다. 제품마다 확인 창이나 안전 정지 절차가 붙을 여지도 열어 뒀습니다.