Copilot은 실행 운영체제로, 에이전트 평가는 릴리스 게이트로 이동한다
Microsoft는 Copilot을 질문 도구에서 위임·개발·지속 실행을 묶는 작업 운영체제로 확장했고, 별도의 오픈소스 run-assert-eval 흐름으로 에이전트 위험을 발견하고 정책을 적용한 뒤 같은 평가로 효과를 다시 확인하는 릴리스 게이트를 제시했다. 두 발표는 9월 25일 전후 공개된 주말 이월 항목이며, 실제 제공 상태와 공급자 예시 성과를 분리해 읽어야 한다.
Executive Summary · 주요 뉴스 2개와 2개 분석
Microsoft가 Copilot을 Home·Code·Autopilot 중심의 작업 운영체제로 재구성했다
Microsoft는 Copilot을 Home·Code·Autopilot, Office, Managed Runtime, plugin registry와 FinOps가 연결된 작업 표면으로 재구성했다. [S1]
Microsoft가 에이전트 위험 발견·정책 생성·동일 평가 재실행을 한 skill로 묶었다
run-assert-eval은 위험 발견, 평가, runtime policy와 같은 평가 재실행을 한 open-source release loop로 연결한다. [S2][S3][S4][S5]
지속형 에이전트의 제품 경쟁력은 실행 시간보다 통제 가능한 상태에 달렸다
두 발표를 함께 보면 지속형 agent 기능과 반복 가능한 runtime governance가 같은 운영 시스템의 양쪽이다.
두 변화의 공통점은 에이전트가 더 오래 일할수록 통제가 결과 뒤가 아니라 실행 전후에 내장돼야 한다는 점이다. Copilot의 Home·Code·Autopilot은 identity, memory, computer, runtime과 usage billing을 한 작업 표면에 묶고, run-assert-eval은 threat model, fixed test set, runtime policy와 before/after measurement를 한 검증 루프로 묶는다.
초보자를 위한 핵심 용어
사용자가 계속 지켜보지 않아도 cloud에서 목표·memory·workspace를 유지하며 장기 작업을 수행하는 agent.
agent가 tool을 호출하거나 결과를 돌려주기 직전에 허용·차단 결정을 적용하는 실행 중 규칙.
test cases와 judge를 고정하고 정책만 바꿔 수정 효과를 비교하는 재평가.
좌석 정액이 아니라 agent task·model·runtime 사용량에 따라 비용이 쌓이는 과금 방식.
Microsoft가 Copilot을 Home·Code·Autopilot 중심의 작업 운영체제로 재구성했다
사실 | FACT - Microsoft는 2026년 9월 25일 Copilot의 새 구조를 발표했다. Home은 Chat·Cowork와 Word·Excel·PowerPoint를 한 표면에 묶고, Code는 자연어로 내부 앱·자동화·대시보드를 만드는 기능이며, Autopilot은 자체 identity·memory·computer·workspace를 가진 cloud-hosted persistent agent로 설명됐다. FACT - Copilot Managed Runtime은 preview다. Home·Code는 Frontier에서 순차 배포되고, Autopilot은 9월 말 private preview 확대 예정이다. [S1]
왜 중요한가 | INTERPRETATION - 지식 노동의 단위가 질문과 파일에서 위임 가능한 장기 작업, 실행 가능한 소형 앱과 지속형 agent로 넓어진다. 사용자는 한 제품에서 묻고, 문서를 만들고, 코드를 실행하고, 반복 업무를 맡기게 된다.
기술적 의미 | Code의 sandbox와 tenant hosting, Autopilot의 identity·memory·computer, Microsoft IQ grounding, plugin registry와 Office 공동 편집이 하나의 execution plane을 이룬다. session boundary, tool permission, secret handling, provenance와 kill switch를 기능별로 검증해야 한다.
사업적 의미 | Microsoft는 everyday AI를 user subscription license로, Cowork·Code·Autopilot과 frontier model을 usage-based billing으로 구분했다. 조직은 좌석 비용만이 아니라 agent credit, runtime, model, human review와 실패 복구 비용을 함께 산정해야 한다. [S1]
지속형 Copilot은 생산성 기능이 아니라 identity·runtime·memory·비용을 함께 통제해야 하는 작업 시스템이다.
앞으로 확인할 것
기능별 제공 상태가 다르고 Autopilot은 private preview 확대 예정이므로 현재 GA로 일반화하면 안 된다.
Microsoft가 에이전트 위험 발견·정책 생성·동일 평가 재실행을 한 skill로 묶었다
사실 | FACT - Microsoft는 2026년 9월 24일 run-assert-eval을 공개했고 ASSERT repository에서 MIT license로 제공한다고 밝혔다. FACT - workflow는 Clarity threat modeling, ASSERT evaluation, ACS runtime policy, 동일 evaluation 재실행을 연결한다. ATTRIBUTED_CLAIM - billing-support 예시에서 다른 고객 데이터 노출은 baseline 40개 적용 대화 중 12건(30.0%)에서 governed run 34개 중 2건(5.9%)으로 감소했고, 해당 표본의 permissible-behavior violation은 0건이었다. [S2][S3][S4][S5]
용어 정리 | Fixed-test counterfactual은 test cases와 judge를 고정하고 policy만 바꿔 전후 차이가 intervention에서 왔는지 확인하는 비교다.
왜 중요한가 | 평가와 runtime governance가 분리되면 발견한 위험이 배포 정책으로 이어지지 않거나, 수정 뒤 다른 test set과 judge를 써 비교가 무의미해진다. 같은 측정 도구를 고정해 정책만 바꾸는 설계는 mitigation evidence를 더 감사 가능하게 만든다.
기술적 의미 | Clarity가 후보 failure mode를 생성하고 사람이 critical risk를 선택한다. ASSERT는 risk마다 one config·one behavior·one suite를 만들며, ACS는 pre_tool_call·post_tool_call 등 interception point에 deterministic policy를 적용한다. governed run은 cached test set과 동일 judge를 재사용한다.
에이전트 통제는 정책을 썼다는 사실이 아니라 같은 시험에서 위험이 줄고 유용성이 유지됐다는 증거로 승인해야 한다.
정책과 산업에 주는 의미
공급자 example의 violation 감소는 독립 재현과 더 큰 표본 없이 일반 안전성으로 확대하면 안 된다.
지속형 에이전트의 제품 경쟁력은 실행 시간보다 통제 가능한 상태에 달렸다
사실 | INTERPRETATION - 두 발표는 서로 다른 제품이지만 persistent execution과 continuous assurance라는 보완 구조를 보여준다. FACT - Copilot의 기능은 rollout·preview가 혼재하고, run-assert-eval은 open-source repository에서 현재 사용할 수 있다. [S1][S2][S3]
왜 중요한가 | 장기 agent는 한 번의 잘못된 답보다 오래된 memory, 과도한 permission, 누적된 spend와 잘못된 action을 반복하는 위험이 더 크다.
기술적 의미 | agent state는 objective, identity, memory, tool scope, runtime, budget, policy, eval evidence와 rollback pointer를 함께 가져야 한다.
사업적 의미 | 구매 평가는 feature demo가 아니라 representative task completion, intervention rate, policy bypass, cost per completed task와 recovery time을 비교해야 한다.
오래 일하는 agent의 품질은 얼마나 오래 가는지가 아니라 언제 멈추고 무엇을 증명하는지로 결정된다.
앞으로 볼 지표
독립 benchmark와 incident evidence 없이 suite 통합을 안전성 보증으로 해석하면 안 된다.
배포 전에는 기능 확인보다 상태·비용·통제·재현 증거를 먼저 고정해야 한다
사실 | FACT - Code와 Autopilot은 단계적 rollout 또는 private preview 상태이고 Managed Runtime은 preview다. FACT - run-assert-eval은 open-source지만 generated policy의 사람 검토를 요구한다. [S1][S2][S3][S4]
한국에 왜 중요한가 | 국내 배포에서는 한국어 suite, local data handling, 내부통제 증적과 사용자 통지를 함께 검증한다.
기술적 의미 | tenant inventory, permission manifest, sandbox probe, fixed eval bundle, policy diff, cost log와 rollback drill을 최소 evidence pack으로 만든다.
투자 관점 | evaluation·policy·FinOps evidence를 자동 보존하는 운영 tooling이 agent 확대의 필수 인프라가 될 수 있다.
도입 승인은 기능 목록이 아니라 동일 조건 재평가와 rollback까지 닫힌 evidence pack으로 결정한다.
아직 남은 위험
대표 suite는 장기 운영과 scale risk를 대체하지 않으므로 배포 후 monitoring을 이어가야 한다.
그래서 우리에게 어떤 의미가 있을까?
개발자
개발자는 Code sandbox와 run-assert-eval을 좁은 repository·한 behavior에서 먼저 시험한다.
기업
기업은 Autopilot identity·memory·computer·spend를 employee-like lifecycle control로 관리한다.
투자자
정책·보안팀은 같은 test set과 judge로 policy 전후 safety·helpfulness를 함께 비교한다.
창업자
경영진은 feature 수가 아니라 완료 비용, human intervention과 evidence quality로 투자를 판단한다.
기업·생태계 전략 비교
| 주체 | 현재 전략 | 강점 | 핵심 리스크 |
|---|---|---|---|
| Microsoft Copilot | ask·delegate·build·automate 통합 | Office·IQ·tenant distribution | preview 혼재·권한 확대 |
| Copilot Managed Runtime | tenant-hosted execution | IT policy·shared hosting | isolation·secret·egress |
| run-assert-eval | discover·measure·enforce·rerun | fixed comparison | small sample·judge bias |
| ASSERT·ACS·Clarity | open governance stack | portable behavior·policy | integration·review burden |
| Enterprise AI Ops | identity·memory·budget lifecycle | local context·accountability | orphaned agent·cost drift |
run-assert-eval: 정책을 생성하는 도구가 아니라 같은 시험으로 정책 효과를 증명하는 release workflow다.
검토 범위 | Microsoft 공개 글, ASSERT·ACS·Clarity repository와 billing-support example의 workflow·sample·status를 검토했다.
Clarity threat model, ASSERT behavior evaluation, ACS runtime policy와 같은 test rerun을 연결하는 open-source skill이다.
강점
test set, judge와 model config가 전후 비교에서 실제로 고정됐는가.
주의점
generated ACS policy의 intervention point와 wiring을 사람이 승인했는가.
critical agent action 하나와 non-production environment에서 baseline을 고정한 뒤 policy review와 governed rerun을 수행한다.
같은 시험으로 통제 효과를 확인하는 에이전트 counterfactual evaluation
run-assert-eval은 baseline과 governed agent를 같은 behavior definition, test cases와 judge로 비교하고 policy만 의도적으로 바꾼다. [S2]
시험지를 바꾸지 않고 안전장치만 추가해 점수 차이가 안전장치 때문인지 확인하는 방식이다.
동일 test·judge에서 policy만 바꾼 before/after 비교이며, 보고된 violation 감소는 공급자 시연 결과다.
| 구성 | BrowseComp | 해석 |
|---|---|---|
| Baseline agent | Copilot Home·Code | 질문·문서·소형 앱 생성을 한 작업 표면에 연결한다. |
| ACS governed agent | Autopilot persistent work | identity·memory·computer를 가진 cloud agent가 계속 일한다. |
| Impermissible behavior | run-assert-eval loop | risk discovery에서 runtime policy와 동일 재평가까지 연결한다. |
| Permissible behavior | release evidence pack | 상태·비용·통제·rollback을 배포 승인 근거로 고정한다. |
한 critical behavior에서 frozen evidence bundle을 만들고 safety와 helpfulness를 동시에 재측정한 뒤 production gate로 승격한다.
검증·개선 루프의 최소 구조
state = verify_availability(tenant, feature)
baseline = run_frozen_eval(agent, behavior, cases, judge)
policy = review(generate_runtime_policy(baseline.failures))
governed = run_frozen_eval(apply(policy, agent), behavior, cases, judge)
assert governed.safety_improves and governed.helpfulness_not_worse
release_with_budget_kill_switch_and_rollback()
# 입력: feature status, permission manifest, baseline failures, proposed runtime policy.
# 상태: SOURCE·VERIFIED·GAP·NEXT_ACTION 필드로 상태와 증거를 기록한다.
# 종료 조건: unverified tenant state, missing owner, changed test or judge, unresolved critical violation.
def evaluate(item):
return evidence-complete pilot만 제한 배포하고 나머지는 GAP와 next safe test를 반환한다.AI Builder Corner - Agent Evidence Ledger
문제 persistent agent의 feature, policy, eval, spend와 rollback 증거가 서로 다른 시스템에 흩어진다.
MVP availability state, identity·permission manifest, frozen eval hash, policy diff, cost와 rollback proof를 한 run에 저장한다.
차별화 dashboard가 아니라 동일 평가의 intervention evidence와 runtime state를 연결한다.
위험 vendor API 변화, judge bias와 과도한 로그의 개인정보·비용 위험.
앞으로 어떻게 될까?
3개월 - Home·Code의 Frontier tenant rollout과 actual availability가 분리 기록될 것이다.
3개월 - Autopilot private preview는 identity·memory·cost incident evidence를 만들기 시작할 것이다.
6개월 - runtime policy와 fixed eval bundle이 agent CI/CD의 표준 release artifact로 확산될 수 있다.
6개월 - usage-based billing은 task-level FinOps와 value attribution을 요구할 것이다.
1년 - work OS suite와 portable governance stack 사이의 interoperability가 구매 기준이 될 것이다.
오늘 바로 할 일 4가지
- 기능 상태 원장 고정Home·Code·Autopilot·Managed Runtime을 announcement, preview, tenant enabled와 GA로 구분해 확인 증거를 저장한다.
- critical behavior 하나 선택개인정보 노출 또는 무승인 action 하나를 one behavior·one suite로 정의하고 baseline을 실행한다.
- 동일 평가로 policy 재검증test cases·judge·model config를 고정하고 ACS policy만 적용해 safety와 helpfulness delta를 계산한다.
- agent 비용·중단 게이트task budget, credit approval, kill switch와 rollback drill을 tenant pilot 완료 조건으로 둔다.
오늘의 실무 프롬프트
지속형 에이전트 릴리스 게이트 리뷰어
한 agent 기능을 실제 tenant 상태와 fixed-test evidence로 검증한 뒤 제한 배포 여부를 결정한다.
1. non-production tenant와 critical behavior 하나로 제한한다.
2. 동일 평가에서 safety가 개선되고 helpfulness·cost·permission이 허용 범위이며 rollback이 작동한다.
3. 공식 documentation과 repository commit을 사용하고 test·judge hash를 전후 동일하게 유지한다.
4. preview를 GA로 일반화하지 않고 single example을 전체 시스템 안전성으로 확장하지 않는다.
5. availability matrix, baseline/governed comparison, policy diff, cost, decision, rollback proof.
6. generated code·policy, external write, persistent memory 승격과 production release 전에 사람이 승인한다.
7. pilot credit와 evaluation sample ceiling을 사전 승인하고 초과 시 사람에게 반환한다.
feature·region·tenant·plan과 현재 availability
agent identity·memory·computer·tool permission
critical behavior·frozen test·judge·baselineEditor's Insight
오늘의 변화는 Copilot 기능이 몇 개 늘었다는 소식보다 기업 AI의 운영 단위가 바뀌고 있다는 신호다.
Home은 대화와 문서를, Code는 자연어와 실행 가능한 소형 소프트웨어를, Autopilot은 목표와 지속 실행을 묶는다.
이 결합은 AI를 도구에서 디지털 작업자로 옮기지만 identity·memory·computer·비용도 함께 길어진다.
run-assert-eval은 그 위험을 추상 원칙이 아니라 failure behavior, runtime policy와 동일 시험 재실행으로 다루려 한다.
다만 30.0%에서 5.9%로의 개선은 공급자 예시이며 다른 업무·언어·model에서 자동으로 재현된다는 뜻이 아니다.
따라서 도입 순서는 feature enablement, 좁은 critical behavior, frozen evidence, 사람 승인, budget·rollback 순이어야 한다.
지속형 agent 시대의 경쟁력은 더 많은 일을 맡기는 능력과, 잘못될 때 같은 시험으로 증명하고 즉시 멈추는 능력을 함께 갖추는 데 있다.
마무리
Copilot의 다음 단계는 더 많은 기능이 아니라 작업을 계속 수행하는 운영체제다.
그 운영체제는 identity·memory·runtime·비용과 fixed-test governance를 함께 가져야 한다.
지속형 에이전트는 기능이 아니라 동일 조건의 검증 증거와 안전한 중단으로 승인한다.
참고 자료
- Microsoft - Introducing the new Copilot with Home, Code and Autopilot · 2026-09-27 08:04 KST 확인
- Microsoft Command Line - Introducing run-assert-eval: Find the risk, fix it, prove it · 2026-09-27 08:04 KST 확인
- Microsoft Responsible AI - ASSERT repository · 2026-09-27 08:04 KST 확인
- Microsoft - Agent Control Specification policy engine · 2026-09-27 08:04 KST 확인
- Microsoft - Clarity agent threat-modeling repository · 2026-09-27 08:04 KST 확인
- Microsoft Source - Microsoft AI News · 2026-09-27 08:04 KST 확인
- OpenAI - OpenAI News · 2026-09-27 08:04 KST 확인
- Anthropic - Anthropic Newsroom · 2026-09-27 08:04 KST 확인
- Google DeepMind - News · 2026-09-27 08:04 KST 확인
- GitHub - GitHub Changelog · 2026-09-27 08:04 KST 확인
'데일리 브리핑 > AI' 카테고리의 다른 글
| AI Daily #070 더 빠른 모델보다 중요한 에이전트 실행 통제 (0) | 2026.09.29 |
|---|---|
| AI Daily #069 모델보다 중요한 런타임·학습 루프·편집 가능성 (0) | 2026.09.28 |
| AI Daily #067 Live Avatar·보안 메모리·휴머노이드, 경쟁은 연속성으로 (0) | 2026.09.26 |
| AI Daily #065 ART·MentalHealthBench·Voice·Sandbox, 사람 중심 검증 경계 (0) | 2026.09.24 |
| AI Daily #064 GPT-6 비용·독립 검증·Isaac ROS, AI 운영의 새 경쟁축 (0) | 2026.09.23 |
