P1 · 개인 프로젝트
AI 직원 11명이 일하는 가상 회사
직접 설계한 멀티에이전트 오케스트레이터와, 그 안에서 발견한 신뢰 경계 문제
11 Agents3 Divisions
- AI
- Multi-Agent
- Slack
한 줄 요약
직접 설계한 오케스트레이터로 AI 직원 11명의 가상 회사를 만들며, 에이전트가 서로를 검증 없이 믿는 신뢰 경계 문제를 체감했습니다.
배경
직접 설계한 멀티에이전트 오케스트레이터(여러 AI 에이전트에게 일을 나눠 주고 흐름을 관리하는 프로그램)로 3개 부서, 11개 역할의 가상 회사를 구성했습니다.
| 부서 | 역할 |
|---|---|
| 경영 | 비서/경영기획실장, 재무, 인사 |
| 기술 | 기술실장, 시니어 엔지니어, 엔지니어, DB 엔지니어, QA 엔지니어, 보안 엔지니어 |
| 영업 | 기획·영업실장, 콘텐츠 마케터(기본 비활성) |
- 비서(경영기획실장) 에이전트가 상위 지시를 실행 계획으로 만들고, 시작 전에 확인을 받습니다.
- Anthropic·OpenAI·Google·DeepSeek 모델을 역할별 우선순위로 배정하고, 실패 시 다음 모델로 전환합니다. 사용 비용은 예산에 맞춰 추적합니다.
- Slack·Jira·GitHub와 연동하고, 웹 대시보드(FastAPI)의 픽셀아트 사무실(CCTV 화면)로 에이전트 활동을 보여 줍니다.
- 요구사항 명세서(SRS)와 구현 지시 문서를 작성했습니다.
공개 저장소의 코드는 업무 배정, 모델 선택, 비용 기록을 다루며, 언어 모델 호출은 시뮬레이션합니다.
문제
이 프로젝트를 하면서 직접 겪은 문제입니다. 한 에이전트가 잘못된 결과를 내면, 다음 에이전트가 그것을 검증 없이 그대로 믿고 다음 작업을 진행했습니다.
사람 조직이라면 다른 팀 결과물을 검토하지만, 에이전트 사이에는 그런 확인 단계가 없었습니다.
보안 관점에서 이것은 신뢰할 수 없는 입력을 그대로 신뢰하는 문제이며, 실제 운영 AI 시스템에서도 똑같이 생기는 신뢰 경계·권한 범위 문제입니다.
실행
저장소에는 아래 안전장치가 실제로 있습니다. 아래 “얻은 원칙”과 이어집니다.
| 안전장치 | 이어지는 원칙 |
|---|---|
| 외부 쓰기 기본 차단 | 원칙 3. 권한은 최소로 |
| 작업 경로 제한 | 원칙 3. 권한은 최소로 |
| 예산 100% 초과 시 작업 차단 | 원칙 3. 권한은 최소로 |
| Slack 요청 서명 검증 | 원칙 2. 근거를 확인할 수 있게 |
마지막 장면의 검증 단계는 구현된 기능이 아니라, 이 경험에서 얻은 원칙을 표현한 것입니다.
배운 점
여기서 얻은 원칙
- AI는 판단을 보조하고, 실제 조치(차단·권한 변경)는 사람이 승인한다.
- AI의 결론에는 근거를 남겨 사람이 확인할 수 있게 한다.
- AI에 주는 권한은 최소로 한다.