Claude Skills V2 업데이트 - Skill Creator, Eval, 그리고 새로운 Frontmatter 옵션 총정리
📺 원본 영상: Claude Skills V2 업데이트! 🎙️ 채널: 코드팩토리 📅 정리 일자: 2026-03-18 ⚠️ Note: 본 리포트는 영상의 음성을 텍스트로 변환(STT)하여 정리한 것입니다. 화면에 표시된 자료(코드, 슬라이드, UI 화면 등)는 포함되지 않을 수 있습니다.
개요
약 2주 전 Anthropic이 기존 Skill Creator Skill을 대대적으로 확장하는 업데이트를 배포했다. 이번 업데이트의 핵심은 단순히 스킬을 “만드는” 기능에서 한 발 나아가, 만들어진 스킬을 자동으로 평가(eval)하고 반복 개선(iterate)하는 전 과정이 자동화됐다는 점이다. 또한 Skills 자체의 구조적 분류가 도입되고, Frontmatter에 새로운 옵션들이 추가되면서 스킬 설계의 자유도가 크게 높아졌다.
Skills의 두 가지 분류: Capability Uplift vs Inquiry Preference
Anthropic은 이번 공식 문서를 통해 Skills를 두 가지 범주로 명확히 구분했다. 이 분류가 중요한 이유는 단순한 개념 정리를 넘어, 이후 소개될 Eval 벤치마킹 기능의 활용 방식을 결정하기 때문이다.
01:06 - Anthropic 공식 Skills 업데이트 문서 화면 - Capability Uplift와 Inquiry Preference Skill 분류 설명
첫 번째는 Capability Uplift 스킬이다. 이는 Claude가 기본적으로 수행하지 못하는 작업을 가능하게 만들어주는 스킬을 의미한다. RAG(Retrieval-Augmented Generation) 시스템처럼 외부 지식을 주입하거나, 모델 자체의 한계를 보완하는 프롬프트 인젝션이 여기에 해당한다. 그런데 Anthropic이 직접 명시한 중요한 사실이 있다. 이 유형의 스킬은 모델 자체의 성능이 향상되면서 점차 deprecated될 수 있다는 것이다. 모델이 이미 해당 기능을 내재화해버리면, 스킬은 사실상 불필요한 오버헤드가 된다.
두 번째는 Inquiry Preference Skill이다. 이는 Claude가 이미 할 수 있는 작업이지만, 사용자가 원하는 특정 워크플로우나 출력 형식을 고정해두는 스킬이다. 사용자의 선호도를 저장해놓은 것이기 때문에, 모델이 아무리 발전해도 이 유형은 deprecated될 수 없다. SNS 포스트를 특정 플랫폼 톤에 맞춰 자동 생성하는 스킬이 그 전형적인 예다.
이 분류가 실용적으로 중요한 이유는 스킬 관리 전략에 있다. Capability Uplift 스킬은 주기적으로 Eval을 돌려 “이미 모델 자체가 이 기능을 충분히 수행한다면 스킬을 삭제해도 된다”는 판단을 내릴 수 있게 된다. 반면 Inquiry Preference 스킬은 장기 보유 자산으로 관리하면 된다.
핵심 신기능: Eval - 스킬을 측정하고 증명하다
이번 업데이트에서 가장 주목할 기능은 Eval(평가/벤치마킹) 기능이다. 강연자에 따르면 이 기능은 Claude 자체에 거의 내장(embedded)된 형태로 탑재됐다고 한다. Eval의 역할은 명확하다. 어떤 프롬프트를 실행했을 때 스킬을 사용한 결과와 스킬을 사용하지 않은 결과를 나란히 비교해, 해당 스킬이 실질적인 품질 향상을 가져오는지 수치로 보여주는 것이다.
03:56 - Eval 벤치마킹 예제 결과 화면 - 토큰 사용량, 실행 시간, 테스트 통과 여부 등 수치 표시
Eval이 유용한 시나리오는 크게 두 가지다. 첫째는 회귀(Regression) 감지다. 인프라나 모델이 업그레이드될 때 기존 스킬의 동작이 의도치 않게 나빠지는 경우를 탐지할 수 있다. 모델이 항상 더 좋은 결과만 내지는 않기 때문에, 업그레이드 전후를 자동 비교하는 것은 실무에서 매우 중요한 안전망이 된다. 둘째는 앞서 언급한 스킬 삭제 판단이다. Eval 수치가 스킬 적용 여부에 관계없이 동일하다면, 그 스킬은 이미 모델 기본 기능으로 흡수된 것이므로 삭제해도 무방하다는 논리다. 강연자는 이 주장에 상당한 설득력이 있다고 언급했다.
결과 출력 방식도 인터페이스에 따라 다르게 제공된다. Claude.ai 웹 UI에서는 영수증처럼 정형화된 결과 리포트로 받을 수 있고, Claude Code에서는 텍스트 형식으로 동일한 정보를 확인할 수 있다.
04:12 - Claude.ai 웹 UI에서 영수증 형태로 출력된 Eval 결과 리포트 화면
Multi-agent Support: 병렬 A/B 테스트의 실현
Eval 기능의 실용성을 한층 높여주는 것이 바로 멀티에이전트(Multi-agent) 지원이다. 스킬을 적용한 버전과 적용하지 않은 버전을 동시에 병렬 실행해 A/B 테스트를 수행할 수 있게 됐다. 이전에는 비교 테스트를 순차적으로 실행해야 했다면, 이제는 두 에이전트가 동시에 동일한 작업을 수행하고 그 결과를 한 번에 리포트하는 구조가 가능해진 것이다.
이 병렬 실행 덕분에 또 하나의 중요한 특성이 생겼다. Non-blocking 실행이다. 벤치마킹이 백그라운드에서 돌아가는 동안 사용자나 스킬 자체는 다른 작업을 계속 진행할 수 있다. 강연자에 따르면 Skill Creator Skill은 벤치마크를 돌리는 동시에 다음 단계의 스킬 초안을 미리 작성해 사용자에게 보여주도록 설계돼 있다고 한다.
Implicit Trigger 개선: 오랜 불만이 해소되다
스킬 생태계에서 오랫동안 사용자들의 불만이었던 Implicit Trigger 문제가 이번에 크게 개선됐다. Explicit Trigger는 사용자가 슬래시 커맨드(/스킬명)로 직접 스킬을 호출하는 방식이고, Implicit Trigger는 Claude가 대화의 맥락을 판단해 스스로 적절한 스킬을 호출하는 방식이다. 후자는 이론적으로 매우 편리하지만, 실제로는 트리거 정확도가 낮아 의도하지 않은 시점에 스킬이 발동하거나 반대로 발동해야 할 때 발동하지 않는 문제가 빈번했다.
이 문제의 근본 원인 중 하나가 스킬의 description 품질이었다. Implicit Trigger는 Claude가 description을 읽고 “이 스킬을 지금 써야 하는가”를 판단하기 때문에, description이 모호하면 판단 오류가 발생할 수밖에 없었다. 이번 업데이트에서 Skill Creator Skill은 스킬 생성 시 description을 자동으로 최적화하는 기능을 포함하게 됐고, 기존에 만들어둔 스킬도 Skill Creator Skill을 통해 description을 개선하면 Implicit Trigger 정확도가 크게 향상된다고 강연자는 설명했다.
Skill Creator Skill의 진화: 완전 자동화 파이프라인
Skill Creator Skill은 단순한 스킬 생성 도우미에서 스킬 생성 → 테스트 케이스 설계 → Eval 실행 → 반복 개선까지 이어지는 완전 자동화 파이프라인으로 진화했다. 사용자가 “무엇을 만들고 싶은가”를 설명하면, Skill Creator Skill은 먼저 인터뷰를 통해 의도를 파악하고, MCP를 활용한 리서치를 수행하고, skill.md 파일을 작성하고, 평가 기준(Eval test case)까지 자동으로 설계한다.
06:44 - Skill Creator Skill 내부 구조 화면 - 인터뷰, 벤치마크, evaluation 설계 지침 섹션
07:40 - Skill Creator Skill 내 ‘evaluation test case’ 신규 섹션 화면
이때 Progressive Disclosure 패턴이 적극적으로 활용된다. 사용자에게 필요한 정보를 한꺼번에 쏟아내지 않고, 단계별로 필요한 시점에 관련 정보를 제공하는 UX 패턴이다. Skill Creator Skill의 내부 지침에는 몇 줄의 콘텐츠가 적합한지, 폴더 구조는 어떻게 도메인별로 정리해야 하는지까지 상세히 명시돼 있다.
강연자가 직접 시연한 예시에서는 “주제를 알려주면 스스로 리서치해서 Thread, Facebook, X(트위터)에 각각 어울리는 말투의 포스트를 자동으로 만들어주는 스킬”을 요청했다.
09:15 - SNS Post Creator 스킬 생성 시 자동 생성된 투두 리스트 및 7개 평가 기준 화면
자동 생성된 평가 기준에는 “모든 플랫폼을 포함했는가”, “언어가 요청과 일치하는가”, “X(트위터)의 글자 수 제한을 준수했는가”, “해시태그가 포함됐는가”, “구체적인 팩트와 수치가 포함됐는가”, “플랫폼별 톤이 차별화됐는가”, “사용자가 지정한 톤이 반영됐는가” 등이 포함됐다. 이 기준들은 자동 생성됐음에도 불구하고 해당 스킬의 품질을 측정하기에 적절한 항목들로 구성됐다고 강연자는 평가했다.
Eval 실행 결과, 스킬을 적용한 경우와 적용하지 않은 경우의 결과가 자동으로 비교됐다. 최종 결과물로는 Thread에는 반말과 캐주얼한 톤, Facebook에는 더 긴 형식의 포스트, X에는 짧고 간결한 포스트가 각각 생성됐다. 결과물에 대해 피드백을 제출(submit)하면 스킬이 자동으로 수정되는 반복 개선 사이클도 작동했다.
새로운 Frontmatter 옵션들: 스킬 제어의 세밀화
이번 업데이트에서 스킬의 frontmatter에 여러 새로운 옵션이 추가됐다. 기존에는 name과 description, arguments 정도였지만, 이제 훨씬 세밀한 동작 제어가 가능해졌다.
11:33 - Skills frontmatter 신규 옵션들 화면 - model-invocable, user-invocable, allow-tools, model, context, hooks 항목
model-invocable 옵션은 Claude가 스스로 이 스킬을 invoke할 수 있는지를 제어한다. false로 설정하면 모델은 해당 스킬을 인식조차 하지 않고, 사용자가 직접 트리거해야만 실행된다. SNS 포스트 자동 생성처럼 사용자의 명시적 의도 없이 자동 발동되면 안 되는 스킬에 적합하다.
user-invocable 옵션은 반대로 사용자가 슬래시 커맨드로 직접 실행할 수 있는지를 제어한다. false로 설정하면 슬래시 커맨드 목록에 노출되지 않아, 내부 자동화 용도로만 사용되는 스킬을 숨길 수 있다.
allow-tools 옵션은 해당 스킬이 실행될 때 사용 가능한 도구의 범위를 제한한다. MCP 도구를 특정 스킬에서는 사용하지 못하도록 제한하고 싶을 때 활용할 수 있다.
model 옵션은 스킬 실행에 사용할 Claude 모델을 직접 지정할 수 있게 해준다. 스킬의 복잡도에 따라 더 경량 모델이나 더 강력한 모델을 선택적으로 지정하는 것이 가능해졌다.
가장 흥미로운 신규 옵션은 **context: fork**다. 이를 설정하면 스킬 실행 시 서브에이전트(sub-agent)를 별도로 생성해 그 안에서 스킬을 실행한다. 메인 컨텍스트와 격리된 환경에서 실행되기 때문에 메인 대화에 영향을 주지 않고 독립적인 작업을 처리할 수 있다. agent 옵션을 함께 사용하면 해당 서브에이전트의 특성도 커스터마이징할 수 있으며, 이 옵션은 context: fork 상태에서만 유효하다.
마지막으로 hooks 옵션이다. 기존에 settings.json의 JSON 형식으로 정의하던 훅(hook)을 이제 스킬 frontmatter 안에 YAML 형식으로 직접 정의할 수 있다. 이 훅은 해당 스킬의 생명주기(lifecycle)에만 적용되어, 스킬 실행 전·후 특정 셸 명령이나 동작을 트리거하는 데 활용할 수 있다.
스킬 설치 및 시작 방법
Skill Creator Skill은 플러그인 형태로 제공되므로, 플러그인으로 설치하는 것이 권장된다. 플러그인으로 설치하면 자동 업데이트가 적용되기 때문이다. Claude.ai 웹 UI에서는 플러그인 추가 메뉴에서 skill을 검색하면 Skill Creator Skill을 찾을 수 있다. Claude Code에서는 /plugin 명령으로 동일하게 검색 및 설치할 수 있다.
설치 후에는 /skill creator 명령어를 입력하고, 만들고 싶은 스킬의 목적과 동작을 자연어로 설명해주면 된다. 이후 인터뷰 → 스킬 생성 → Eval → 반복 개선의 전 과정이 자동으로 진행된다.
마무리 / 핵심 정리
이번 Claude Skills 업데이트의 본질은 스킬의 생애주기 관리를 자동화했다는 점에 있다. 만드는 것, 검증하는 것, 개선하는 것, 그리고 더 이상 필요 없어졌을 때 삭제 판단을 내리는 것까지 하나의 파이프라인으로 통합됐다. 특히 Eval 기능은 “이 스킬이 실제로 효과가 있는가”라는 질문에 정량적으로 답할 수 있는 도구를 제공함으로써, 스킬 관리를 직관에서 데이터 기반 의사결정으로 전환시켜준다.
강연자가 강조한 실용적 조언을 정리하면, 첫째로 기존에 만들어둔 스킬이 있다면 Skill Creator Skill로 description을 개선해 Implicit Trigger 정확도를 높이는 것이 즉각적인 효과를 볼 수 있는 방법이다. 둘째로, Capability Uplift 유형의 스킬은 주기적으로 Eval을 실행해 모델 자체가 이미 해당 기능을 흡수했는지 점검하고 불필요한 스킬을 정리하는 것이 스킬 생태계를 건강하게 유지하는 방법이다. 셋째로, 새로운 Frontmatter 옵션들, 특히 model-invocable과 context: fork는 스킬의 안전성과 격리성을 크게 높여주므로 적극적으로 활용할 가치가 있다.
📚 출처 및 참고
| 구분 | 내용 |
|---|---|
| 원본 영상 | Claude Skills V2 업데이트! |
| 채널 | 코드팩토리 |
| 리포트 작성 | 2026-03-18 |
| 작성 방식 | YouTube 영상 STT 변환 후 에디팅 |
💬 본 리포트는 영상 내용을 바탕으로 재구성되었습니다. 정확한 내용은 원본 영상을 참조해 주세요.