curl -L -o eval-bench-builder.skill "https://aiskillstore.io/v1/agent/skills/e8127c08-b2f5-4e94-b598-3c9cef2312be/download?platform=ClaudeCode"
{
"tool": "download_skill",
"arguments": {
"skill_id": "e8127c08-b2f5-4e94-b598-3c9cef2312be",
"platform": "ClaudeCode"
}
}
{
"mcpServers": {
"skill-store": {
"url": "https://aiskillstore.io/mcp/"
}
}
}
当用户说『怎么评测这个AI/技能好不好』『给我造个测试集』『评测用例怎么设计』『要可复现的评测』，或要给一个 agent/模型/技能建可复现评测基准时使用。从能力说明+边界用例生成结构化 eval 样本（输入/期望/判定标准），保证可复现、可回归。可运行脚本（bench_build 生成器）。理论根基：LGD 三律之有证（评测可复现、可核验）。触发词：评测基准、eval、测试集、benchmark、可复现评测、评测用例、怎么测AI。
Findings: ["메타데이터 경고: 권장 필드 없음: 'platform_compatibility' (SKILL.md v2 권장)", "USK v3 경고: input_schema.type이 'object'가 아닙니다", "USK v3 경고: output_schema.type이 'object'가 아닙니다", 'USK v3 경고: 이 스킬은 자동 변환 조건을 충족하지 않아 manual_install로 처리됩니다']
✅ No security risks found.
AI Review Stage
Issues Found
스킬 메타데이터의 `permissions.filesystem` 필드는 `false`로 명시되어 있습니다. 그러나 `scripts/bench_build.py` 코드를 분석한 결과, `pathlib.Path(a.spec).read_text()`를 통해 입력 파일을 읽고, `pathlib.Path(a.out).parent.mkdir()` 및 `out_p.write_text()`를 통해 출력 파일을 생성하고 쓰는 명백한 파일 시스템 작업이 확인되었습니다. 이는 선언된 권한과 실제 코드 동작 간의 직접적인 불일치입니다. 코드 자체는 악의적인 목적(데이터 탈취, 시스템 파괴, 외부 통신 등)을 포함하고 있지 않으며, 스킬의 목적(평가 벤치마크 생성)에 부합합니다. 또한, 메타데이터의 `allowed-tools` 필드에 'Read', 'Write'가 포함되어 있어 파일 시스템 접근이 의도되었을 가능성이 높습니다. 하지만 `permissions` 필드의 명시적인 선언은 사용자에게 스킬의 실제 접근 권한을 투명하게 제공해야 하므로, 이 불일치는 수정이 필요합니다. 따라서, 스킬 자체는 안전해 보이지만, 권한 선언의 정확성을 위해 관리자 검토 및 메타데이터 수정이 필요하므로 'pending' 상태로 판단합니다. 이 불일치로 인해 'medium' 위험 수준으로 분류합니다.
No reviews yet. Be the first to leave one!