Harness Evolution History

Anatomy of a Misfeature — 블로킹 게이트의 무문서 timeout auto-proceed는 게이트 무력화다

Claude Code v2.1.198이 블로킹 안전 게이트 AskUserQuestion을 changelog·문서 0으로 60초 무응답 시 "Proceed using your best judgment" 자동 진행으로 변경 — 부분 응답도 그대로 제출. auto-update 기본값과 결합해 안전-관련 행동 변경이 사용자 무행동으로 조용히 도달했고, GitHub #73125(384▲) 이틀 만에 롤백됐다. 저자는 Bun 바이너리 문자열 diff 포렌식으로 실증: 카운트다운 UI·afkTimeoutMs 스키마·전용 analytics 이벤트까지 갖춘 설계된 기능이었다. 교훈: ① 블로킹 게이트는 블로킹으로 남아야 한다 — timeout auto-proceed는 미승인 fallback의 게이트 판. ② 게이트 강제력은 업스트림 바이너리에 의존하므로 버전 bump 후 차단 동작을 probe로 재실증해야 한다.

• 5축: 자동화 1 · 마찰제거 2(silent 게이트 무력화 사전 차단) · HARD전환 2(게이트 차단 동작은 probe로 실증 가능 — conformance ENFORCED가 그 표면) · 토큰효율 0 · 측정가능 2 = 7/10 (novelty med — 게이트 시맨틱스 드리프트 위협 추가)
• 연계: execution-time-authorization-layer(강제 계층) · fail-loud-no-unapproved-fallback(미승인 fallback 금지) · compaction-governance-decay(제약은 영속층에 + 생존 검증)

cosmtrek/mindwalk ★776 — 세션 JSONL을 파일-터치 trace로 정규화해야 스코프 이탈이 보인다

Claude Code/Codex 세션을 3D 코드베이스 맵 위에 리플레이하는 Go 단일 바이너리(HN 162pt). 핵심은 시각화가 아니라 아키텍처: 세션 로그를 파일-터치 이벤트 스트림(trace)으로 정규화하고, 결정론적 repo 레이아웃(같은 트리=같은 맵)이라 세션 간 리플레이가 비교 가능하다. 관측(seen/read)과 변이(edit)를 구분 렌더, compaction·subagent·user-turn 마크, error rate·churn HUD. 판정(탐색 적정성·스코프·방황·검증)은 도구/MCP가 차단된 sealed judge로 분리. "raw JSONL을 줄 단위로 읽어서는 에이전트가 어디를 탐색했고 스코프에 머물렀는지 답할 수 없다" — E3(최소 스코프) 위반의 사후 결정론 진단 표면.

• 5축: 자동화 1 · 마찰제거 1 · HARD전환 2(로컬 JSONL→touch 이벤트 추출은 결정론 스크립트화 가능) · 토큰효율 1(과잉 탐색 진단→E3 강화) · 측정가능 2(touch 수·분포·churn) = 7/10 (novelty med)
• 연계: token-efficiency-tracking E3(최소 스코프) · active-investigation-fault-attribution(트레이스 on-demand 진단) · judge-as-optimizer-hardening(sealed judge 정합)

커버리지 노트 — 직전 회차 6시간 뒤 창이라 고신호 대부분 기처리, 재확인 3건

185차(당일 새벽)와 수집 창이 겹쳐 HF 전일분·arXiv 15xxx 대역·HN 상위(systima 토큰 오버헤드 701pt=173차 기수확, Terry Tao 453pt)는 전부 기처리 — dedup 인덱스가 정상 작동해 중복 적용 0. 재확인(novelty low, 회차 노트만): clawk ★696(disposable VM 격리 — "agent memory는 host-mount, VM은 폐기" = durable-agent-sandbox-decoupling·microvm-agent-sandbox 재확인), yoheinakajima/activegraph ★403 생태계 확장(packs·memory·ouroboros 신규 push — event-sourced-reactive-graph-runtime 기수확 재확인). juggler(JUCE 창작자의 GUI 코딩 에이전트, 277pt)는 제품 신호로 기각. anthropic 신규 글 "How we contain Claude across products"도 기적용 확인.

• 판정: 신규 검토 53건 중 med 2 적용 · low 재확인 3 노트 · 기각 다수(SDK 인프라 repo·비관련 논문). 행동지표 6000→6000 무회귀.

arXiv 2607.15092 — Rubrics on Trial: 단일 쿼리에서 synthetic 대비쌍으로 rubric을 진화시킨다

query-only로 빈 집합에서 rubric 세트를 진화 — 외부 주석·선호 데이터·모델 학습 0. 감독 신호는 오로지 synthetic rubric-conditioned 응답 대비쌍에서 유도하고, 제안된 rubric마다 채택 전 검증(admission gate)을 통과해야 추가된다: 답 품질을 구분 못 하는 non-discriminative, 과세분화된 over-specific, 스타일만 보상하는 style-only 후보를 스크리닝. 5개 선호 벤치 스위트에서 최고 평균 정확도(7개 평가셋 중 6개 선두). "그럴듯한 rubric ≠ 유용한 rubric" — 유효한 대안 전략을 벌점하거나 선택적 스타일을 보상하는 rubric이 검증 없이 쌓이는 것을 입구에서 차단하는 메커니즘.

• 5축: 자동화 1 · 마찰제거 2(비판별 rubric의 judge 루프 오염 차단) · HARD전환 1(대비쌍 판별력 검증은 스크립트화 가능) · 토큰효율 1 · 측정가능 2(판별력 통과율) = 7/10 (novelty med — 지표 진화 원칙에 admission gate 메커니즘 추가)
• 연계: metric-skill-coevolution-anchored-audit(지표를 진화 대상으로) · 178차 rubric 메타평가(extrinsic 정렬)를 채택 시점으로 앞당김 · judge-as-optimizer-hardening(대비쌍 신호)과 정합

microsoft/apm v0.25 — drift rebuild-diff 감사 · SBOM export · tighten-only 정책 상속

31차(2026-04-18) 수확 이후 71릴리즈로 진화한 Agent Package Manager의 신기능 3종. (1) drift 감지: apm audit이 lockfile 정본에서 컨텍스트를 scratch에 재구성한 뒤 워킹트리와 diff — 수동 hand-edit로 인한 정본↔런타임 드리프트를 기계 감지. (2) SBOM export: apm lock export --format cyclonedx|spdx로 에이전트 컨텍스트 의존성 재고를 표준 SBOM으로 — "스킬을 SBOM처럼" 원칙(arXiv 2607.01136)이 Microsoft 공식 도구로 물질화. (3) tighten-only 정책 상속: enterprise→org→repo로 조여지기만 하는 apm-policy.yml + apm audit --ci 게이트 — 설치 평면(policy)과 런타임 평면(harness)의 거버넌스 분리. 8개 에이전트 플랫폼 지원, hidden Unicode 스캔 기본.

• 5축: 자동화 2 · 마찰제거 2(hand-edit drift 기계 감지) · HARD전환 2(audit --ci exit code) · 토큰효율 0 · 측정가능 1 = 7/10 (novelty med — agent-manifest-pattern 기수확의 진화분 보강)
• 연계: agent-skill-supply-chain-dependency-risk(SBOM 원칙의 생태계 물질화) · agent-skill-security-scanning(hidden Unicode) · cc-sync 이식 후보: repo 정본 재구성 vs 실제 ~/.claude diff 게이트

커버리지 노트 — 신규 검토 50건 중 med 2 적용, seen 키 누락 4건 백필

openai/symphony(26K⭐ 급부상)와 systima 토큰 오버헤드(HN 701pt 재부상)가 NEW로 보였으나 각각 44차(work-over-agent-management)·173차(harness-token-overhead-audit)에 기수확 — seen 인덱스 키 불일치로 인한 NEW 오탐이라 canonical 키 4건을 백필해 재발 차단. HF 신규 14건은 video/multimodal 위주로 하네스 무관 기각. trending·topic의 하네스 생태계 항목(omnigent·jcode·ruflo·repo-harness·best-of-Agent-Harnesses·llm-space)은 meta-harness·persistent-file-based-planning·active-investigation 기보유 원칙 재확인으로 기각. X 미러는 184차(동일일 00시)에서 차단 확인돼 재시도 생략. 행동지표(conf×1000+replay) 6000→6000 무회귀.

arXiv 2607.15253 — Bridge Evidence: 정적 검색 유틸리티는 멀티스텝 에이전트 검색의 인과 유틸리티를 예측하지 못한다

ReAct×HotpotQA 1,000문항에서 에이전트가 읽은 모든 문서를 삭제 후 그 시점부터 궤적 재실행(counterfactual replay) — 최종 답 품질·다음 쿼리 검색 품질·턴 수 3-delta로 CTU 산출. 23,322 문서 관측에서 CTU × 정적 유틸리티(SRU)는 거의 통계적 독립(Spearman ρ=-0.026). 읽힌 문서의 약 1/3은 정적 reader에겐 무용해 보이지만 인과적 load-bearing인 bridge document — reader 축을 BM25+cross-encoder 프록시로 바꿔도 bridge cell 27.2% 생존. 메커니즘: bridge 문서는 검색을 redirect하는 판별적 엔티티를 공급한다(다음 쿼리 등장 4.02×, 6.1% vs 1.5%, n=227,139). 정적 관련도를 최적화해도 인과 유틸리티는 얻지 못한다 — 컨텍스트/메모리 프루닝과 검색 평가를 counterfactual replay로 전환.

• 5축: 자동화 1 · 마찰제거 1 · HARD전환 2(삭제-재실행 replay는 결정론 스크립트화 가능) · 토큰효율 1 · 측정가능 2 = 7/10 (novelty high — "정적 관련도 프루닝의 bridge 절단 위험" 신설)
• 연계: eval-predictive-validity(집계 점수 예측타당성)의 item-level 확장 · role-typed-trajectory-credit-assignment의 검색 도메인 실증 · task-aware-context-pruning/metadata-guided-chunk-retrieval에 bridge 보존 제약

arXiv 2607.15263 — Beyond Success Rate: 태스크 패밀리마다 비용-스케일링 레짐이 다르다

보안 에이전트를 peak 성공률이 아니라 비용-성공 렌즈로 평가 — 고정 비용 수준에서 모델 비교 + inference/tool 지출 분해. 공격(Cybench CTF)은 test-time compute 추가로 개선되고 스케일된 오픈웨이트가 frontier에 비용 경쟁력 있게 근접하지만, 방어(Splunk BOTS SOC 조사)는 raw 추론 예산이 아니라 규율된 도구 사용·텔레메트리 탐색·선택적 enrichment에 의존해 같은 방식으로 스케일하지 않는다. compute 증액이 안 통하는 패밀리(조사·탐색형)에서 추론 예산 인상은 낭비 — reasoning-effort-over-tool-access의 적용 경계 신호.

• 5축: 자동화 1 · 마찰제거 1 · HARD전환 1 · 토큰효율 1 · 측정가능 2 = 6/10 (novelty med — cost-per-task 원칙에 패밀리별 레짐 분해 추가)
• 연계: own-pr-benchmark-cost-per-task(태스크당 비용) · risk-weighted-verification-budget(위험 비례 배분) · reasoning-effort-over-tool-access(추론 상향의 경계 조건)

커버리지 노트 — 7소스군 전원 시도, 신규 검토 11건 중 high 1 + med 1 적용

arXiv 신규 9건 중 7 기각: IRT 신뢰성(2607.15190 — IRT 미사용 하네스)·Plover plan-centric GUI(15193 — persistent-file-based-planning 재확인)·MeanFlowNFT(training-side)·AutoSynthesis/SciVis/Digital Pantheon/covariate-MDP(도메인 특화). HF는 API가 07-18분 미공개(400 응답) — 전일분은 183차 기수확. trending 19는 Claude Code 생태계 웨이브 지속(hallmark·orca·graphify·herdr·cangjie·claude-video·codex-plugin-cc 기처리) — 신규는 ibelick/ui-skills 4.6K⭐ 1건(design skill 웨이브 재확인, 기각). HN 신규 agent-talk(에이전트 간 협업 — bidirectional-agent-messaging 기보유) 기각. Anthropic eng 신규 0(containment 글 기수확). nitter가 HTTP 200을 반환하나 빈 JS 셸 — X 미러 차단 실질 지속. 행동지표(conf×1000+replay) 6000→6000 무회귀.

arXiv 2607.15277 — Partition, Prompt, Aggregate: macro fallacy — LLM 집계 추정은 분할→집계가 직접 추정보다 정확

LLM 추정치가 확률 항등식(전확률 법칙)을 지키는지 이진 트리 재귀 분할로 검증 — frontier 모델 전반에서 광범위한 자기일관성 위반. 핵심은 macro fallacy: 세분화된 하위집단 추정을 프로그램적으로 집계한 값이 직접 물은 상위 수준 추정보다 인간 참조 데이터에 더 정합 — 모델은 하위집단 지식을 갖고 있으나 집계로 신뢰성 있게 전파하지 못한다. 분할-집계 일관성 위반 자체가 reference-free 감사 신호(unsaturated criterion)로 성립 — 참조답 없는 도메인에서 judge/추정 신뢰도를 코히런스 검사로 점검 가능.

• 5축: 자동화 1 · 마찰제거 1 · HARD전환 2(분할-집계 일치는 프로그램 검증 가능) · 토큰효율 1 · 측정가능 2 = 7/10 (novelty med — 분해-집계 원칙의 수치 추정 확장)
• 연계: binary-question-decomposed-evaluation(원자 분해→집계)의 수치 도메인 실증 · judge-as-optimizer-hardening 177차 "reference 없는 판정 과신용"의 차선책(코히런스 감사)

arXiv 2607.15205 — MM-IssueLoc: 텍스트 SWE 벤치 고득점, 멀티모달 이슈 로컬라이제이션으로 전이 안 됨

실 레포 이슈에는 스크린샷·에러 다이얼로그·렌더된 UI 상태가 일상적으로 붙지만 로컬라이제이션 평가는 텍스트 전용이었다 — 652 issue-PR·23언어·7이미지 카테고리·4관련도 레벨의 paired(텍스트만 vs 이미지 포함) 통제 평가로 분리하니 최강 에이전트가 file Acc@5 38.96·function Acc@10 22.45에 그침. end-to-end repair 벤치는 로컬라이제이션과 패치 합성을 entangle해 시각 입력이 도움/해악/무시됐는지 판별 불가. 이미지 붙은 이슈를 처리하는 auto-issue류 파이프라인에서 모델이 시각 증거를 활용한다고 가정 금지 — VCE처럼 이미지를 구조화 텍스트 증거로 변환하는 전처리를 명시 평가 변수로.

• 5축: 자동화 1 · 마찰제거 1 · HARD전환 1 · 토큰효율 0 · 측정가능 2 + 갭부스트 1(이미지 이슈 처리 파이프라인) = 6→7/10 (novelty med)
• 연계: eval-predictive-validity(모달리티 간 비전이 = predictive validity 실패의 새 축) · intrinsic-eval-disentangles-conflated-failure(능력 축 분리 측정) · qa-screenshot-required(출력 증거)의 입력 방향 쌍대

커버리지 노트 — 7소스군 전원 시도, 신규 검토 52건 중 med 2 적용, 나머지 low/reject

trending 21은 Claude Code 생태계 제품 웨이브 지속(stitch-skills·hallmark·orca·herdr·OfficeCLI·OmniRoute·codex-plugin-cc 기처리/기거부) — 신규는 xai-org/grok-build 14k⭐(simonw star, xAI 코딩 하네스 TUI — 하네스 수렴 재확인), openai/codex-action(Codex를 GitHub Actions CI 에이전트로 — agentic-workflows-cicd 재확인), Juggler(JUCE 창작자의 GUI 코딩 에이전트, HN 276p). 기각: Ring-Zero(81▲ trillion-param zero RL — training-side), KnowAct-GUIClaw(47▲ self-evolving memory/skill — recursive-self-improvement-loop 기보유 재확인), GRASP(granularity-aware retrieval: semantic=탐색/keyword=엔티티/read=검증 역할 분담 + 문장 단위 우선·필요시 확장 — token-efficiency E3·grep-over-vector 방향 재확인, RL 훈련측이라 low), 로봇/비전/의료 벤치 다수. HF 당일분은 training·로봇 편중. Anthropic eng 신규 0(containment 글 기수확). X 미러 302 차단 지속.

arXiv 2607.13071 — Compaction as Epistemic Failure: killed process 부분출력이 compaction 요약에서 확정 결과로 둔갑

Claude Code에서 문서화된 실패 모드 — timeout kill(exit 143)된 명령의 부분 stdout이 compaction 요약에 "확인된 결과"로 기록되고, 후속 세션이 그 요약을 ground truth로 상속해 재검증 없이 false positive가 세션·모델 버전 경계를 넘어 전파된다. 근본 메커니즘은 관찰(터미널에 보였다)과 영속(디스크에 기록됐다)의 혼동. LLM-as-judge 비결정론 연구가 보인 자기평가 실패가 에이전트 도구의 "자기 운영 결과 보고"에서도 동일하게 나타남을 보임 — 데이터 처리·과학 계산·다단계 자동화처럼 세션 연속성에 의존하는 모든 워크플로우에 직접 함의. 내 하네스가 곧 Claude Code라 이 실패 모드의 1차 노출면.

• 5축: 자동화 1 · 마찰제거 2 · HARD전환 2 · 토큰효율 0 · 측정가능 2 = 7/10 (novelty med — 기존 원칙 교차점의 새 메커니즘, 보강 라우팅)
• 연계: compaction-governance-decay(제약 소실)의 쌍대 — 압축은 미검증 관찰을 확정 사실로 승격시키는 반대 방향 오염도 만든다. evidence-only-reporting·completion-verification·retrieval-grounded-exact-recall과 정합

arXiv 2607.13091 — Accumulated Behavioral Rules: 리뷰 피드백→영속 규칙 폐루프 산업 실증, ruled-against 재발 0%

코딩 에이전트가 세션마다 같은 실수를 반복하는 근본 원인은 리뷰 교정을 보존할 메커니즘 부재 — 수용된 리뷰 코멘트를 버전 관리되는 지시 파일의 영속 행동 규칙으로 codify하는 폐루프를 35+ 서비스 마이크로서비스 플랫폼에 배포. 규칙셋 5→18 rules + 15+ 언어별 표준 + 15항목 self-review 체크리스트(전부 실제 리뷰 피드백 유래), 규칙셋이 커져도 무결성을 지키는 자동 검증 동반. 11개 세션 실측: ruled-against 에러 클래스 재발 0%, 리뷰 노력이 low-level correctness에서 design-level 검증으로 이동, 이질적 에이전트 인터페이스 간 규칙 전이. Reflexion/ExpeL 류 in-context 경험 학습 대비 "버전 관리 영속 cross-session 규칙"이 차별점.

• 5축: 자동화 2 · 마찰제거 2 · HARD전환 1 · 토큰효율 1 · 측정가능 2 = 8/10 (novelty med — 내 하네스 fix커밋→self-improve→rules 축적 루프와 동형, 외부 실증)
• 연계: recursive-self-improvement-loop(Competitor→Analyst→Coach→Curator)·soft-to-hard-promotion·cross-batch-evidence-accumulation — "재발 0%"는 rule 승격 폐루프의 목표 지표 그 자체

arXiv 2607.13347 — Evaluation Ability ≠ Optimization Utility: LLM-judge 신호는 폐루프 선택에서 약하다

결정론 지표(TEDS)가 존재하는 table recognition을 통제 테스트베드로 LLM-judge의 폐루프 재생성 신호를 검증 — judge 점수는 동점 빈발·랭킹 비재현으로, iteration이 더 나은 후보를 실제로 만들어도 judge가 그것을 골라내지 못했다. random을 이긴 유일한 선택 정책은 earliest-iteration tie rule에 의존해 judge 점수의 기여로 귀속 불가. 반면 judge 피드백 없이도 구조 보존 지시(target-preservation)만으로 severe-loss율이 유의하게 감소 — 무제약 재생성 하의 target-preservation failure가 severe loss의 근접 메커니즘. 결론: LLM의 평가 능력은 부정하지 않되, "평가를 잘한다"가 "최적화 신호로 유용하다"를 함의하지 않는다.

• 5축: 자동화 1 · 마찰제거 2 · HARD전환 1 · 토큰효율 1 · 측정가능 2 = 7/10 (novelty med)
• 연계: judge-as-optimizer-hardening(ranking 통과 judge를 optimizer에 넣으면 새 실패모드)·reward-score-oversensitivity(동점 처리)·acceptance-criteria-completion(결정론 제약이 사후 필터보다 우선)

커버리지 노트 — 7소스군 시도, arXiv 당일 RSS에서 하네스 직결 3편 포착(HF 당일분은 training/로봇 편중), 기각 18건

arXiv RSS 228(cs.AI 당일, 필터 85 — compaction/self-improve/judge 클러스터 동시 부상) · HF 당일 10 전원 신규지만 training-side RL(SEED ▲7)·WAM 공격(BadWAM ▲7)·KV-cache 서빙 등 하네스 비적용 기각 · GitHub trending 20 대부분 기처리(stitch-skills·hallmark·orca·herdr·OfficeCLI 기거부, OmniRoute 기적용, codex-plugin-cc 기관찰) · HN 3(deja-vu 128pt coding agent memory over SSH — memory-bank 보유 재확인, LM Studio Bionic 제품 출시) · 구루GH 8계정(anthropics/skills 162k⭐ 공식 Agent Skills repo — agent-skills-format 기수확 재확인, yoheinakajima ouroboros 신규 README 부재 신호 불충분, hwchase17 testing-mcp 실험) · Anthropic eng 신규 0 · X 미러 차단 지속. 기각 상세: Inference Economics(13080 — 온프렘 FCR 74.9% vs API 45.9%, 수리 커밋 오즈 3.61배: 싼 토큰≠싼 태스크로 own-pr-benchmark-cost-per-task 방향 재확인) · Baselines Before Architecture(13085 — 하네스 기여 주장 전 model-matched plain-agent baseline 필수, harness-ablation 재확인) · Set-shifting(13396 — 툴 신뢰도 은닉 변화에 소수 루틴 고착, 에러 복구 전략 로테이션 재확인) · STOCKTAKE(13618 — perception/action 분리 측정, knowing-doing gap 벤치) · AgentCompass(13705 — Benchmark/Harness/Environment 3분리 eval 인프라) · Oracle Agent Memory(13157 — 벤더 DB 종속 메모리 기판).

arXiv 2607.13716 — CAVA: 이질적 런타임을 canonical action object로 정규화해 승인↔실행 바인딩·독립 재현

에이전트는 로컬 코딩 hook·SDK 도구·브라우저 자동화·managed-agent 트레이스·API 게이트웨이·워크플로우 엔진 등 이질적 런타임으로 행동한다 — 그래서 하나의 조작 행위(코드 publish·identity 상태 변경·송금·데이터 export)가 서로 호환 안 되는 여러 런타임 기록으로 남고, "무엇이 실제로 승인됐나 · 승인을 실행에 묶는 증거는 무엇인가 · 독립 verifier가 나중에 같은 action identity를 재현할 수 있나"라는 기본 거버넌스 질문에 답하기 어렵다. CAVA는 이질적 활동을 canonical runtime action object로 변환하는 런타임-의미 계층으로, deployer-owned route-review-prove 거버넌스(PCAA) 아래에 위치한다 — PCAA가 프로세스를 정의하면 CAVA는 action 정체성을 정의. 게이트가 런타임 기록 타입마다 따로 검사하면 승인↔실행 바인딩이 깨진다.

• 5축: 자동화 1 · 마찰제거 2 · HARD전환 2 · 토큰효율 1 · 측정가능 2 = 8/10 (novelty med, 예산 초과 532KB → 신규 rule 금지, 기존 보강 라우팅)
• 연계: brokered-mutation-authority(proposal/admission/execution 분리)·commit-landing-verification("push된 것 == 검증한 것")·multi-agent-audit-lineage(변조불가 계보)를 "단일 canonical action id로 승인·증거·실행 바인딩"으로 일반화 — 모든 mutation 런타임에 적용

arXiv 2607.13718 — How Agents Ask for Permission: 강제는 인터페이스가 아니라 실행 경계, user-level 권한 공백

에이전트가 늘어나며 사용자는 그 위험(prompt injection·hallucination이 사적 정보를 3자에 유출, 또는 송금 같은 민감 작업을 사용자 의도·인가 없이 실행하는 능동적 위험)에 노출된다. 21개 에이전트 보안 제안을 survey한 결과 대부분 product-level(개발자가 모든 사용자에 동일한 정책·권한을 적용)에 머물고, 서로 다른 필요·선호를 가진 사용자별 user-level 권한 정책 지원이 빠져 있다. 핵심은 "사용자에게 물어보는 인터페이스"가 아니라 우회 불가한 enforcement — 인터페이스 동의로는 못 막고 강제 계층에서만 차단된다.

• 5축: 자동화 0 · 마찰제거 2 · HARD전환 2 · 토큰효율 1 · 측정가능 2 = 7/10 (novelty med)
• 연계: execution-time-authorization-layer("입력으로 우회 가능한 제어는 escapable → 진짜 강제는 프로세스 분리+구조적 유일 경로")의 정책 도메인 실증 · role-based-agent-permissions(tools 화이트리스트 HARD)

arXiv 2607.13707 — Test Oracle Problem in Synthetic LLM-Judge Corpora: 공유 파라미터가 통계적으로 robust한 가짜 효과 생성

LLM-judge 편향 연구는 보통 LLM에 hallucinated 답을 생성시켜 factual 답과 짝지어 judge에 제시하는데, 이 생성 단계가 조용히 실패하면 오라클(정답 기준) 자체가 오염된다. 실증: 다국어(터키어/영어) faithfulness 코퍼스에서 judging과 generation이 공유하던 decoding-budget 파라미터가 한 producer의 hallucinated 답을 몇 단어로 truncate → 통계적으로 robust한 32-point cross-lingual 정확도 붕괴가 N=50에서 500까지 재현 + 3-layer 기계적 설명 + producer-swap 대조까지 통과했으나 전부 artifact(공유 파라미터 교정 시 효과가 ceiling으로 소멸). 저자는 검증 프로토콜을 제안 — LLM-judge 코퍼스는 producer 산출을 오라클로 신뢰하기 전 검증 필수.

• 5축: 자동화 0 · 마찰제거 2 · HARD전환 1 · 토큰효율 2 · 측정가능 2 = 7/10 (novelty med)
• 연계: judge-as-optimizer-hardening(reference 없는 판정 위험)·structured-output-tool-suppression(judge/생성 공유-설정 hazard 동형)·eval-predictive-validity(집계 효과의 통계적 robustness ≠ 실재)

커버리지 노트 — 7소스군 시도, arXiv 07-17 신규 제출에서 거버넌스 3편 포착, trending/HN 대부분 기처리, 기각 7건

arXiv 70(cs.AI/CL/LG/MA newest, 키워드 필터 후 신규 후보 — governance/permission/judge 클러스터가 07-17 제출에서 동시 부상) · HF 당일 API 400(미공개)+전일 대부분 180차 기처리(Harness Handbook ▲162 등) · GitHub trending 전체/신규 대부분 toolkit·콘텐츠(stitch-skills·hallmark·orca·codex-plugin-cc·impeccable·DeepTutor·Vibe-Trading — 제품/증류) · HN points>40 제품·의견("coding agents think ahead"·"memory over SSH"·"Brainless shadcn"·Meeseeks 플러그인) · 구루GH 7계정 · Anthropic eng 신규 0 · X 미러 차단 지속. 기각 상세: Rethinking Pentest for AI(14006 — objective-driven behavioral eval 재프레이밍, multi-turn-adversarial-robustness와 정합·방향 재확인) · HealthClaw(13940 — 도메인 특화 self-evolving memory, 4-way induction gate) · AgentCompass(13705 — Benchmark/Harness/Environment 분리 eval 인프라 도구) · Generative Compilation(13921 — decoding-time sealor 기법, prompt 하네스 비적용) · Deep Interaction(14049)·Post-Training Confidence(13753)·DVM-HALL(13998) — 방향 재확인/비실행.

arXiv 2607.13285 — Harness Handbook: 행동→코드 매핑(behavior localization)이 하네스 진화의 중심 병목

에이전트 하네스는 크고 강결합이며 행동이 코드 전반에 분산(behaviorally distributed)되어 있다 — 수정 요청은 "무엇을 해야 하는가"(행동)를 기술하는데 저장소는 파일/모듈로 조직되므로, 수정 전 행동→코드 위치를 매번 손으로 재발견해야 한다(코드 검색·인덱싱·롱컨텍스트로도 매핑 자체는 남음). 해법: 코드베이스에서 자동 합성되는 behavior-centric Handbook(정적 분석+LLM 구조화, 행동↔소스 링크) + 상위 행동에서 구현 세부로 내려가며 후보 위치를 현재 소스와 대조 검증하는 BGPD. 두 오픈소스 하네스 수정 요청에서 localization·edit-plan 품질 개선 + planner 토큰 절감 — 최대 이득은 분산 사이트·희귀 경로·크로스모듈(정확히 grep이 약한 곳). HF daily ▲157.

• 5축: 자동화 2 · 마찰제거 2 · HARD전환 1 · 토큰효율 2 · 측정가능 1 = 8/10 (novelty high, 예산 이내 110/120)
• 연계: artifact-relocation-consumer-alignment(이동 시 소비자 grep — 사후 버전)·trend-harvest-index(지식 인덱스)를 "하네스 행동 전체의 사전 매핑"으로 일반화 — 손 유지 매핑은 반드시 stale, 합성 자동화+신선도 검증이 전제

arXiv 2607.13918 — Verifier Cascades: 상관 verifier는 다항 수익 + blind-spot ceiling, 답은 decorrelation

직렬 k-verifier 게이트에서 per-instance false-accept rate를 latent α~G로 모델링(de Finetti) — (i) log-odds는 k에 concave: 독립 가정 Odds Law는 첫 게이트의 접선=상한이며 합성 테스트에서 실패율을 k=5에서 20배, k=10에서 ~3000배 과소평가 (ii) Beta latent면 실패는 지수가 아닌 다항 감소 (iii) 모든 verifier가 공유하는 맹점(α=1 atom)이 있으면 추출 가능 증거가 −ln(1−π) nats로 유한 — 게이트를 아무리 쌓아도 신뢰도가 1 아래서 포화. 처방: "실무 레버는 decorrelation(모델 패밀리·모달리티·증거 소스 변경)이지 게이트 추가가 아니다". 인스턴스당 2회 반복 판정만으로 verifier 상관 ρ_v 측정 가능. 동일 verifier 재호출 반복(고상관 캐스케이드)은 천장에 갇힌다 — 라운드 추가보다 lens/모달리티 교체.

• 5축: 자동화 0 · 마찰제거 2 · HARD전환 1 · 토큰효율 2 · 측정가능 2 = 7/10 (novelty med)
• 연계: co-failure-ceiling-multi-model(β-천장)의 직렬 verifier cascade 일반화 — evaluator-committee-bias-contagion("동일 rubric 복제 3개 무효")·cross-model-adversarial-review의 이론 근거

arXiv 2607.14004 — Do Agent Optimizers Compound?: 이득 복리는 회귀 제어 내장 시에만

에이전트 최적화 이득은 대부분 1회(one-shot) 벤치로 보고되지만, 배포 환경은 새 실패·새 태스크에 최적화를 재귀 적용한다 — 이득이 복리로 쌓이는가? Terminal-Bench 2.0 하드 태스크 2-phase continual 평가: 정적 1회 설정에선 GEPA·Meta Harness·RELAI-VCL 셋 다 baseline을 이기지만, 새 태스크 도착 후엔 갈라진다 — GEPA는 전이가 unoptimized baseline 이하로 침식(lifelong 66.0%), Meta Harness는 2회차 예산에서 정체(64.6%), 회귀 제어(이전 태스크 성능 보존)를 루프에 내장한 RELAI-VCL만 전 단계 top + 76.4%(baseline 58.7%). "이득은 regression control이 내장됐을 때만 복리" — 회귀 게이트가 shortcut 해에 대한 inductive bias로 작동.

• 5축: 자동화 1 · 마찰제거 2 · HARD전환 1 · 토큰효율 1 · 측정가능 2 = 7/10 (novelty med)
• 연계: harness-benefit-not-update(delta로만 keep)·recursive-self-improvement-loop(Curator 롤백)·harness-evolution-loop(재측정+rollback) 설계의 최초 continual 정량 실증 — 내 폐루프의 회귀 감지→rollback이 정확히 RELAI-VCL 구조

커버리지 노트 — HF 당일 미공개(400), 전일 20편에서 Handbook ▲157 포착, trending 대부분 기처리, 기각 9건

7소스군 전부 시도 — arXiv 60(키워드 필터 후 신규 후보 53) · HF 당일 API 400(미공개)+전일 20 · GitHub trending 전체/Python/TS 58(stitch-skills·hallmark·orca·OmniRoute·graphify·codex-plugin-cc 등 대부분 기처리; 신규 pi 71K⭐·cangjie-skill은 toolkit/콘텐츠증류로 기각) · 구루GH 7계정 105 · topic 40 · HN 40 · Anthropic eng 신규 0(containment 글 기적용) · X 미러 차단 지속. 기각 상세: TRACE(13988) RL credit·EMG(13884) 그래프 실패복구·SPyCE(13854) skill-policy RL 공진화·Self-Improve Survey(13104)·OAT(12747) failure attribution — 방향 재확인/모델 훈련 필요 비실행 · DeepStress(13920)·Early Adoption(14037) — low.

arXiv 2607.12986 — Win by Silence: 평가자가 '필요 단계 삭제'를 보상하는 omission 인센티브 + 결정론 게이트 처방

단계적 기댓값 채점기가 계획을 덜 명시적으로(필요 transition을 삭제) 만들수록 점수를 보상함을 해석적 항등식(Δ_k)으로 증명 — frozen 26-route 코호트에서 모든 route가 점수를 올리는 삭제를 ≥1개 보유, exploit 메커니즘을 모르는 score-seeking optimizer도 21/26에서 baseline-beating 은닉 구조를 찾았다. "일이 빠져서 점수가 오르면 개선이 아니라 평가가 omission 인센티브를 만든 것." 처방 GATE는 omission-splice route에 점수 릴리스를 거부(26/26, honest suspension 0/26)하여 47/54가 covered 구조로 repair, strict covered 개선 1/26→13/26 — 결정적으로 post-hoc 필터가 아니라 탐색을 조형하는 결정론 제약(search-shaping constraint)으로 작동. 단 임의 계획의 의미적 완전성·현실 품질은 검증 못 함(범위 한계 명시).

• 5축: 자동화 1 · 마찰제거 2 · HARD전환 2 · 토큰효율 1 · 측정가능 1 = 7/10 (novelty med, 자동배치 5→재평가 7)
• 연계: acceptance-criteria-completion(숨김/제거/no-op 금지)·requirements-lock-guard(삭제 exit 2)·execution-time-authorization-layer(우회 불가 구조적 게이트)의 정량 실증 — "게이트는 사후 검사가 아니라 루프 안 결정론 제약"이 보강점

arXiv 2607.12792 — Silent Alarm (JADR): 응답-judge 대신 pre-token 내부표현으로 안전 취약성 측정, 양자화별 재측정

LLM-as-judge로 생성된 응답만 채점하면 채점 절차에 민감하고 주어진 공격셋의 관측 행동만 볼 뿐 안전 메커니즘의 숨은 취약성은 못 본다. JADR은 첫 응답 토큰 생성 전 모델 내부표현(Jacobian space top-k)을 로컬로(외부 judge 없이) 측정해 SafetyAUC로 강/약 내부 안전 메커니즘을 통계적으로 분리 — 외부 judge를 안 쓰므로 서로 다른 모델뿐 아니라 단일 모델의 변형(양자화 INT8/INT4·파인튜닝)을 같은 기준으로 비교 가능. 6모델×BF16/INT8/INT4에서 양자화 레짐마다 취약성이 실질적으로 달라짐(행동 평가로는 비슷해 보여도). "방어 효과는 모델별 재측정"을 양자화 수준별 재측정으로 확장. 단 모델 내부 접근 필요(내 하네스 비실행, 원리 재확인).

• 5축: 자동화 1 · 마찰제거 1 · HARD전환 2 · 토큰효율 1 · 측정가능 2 = 7/10 (novelty med)
• 연계: multi-turn-adversarial-robustness(객관 신호 > LLM-judge, 모델별 재측정)·evaluator-committee-bias-contagion과 정합 — "양자화 수준별 재측정" + pre-token 내부표현 측정이 보강점

arXiv 2607.08317 — Blind-Spots-Bench: 포화 벤치마크 동률이 능력 격차를 은폐

문자열 조작·다리 5개 강아지 그리기처럼 인간엔 자명하나 현대 AI가 실패하는 blind spot을 노출하는 진단 벤치(235샘플, 구조화 정답 + 자동 채점, open/closed·언어/VL/이미지생성 광범위 평가). 핵심 실증: 기존 벤치마크에서 동등한 성능을 내는 모델들이 blind-spots-bench에서는 약 10% 격차(closed frontier ≫ open-weight)로 벌어지고, 모든 태스크를 지배하는 단일 모델은 없으며 일부는 전 모델이 실패. "포화 벤치 동률 ≠ 능력 동률" — 집계 점수 parity가 구체적 약점을 은폐한다는 정량 실증(178차 Illusion of Robustness의 per-example flip 은폐와 같은 결). 처방: 진단용 stress test로 사각지대 능동 노출. 단 다수 태스크가 멀티모달·이미지 도메인(코딩 하네스 직결은 부분).

• 5축: 자동화 1 · 마찰제거 1 · HARD전환 1 · 토큰효율 1 · 측정가능 2 = 6/10 (novelty med)

커버리지 노트 — arXiv firehose 저변동(07-15 178차 직후), HF 당일 0편, trending 대부분 기처리, 기각 5편

7소스군 전부 시도 — arXiv 50(신규 6, 대부분 도메인특화) · HF 당일 0편 + 전일 9편(Read It Back·Blind-Spots 등 기처리) · GitHub trending 20(hermes-agent 215K·CowAgent·nanobot·openclaude·learn-claude-code 등 기처리/기각, 신규 DeepSeek-Reasonix는 prefix-cache 안정성 재확인 low) · topic:ai-agent 20 · 구루GH · HN · X 미러 차단 지속. 178차(07-15) 직후라 arXiv 변동 작음 — removal-first 관점의 저수확 라운드(정직 보고). 기각 상세: MetaInfer(2607.12875) — LLM-as-Compiler 추론엔진 생성, 인프라 도메인 med-low · Principled RL Eval(07769) — deep-RL 이론·off-domain · ChartGenEval(12857)·Verifier RFT thermal(12856)·TerraZero(13028)·MCTS(13007) — 도메인 밖 · Search Beyond(05382)·MonkeyOCRv2·MuScriptor — 비전/음악 도메인 밖.

arXiv 2607.12963 — The Illusion of Robustness: 집계 정확도가 per-example 예측 플립을 은폐

task-무관 컨텍스트를 벤치마크 질문에 붙이면 집계 정확도는 거의 불변 — 그러나 per-example로는 악화·개선 양방향 플립이 상당수 발생해 상쇄되어 숨는다. 무의미 pseudo-word(랜덤 문자 조합)로도 플립이 생기고, 플립되는 example은 모델별로 상이하며, context 종류·길이·test-time compute·개발 단계에 따라 변조. 집계 점수의 안정 ≠ 신뢰성 — 하네스/프롬프트/모델 변경 전후 비교는 집계 delta만이 아니라 per-example flip rate로 회귀를 판정해야 한다.

• 5축: 자동화 1 · 마찰제거 1 · HARD전환 2 · 토큰효율 1 · 측정가능 2 = 7/10 (novelty med)
• 연계: eval-predictive-validity(집계 과신 금지)·reward-score-oversensitivity와 정합 — "양방향 플립의 집계 상쇄"라는 은폐 메커니즘 + flip rate 지표가 보강점

arXiv 2607.12962 — Form, Not Content? (PoPE): placebo 대조로 잰 self-repair의 에러 내용 기여 = mechanism-null

frozen 소형 코드모델(0.5-1.5B)의 error-conditioned self-repair를 사전등록 + channel별 placebo(스캐폴드 유지·task 관련 내용만 제거)로 측정 — prompt/weight 두 채널 모두에서 에러 "내용"의 기여가 mechanism-null(placebo가 동률/우세). 재시도 루프의 이득을 피드백 내용 덕으로 귀속하기 전에 placebo 대조가 필수라는 skill-placebo-null(159차 2607.07504)의 self-repair 확장. 단 소형 frozen 모델 한정, frontier 전이 미검증 — 동등성 입증이 아님을 논문 스스로 명시(정직한 한계 보고의 모범).

• 5축: 자동화 1 · 마찰제거 1 · HARD전환 2 · 토큰효율 1 · 측정가능 2 = 7/10 (novelty med)
• 연계: removal-first-skill-hygiene(placebo null)·harness-ablation-on-model-release(one-at-a-time ablation)와 정합 — channel별 placebo 구성법이 보강점

arXiv 2607.12835 — Can LLMs Write Reliable Rubrics? LLM 생성 rubric 최초 메타평가

paper 재현 평가용 LLM 생성 rubric을 체계적으로 메타평가 — 생성 rubric은 과세분화·고득점 편향·도메인 적응 부족. intrinsic(의미 유사도) 개선은 미미해도 augmented 설정의 extrinsic(정답 rubric과의 점수 정렬)은 인간 baseline에 근접. 어제(177차) 신설한 metric-skill-coevolution의 실무 각주: 지표를 진화 대상으로 삼을 때 rubric 품질 판정은 intrinsic이 아니라 extrinsic 정렬(downstream 판정 일치)로.

• 5축: 자동화 1 · 마찰제거 1 · HARD전환 1 · 토큰효율 1 · 측정가능 2 = 6/10 (novelty med)

커버리지 노트 — trending 19·HF 2·Anthropic eng 전원 기처리(dedup 정상), 기각 5편

7소스군 전부 시도 — arXiv 50(신규 8) · HF 2(Read It Back·Know Before Fix 기기각) · trending 19(orca·herdr·CubeSandbox·hallmark 등 기처리, OmniRoute·impeccable 기적용) · 구루GH 120 · topic 30 · HN 4 · Anthropic engineering 목록 재확인(how-we-contain-claude 기적용, 신규 글 0) · X 미러 차단 지속. 기각 상세: PalmClaw(2607.13027) — on-device 모바일 에이전트 프레임워크, device tool 경계 명시는 유효하나 데스크탑 하네스 범위 밖 · Resist and Update(12985) — activation-level CRC clamp는 모델 내부 접근 필요, 비실행 · KLLM(12831) — pretraining 개입으로 하네스에서 비실행(retrieval-grounded 방향만 재확인) · One-Word Census(12796) — 최신 flagship일수록 답변 conformity 상승(4배 편차), evaluator 다양성(committee-bias) 재확인 med-low · Neuroplastic HAI(12823) — 범위 밖.

arXiv 2607.12790 — Who Grades the Grader? 지표-스킬 co-evolution (Double Ratchet)

자가진화 루프(스킬 생성·개정·은퇴)는 전부 "신뢰할 평가 지표가 이미 존재한다"는 숨은 가정 위에 있다 — 지표가 없는 도메인에서 스킬만 진화시키면 약한 지표에 Goodhart 고착. 해법: 지표를 1급 진화 대상으로 — 불투명 단일 judge 대신 작은 결함 탐지기(drawback detector) 조합(투명·검사가능), 소수 앵커 참조 세트로 학습, 무라벨 출력 합의로 정규화, 지표가 절대 읽지 않는 held-out anchor로 감사. MBPP+·Spider 2.x에서 "정확한 지표가 가능케 했을" 성능 회복 실증.

• 5축: 자동화 2 · 마찰제거 2 · HARD전환 1 · 토큰효율 0 · 측정가능 2 = 7/10 (novelty high)
• 연계: judge-as-optimizer-hardening(train/eval 분리)·skillopt-minimal-self-evolution(독립 검증 게이트)·blind-curator와 정합 — "지표 부재 도메인에서 지표를 진화 대상으로 + held-out 앵커 감사"가 신규

arXiv 2607.12885 — LLM Judges Can Be Too Generous When There Is No Reference Answer

no-reference judge는 오답을 체계적으로 과신용(over-credit) — 프롬프트에 reference answer를 넣으면 correct/incorrect 판정이 최대 85% 뒤집힘(3개 언어, 인간 대조 포함). judge-as-optimizer-hardening의 "reference 없는 '좋아 보임' 판정은 clean-but-wrong을 보상" 원칙의 최초 정량 실증 — 중요 판정 judge에는 앵커/참조답 공급이 기본값이어야 한다.

• 5축: 자동화 1 · 마찰제거 2 · HARD전환 1 · 토큰효율 0 · 측정가능 2 = 6/10 (novelty med)

arXiv 2607.13034 — Do AI Agents Know When a Task Is Simple? (E3: Estimate→Execute→Expand)

에이전트는 maximum-context-first 전략(이미 본 파일 재독·의존성 전수 재탐색)으로 한 줄 수정을 코드베이스 감사로 만든다. E3: 실행 스코프 추정 → 최소 경로 실행 → 검증 실패 시에만 확장 — MSE-Bench 121편집에서 최강 baseline 동급 정확도로 중복 탐색(ACRR) 절감. risk-weighted-verification-budget(검증 노력 배분)의 쌍대: 실행 스코프도 복잡도에 비례해 배분한다.

• 5축: 자동화 1 · 마찰제거 1 · HARD전환 1 · 토큰효율 2 · 측정가능 2 = 7/10 (novelty med)

커버리지 노트 — trending 16 전원 기처리(dedup 정상 차단), 기각 4편: Win by Silence·MemOps·ACQUIRE·SpectraReward

7소스군 전부 시도 — arXiv 50(신규 45) · HF 2 · trending 16(orca ×3·herdr ×3·meetily ×3 기기각, OmniRoute 기적용) · 구루GH 105 · topic 40 · HN 14(신규 3) · X 미러 차단 지속. 기각 상세: Win by Silence(2607.12986) — plan 평가기가 생략(암묵화)을 보상하는 non-monotonicity를 해석적으로 증명, 커버리지 게이트가 26/26 점수 발급 거부로 수리 유도(acceptance-criteria anti-Goodhart 재확인, med-low) · MemOps(2607.12893) — 메모리 실패를 black-box QA로 뭉뚱그리지 말고 lifecycle 연산(기억·망각·갱신·반영)별 평가(intrinsic-eval 재확인) · ACQUIRE(2607.11111) — fix-driven 탐색 대신 지식 갭 식별 선행(finding-your-unknowns 재확인) · SpectraReward(2607.11886) — T2I 도메인 특화로 범위 밖.

lsdefine/GenericAgent (13.4K⭐) — 3.3K줄 씨앗에서 스킬 트리를 자기증식시켜 전체 시스템 제어에 도달하는 자기진화 에이전트

이번 회차 최고점 신규 후보. minimal-bash-agent-harness("Bash 3.3K줄")와 self-referential-evolutionary-improvement의 재확인일 뿐 새 행동 변화 없음. 오히려 "스킬 트리 무한 증식"은 removal-first-skill-hygiene("스킬 표면=slop 축적면")·skill-provenance-placebo-null(생성 스킬 7,560런 무개선 실증)과 방향이 상충 — 채택 대상이 아님.

• 5축: 자동화 2 · 마찰제거 1 · HARD전환 0 · 토큰효율 0 · 측정가능 1 = 4/10 (novelty low)

letta-ai/letta (23.8K⭐) — 고급 메모리로 학습·자기개선하는 stateful 에이전트 플랫폼(구 MemGPT)

메모리 블록 아키텍처 재확인. agent-memory-hygiene(생명주기)·bounded-constant-memory-injection(카테고리별 캡)·cross-agent-memory-persistence(Markdown=truth/Vector=cache)·ephemeral-state-not-knowledge(휘발성 제외)를 이미 보유 — 새 행동 변화 없음. memory-bank 플러그인이 동일 역할 수행 중.

• 5축: 자동화 2 · 마찰제거 1 · HARD전환 0 · 토큰효율 1 · 측정가능 1 = 5/10 (novelty low)

커버리지 노트 — 새벽 launchd 런(175차)과 같은 날 2회차: 오늘 강신호는 6h 전 런이 이미 처리, arXiv firehose 로테이션으로 신규 36건 유입됐으나 전원 도메인 논문·5축 미달

7소스군 전부 시도 — trending 24 재조회(omnigent·EvoMap·harness-sdk·ponytail 기기각, loop-engineering·guard-skills 기적용) · arXiv 40(신규 36) · HF 1편 · HN·구루GH·topic 재조회 · X 미러 차단 지속. 기각 상세: Metacognition in LLMs 서베이(2607.11881 — agentic-abstention 재확인) · Unfair Judge(2607.11871, 직전 런 기기각 — judge 편향의 활성화-기하 규명이지만 API judge엔 hidden state 접근 불가로 운용 불가) · MM-ToolSandBox(2607.11818 기기각) · DeepCode 16K⭐(Paper2Code 제품, 하네스 원리 없음). dedup이 당일 재실행에서 정본 차단을 정상 수행함을 실증한 회차.

Anthropic Labs — Harness design for long-running application development (2026-03-24): GAN식 planner→generator→evaluator 하네스 + 모델 릴리즈마다 컴포넌트 ablation anthropics

핵심은 "하네스 컴포넌트 = 모델 한계 가정의 인코딩" — 릴리즈마다 one-at-a-time ablation으로 load-bearing 재검증(동시 제거는 판별 불가). evaluator는 태스크가 모델 solo 신뢰 경계 밖일 때만 가치(moving boundary): Opus 4.6에서 sprint 분해 제거·evaluator를 end-of-run으로 옮겨도 display-only clip 등 실결함 검출(잔존 가치 실증). 정량: solo $9/20분=깨진 런타임 vs 풀 하네스 $200/6h=16기능 완동작. 평가 기준 문구 자체가 출력을 조형("museum quality" 구절이 시각 수렴 유발) — rubric 문구도 최적화 표면.

• 분석: generator/evaluator 분리=user-proxy·cross-model-review, sprint contract=test-first-agent-tasks와 기존 정합 — 신규 코어는 "ablation 트리거=모델 릴리즈, 방법=one-at-a-time, 판정 기준=solo 능력 경계". semantic dedup overlap 0으로 rule 신설.
• 5축: 자동화 2 · 마찰제거 2 · HARD전환 1 · 토큰효율 1 · 측정가능 2 = 8/10 (novelty high)

When Local Monitors Miss Compositional Harm (arXiv 2607.11751) — 분할 백도어는 per-step 로컬 모니터를 원리적으로 우회: 관측 경계(observability boundary) 정리 + decoded-view gate

유해 payload를 에이전트들에 분할하면 모든 로컬 검사가 통과하면서 조립된 결과물이 공격이 된다. 형식 증명: 조각들이 모니터 view에서 benign해 보이는 순간 그 view 위의 어떤 detector도 못 잡는다(local benignness). decoded-view gate(조립-후 관점)는 테스트 전 공격 차단 — "더 많이 보기"가 아니라 "조립된 객체를 보기". per-tool-call 정규식 훅의 "수학적 차단 불가" 경험 문서화의 형식적 일반화 — 강제 게이트는 조각이 아니라 조립/실행 지점에, 멀티에이전트 병합·push 지점에 전체-객체 검증.

• 5축: 자동화 1 · 마찰제거 2 · HARD전환 2 · 토큰효율 0 · 측정가능 1 = 6/10 (novelty high)

Agent Hacks Agent: Autoresearch for Production-Agent Red-Teaming (arXiv 2607.11698) — Claude Code·Codex를 falsifiable 발견 루프로 레드티밍, 취약점 개념 그래프(VCG)로 지식 영속화

공격 아티팩트를 성공 payload가 아니라 claim·enabling condition·falsifier·transfer 예측·증거로 기록 — frozen VCG가 추가 탐색 없이 최강 discovery baseline 대비 +14.2pp, 모델·에이전트 간 전이. autoresearch 루프로 취약점 "지식"을 재사용 자산화 — skill-evolution-persistent-decision-history(결정 이력 영속화)의 보안 도메인 정량 실증. "어디서 성공했나"가 아니라 "무엇이 가능하게 했나"를 기록.

• 5축: 자동화 2 · 마찰제거 1 · HARD전환 1 · 토큰효율 1 · 측정가능 2 = 7/10 (novelty med)

커버리지 노트 — 7/7 소스군 시도: trending 19 재조회(신규 2) · 구루GH 8계정 신규 push 50 · topic 60 재조회 · arXiv 50(신규 6) · HF 0편(빈 날) · HN 18 재조회 · 피드 simonw 20+anthropic(신규 2) · X 미러 차단 지속(rsshub→404 redirect 확인)

기각 주요: Unfair Judge(2607.11871 — judge 편향을 활성화 기하로 규명·linear probe가 미지 벤치 failure 예측, API judge엔 hidden state 접근 불가로 운용 불가 3/10) · MM-ToolSandBox(2607.11818 — 시각 도구호출 실패의 53%가 계획이 아니라 이미지 정보 추출 오류 = qa-screenshot-required 재확인 5/10) · Latent Programming Horizons(2607.05188, HN 52pt — 코딩 에이전트 hidden state가 미래 편집 결과를 ~25스텝 선행 인코딩 AUC 0.83, probe 운용 불가) · hallmark 5.8K⭐(impeccable 패밀리 중복) · background-agents(네이티브 기능 중복) · shot-scraper 1.11(마이너 릴리즈) · trending 상위 대부분 기적용/기기각 재조회(orca·herdr·OmniRoute·CubeSandbox·codex-plugin-cc).

anthropics/defending-code-reference-harness (★6.4K, 07월 공개) — 자율 취약점 발견·수정 공식 레퍼런스 하네스: recon → find → verify → report → patch 파이프라인 + 인터랙티브 스킬 6종(/quickstart /threat-model /vuln-scan /triage /patch /customize) anthropics

핵심은 실행티어 이원화 — read/write-only 인터랙티브 스킬은 무샌드박스 허용, 대상 코드를 실행하는 자율 파이프라인은 gVisor 샌드박스 밖 실행을 스스로 거부(fail-closed, 명시 override만 예외) + 에이전트별 egress allowlist. "스킬이 자기 side-effect 클래스를 선언하고 코드-실행 티어는 구조적으로 거부"가 execution-time-authorization-layer 4속성(프로세스 분리·fail-closed)의 공식 프로덕션 구현. 램프업 철학도 명시: 완벽한 파이프라인 설계에 수개월 쓰지 말고 Day 1 스몰 스타트 — 인터랙티브 스킬로 전체 루프를 하루에 end-to-end 경험 후 커스터마이즈.

• 분석: multi-stage verification으로 FP 감소(proof-by-exploitation-qa 정합) · CLAUDE_CODE_SUBAGENT_MODEL 핀 문서화. containment-blast-radius·os-level-syscall-sandbox 클러스터의 실증이라 novelty med — 신규 rule 대신 근거 보강.
• 5축: 자동화 2 · 마찰제거 1 · HARD전환 2(샌드박스 감지 실패 시 실행 거부 = exit code) · 토큰효율 0 · 측정가능 1 = 6/10 (novelty med)

Why Memorized Knowledge Fails to Generalize (arXiv 2607.08393, HF daily) — fine-tune으로 주입한 지식이 암기는 되는데 downstream 추론에 못 쓰이는 Knowing–Using Gap을 self-patching 개입으로 기전 규명

암기된 표현은 내부에 존재하지만 계산-유효 레이어로 라우팅되지 않는다(knowledge-circuit misalignment) — 정확도 갭 + 암기→활용 시간 지연으로 정식화, self-patching으로 표현 위치를 특정해 실증. retrieval-grounded-exact-recall("정확한 사실은 파라미터 기억이 아니라 검색에서")의 기전 층 완성: "기억은 있는데 못 쓴다"가 우연이 아니라 구조적 한계. 121차 4-arm 실증(train/retrieve 역할 분리)의 메커니즘 근거.

• 5축: 자동화 1 · 마찰제거 2(오인용 차단 근거) · HARD전환 1 · 토큰효율 1 · 측정가능 2(self-patching 위치 특정) = 7/10 (novelty med)

커버리지 노트 — 6/7 소스군: trending 16 재조회(신규 1), 구루GH 8계정 신규 push 44, 토픽 40 재조회, HF 07-13 14편+07-14 1편 중 신규 5, arXiv 60 중 신규 8, HN 신규 10, X 미러 차단 지속

기각 주요: systima 33k 토큰 글 재재등장(HN 681p — URL 변형이 seen 인덱스를 비껴갔으나 semantic dedup이 173차 harness-token-overhead-audit 중복으로 적용 차단, 멱등 확인) · Terence Tao 코딩 에이전트 에세이(443p — Java 1.0 애플릿 24종 수시간 포팅, "시각 보조도구라 다운사이드 낮음" = risk-weighted-verification-budget 재확인, low) · pbakaus/impeccable 트렌딩 46K⭐(이미 이 하네스에 플러그인 통합됨) · Shared Selective Persistent Memory(2607.09493 — 4카테고리 선별 영속화+RBAC 공유, ephemeral-state-not-knowledge 클러스터 중복 과다 5/10) · AutoWorldBuilder(2607.09403 — 90% 컨텍스트 압축, context-compression-pipeline 중복). 행동지표(conf 5×1000+replay 1000) 6000→6000 무회귀.

systima 벤치 재부상 (HN 666p — 171차 271p 노트 시점 대비 2.5×) — Claude Code가 프롬프트 도달 전 ~33k tok 선행 전송(OpenCode ~7k, 4.7×). API 경계 로깅 프록시로 273 레코드 SHA-256 해시체인 감사, "보낸 것"(payload)과 "과금된 것"(usage) 동시 계측

무음 실패 2종이 실질 각 — Claude Code 2.1.207이 AGENTS.md를 조용히 무시(지시파일 honored 검증 없이는 무음 미적용), print 모드는 --mcp-config 없이 프로젝트 .mcp.json 미부착. 서브에이전트 fan-out이 최대 증폭기(직접 121k tok 태스크가 2 fan-out 시 513k, 4.2×), 캐시 할인은 컨텍스트 윈도우 소비엔 무효(85k 부트스트랩 = 200k 창의 40%+ 매 요청). 품질 동일(양쪽 5/5 PASS)한데 입력 토큰 3.7× — 부트스트랩 오버헤드는 품질이 아니라 순수 비용.

• 분석: 171차에서 note(med)로 선판정했으나 seen 인덱스 미기록으로 재등장 — med 라우팅("knowledge만")에 따라 이번에 영속화. honored/attach 검증·fan-out 비용비 감사는 어디에도 영속 기록이 없었다(171차는 카드 노트만, Applied 0). token-efficiency-tracking(가변 입력)·context-compression-pipeline(입력 압축)과 직교하는 고정 부트스트랩 축.
• 5축: 자동화 1 · 마찰제거 2 · HARD전환 2(프록시 실측·honored 마커 검사) · 토큰효율 2 · 측정가능 2 = 9/10 (novelty med — 171차 선판정 유지, knowledge 영속화)

activegraph-longmemeval (Yohei, 07-10 push) — ActiveGraph 메모리 7종 변형을 LongMemEval-S 500문항에서 frozen eval boundary(리더 claude-sonnet-4-5 temp0 · 저지 gpt-4o 핀 · 공식 채점코드 서브모듈 핀)로 비교하는 재현 가능 벤치 하네스. "논문의 모든 숫자는 clean clone + 명령 1개로 재생성" yoheinakajima

3중 신호 — ① 스모크 낙관: 50문항 0.94~0.98이 풀 500문항에서 0.83~0.88로 하락(낙폭은 multi-session·preference 집중) ② retrieval은 더는 병목이 아님: gold-turn recall 89.15%인데 리더가 gold 증거를 보고도 55문항 실패 — 실패가 retrieval→reading으로 이동 ③ proof 완결 ≠ 정답(구조적 증거 커버리지로 재정의). eval-predictive-validity(집계점수 과신 금지)·intrinsic-eval-disentangles(실패 위치 분리)의 정량 실증이자 memory-bank 평가에 직접 이식 가능한 프로토콜.

커버리지 노트 — 6/7 소스군: trending 17 중 신규 9, 구루GH 7계정 105+starred 15(신규는 대부분 구repo 첫 스캔), 토픽 34 중 신규 22, HF 07-14 미발행→07-13 14편 신규 1, arXiv 50 중 신규 33, HN 신규 2, X 미러 차단 지속

기각 주요: NRFR 지표(arXiv 2607.09492 — proxy reward 개선 코호트 중 실패율 측정, anti-Goodhart 정량 각이나 RL 훈련 도메인, med 노트) · ProofCouncil(2607.09474 author-critic — llm-council 중복) · gh-aw(GitHub 공식 에이전틱 워크플로우: 기본 read-only + sanitized safe-outputs만 쓰기 = brokered-mutation-authority 공식 재확인, README에 에이전트 대상 injection 블록 실존 — agent-skill-security-scanning 실증) · openai/codex-plugin-cc 28K⭐(Claude Code→Codex 호출 공식 플러그인 — cross-model-adversarial-review 벤더 공식화) · hookatlas(Yohei, 심리 engagement atlas — 오프토픽). 파이프라인 사건: 171차 note 항목이 seen 미기록으로 재등장 → 이번 런부터 검토 후보 전건(124) seen 기록으로 재발 차단. 행동지표(conf 5×1000+replay 1000) 6000→6000 무회귀.

Failure as a Process (arXiv 2607.09510) — CLI 코딩 에이전트 실패 궤적 최초 대규모 실증: 7개 frontier 모델 × 3 scaffold(OpenHands/MiniSWE/Terminus2) × Terminal-Bench에서 3,843궤적 수집, 유효 1,794건·63,000+스텝 수동 주석으로 14 findings — 실패를 최종 결과가 아니라 onset→evolution→recovery의 시간적 과정으로 해부

실패는 epistemic error(환경 상태에 대한 잘못된 믿음)가 지배적 원인 — 도구 실수보다 "상태를 잘못 알고 있음"이 근본. 첫 몇 실행 스텝 안에 시작되고 회복 불능 시점까지 겉으로 드러나지 않는다(hidden until unrecoverable) — doomed-episode-early-abort가 실측한 "행동 관측 조기 doom 판정은 chance 수준"의 이유를 메커니즘으로 설명. 결론: 신뢰성은 최종 결과 평가가 아니라 조기 검증·개입에서 온다.

• 분석: doomed-episode-early-abort(2607.06503, hidden-activation probe로 1라운드 예측)의 수동 주석 독립 재확인 — probe(내부 표현)와 주석(과정 해부)이 같은 결론으로 수렴. epistemic error 지배는 explicit-state-ledger-tool-calls(상태를 명시 원장으로, 도구 호출을 현재 상태로 검증)의 독립 실증.
• 5축: 자동화 1 · 마찰제거 2 · HARD전환 1 · 토큰효율 1 · 측정가능 2 = 7/10 (novelty med — 기존 rule 메커니즘·실증 보강, 신규 rule 금지 라우팅)

Long-Horizon-Terminal-Bench (arXiv 2607.08964, HF ▲30) — 장기 터미널 태스크 46종(실험 재현·SW엔지니어링·멀티모달 분석·인터랙티브 게임·과학계산 등 9범주)을 세분 graded subtask로 분해해 밀집 중간 보상 + 부분 점수(partial credit)로 채점

기존 터미널 벤치는 분 단위 단순 과제 + 최종 결과만 보는 binary 채점 → sparse reward라 중간 진전·부분 해결이 안 보인다. subtask 분해 채점은 "어디까지 갔는가"를 계량 — binary-question-decomposed-evaluation(원자 단위 분해 평가)을 judge 평가에서 장기 에이전트 태스크 채점으로 확장한 독립 실증이자, qa-evidence-format의 severity별 카운트·acceptance_verified[] 원자 항목과 동형.

• 5축: 자동화 1 · 마찰제거 1 · HARD전환 2(subtask별 exit code 채점) · 토큰효율 1 · 측정가능 2 = 7/10 (novelty med — 원칙 재확인 + 적용 도메인 확장)

커버리지 노트 — 6/7 소스군: HF 07-13 13편 발행(주말 07-11/12 미발행), arXiv 50 중 신규 8, GitHub trending 21·언어별 38 대부분 기판정, 구루GH 8계정 신규 push 없음, HN 신규 0, X 미러 차단 지속

기각 5: Vocabulary/Verifier Gaps(3/10 position paper) · TrustX ARC 12차원 리스크 티어링(5/10, risk-weighted-verification-budget 중복) · Agora 경매식 태스크 라우팅(5/10, model-routing 클러스터 중복) · Mosaic 임바디드 ILP 계획(5/10 도메인 밖) · Self-Guided Test-Time Training(3/10 ML 기법). 노트 1: Shared Selective Persistent Memory(arXiv 2607.09493, 5축 8/10이나 novelty low — 4범주 선별 보존 + RBAC 공유 워크스페이스는 memory-bank-cloud 스코프 공유·ephemeral-state-not-knowledge가 기구현). GitHub 신규 microsoft/flint-chart(에이전트용 차트 DSL, +1,061/주)는 agent-ergonomic-tool-interface 재확인이라 기각. 행동지표(conf 5×1000+replay 1000) 6000→6000 무회귀, knowledge 정본 cc-sync 667a668 커밋.

Defending Code Reference Harness (Anthropic, 07-12) — 자율 취약점 발견·수정 참조 하네스: recon→find→verify→report→patch 파이프라인을 스킬 5종(/threat-model·/vuln-scan·/triage·/patch·/customize)으로 매개. 읽기/쓰기 스킬은 무샌드박스 승인형으로 안전하나, 타깃 코드를 실제 실행하는 자율 파이프라인은 gVisor 밖 실행을 거부(명시 override만)하고 에이전트마다 egress allowlist로 격리 anthropics

핵심은 권한-티어 게이팅 + proof-by-exploitation. 정적 스캔·트리아지는 read/write-only라 무샌드박스 승인형, exploit을 실제 실행하는 단계만 gVisor 하드 격리. ASAN 크래시=검증된 취약점(다단 verify로 false-positive 감소), subagent 모델 핀(CLAUDE_CODE_SUBAGENT_MODEL). Day1 정적스캔+트리아지 → Week2 자율 스캔/패치의 점진 신뢰 램프. 제품 아닌 레퍼런스 — 언어·탐지기·취약클래스는 /customize로 포팅.

• 분석: proof-by-exploitation-security(no exploit no report)·containment-blast-radius-engineering(환경 경계가 방어)·risk-weighted-verification-budget(위험도 비례)·skill-mediated-over-screen-execution(스킬 매개 CLI)·loop-engineering-trust-ladder(L1→L3 신뢰 램프)·execution-time-authorization-layer(실행 직전 격리 강제)의 공식 통합 실증. 신규 각은 read/write=무샌드박스 vs execute=gVisor 거부의 명시 이분 게이트.
• 미적용 이유: 코어 패턴(exploit 검증·per-agent 격리·권한 티어·신뢰 램프·스킬 매개)이 전부 기보유 클러스터와 중복 → novelty med, 신규 행동변화 없음. novelty 라우팅상 신규 rule 금지, 보안 하네스 클러스터 근거 보강만.
• 5축: 자동화 1 · 마찰제거 1 · HARD전환 1 · 토큰효율 0 · 측정가능 1 = 4/10 (med novelty → knowledge/기존 rule 보강, auto-apply 미달)

systima 벤치 (HN 271p) — Claude Code가 프롬프트 도달 전 ~33k 토큰 선행 전송(OpenCode ~7k, 4.7×). API 경계 로깅 프록시(~200줄 Node)로 "보낸 것"(요청 payload)과 "과금된 것"(usage)을 동시 계측

툴 스키마가 지배항 — 27개 툴 99,778자 ≈ 24k토큰이 33k의 대부분. 72KB AGENTS.md/CLAUDE.md=요청당 +20k, MCP 서버당 ~1~1.4k. 최대 배수는 서브에이전트: 121k 태스크가 2개 팬아웃 시 513k(4.2×) — 각 서브 부트스트랩 + 부모가 서브 트랜스크립트 재수집. 캐시는 비용은 줄여도 컨텍스트 점유는 못 줄인다(85k 부트스트랩=200k 창의 40%를 매 요청 점유). 교훈: 경계에서 계측·안 쓰는 툴 비활성·명령파일/MCP 감사·위임 신중. "하네스가 바닥을 정하고 설정이 청구서를 정한다".

커버리지 노트 — 6/7 소스군 시도, 07-13 첫 런이나 라이브 전량 dedup: 어제 166~170차(하루 4런)가 arXiv 2607.087xx 배치를 전부 소비. HF 07-13 미발행(최신 07-10, 하네스 논문 전원 기판정), 구루GH activegraph-packs/memory 생태계 증분·hookatlas는 심리 engagement atlas(하네스 아님)

coverage 6/7: GitHub trending/topic(career-ops·cherry-studio 등 제품앱 저신호) · 구루GH anthropics(defending-harness 발견)·yohei(activegraph 증분·hookatlas 오프토픽)·karpathy(nanochat 등 기존)·simonw · arXiv 40 전원 기판정(2607.087xx) · HF 07-10 23편 중 하네스 3(Ideas-Genomes·UniClawBench·Remember-When) 전원 기판정 · HN 신규 3(systima 271p 노트·terrytao 375p 경험담·mindwalk 141p 세션리플레이 저관련). X 미러(nitter/rsshub) 차단 지속 1/7 실패. harness-evolution 최근 gaps=[] 안정 → 갭 부스트 미적용. dedup이 라이브 신호 전량 차단 — no-op은 removal-first(절제가 제품)의 정상 종료이며 전 소스 수집 성공 + clean 완주 조건 충족. 행동지표(conf 5×1000+replay 1000) 6000→6000 무회귀.

Claude Code Auto Mode (Anthropic Engineering, 03-25) — 승인 피로(권한 프롬프트 93% 무비판 승인)를 대체하는 model 기반 권한 판정: 입력층 prompt-injection probe + 출력층 transcript 분류기가 실행 직전 각 행동을 대리 승인. 판정자는 에이전트의 산문·도구결과를 제거한 "추론-블라인드"로 동작해, 에이전트가 가드를 설득하지 못하고 구조적 injection 방어까지 겸한다 anthropics

위험 등급별 게이팅(읽기전용/인프로젝트 편집=무판정, 나머지=분류기), 2단계 분류기(단일토큰 고recall 8.5% FPR → CoT 정밀 0.4% FPR, 2단계는 거의 캐시-히트로 저비용), 영향-우선 평가(&& 체인=1행동, write-then-exec=실효 판정), deny-and-continue(차단=중단이 아니라 안전경로로 유도하는 tool result) + 에스컬레이션 백스톱(3연속/20총 초과 시 사람에게, headless는 종료). 정직한 한계: 실제 과행동 오탐지율(FN) 17% — 고위험 인프라의 수동 리뷰 대체 불가.

• 분석: risk-weighted-verification-budget(위험도 비례 검증)의 공식·정량 실증 + execution-time-authorization-layer(주소공간 안 제어는 escapable→프로세스 분리 판정)의 구현. 신규 각(角)은 "추론-블라인드 판정자" — blind-validation-layer의 "보안 리뷰는 전체 컨텍스트 필요" 예외와 정면 긴장: 에이전트 산문을 오히려 *제거*해야 설득·injection을 막는다는 반대 처방
• 미적용 이유: 03-25 발행 백필이라 신규 행동변화 아님. 코어 패턴(등급 게이팅·2단계 분류·deny-and-continue+캡)은 risk-weighted-verification·error-recovery(로테이션+캡)·agentic-abstention(멈춤은 외부 게이트) 기보유와 med 중복 → novelty 라우팅상 신규 rule 금지, 클러스터 근거 보강만
• 5축: 자동화 1 · 마찰제거 1 · HARD전환 1 · 토큰효율 1 · 측정가능 1 = 5/10 (med novelty → knowledge/기존 rule 보강, auto-apply 미달)

커버리지 노트 — 6/7 소스군 시도, 당일 4회째 런이라 잔여 신규 얇음: 00:00·06:00·오후(167·168·169차)가 오늘 트렌딩·arXiv·HN·구루GH를 이미 소비. HN 신규 2건(모델 4앱 벤치·Context.dev 스크레이핑 API)은 저관련 거부

coverage 6/7: GitHub trending 21(전원 dedup) · 구루GH anthropics·yohei(activegraph 생태계)·karpathy(nanochat 등 기존)·simonw(당일 재난 스크레이퍼 다수, 하네스 신호 무) · topic 검색 · arXiv 50→키워드 15(전원 기판정: 14 reject·2607.08716 Remember-When applied) · HF 07-12 일요일 0편. X 미러(nitter/rsshub) 차단 지속으로 1/7 실패. harness-evolution 최근 라운드 gaps=[] 안정 → 갭 부스트 미적용. dedup 인덱스가 라이브 신호를 전량 차단해 이중 적용 방지 — no-op은 removal-first(절제가 제품)의 정상 종료이며, 전 소스 수집 성공 + clean 완주 조건 충족. 행동지표(conf 5×1000+replay 1000) 6000→6000 무회귀.

순수 신규 3건 전원 거부 — openai/softnet(Tart VM용 유저스페이스 패킷필터: ARP 스푸핑 차단·DHCP 리스 단축)·charmbracelet/vhs(★20.3k CLI 녹화-as-code)·bambamramfan/ai-compass(무관)

softnet은 4/10 — VM 네트워크 격리는 containment-blast-radius·microvm-agent-sandbox 계열 기보유 + Tart VM 플릿 미운용으로 내 하네스 무관련. vhs는 novelty=low — 150차 agent-video-evidence 메모가 이미 vhs(★20,260, simonw starred)를 "tape 스크립트=재현 명령" 원칙까지 인용 완료, 재확인만. ai-compass는 Political Compass for AI(14⭐)로 도메인 무관.

커버리지 노트 — 7개 소스군 전부 시도했으나 당일 3회째 런이라 잔여 신규가 얇음: 00:00(167차)·06:00(168차)이 defending-code-reference-harness·databricks 벤치마크·activegraph-terminalbench를 이미 적용 완료

coverage 7/7 시도: trending 19 · 구루GH 7프로필 105+starred 30 · topic 4쿼리 38 · arXiv 50(50/50 기판정 — 00:00 런이 동일 윈도우 소비) · HF 07-12 일요일 0편 · HN 13(databricks·making-of-claude-code 포함 전원 기판정) · anthropic engineering 신규 글 없음. harness-evolution 최근 3라운드 gaps=[] 안정으로 갭 부스트 미적용. no-op은 removal-first 원칙의 정상 종료 — 검사 완주 + clean이 조건이며 이번 run은 전 소스 수집 성공으로 충족. 행동지표(conf 5×1000+replay 1000) 6000→6000 무회귀.

A-EVO-Lab/a-evolve (arXiv 2602.00359) — "PyTorch for Agentic AI": 임의 에이전트를 임의 진화 알고리즘으로 벤치마크-게이트 진화시키는 범용 인프라. base Opus-4.6 + 수동 하네스 엔지니어링 0시간 → SWE-bench Verified 76.8% · MCP-Atlas 79.4%(#1, +3.4pp)

"측정된 delta로만 keep"(harness-benefit-not-update)이 인프라 규모에서 SOTA를 낸다는 독립 정량 실증. med novelty(기존 진화 루프 원칙의 강한 보강)라 novelty 라우팅에 따라 신규 rule 대신 기존 knowledge에 근거 1줄 append.

저득점/중복 거부 — 신규 12건 중 10건이 기존 원칙 중복: Raven(★1.4k memory-first self-improving harness)·sutando(AutoGen 저자, 주간 realtime/야간 self-rewrite — 야간 루프 기보유 확인)·CowAgent(★46k)·EvoMap/evolver(GEP 기적용)·Ataraxy/sem(semantic-diff 기보유)·Understand-Anything(★73k 코드→지식그래프)

Agent-Skills-for-Context-Engineering(★17k)은 기존 context rules 다수와 중복 + skill-provenance-placebo-null(스킬 모음 무효과 실증) 근거로 거부 — 단 이 repo를 인용한 "Agent Harness Engineering: A Survey"(CMU·Yale·JHU·Amazon 2026)는 후속 수확 후보. simonw "Rewriting Bun in Rust"는 language-independent-conformance-suite 기적용 재확인. autoresearch 스킬 재배포 2건(★5.3k/★2k)은 자체 시스템 기보유로 거부.

커버리지 노트 — 7개 소스군 전부 시도: trending 61 · 구루GH 120+40 · topic 50 · HF 23(07-12는 API가 date≤07-11 거부 — 미래날짜 가드 확인) · arXiv 50 · HN 13 · feed 65. X 미러는 nitter 200/0B·rsshub 302로 차단 지속

00:00 launchd 167차가 오늘 트렌딩·arXiv·HN을 이미 소비해, 같은 날 2회째 런의 신규 신호는 구루GH 직스캔에서 나옴 — anthropics org 최근 push 스캔이 defending-code-reference-harness(★6.4k)를 포착. dedup 인덱스가 기판정 재분석 0건으로 차단(이중 적용 방지), 행동지표 6000→6000 무회귀.

kageroumado/adrafinil (HN 124pt) — lid 닫힌 Mac을 "에이전트가 일하는 동안만" 깨워두는 hook 기반 scoped wake-lock. caffeinate/Amphetamine의 always-on과 반대: turn start/end hook이 assertion 획득/해제, 마지막 세션이 끝나는 순간 정상 sleep 복귀

에이전트가 MCP tool/CLI로 응답 이후까지 hold 연장 가능(긴 빌드·배포), root 권한은 setSleepBlocked(Bool)만 노출하는 격리 helper(최소권한 실례). 야간 launchd 수확·장시간 세션을 노트북에서 돌리는 내 환경에 직접 유효하나 score 6(토큰효율 0)으로 auto-apply 미달 — "리소스 hold는 작업 수명에 스코프"는 orphan-process-hygiene 동족 패턴이라 회차 노트로만.

저득점/중복 거부 — 일요일 트렌딩 상위 21개 중 기판정 19개(herdr·orca·caveman·CubeSandbox 재부상 전원 dedup 차단), 진짜 신규는 pentagi·RuView 2건뿐

거부: pentagi(자율 펜테스팅 — proof-by-exploitation 계열 기존 흡수) · RuView(WiFi 공간 인텔리전스 — 무관) · anthropics/claude-plugins-community(커뮤니티 마켓 보안스캔+내부 리뷰 파이프라인 — skill-audit-pipeline 재확인, novelty low) · activegraph-packs(Core/layered pack 계층 — event-sourced-reactive-graph-runtime 보강 수준) · openai/skills(cross-cli-skill-portability 기존) · HN 신규 5건(MRI 사용담·AskUserQuestion 버그·MCP Cloud·비용 관찰·Ask 스레드). arXiv 일요일분 키워드 매치 12건 전원 도메인 논문(pose·OFDM·GNN·federated)으로 저관련.

커버리지 노트 — 주말 신호 공백: HF daily papers 07-11/12 연속 미발행, 일요일 arXiv는 도메인 논문 위주. 구루GH가 유일한 강신호원 — yohei activegraph 생태계가 packs(기각)→terminalbench(적용)로 분화

coverage 6/7: GitHub trending·구루GH 8프로필+starred 2인·topic 4쿼리·arXiv 50·HN 35·feed(simonw 30, anthropic 25) 성공, X nitter 0바이트 차단 지속(사유 로그). simonw 이번 주는 GPT-5.6 가족·sqlite-utils 4.0 릴리즈 중심으로 하네스 신호 약함. anthropic engineering 신규 글 없음(featured how-we-contain-claude는 기적용). 행동지표 6000→6000 무회귀.

저득점/중복 거부 — 최고점 desloppify 6/10: anti-gaming 이중점수(lenient-vs-strict gap이 wontfix 게이밍을 지표화, 재리뷰가 점수를 낮출 수 있음)는 anti-Goodhart 계열의 유의미한 보강이나 novelty med(신규 rule 금지)

거부 9건: desloppify ★3k(scan→score→triage→execute→rescan 루프 — code-cleanliness·acceptance-criteria 기존 계열) · awesome-agent-harness ★1.4k(큐레이션 — 표면=slop면) · Contravariance Theory 2/10(NeuroAI 이론) · Rowboat 217pts(로컬 Claude Desktop 대체) · GPT-5.6 build-off 12모델(비교 블로그) · ECC·llmtrim·dev-3.0·gsd-core(전원 기존 rule 흡수). Raven·sutando·evolver·AgentLens 등 재부상 신호는 기거부 dedup이 정상 차단.

커버리지 노트 — 새벽 launchd 런(165차)과 같은 날 2회차: 당일 강신호 대부분 기처리로 dedup 정상 동작, 신규 189건의 실체는 SDK 미러·도메인 논문·git 스크레이퍼가 다수

coverage 6/7: GitHub trending(21/22가 AI — 생태계 포화 지속)·구루GH·topic·HF(07-11 미발행→07-10/09 41편 소급)·arXiv 50·HN·feed 성공, X nitter 0바이트/rsshub 302 지속 차단(사유 로그). yoheinakajima activegraph 신작 3종(packs·terminalbench·blog)은 전일 기판정 유지 — Ataraxy-Labs 생태계(sem→weave)가 "agent-native git 인프라" 축으로 2회 연속 통과한 유일 소스.

dedup 정상 차단 — 트렌딩 강신호(Databricks 벤치 HN 재부상·activegraph 신작·awesome-harness-engineering·caveman)는 전원 기적용/기판정, 신규 9건은 전원 기존 rule 중복(novelty low)

신규 거부 9건: agentskills 스펙(agent-skills-format 기적용)·TencentDB-Agent-Memory 4-tier(progressive-memory-retrieval 기존)·workweave/router <50ms(complexity-based-model-routing 기존)·graphify 82K⭐(knowledge-graph-code-indexing 기존)·moai-adk SPEC-first(test-first 기존)·stash 팀 공유메모리(shared-agent-memory 기존)·cmux(하네스 무관)·addyosmani Agent-Era Career(커리어론)·sqlite-utils 4.0(릴리즈). 트렌딩 상위가 연속 Claude Code 생태계 일색(21개 중 ~20개 AI) — 스킬 카탈로그류는 skill-provenance-placebo-null이 계속 차단.

신호 경로 노트 — latent.space AINews(07-08)가 Weng 원문을 지목, 원문 직접 추적으로 이번 적용 성립. Weng의 예측: "컨텍스트 엔지니어링은 코어 지능으로 흡수되지만 목표·제약·평가 명세는 사라지지 않는다"

X rsshub 미러 cloudflare 302 지속(0건 — 사유 로그), HF 당일(07-11)자 미발행으로 07-10자 23편 재시도 수확(필터 8, 전원 기판정). Weng 사다리 프레임으로 내 배치도 자리매김: rules/스킬 = context rung, hooks/스크립트 = harness code rung, self-improve/harness-evolve = optimizer rung — rung별 게이트 차등이 다음 개선 후보.

no-op pass 라운드 — 강신호 전원 기적용, dedup 정상 차단 검증 (removal-first: 절제가 제품)

HN 상위 신호가 전부 기처리로 확인: Databricks 자기-PR 벤치(163차 own-pr-benchmark-cost-per-task 적용), Anthropic "How we contain Claude"(containment-blast-radius-engineering 기적용), danluu agentic coding notes(153차 fuzz-first-bug-discovery 기적용), code cleanliness minimal-pair(code-cleanliness-agent-footprint 기적용). arXiv 오늘 배치(2607.08xxx)는 새벽 launchd 런이 이미 심사 완료 — 잔여 신규 7편은 전부 도메인 논문(저랭크 압축·OFDM·의료·지형·연합학습).

• 분석: 트렌딩 신규 5건 중 최고점 OfficeCLI 4/10 — 나머지(addyosmani/agent-skills 76K⭐ 스킬 카탈로그 2/10, archify 2/10, speech-to-speech 도메인, DesktopCommanderMCP delta 297)는 skill-provenance-placebo-null(스킬 카탈로그 placebo 실증)·기보유 스킬 중복으로 미달
• 미적용 이유: harness-benefit-not-update(변경≠이득) · removal-first-skill-hygiene("아무것도 못 고친 pass = 성공") — 전 소스 검사 완주 + clean이므로 no-op 성공 조건 충족, streak 유지용 약후보 강제 적용은 Goodhart
• 5축: 해당 없음 (0 적용 — 정직한 no-op 기록)

OfficeCLI — 에이전트가 Word/Excel/PPT를 GUI 없이 읽고·쓰고·자동화하는 단일 바이너리 CLI (14.2K⭐, 주간 +4.9K) iOfficeAI

이번 회차 최고점 탈락 후보. skill-mediated-over-screen-execution("컴퓨터 작업은 화면 스크래핑보다 skill-mediated CLI/도구 경로 우선")의 방향 재확인일 뿐 새 행동 변화 없음 — xlsx/pptx 스킬 기보유. 5축: 자동화 2 · 마찰제거 1 · HARD 0 · 토큰효율 1 · 측정가능 0 = 4/10, novelty low.

seen 인덱스 무결성 — 163차 적용분(Databricks 벤치)이 URL 미등록 상태로 이번 런에 NEW로 재출현 → applied 소급 등록

수확 적용과 인덱스 기록이 분리되면 기적용 항목이 다음 런에 신규로 재등장해 중복 적용 위험(159차 arXiv URL 변형 dedup 미스 사고와 동족). 이번 런은 rule 전문(own-pr-benchmark-cost-per-task.md) 존재를 교차 확인해 재적용 대신 인덱스 보정으로 종결. yoheinakajima activegraph 신작 서브레포(longmemeval — 채점기 커밋 SHA·judge 모델 스냅샷·lockfile 전부 고정하는 "frozen evaluation boundary" 설계)는 기거부 판정 유지.

Remember When It Matters — 장기 태스크에서 결정관련 상태(요구·환경 사실·이전 시도·진단·열린 서브골)가 커지는 궤적에 묻혀 결정에 영향 못 주는 실패모드를 "behavioral state decay"로 명명. 별도 memory agent가 action agent 옆에서 구조화 메모리를 능동 갱신·주입(수동 retrieval 아님) arXiv

novelty med — persistent-file-based-planning("Context=RAM, Filesystem=Disk")·context-as-action-management이 이미 같은 방향. 실패모드에 이름을 준 것 + "passive retrieval이 아니라 active intervention" 프레임이 보강 가치. 신규 rule 없이 전문 부록으로.

Resample or Reroute? — 실패/저품질 시 "같은 모델 재샘플"과 "다른 모델 재라우팅"을 예산 제약 하의 경쟁 행동으로 정식화. 내 error-recovery 4회 로테이션(1~2차 재시도=resample, 3차 codex:rescue=reroute)과 같은 구조의 학술적 수렴 arXiv

novelty med — 로테이션 순서(저비용 resample 먼저, 고비용 reroute 나중)의 뒷받침. Databricks cost-per-task와 합치면 "reroute 대상 선택도 태스크당 비용으로" 일관 기준이 선다. 신규 rule 없이 전문 부록으로.

생태계 노트 — OpenAI가 "Claude Code에서 Codex 사용" 플러그인(codex-plugin-cc 27K⭐, 주 +4.8K)을 공식 출시: cross-model-adversarial-review 셋업(Codex 이중리뷰)이 벤더 공식 패턴이 됐다. orca 15.5K⭐(주 +4.1K)는 병렬 코딩 에이전트 플릿 ADE — fleet-orchestration 재확인

기적용 dedup 흡수 4건: SWE-Review(157차)·SkillOpt-Lite(156차)·code-cleanliness minimal-pair·"How we contain Claude"(untrusted-content-masking으로 기증류) — 전부 canonical arXiv/URL 키로 seen 고정(159차 URL 변형 dedup 미스 재발 방지). 그 외 CubeSandbox(Tencent)·strix 40K⭐ 등 에이전트 샌드박스/보안 지속 강세, UniClawBench(능력 혼합 태스크 분류 비판 = binary-question-decomposed-evaluation 재확인)·RuleChef(LLM은 학습시에만, 런타임은 rule 실행 = fuzzy-function-compiled-artifact 재확인)는 low로 노트만.

dedup이 흡수한 회차 + 인덱스 고아 11건 복구 — guardians(simonw ★)는 verified-plan-execution(07-03 기적용), activegraph-parallel-prefetch는 parallel-prefetch-deterministic-dispatch(07-07 기적용)와 콘텐츠 동일 확인. knowledge 메모 276건 전수 대조에서 rule 미참조·인덱스 미기재 고아 11건 발견

trending 상위 19건 전부 기처리(applied/rejected) — dedup이 일한 회차. "The Making of Claude Code"(HN 61p)는 JS 렌더 셸+미러 401로 본문 미취득(seen 유지, 재시도 가능). Bun Zig→Rust(simonw 07-08)는 language-independent-conformance-suite 기적용 중복. arXiv 17·HF 7 신규는 모델 내부(RoPE 선형화·pruning·GRPO·video gen) 위주 5축<6 reject. 수리: parallel-prefetch-deterministic-dispatch·harness-engineering-agent-first·loop-engineering-trust-ladder 등 11건을 trend-harvest-index.md에 복구(user+repo) — 세션은 인덱스로만 메모를 발견하므로 고아 = 사실상 불가시였다. apply 파이프라인의 인덱스 append 단계가 일부 회차에서 누락된 것이 원인(artifact-relocation-consumer-alignment의 소비자 정렬 사례).

Beyond Attack-Success Rate(2607.07474) — 이진 ASR은 "ASR 0% 방어가 cross-scope 누출을 여전히 허용"하는 사례를 숨긴다: 가역성·scope 교차·권한 확장 3축의 7단계 행동 등급(L0~L6)으로 채점. LLM judge 패널은 결정론 oracle과 α=0.91 일치하지만 escalation chain 인식에 체계적 맹점 arXiv

purpose-bound-tool-data-flow("task 성공해도 인가 안 된 sink로 새면 실패")의 정량 실증이라 med novelty — 신규 rule 대신 knowledge 부록 보강. 그 외 신규 판정: AgentLens(2607.06624) production-assessed 궤적 리뷰 벤치는 coding-agent-interactive-session-eval·eval-predictive-validity 재확인 → 노트. SAO(2607.07508, RL 훈련 인프라)·AAS embodied(2606.30111)·agentic governance 리뷰(2607.07612)와 GitHub 신규 6건(Puppetmaster 스웜 제어평면·headroom 도구출력 압축·code-context-engine 인덱싱 등)은 기존 rule 재확인(novelty low) → reject. trending 상위 17은 전부 기처리 — dedup이 일한 회차.

• 5축: Beyond-ASR 6/10(med→근거보강) · AgentLens 6/10(low-med→노트) · GitHub 신규 6건 4~5/10 reject

awesome-harness-engineering(+591★/주) — "harness = 모델 한계의 임시 보상, 좋은 하네스는 자기 폐기를 예측한다" 프레이밍 + 실증 큐레이션(harness-only 변경으로 Terminal Bench rank 30→top5, tool space 제약만으로 2/10→10/10). 방향 재확인이라 노트만 — 링크 큐레이션은 rule 승격 부적합 ai-boost

그 외 신규 판정: Agon(2607.07690) 교차모델 rival grading — "비슷한 강도 + 행동적 차이" 쌍 조건은 Claude+Codex 이중 리뷰의 이론 에코지만 RL 훈련 도메인이라 전이는 유추 → 노트. github/accessibility-scanner(simonw ★) — scan→이슈 자동 발부→Copilot fix→인간 리뷰 폐루프, closed 이슈 재발 시 reopen 패턴 → 노트. trending 상위 25 중 20이 기처리(dedup 정상 동작). HF는 당일 논문 미게시(API가 07-09까지만 허용), X 미러 전멸. 155~159차는 launchd 자동 수확으로 사이트 카드 미작성 — 회차 번호는 정본 원장(results.tsv) 기준.

• 5축: awesome-list 5/10 · Agon 5/10 · a11y-scanner 5/10 → 회차 노트만, Applied 제외

dedup이 일한 회차 — danluu 글·Anthropic containment가 HN 재부상 앵커 변형 URL로 재유입, 둘 다 153차 기적용 확인 후 스킵. astryx(Meta 8년 디자인시스템 오픈소스화, "사람과 에이전트가 같은 레퍼런스로 빌드", +5.2K★/주)는 UI 참고 노트 facebook

그 외 신규 판정: Multi-Layer Agent Red Teaming(2606.31227)·PraMem 경험 메모리(2607.02881)는 기존 multi-turn-adversarial-robustness·experience-learning 중복 → reject. HN 뉴스층: Alibaba 사내 Claude Code 금지 보도(336pt)·워크스페이스 간 세션/캐시 누출 이슈(313pt)·GLM ZCode(278pt). arXiv는 API·RSS 모두 rate-limit(0건) — HF daily papers 21편이 학술 커버 대체.

• 5축: astryx 4/10(하네스 행동 변화 없음 — ui 참고) · 뉴스층 low → 회차 노트만, Applied 제외

PR 분산 공격(2607.02514) — 영속 코드베이스에서 페이로드를 여러 PR에 분산하면 단일 모니터로 gradual/non-gradual 동시 방어 불가(회피 ≥65% 일반화). per-PR 리뷰는 cross-PR 분산에 구조적 맹목 arXiv

novelty med(6/10) → 라우팅 규칙대로 신규 rule 없이 multi-turn-adversarial-robustness에 근거 2줄 보강(누적 diff 윈도우 검토 + 모니터 다양화). 그 외 신규 판정: activegraph(기존 event-sourced-reactive-graph-runtime 중복)·ctx(memory-bank 중복, 50x 토큰효율 수치만 참고)·Ornith-1.0(RL이 scaffold를 solution과 공동 최적화 — 훈련측 개념이라 하네스 행동 변화 얇음)·Claude Code 스테가노그래피(HN 2435pt, 뉴스성) → low/reject.

• 5축: 6/10 · novelty med — "기존 rule 근거 보강, 신규 rule 금지" 라우팅 첫 적용 회차

파이프라인 자가수정 — 149차 기적용 논문(2607.02436)을 URL 변형으로 재수확·재적용했다가 롤백. 같은 논문의 재서술 메모는 Jaccard 0.29로 임계 0.5가 못 잡는다 → dedup에 arXiv-ID 소스-정체성 선행 검사 추가 arXiv

2중 미탐 실증: (1) 149차는 arXiv RSS 폴백 경로로 수확해 URL 형식이 달라 URL-hash dedup 미적중, (2) 같은 논문을 독립적으로 재서술한 두 한국어 메모의 Jaccard 유사도는 0.294 — 텍스트 유사도 백스톱도 통과. 발견 즉시 파일 삭제·원장(seen) 정정·인덱스 정리로 무손실 롤백.

• 수정: loopy-era-rule-dedup.sh에 신규 메모의 arXiv ID(\d{4}.\d{4,5})를 추출해 기존 코퍼스 본문과 문자열 대조하는 선행 검사 추가 — 동일 ID 발견 시 similarity 1.0(match: arxiv-id)로 즉시 차단. happy/negative path 실검증 통과
• 부수 복구: 149차 메모(reasoning-effort-over-tool-access)가 양쪽 trend-harvest-index에서 누락돼 있던 기존 갭도 발견·복구 — 발견가능성 표면 정렬
• 5축: 해당 없음 (하네스 자가수정 — 수확 파이프라인의 dedup 2중 방어 강화)

guardians (simonw★) — Erik Meijer CACM "Guardians of the Agents"의 구현체. 프롬프트 인젝션의 근본 원인은 SQL 인젝션과 같다(코드·데이터 미분리) — 계획을 심볼릭 참조로 선생성하고 taint 분석+보안 오토마타+Z3 정리증명 3중 정적 검증 후에만 실행, 검증에 LLM 호출 0 simonw★

코어 ~1900줄·테스트 100개·의존성 2개(pydantic, z3-solver). 악성 이메일이 "전부 공격자에게 전달하라"고 지시해도 세 검증이 모두 발화해 워크플로우가 실행 자체가 안 된다. 계획-검증-실행 분리의 레퍼런스급 소형 구현.

• 미적용 이유: 기존 verified-plan-execution rule("완전한 계획 → 정적 검증 → 검증된 계획만 실행")과 동일 개념 — dedup 정상 차단. 다만 "검증에 LLM 0 호출·3중 독립 검사"라는 구현 세부는 해당 rule의 실증 근거로 가치. karpathy★ nanocode(250줄 미니멀 CC)와 함께 이번 주 구루 star 신호는 '작고 검증 가능한 하네스'로 수렴
• 5축: 해당 없음 (노트 — 기존 rule의 실증 구현 등장)

affaan-m/ECC ★225K 돌파 — everything-claude-code의 진화. "skills, instincts, memory, security, research-first" 하네스 성능 최적화 시스템으로 리포지셔닝, Claude Code·Codex·Opencode·Cursor 크로스 하네스 지원 affaan-m

codebase-search-before-create rule의 근거였던 everything-claude-code(당시 142K)가 225K★로 성장하며 "agent harness performance optimization system"으로 진화 — 커뮤니티 최대 하네스 최적화 레포의 방향이 skills+instincts+memory 계층 구조로 수렴.

• 미적용 이유: 코어(research-first development)는 기적용(codebase-search-before-create) — "instincts"(스킬보다 가벼운 반사 계층) 개념은 우리의 rules 증류본 체계와 사실상 동형. 신규 원칙 없음, 생태계 규모 신호 노트
• 5축: 해당 없음 (노트 — 기적용 레포의 규모 성장 추적)

Karpathy LLM Wiki 패턴 구현 2종 동시 부상 — obsidian-wiki(2.6K★)·obsidian-second-brain(2.9K★, 44커맨드·self-rewriting notes·잠자는 동안 vault 유지 scheduled agents). 에이전트가 유지하는 자기-갱신 지식 베이스 Ar9av

에이전트가 Obsidian vault를 living second brain으로 구축·유지하는 크로스 CLI 스킬 2종이 topic 검색에서 동시 부상 — self-rewriting notes, 로컬+하이브리드 시맨틱 검색, 스케줄된 유지보수 에이전트. Karpathy가 언급한 LLM Wiki 패턴의 구현 생태계 형성.

• 미적용 이유: memory-bank(fact 추출·온톨로지·knowledge graph) + knowledge/trend-harvest 인덱스 구조가 동일 역할을 이미 수행 — "에이전트가 지식 베이스를 스스로 재작성·유지"하는 코어는 self-improve 루프와 수렴. 도구 자체 도입은 기존 인프라와 중복, 생태계 수렴 방증 노트
• 5축: 해당 없음 (노트 — LLM Wiki 패턴 생태계 수렴)

SkillCoach: Self-Evolving Rubrics for Agentic Skill-Use — 최종 verifier 성공은 너무 거칠다. 에이전트는 distractor 스킬을 고르고 필수 스텝을 건너뛰고도 시행착오로 "통과"한다. 스킬 사용의 process rubric(선택·준수·조합·반성)을 outcome과 분리 평가하라 arXiv

스킬이 LLM 에이전트의 재사용 운영 계층(SOP·도메인 규칙·도구 워크플로우·검증 루틴)이 되면서, 겹치는 스킬 레포에서 outcome 성공만으로는 스킬 오용(잘못된 선택·스텝 생략·잘못된 조합·최종 체크 누락)이 숨는다. 실제 rollout에서 process rubric을 증류해 4차원(선택/준수/조합/반성) 평가 — verifier는 별도 outcome 신호로 유지해 우연한 성공과 프로세스 품질을 구분.

• 미적용 이유(6/10 승격 미달): "틀렸지만 통과한 궤적이 오염을 남긴다"는 코어는 experience-learning-execute-distill-verify·role-typed-trajectory-credit-assignment 클러스터와 수렴. 스킬-사용 특화 4차원 rubric은 신규 각도지만 자동화·토큰 축 이득이 약함 — skill-judge/harness eval 체계에 흡수 검토로 보류
• 5축: 자동화 1 · 마찰제거 1 · HARD전환 1 · 토큰효율 1 · 측정가능 2

AgenticSTS: Bounded-Memory Testbed — "메모리는 미래의 각 결정이 무엇을 볼 수 있는지에 대한 계약이다." raw transcript 누적 대신 typed retrieval로 조립된 bounded prompt가 레이어별 ablation을 가능하게 한다 arXiv

장기 에이전트 메모리를 "전부 append"가 아니라 명시적 bounded 계약(매 결정 = typed retrieval로 조립된 fresh message, 교차-결정 transcript 미첨부)으로 설계 — 프롬프트가 런 길이와 무관하게 유계이고 단일 레이어를 격리 ablation 가능. Slay the Spire 2에서 스킬 레이어 유무로 3/10→6/10 승률 (방향성 신호, p≈0.37).

• 미적용 이유(6/10): "컨텍스트는 계약"의 코어는 trajectory-aware-compaction·context-as-action-management·fresh-context-iteration 클러스터가 이미 커버 — typed retrieval 조립이라는 구현 각도만 신규. 표본 크기상 방향성 증거(통계적 미결정)라 승격 보류
• 5축: 자동화 0 · 마찰제거 1 · HARD전환 1 · 토큰효율 2 · 측정가능 2

openai/codex-plugin-cc (23K⭐, +1.3K/주) — OpenAI 공식 "Claude Code 안에서 Codex 사용" 플러그인 등장. 우리 커스텀 codex 연동(codex:review/rescue/adversarial-review)의 공식 대체 후보 openai

코드 리뷰·태스크 위임 용도로 Claude Code 내부에서 Codex를 호출하는 OpenAI 공식 플러그인. 우리 하네스의 Codex 이중 리뷰(cross-model-adversarial-review)와 정확히 같은 사용처를 공식 지원 — 크로스 모델 리뷰가 벤더 공식 워크플로우로 표준화되는 신호.

• 미적용 이유: 기존 codex 플러그인(convergence-loop·gate 배선 포함)이 이미 운영 중 — 도구 전환은 rule 자동 적용 범위 밖(비용/호환 검증 필요). 공식 플러그인과 커스텀 연동의 기능 비교 후 이관 여부는 별도 검토 항목으로 기록
• 5축: 해당 없음 (노트 — 도구 전환 검토 항목)

병렬 코딩 에이전트 플릿 관리 5종 동시 트렌딩 — herdr(터미널 멀티플렉서 +2.7K/주)·orca(ADE 데스크탑/모바일 +3.6K/주)·amux(제어평면)·agent-of-empires(TUI/Web)·AgentWrapper/agent-orchestrator(CI fix·머지 충돌 자동) ogulcancelik

이번 주 trending의 지배 패턴: 병렬 코딩 에이전트 플릿의 제어평면(멀티플렉서·모니터링·야간 자율 실행 gnhf·worktree 자동화 treehouse)이 언어·플랫폼 불문 동시 부상. 단일 에이전트 → 플릿 운영으로 생태계 중심 이동의 방증.

• 미적용 이유: continuous-fleet-orchestration·multi-agent-session-infrastructure·worktree-parallel-agents 클러스터가 원리를 이미 커버 — 신규 원칙 없음, 생태계 수렴 방증 노트. 도구 자체 도입은 tmux 기반 기존 인프라(bs-auto-issue-loop 등)와 중복
• 5축: 해당 없음 (노트 — fleet 제어평면 생태계 수렴)

Building to the Test: Coding Agents Deliver What You Check, Not What You Requested — 코딩 에이전트는 요청한 것이 아니라 검사하는 것을 배달한다. 검사(테스트·게이트)가 요구를 덜 커버하면 그 갭만큼 미구현이 "완료"로 통과한다 arXiv

코딩 에이전트가 사용자가 요청한 것(requested)이 아니라 검증 루프가 검사하는 것(checked)에 맞춰 구현을 수렴시킨다는 실증 — 검사가 요구의 부분집합이면 에이전트는 그 부분집합만 충족하고 완료를 선언한다. 검사-요구 정렬(check-request alignment)이 자율 코딩 품질의 상한을 결정.

• 미적용 이유: acceptance-criteria-completion(anti-Goodhart — "내가 정한 테스트"가 아니라 요구의 수용 기준을 검증)의 정확한 외부 실증. bs-auto-issue 포렌식(버튼 숨김/no-op으로 자기 테스트만 통과)에서 이미 도출한 원칙 — 신규 rule 없이 기존 rule의 연구 근거로 노트
• 5축: 해당 없음 (노트 — acceptance-criteria/anti-Goodhart 클러스터 실증)

Cheap Code, Costly Judgment: A Case Study on Governable Agentic Software Engineering — 코드 생성 비용은 급락했지만 판단(리뷰·거버넌스·수용 결정) 비용은 그대로다. 병목은 생성이 아니라 판단이며, 거버넌스 가능한 구조가 생산성의 실제 상한 arXiv

에이전틱 SWE 사례연구: 코드 생성이 싸질수록 판단(어떤 변경을 수용할지, 무엇이 옳은지)의 상대 비용이 지배한다. 거버넌스 없는 대량 생성은 리뷰 부채를 축적 — 생성량이 아니라 판단 처리량이 시스템 스루풋을 결정.

• 미적용 이유: verification-horizon-proxy-coevolution("생성보다 검증이 어렵다")·risk-weighted-verification-budget(판단 노력의 위험도 배분)·two-stage-review-gate 클러스터와 정합 — 우리 게이트 스택(적대 리뷰·acceptance 게이트)이 이미 "판단을 구조화"하는 방향. 신규 원칙 없음, 방향 확인 노트
• 5축: 해당 없음 (노트 — verification-horizon 클러스터 정합)

실무 하네스 생태계 수렴 신호 3종 — gstack(garrytan 118K⭐: CEO/디자이너/EM/QA 23 페르소나 도구), no-mistakes(push 전 가드 CLI), design.md(google-labs-code 24K⭐: 코딩 에이전트용 시각 아이덴티티 스펙 포맷) garrytan

이번 주 trending의 공통 패턴: 실무자 하네스가 우리 구조에 수렴. gstack은 역할 페르소나 도구 스택(role taxonomy), no-mistakes는 push 전 차단 가드(Go CLI), design.md는 에이전트가 소비하는 영속 디자인 시스템 스펙 포맷(AGENTS.md의 시각 아이덴티티 버전, 24K⭐/주간 +7.2K).

• 미적용 이유: 각각 기존 구현과 수렴 — gstack=role-taxonomy/agent 스택(오케스트레이터+specialist 71 agents), no-mistakes=qa-gate-before-push.sh(이미 HARD hook), design.md=web-ui-design 스킬의 DESIGN.md 배치 패턴. 외부 생태계가 같은 결론(게이트·역할 분리·에이전트용 스펙 파일)에 독립 도달한 방증으로 노트
• 5축: 해당 없음 (노트 — 기존 게이트/스킬 클러스터 수렴 방증)

AutoTrainess: Teaching Language Models to Improve Language Models Autonomously — 자율 post-training은 코딩 문제만이 아니다. raw CLI의 underspecified action space에 방치하지 말고 prior human experience를 명시적 workflow·rule·execution constraint로 외부화해 안정적 훈련 행동으로 유도하라 arXiv

(HF 07-02 6⬆): 자율 post-training은 코딩 문제만이 아니다 — 반복 iteration 계획·벤치마크 정렬 데이터 구성·안정 훈련·체크포인트 평가·상태 보존을 수 시간 유지해야 한다. AutoTrainess는 이 연산들을 계획·데이터·훈련·평가·로깅용 agent-computer interface 저장소로 노출하고, 에이전트를 raw CLI의 underspecified action space에 방치하지 않고 prior human experience를 명시적 workflow·rule·execution constraint로 외부화해 효과적·신뢰가능한 훈련 행동으로 유도. PostTrainBench에서 CLI-only 23.21 → 26.94(GPT-5.4/Codex), DeepSeek-V4-Flash 12.13 → 19.58로 모델·하네스 교차 일반화.

• 미적용 이유: execution-path-crystallization(성공 경로→명시 SOP)·probe-and-refine-guidance-tuning(가이드가 행동 유도)·deep-agents-harness-primitives·recursive-self-improvement-loop의 실증 — "raw action space에 방치 말고 prior experience를 명시적 workflow·rule·constraint로 외부화"는 우리 rules/·skills/·hook 기반 하네스의 정확한 정당화(harness engineering). 신규이나 기존 self-improve/harness 클러스터로 커버되어 노트
• 5축: 해당 없음 (노트 — self-improve 클러스터, execution-path-crystallization/probe-and-refine-guidance-tuning의 자율 post-training 실증)

DiscoPER: Autonomous Scientific Discovery via Iterative Meta-Reflection — 축적된 발견을 empirical data로 취급해 주기적으로 자기 자신을 분석(2차 reasoning)하고 구조적 패턴·confound·epistemic gap을 식별해 탐색을 uncharted region으로 능동 재조정. 모든 발견은 통계 검정 통과 필수 arXiv

(HF 07-02 3⬆): 자율 과학 발견 시스템은 constrained search space나 predefined 질문에 갇혀 축적된 자기 발견을 명시적으로 종합하지 못한다. DiscoPER는 사전 목표 없이 코드를 동적 생성·실행해 open-ended 탐색하되 모든 발견은 통계 검정 통과 필수, 그리고 2차 reasoning 메커니즘으로 주기적으로 자신의 축적 발견을 empirical data로 취급해 분석 — 구조적 패턴·confound·epistemic gap을 식별해 탐색을 uncharted region으로 능동 재조정. iNatDisco에서 9개 known pattern 중 8개 복원·72.7% 지지율로 classical causal discovery·LLM-guided baseline 상회, meta-reflection 이득 확인.

• 미적용 이유: recursive-self-improvement-loop(Curator: 약한 변경 롤백·성공 축적)·agentic-abstention·evidence-only-reporting(통계 검정=실증 게이트)·cross-batch-evidence-accumulation의 실증 — "축적 발견을 empirical data로 2차 분석해 gap을 능동 재조정"은 우리 self-improve의 Curator 단계·trend-harvester 누적 판정의 동형. 신규이나 기존 self-improve 클러스터로 커버되어 노트
• 5축: 해당 없음 (노트 — self-improve 클러스터, recursive-self-improvement-loop의 2차 meta-reflection 실증)

diegosouzapw/OmniRoute — 231+ 프로바이더를 단일 엔드포인트로 통합한 무료 AI 게이트웨이. token compression·auto-fallback·MCP로 Claude Code/Codex/Cursor/Copilot 연결. GitHub trending TS +2.5K/wk diegosouzapw

(GitHub trending, ⭐10K +2.5K/wk): 231+ 프로바이더를 단일 엔드포인트로 통합한 무료 AI 게이트웨이. token compression·auto-fallback·MCP 지원으로 Claude Code·Codex·Cursor·Copilot 등 도구를 한 엔드포인트로 연결. "Never stop coding"을 지향하며 프로바이더 소진·장애 시 자동 전환.

• 미적용 이유: provider-fallback-circuit-breakers(4-tier fallback+circuit breaker)·unified-model-gateway(포맷 변환+채널 라우팅)·complexity-tier-model-routing의 실증 확장 — "231+ 프로바이더 단일 엔드포인트+auto-fallback"은 우리 게이트웨이/fallback 클러스터의 스케일 업 버전. 신규이나 기존 provider-fallback 클러스터로 커버되어 노트
• 5축: 해당 없음 (노트 — provider-fallback 클러스터, provider-fallback-circuit-breakers/unified-model-gateway의 231+ 프로바이더 실증)

Are Performance-Optimization Benchmarks Reliably Measuring Coding Agents? — GSO·SWE-Perf·SWE-fficiency 리더보드 점수는 runtime 불안정성·벤치마크별 스코어링 규칙·이미 풀린 태스크 수를 conflate한다. 코딩-에이전트 진보의 증거로 쓰기 전에 cross-machine replay 안정성을 검증하라 arXiv

(arXiv cs.AI 07-02): 성능-최적화 벤치마크(GSO·SWE-Perf·SWE-fficiency)의 리더보드 점수가 코딩-에이전트 진보의 증거로 쓰이지만, runtime 불안정성·벤치마크별 스코어링 규칙·이미 공개 제출로 풀린 태스크 수를 conflate한다. 740 태스크를 4종 GCP 머신에서 replay하니 reference patch가 원 유효성 규칙을 모든 cross-machine replay에서 만족하는 건 GSO 39/102·SWE-Perf 11/140(SWE-Perf은 close-to-zero runtime change로 특히 취약), 스코어링 규칙에 따라 8개 공개 제출 랭킹이 28쌍 중 9쌍 불일치.

• 미적용 이유: eval-predictive-validity(집계 점수 순위 과신 금지·in-sample↔OOD 상관)·harness-benefit-not-update(점수 상승≠이득)·intrinsic-eval-disentangles-conflated-failure(단일 downstream 점수는 conflate)의 코딩-에이전트-벤치마크 실증 — "리더보드 점수가 여러 교란을 conflate"는 우리 eval 클러스터의 정면 근거. 신규이나 eval 클러스터로 개념 커버되어 노트
• 5축: 해당 없음 (노트 — eval 클러스터, eval-predictive-validity의 코딩-에이전트 벤치마크 실증)

Cheap Code, Costly Judgment: Governable Agentic Software Engineering — 저비용 코드 생산 시대에 중심 문제는 "AI가 유용한 코드를 만드나"가 아니라 "어떻게 조직해 검사·교정·유지가능하게 유지하나"다. 반복 실패를 durable governance mechanism으로 변환하는 governance conversion arXiv

(arXiv cs.AI 07-02): 생성형 AI가 SE를 희소한 구현 노력 중심에서 풍부한 저비용 코드 생산 중심으로 옮긴다. 중심 문제가 바뀐다 — AI가 코드를 만드느냐가 아니라 아키텍처·도구·증거·피드백 루프를 어떻게 조직해 AI 매개 개발을 inspectable·correctable·maintainable하게 유지하느냐. 12주 1인 전문가 케이스(88 필드노트·420 KLOC·1.16 MLOC 테스트)에서 governance conversion 이론 도출 — 고속 에이전트 구현이 반복 구조적 실패를 드러내고, 엔지니어 판단이 그 실패를 durable governance mechanism으로 변환해 속도를 지속.

• 미적용 이유: govern-ecosystem-not-individual-agent·process-harness-deterministic-engine-overlay·acceptance-criteria-completion의 실증 케이스 — "실패에서 거버넌스를 발견·변환"은 우리 self-improve(fix 커밋→rule 승격)·soft-to-hard-promotion(반복 SOFT 실패→HARD)의 정확한 이론화. loopy-era 철학과 정면 정합. 신규이나 기존 govern/self-improve 클러스터로 커버되어 노트
• 5축: 해당 없음 (노트 — govern-ecosystem 클러스터, self-improve/soft-to-hard-promotion의 governance conversion 이론)

AutoMem: Automated Learning of Memory as a Cognitive Skill — 메모리 관리(무엇을 encode·언제 retrieve·어떻게 조직)를 학습 가능한 스킬(metamemory)로 취급. 파일시스템 조작을 1급 메모리 행동으로 승격, 강한 LLM이 전체 궤적을 리뷰해 메모리 구조를 반복 개선 arXiv

(arXiv cs.AI 07-02): 메모리 전문성은 학습된 스킬(인지과학의 metamemory) — 무엇을 encode·언제 retrieve·어떻게 조직할지 아는 능력. LLM의 파일시스템 조작을 task 행동과 나란히 1급 메모리 행동으로 승격, 모델 스스로 메모리를 관리하게 한다. 수천 스텝 장기 궤적은 수동 최적화·전체 리뷰가 비현실적 — AutoMem은 두 루프로 자동화: (1) 강한 LLM이 완전 궤적을 리뷰해 메모리 구조(프롬프트·파일 스키마·행동 어휘)를 반복 개선, (2) 에이전트의 좋은 메모리 결정을 여러 에피소드에서 식별해 훈련 신호로. Crafter·MiniHack·NetHack에서 메모리만 최적화해 기저 성능 2~4x 향상.

• 미적용 이유: context-as-action-management(컨텍스트 관리를 1급 행동으로)·persistent-file-based-planning(Filesystem=Disk)·agent-memory-hygiene·experience-learning-execute-distill-verify의 결합 — "메모리 관리를 학습 스킬로, 파일 조작을 1급 행동으로"는 우리 파일 기반 working memory + 자가개선 원칙의 동형. 단 강한 LLM이 전체 궤적 리뷰로 구조 개선하는 루프는 active-investigation-fault-attribution(긴 트레이스 세그먼트 검색)과 정합. 신규이나 기존 memory 클러스터로 커버되어 노트
• 5축: 해당 없음 (노트 — memory 클러스터, context-as-action-management의 메모리-스킬 학습 짝)

Skills Are Not Islands: Measuring Dependency and Risk in Agent Skill Supply Chains — 에이전트 스킬은 고립된 자산이 아니라 서로 의존하는 공급망을 이룬다. 스킬 간 의존성과 그로 인한 전파 리스크를 측정 arXiv

(arXiv cs.AI 07-02 배치): 에이전트 스킬 생태계가 커지면서 스킬은 독립적 단위가 아니라 서로 의존하는 공급망(supply chain)을 형성한다. 한 스킬의 결함·악성 지시가 그것에 의존하는 다른 스킬로 전파될 수 있어, 스킬 간 의존성과 리스크를 측정하는 관점이 필요하다.

• 미적용 이유: agent-skill-security-scanning(로드 전 정적 스캔·출처+해시 추적)·skill-audit-pipeline(공급망 governance)의 직접 보강 — "스킬은 섬이 아니다"는 우리 "신뢰된 스킬이라는 가정이 공급망 공격면"과 동일 명제의 의존성-그래프 버전. agent-skill-compounding(복리 축적)에 "의존성 전파 리스크" 차원 추가 후보. 신규이나 기존 skill-security 클러스터로 개념 커버되어 노트
• 5축: 해당 없음 (노트 — skill-security 클러스터, agent-skill-security-scanning의 의존성 그래프 짝)

Can Agents Generalize to the Open World? Unveiling the Fragility of Static Training in Tool Use — 정적 훈련으로 배운 tool-use 에이전트는 open-world(변화하는 도구·환경)에서 취약하다. 고정 분포 학습이 배포 드리프트에 무너짐을 드러냄 arXiv

(arXiv cs.AI 07-02 배치): tool-use 에이전트를 정적(static) 훈련 분포로 학습시키면 실제 배포의 open-world(도구·환경이 계속 변하는) 조건에서 취약(fragile)하다. 고정 분포 성능이 분포 이동(distribution drift)에서 무너지는 것을 실증.

• 미적용 이유: adaptive-harness-open-ended-streams(단일 고정 harness는 드리프트 스트림에서 실패)·eval-predictive-validity(in-sample≠OOD 전이)·tool-ecosystem-planning-visibility(대규모 도구 카탈로그에서 계획 붕괴)의 직접 보강 — "정적 훈련의 open-world 취약성"은 우리 "고정 harness/벤치마크는 OOD에서 무너진다"의 tool-use 버전. agent-eval-beyond-familiar-environments(포화 벤치마크는 한계 못 봄)와 정합. 신규이나 기존 eval/adaptive 클러스터로 커버되어 노트
• 5축: 해당 없음 (노트 — eval 클러스터, adaptive-harness-open-ended-streams의 tool-use 취약성 실증)

google-labs-code/design.md — 코딩 에이전트에게 디자인 시스템에 대한 영속적·구조화된 이해를 주는 spec 포맷. 에이전트가 매번 재추론하지 않고 design.md에서 디자인 컨텍스트를 grounded GitHub

google-labs-code/design.md(⭐24K, +7,186/wk): 코딩 에이전트에게 디자인 시스템에 대한 영속적·구조화된 이해를 부여하는 spec 포맷. 에이전트가 매 태스크마다 디자인 규칙을 재추론하지 않고, design.md 파일에서 디자인 컨텍스트를 grounded하여 일관된 UI를 생성.

• 미적용 이유: persistent-file-based-planning(Context=RAM/Filesystem=Disk)·agents-md-cross-tool-convention(AGENTS.md 표준)·distill-examples-to-instructions(예시 누적 대신 명시 지시로 증류)의 디자인-시스템 버전 — "매번 재추론하지 말고 파일에서 grounded"는 우리 파일 기반 working memory 원칙과 동형. frontend-patterns·anti-slop-design-taste와 결합 시 프로젝트 디자인 컨텍스트를 design.md로 영속화 후보. 신규이나 기존 planning/frontend 클러스터로 커버되어 노트
• 5축: 해당 없음 (노트 — planning 클러스터, persistent-file-based-planning의 디자인-시스템 짝)

Managing Procedural Memory in LLM Agents (AFTER) — 절차적 메모리가 재사용 스킬을 만드는 능력은 잘 이해돼 있지 않다. 이질 멀티모델 실행 트레이스에서 진화한 스킬이 단일 모델 트레이스보다 cross-model 정확도 높음(73.1%). 일부 스킬은 광범위 일반화, 일부는 역할 특화되어 전이 시 효과 상실 — 스킬은 보편 전이 자산이 아니다 arXiv

2606.23127(HF 07-01 17⬆): 6개 직무·22 절차 스킬·382 엔터프라이즈 태스크의 AFTER 벤치로 스킬이 task·role·model backbone을 넘어 어떻게 전이되는지 controlled 평가. 절차적 메모리는 산업 워크플로우에서 일관 이득(단발 refinement +3.7~6.7) 제공하고, 이질 멀티모델 실행 트레이스에서 진화한 스킬이 73.1% cross-model 정확도로 모든 단일 모델 트레이스 소스 능가. 그러나 일부 스킬은 광범위 일반화, 일부는 역할 특화되어 전이 시 효과 상실.

• 미적용 이유: SkillHone(이번 적용)의 memory 짝 — agent-skill-compounding(복리 축적)·experience-learning-execute-distill-verify(이질적 병렬 execute)·co-failure-ceiling-multi-model(disjoint 실패가 자원)의 실증(이질 멀티모델 트레이스 > 단일 모델). "일부 스킬은 전이 시 효과 상실"은 mas-prompt-optimization-config-dependent(이득은 config 민감)·eval-predictive-validity(전이 가정 금지)와 정합 — 스킬 복리를 "무조건 재사용"으로 가정하지 말라는 경고. 신규 강신호이나 SkillHone + 기존 memory/skill 클러스터로 충분히 커버되어 노트(향후 agent-skill-compounding에 이질 트레이스·전이 한계 차원 통합 후보)
• 5축: 해당 없음 (노트 — memory/skill 클러스터, SkillHone의 procedural memory 짝)

QVal — long-horizon 에이전트의 dense supervision 신호를 downstream 훈련 성능으로 평가하면 비싸고 신호 품질과 훈련 엔지니어링 confounder를 혼동한다. training-free testbed로 신호 품질을 훈련 전에 분리 측정하니, 단순 prompting baseline이 최신 dense supervision 방법을 일관 능가 arXiv

2606.32034(HF 07-01 8⬆): long-horizon 에이전트는 outcome-only 보상이 너무 sparse해 중간 행동의 goodness를 알려주지 못한다. dense supervision 방법(intrinsic confidence·self-distillation·embedding 유사도)을 downstream 훈련 파이프라인 성능으로 평가하는 관행은 비싸고, 신호 품질을 훈련 엔지니어링 confounder와 혼동하며, 다른 방법론 계열을 비교 불가능하게 만든다. QVal은 training-free testbed로 state-action 점수가 강한 reference-policy의 Q-value 순서와 얼마나 정렬되는지(Q-aligned) 훈련 전에 측정 → 21 방법·4 환경·7 계열·1.2K 실험: 단순 prompting baseline이 최신 dense supervision 방법을 일관 능가, 성능은 계열별로 강하게 클러스터링.

• 미적용 이유: intrinsic-eval-disentangles-conflated-failure(139차 downstream 점수는 표현 품질과 처리 능력을 혼동)·harness-benefit-not-update(변경≠이득)·eval-predictive-validity(집계 점수 과신 금지)·reward-score-oversensitivity-discretization의 직접 보강 — "downstream 성능이 신호 품질과 훈련 confounder를 혼동"은 우리 핵심 명제(downstream 점수가 실패 출처를 혼동)의 dense-supervision 버전. training-free 분리 측정 + "단순 baseline이 정교한 방법 능가"는 judge-as-optimizer-hardening과도 정합. 신규이나 기존 eval 클러스터로 충분히 커버되어 노트
• 5축: 해당 없음 (노트 — eval 클러스터, intrinsic-eval-disentangles-conflated-failure의 dense-supervision 짝)

Dockerless — 코딩 에이전트 verifier는 보통 per-repo Docker 환경에서 unit test를 실행해 패치를 검증하나 환경 셋업 비용이 크다. 환경 없이(non-execution) 에이전트적 저장소 탐색으로 모은 증거로 패치 정확성을 판정 → 최강 오픈소스 verifier +14.3 AUC, 환경 기반 post-training과 매칭 arXiv

2606.28436(HF 07-01 80⬆): program verifier는 코딩 에이전트 훈련(SFT trajectory 선택·RL 보상)의 중심이나, 표준 실행 기반 검증은 per-repo Docker 이미지에서 unit test를 돌려 환경 셋업 비용이 크다. Dockerless는 실행 없이(environment-free) 패치 정확성을 판정 — 단순 참조 매칭이 아니라 에이전트적 저장소 탐색으로 모은 증거로 판단. verifier 벤치에서 최강 오픈소스 verifier +14.3 AUC, SFT 필터와 RL 보상 모두에 쓰면 완전 환경 없는 post-training 파이프라인 → SWE-bench Verified 62.0%로 환경 기반과 매칭.

• 미적용 이유: verification-horizon-proxy-coevolution(검증이 병목·verifier=proxy·trilemma scalability×faithfulness×robustness)의 실증 — Dockerless는 scalability(환경 없음)를 얻는 대신 faithfulness/robustness를 실행 증거 대신 탐색 증거로 대체하는 trilemma 트레이드오프. 우리 proof-by-exploitation-qa·evidence-only-reporting("no exploit, no report"=실행 기반)과 긴장/보완 — 실행 없는 증거 기반 검증은 훈련용 verifier엔 유효하나, 우리 배포 게이트(비가역·고위험)엔 실행 증거 floor 유지 필요(risk-weighted-verification-budget). 신규 강신호이나 verification-horizon trilemma로 개념 커버되어 노트
• 5축: 해당 없음 (노트 — verification 클러스터, verification-horizon-proxy-coevolution의 scalability↔faithfulness trilemma 실증)

Delayed Verification Destabilizes Multi-Agent LLM Belief — verifier/critic가 hallucination을 억제하지만 검증이 *지연*되며, 그 지연 동안 거짓 주장이 에이전트 네트워크로 전파된다. 너무 강하거나 너무 지연된 교정은 합의를 진동(oscillation)으로 바꾼다 — 통신·검증 지연이 일치할 때 가장 불안정(지연 2에서 임계는 역황금비). grounded 사실 답변은 진실을 흡수 경계로 만들어 효과를 제거 arXiv

2606.27409(HF 06-30): 멀티에이전트 LLM 시스템은 verifier·critic으로 hallucination을 억제하나 검증이 지연된다. 이를 grounded corrector 노드를 가진 그래프 위 지연 합의로 모델링 → grounded Laplacian의 스펙트럼 분해가 검증 dose의 closed-form 안정성 임계를 산출(너무 강/늦은 교정 → 진동). 가장 불안정한 영역은 통신·검증 지연이 일치할 때(지연 2 임계=역황금비). supermodular placement 목적 + greedy (1−1/e) 규칙으로 제한된 corrector 예산을 영향력 큰 노드에 배치. 5개 모델 실증. 단 grounded 사실 답변은 진실을 흡수 경계로 만들어 불안정을 제거.

• 미적용 이유: verification-horizon-proxy-coevolution(검증이 병목)·evaluator-committee-bias-contagion(편향 전파)·fine-grained-mas-credit-assignment(MAS 귀속)의 *검증 타이밍/배치* 짝 — "언제·어디에 corrector를 두나"가 안정성을 좌우하고, grounded 검증(verification-horizon의 evidence-grounded)이 진동을 제거한다는 우리 명제를 스펙트럼 이론으로 뒷받침. 단 corrector placement는 우리 단일 user-proxy/Codex 이중 리뷰 구조엔 직접 hands-on이 약함(다수 corrector 네트워크 가정) — verification/MAS 클러스터 보강 노트(향후 다중 reviewer 배치 시 grounded-우선·지연 최소화 근거)
• 5축: 해당 없음 (노트 — verification/MAS 클러스터, verification-horizon의 검증 타이밍 짝)

MAS-Lab — 현재 툴링으로 만든 멀티에이전트 시스템은 ad-hoc·imperative하게 개발돼(에이전트 로직·오케스트레이션·관측·제어가 뒤엉킴, 시스템 수준 검증 거의 없음) "실험에서 관측된 행동이 프로덕션 행동의 신뢰할 만한 증거가 되지 못한다". 의미 의도와 운영 관심사를 분리한 선언적 spec → MAS-OS → 검증 레이어로 스크립트 모음을 엔지니어링된 분산 시스템으로 전환 arXiv

2606.30546(arXiv 06-30): LLM 에이전트 프레임워크가 MAS 조립 비용을 낮췄으나, 현재 툴링으로 만든 시스템은 신뢰·진화·프로덕션 배포에 부적합 — 흔히 ad-hoc·imperative하게 개발돼 로직·오케스트레이션·관측·제어가 뒤엉키고 시스템 수준 검증이 거의 없으며 데모 최적화된 워크플로우다. 결과적으로 실험에서 관측된 행동이 프로덕션 행동의 신뢰할 만한 증거가 되지 못한다. MAS-Lab은 의미 의도와 운영 관심사를 분리(선언적 framework-agnostic spec → 실행/제어 primitive를 plug-in한 stateful MAS-OS → 검증 레이어)해 스크립트 모음을 엔지니어링된 분산 시스템으로 전환.

• 미적용 이유: govern-ecosystem-not-individual-agent(각 에이전트 PASS≠시스템 건강)·process-harness-deterministic-engine-overlay(결정론 엔진을 정책 계층으로 감싸기)·declarative-dataflow-orchestration(선언적 명세)·mas-prompt-optimization-config-dependent(실험 이득≠배포 이득)의 직접 보강 — "실험 행동≠프로덕션 행동"은 우리 핵심 명제(QA PASS≠배포 건강·in-sample≠OOD)와 정합. 단 MAS-Lab은 특정 프레임워크/스택(Spec·MAS-OS)이라 우리 hook/skill 기반 운영에 즉시 이식은 약함 — harness/거버넌스 클러스터 개념 보강 노트
• 5축: 해당 없음 (노트 — harness/거버넌스 클러스터, govern-ecosystem-not-individual-agent의 선언적 검증 짝)

Entity Binding Failures in Tool-Augmented Agents — 올바른 도구를 골라도 *틀린 외부 엔티티*에 행동할 수 있다("Alex에게 메일" → 잘못된 Alex·잘못된 문서·잘못된 스레드·잘못된 고객 계정). tool correctness ≠ entity correctness — 0% wrong-tool인데 24~26% wrong-entity arXiv

도구 증강 에이전트는 보통 "올바른 도구 선택·유효한 API 인자·태스크 완료"로 평가되지만, 올바른 도구를 골라도 틀린 엔티티에 행동할 수 있다(entity binding failure). 60 태스크·5 백엔드·6 도구 사용법 controlled 진단: 모든 방법이 wrong-tool 0.0%인데, action-지향 baseline은 wrong-entity를 24~26% 산출. entity-aware 메커니즘(entity-resolution precondition·confidence-gated binding·모호 시 clarification·provenance tracking)이 wrong-entity를 제거했으나 모호 시 deferring으로 직접 완료율은 하락 — 안전한 도구 사용은 완료율 일부를 내주고도 entity 검증을 요구.

• 미적용 이유: purpose-bound-tool-data-flow(141차, task-private 데이터의 인가-경로 정보 흐름)의 entity-resolution 짝 — 후자가 "어느 sink로 데이터가 흐르나"면 본 논문은 "어느 엔티티에 행동하나". agent-least-privilege-tool-selection(어느 도구)·structured-output-tool-suppression·tool-use-format-collapse(도구 사용 실패면)과 같은 tool-use reliability 클러스터. confidence-gated binding+모호 시 clarification은 acceptance-criteria-completion(스펙 명확화)·agentic-abstention(달성 불가 시 멈춤)과 직접 연결 — 신규 강신호이나 기존 클러스터로 충분히 커버되어 tool-use reliability 보강 노트(향후 purpose-bound-tool-data-flow에 entity 차원 통합 후보)
• 5축: 해당 없음 (노트 — tool-use reliability 클러스터, purpose-bound-tool-data-flow의 entity 짝)

Scaling the Horizon, Not the Parameters — 35B MoE 에이전트(Agents-A1)가 *agent horizon* 스케일링(long-horizon trajectory + 이종 에이전트 능력)으로 1T 모델(Kimi-K2.6·DeepSeek-V4-pro)급 long-horizon 성능 도달. 파라미터가 아니라 에이전트 지평을 키워라 arXiv

2606.30616(HF 06-30 61⬆): 35B MoE 에이전트가 agent-horizon scaling(long-horizon trajectory 스케일 + 이종 에이전트 능력 스케일)으로 trillion급 long-horizon 성능 도달. 외부 지식·액션·관측·verifier를 연결한 평균 45K 토큰 trajectory 인프라 + 3단계(full-domain SFT → 도메인 teacher → multi-teacher domain-routed on-policy distillation)로 6개 이종 도메인을 단일 student로 통합. SEAL-0 56.4·IFBench 80.6 등 long-horizon 벤치에서 1T 모델 매칭/상회.

• 미적용 이유: harness-engineering-paradigm·adaptive-harness-open-ended-streams("system scaling > model scaling")의 실증 — 모델 파라미터가 아니라 에이전트 실행 지평(harness)을 키우는 것이 long-horizon 성능을 좌우한다는 우리 핵심 명제를 35B=1T 결과로 뒷받침. 단 본 논문은 *모델 훈련*(distillation 레시피·trajectory 데이터) 사이드라 하네스 운영 hands-on actionability는 약함 — 개념적 뒷받침 자산, harness/system-scaling 클러스터 보강 노트
• 5축: 해당 없음 (노트 — harness/system-scaling 클러스터)

PAT(Paper Assistant Tool) + LLawCo — AI 과학 리뷰를 4단계 인간-AI 협업 taxonomy로 자동화(inference scaling으로 단일 호출보다 깊은 결함 탐지) / embodied MAS가 과거 실패 반성→행동 법칙("Talk when necessary")을 SFT로 CoT에 주입해 파트너·환경과 정렬 arXiv

2606.28277 PAT: 인간 peer review가 AI-보조 과학의 유입을 못 따라감 → 검증·리뷰 자체를 AI로 가속, 4단계 협업 taxonomy + agentic 프레임워크가 전체 manuscript를 ingest해 이론·실험 검증·결함 식별(inference scaling으로 단일 호출보다 깊은 이슈 탐지). 2606.28182 LLawCo: 분산·부분관측 embodied MAS에서 파트너/환경과 misaligned 행동 → 과거 실패 반성으로 행동 법칙 추출("Wait for partner")해 SFT로 CoT에 명시 주입.

• 미적용 이유: PAT(AI 리뷰 자동화·inference scaling으로 깊은 결함)는 verification-horizon-proxy-coevolution·judge-as-optimizer-hardening·evaluator-committee-bias-contagion·llm-council-pattern·code-review-patterns와 의미중복(단일 호출보다 깊은 검증=다중 판관·inference scaling). LLawCo(실패 반성→행동 법칙→SFT 주입)는 experience-learning-execute-distill-verify·execution-path-crystallization·fine-grained-mas-credit-assignment·distill-examples-to-instructions와 중복+embodied SFT 도메인 특화 — eval/cooperation-distillation 클러스터 보강 노트
• 5축: 해당 없음 (노트 — eval/cooperation-distillation 클러스터)

From Tokens to States + Mechanism-Driven Monitors — LLM은 world model의 degenerate special case(NTP→JEPA 연속 스펙트럼), 이분법이 아니다 / training instability를 모듈 기능 역할 기반 내부 모니터로 loss 발산 수천 step 전에 선제 탐지 arXiv

2606.28127: "LLM은 토큰 예측·world model은 현실 시뮬"의 이분법은 불필요 — LLM은 world model의 degenerate special case(상태공간=토큰 시퀀스, 액션=토큰 1개 append), NTP→multi-token→future-summary→next-latent→JEPA 연속 스펙트럼. 2606.28116: frontier 훈련 불안정은 fault 후에도 loss/gradient가 정상으로 보이며 수천 step 지속 → 모듈 기능 역할 기반 내부 모니터(flash-attn QK spectral entropy·MoE router)로 loss 발산 전 선제 탐지.

• 미적용 이유: From Tokens to States는 이론적 framing(world model 스펙트럼)이라 하네스 hands-on actionability 없음 — 개념 자산. Mechanism-Driven Monitors(내부 모니터로 발산 전 선제 탐지)는 white-box-evidence-guided-optimization(내부 상태 질의)·active-investigation-fault-attribution·doom-loop-detection-pattern과 원리 동형이나 RL 훈련 인프라 특정(QK entropy·MoE router) — 우리 운영 직접 적용 약함, theory/training-infra 클러스터 보강 노트
• 5축: 해당 없음 (노트 — theory/training-infra 클러스터)

GitHub 신호(인증 스캔) — topic 4분류 megastar 재등장(hermes-agent·ECC·learn-claude-code·cc-switch·ui-ux-pro-max·claude-mem·caveman) + 신규 도메인 앱(career-ops·Agent-Reach·cherry-studio·daily_stock_analysis). 구루 anthropics(anthropic-cli)·yoheinakajima(activegraph) 기수확/도메인 특화 anthropics

GH topic 4분류(ai-agent·llm-tools·claude-code·autonomous-agent, 인증 검색): 대부분 기적용 megastar 재등장 — hermes-agent·affaan-m/ECC·learn-claude-code·cc-switch·ui-ux-pro-max·claude-mem·caveman. 신규 앱(career-ops·Panniantong/Agent-Reach·cherry-studio·daily_stock_analysis·CowAgent)은 도메인/제품 특화. 구루GH(인증): anthropics(anthropic-cli·claude-plugins-community/official·knowledge-work-plugins 전부 기수확), yoheinakajima(activegraph 122차 기수확).

• 미적용 이유: megastar 재등장군 전부 기적용. career-ops는 cross-cli-skill-portability·practitioner-curated-skills, Agent-Reach는 browser-automation-crystallization·structured-knowledge-mcp, cherry-studio/CowAgent는 agent-desktop-convergence·minimal-bash-agent-harness, daily_stock_analysis는 도메인 특화로 의미중복. anthropic-cli는 단순 API CLI, claude-plugins는 skill-audit-pipeline·official-plugin-manifest-standard 기수확 — GitHub 보강 노트(소스 커버리지 강제 충족, arxiv-only 드리프트 회피)
• 5축: 해당 없음 (노트 — GitHub/구루 보강)

Democratic ICAI + Cluster·Route·Escalate — preference 선택만으론 그 선택을 형성한 rationale을 못 잡음(persona debate로 추출) / 쿼리 cluster→cheapest 라우팅→QE cascade로 escalate(97-99% 정확도 유지·TPOT↓) arXiv

2606.28294 Democratic ICAI: pairwise label은 *최종 선택*만 드러내고 그 선택을 형성한 고려사항(reasoning)을 못 잡음 — 구조화된 persona debate로 경쟁 rationale 수집 → 더 명확한 steering principle 도출(creative preference 벤치 faithfulness↑). 2606.27457 Cluster·Route·Escalate(HF 06-29): 2-stage cascade — 쿼리 cluster→가장 비용효율 모델 라우팅, low-quality면 강한 모델로 escalate(97-99% 정확도 유지).

• 미적용 이유: Democratic ICAI(preference→debate→principle)는 implicit-feedback-preference-signal(명시 피드백 부재≠신호 없음)·llm-council-pattern(다중 모델 debate)·evaluator-committee-bias-contagion(위원회)·distill-examples-to-instructions(예시→지시 증류)·probe-and-refine-guidance-tuning과 의미중복(debate=토큰↑·HARD전환 약함). Cluster·Route·Escalate(cost-aware cascade)는 complexity-tier-model-routing·cost-aware-model-routing·hierarchical-local-first-recovery(로컬 우선→escalate)·agent-least-privilege-tool-selection(저권한 우선)·provider-fallback-circuit-breakers와 정면 중복 — preference/routing 클러스터 보강 노트
• 5축: 해당 없음 (노트 — preference/routing 클러스터)

Tandem RL + Epi2Diff — 강한 senior가 frozen weaker junior가 따라올 수 있게 co-generate(RLVR이 능력은 키워도 약한 소비자가 harness 못함) / reasoning trace를 functional episode 시퀀스로 구조화해 해석가능 신호 추출 arXiv

2606.28166 Tandem RL: RLVR이 reasoning을 idiosyncratic 패턴(가독성↓·언어 혼합)으로 drift → 강한 senior가 frozen weaker junior와 팀으로 보상받아 junior가 따라올 수 있게 reason(능력↑이 소비가능성과 분리). 2606.28186 Epi2Diff: LRM reasoning trace를 functional problem-solving state(episode) 시퀀스로 구조화 → reasoning scale·effort·state transition으로 난이도 모델링(텍스트보다 해석가능).

• 미적용 이유: Tandem RL은 RLVR training 영역(senior-junior co-generate)이라 우리 하네스 hands-on 적용 약함 — 원리(능력↑≠소비가능성)는 co-failure-ceiling-multi-model·verification-horizon-proxy-coevolution과 약하게 연결되나 RL 세팅에 강하게 묶임. Epi2Diff(trace→episode 구조화)는 active-investigation-fault-attribution(세그먼트 검색)·context-as-action-management(구조화 필드)·binary-question-decomposed-evaluation과 의미중복+교육 평가 도메인 특화 — RL/reasoning-trace 클러스터 보강 노트
• 5축: 해당 없음 (노트 — RL/reasoning-trace 클러스터)

GitHub 신호 — GH topic 4분류 대부분 기적용 megastar 재등장(hermes-agent·ECC·GenericAgent·evolver·autoresearch·cc-switch·claude-mem). 신규성 후보(career-ops·Agent-Reach·LLMOps) 기존 패턴 중복. 구루GH는 비인증 rate-limit로 0건 santifer

GH topic 4분류(ai-agent·llm-tools·claude-code·autonomous-agent): 대부분 기적용 megastar 재등장 — hermes-agent·everything-claude-code·GenericAgent·EvoMap/evolver·autoresearch·cc-switch·claude-mem. 신규성 후보(career-ops·Agent-Reach·latitude/Agenta)는 cross-cli-skill-portability·browser-automation-crystallization·llm-observability-infrastructure와 중복. 구루GH(yoheinakajima·hwchase17·anthropics)는 비인증 API rate-limit로 0건(best-effort 실패, 다른 소스 대체 안 함).

• 미적용 이유: topic 4분류 megastar 전부 기적용, 신규 앱(career-ops=14 skill modes·Agent-Reach=인터넷 read/search·latitude/Agenta=LLMOps)은 cross-cli-skill-portability·practitioner-curated-skills·structured-knowledge-mcp·llm-eval-as-ci-gate와 의미중복. 구루GH rate-limit는 best-effort 실패(소스 커버리지 강제 — arxiv-only 드리프트 회피했으나 GH는 비인증 한계) — GitHub 보강 노트
• 5축: 해당 없음 (노트 — GitHub/구루 보강)

Agent-Native Immune System(ANIS) + SingGuard — 런타임 hijacking(메모리 포이즌·툴체인 조작·다중에이전트 프로토콜 공격)은 외부 방어로 못 막는다. 6층 Immune Tower + Barrier Immunity(물리·논리 격리) + 정책-적응 멀티모달 가드레일 arXiv

2606.28270 ANIS: perimeter security·training-time alignment는 에이전트의 active reasoning loop 밖이라 런타임 hijacking에 취약 — 6층 Immune Tower(L0-L5) + Barrier Immunity(L1, 비인지 물리·논리 격리) + Agent Viruses/Vaccines 분류 + Harness Triad(Meta/Self/Auto). 2606.22873 SingGuard(HF 06-29 ★8): 동적 추론 기반 정책-적응 멀티모달 가드레일.

• 미적용 이유: ANIS의 "비인지 격리 계층"은 execution-time-authorization-layer(in-runtime 제어=escapable→주소공간 밖 강제)와 정면 중복(오히려 후자가 더 엄밀), 나머지(Viruses/Vaccines 분류·Harness Triad)는 agent-skill-security-scanning·compaction-governance-decay·defensive-misdirection-over-block·memory-governance-multi-principal과 의미중복. SingGuard도 probabilistic-policy-verification과 중복 — security/defense 클러스터 보강 노트로 보존
• 5축: 해당 없음 (노트 — security/defense 클러스터)

HORIZON — Markdown harness를 project pack(도메인 지식+실행 가능 evaluator+acceptance predicate+git/runtime 정책)으로 컴파일, hands-free 루프가 격리 git worktree를 진화(repo ops로 상태·트레이싱·replay). repository-level self-evolution arXiv

2606.28279: 하드웨어 설계를 repository-level code evolution으로 취급 — Markdown harness → project pack(domain knowledge + executable evaluator + acceptance predicate + git/runtime policy), hands-free agent loop이 격리 git worktree를 진화하며 repository 연산으로 state/tracing/replay. ChipBench·RTLLM 등에서 100% 완주. 우리 patterns의 독립 수렴 확인.

• 미적용 이유: "Markdown harness → project pack(지식+evaluator+acceptance predicate+정책)"은 meta-skill-team-factory·acceptance-criteria-completion과, worktree 진화+repo state/replay는 worktree-parallel-agents·persistent-file-based-planning·durable-agent-workflow·event-sourced-reactive-graph-runtime·declarative-workflow-crystallization과 정면 중복 — 우리 하네스 설계의 외부 독립 수렴 확인(harness self-evolution 클러스터) 보강 노트
• 5축: 해당 없음 (노트 — harness self-evolution 클러스터)

GitHub 신호 — megastar 재등장(hermes-agent ★205K·ECC ★223K·GenericAgent·evolver·autoresearch·cc-switch·ui-ux-pro-max·claude-mem) + 신규 앱(santifer/career-ops ★56K·Panniantong/Agent-Reach·latitude-llm·Agenta). 구루GH는 rate-limit santifer

GH topic 4분류(ai-agent·llm-tools·claude-code·autonomous-agent): 대부분 기적용 megastar 재등장 — hermes-agent·ECC·GenericAgent·EvoMap/evolver·autoresearch·cc-switch·ui-ux-pro-max·claude-mem. 신규성 후보: santifer/career-ops(Claude Code 14 skill modes), Panniantong/Agent-Reach(에이전트에 인터넷 read/search), latitude-llm·Agenta(LLMOps). 구루GH(yoheinakajima·hwchase17·anthropics)는 비인증 API rate-limit로 0건.

• 미적용 이유: career-ops는 cross-cli-skill-portability·practitioner-curated-skills·scenario-based-skill-management와, Agent-Reach는 browser-automation-crystallization·structured-knowledge-mcp와, latitude/Agenta는 llm-observability-infrastructure·llm-eval-as-ci-gate와 의미중복. megastar 재등장군 전부 기적용. 구루GH rate-limit는 best-effort 실패(다른 소스로 대체 안 함) — GitHub 보강 노트
• 5축: 해당 없음 (노트 — GitHub/구루 보강)

Process reward 무료 점심 — RL post-training의 progress advantage(log-prob ratio = 최적 advantage)로 annotation-free step-level scoring · OPID 온-폴리시 스킬 증류(episode/step 계층 hindsight) arXiv

2606.26080: 에이전트용 process reward model은 (long-horizon·비가역·확률적 피드백) 구축이 어렵지만, RL post-training이 이미 step-level scoring 재료를 제공 — progress advantage(정책/참조 log-prob ratio = 최적 advantage)로 annotation-free·domain-agnostic, test-time scaling·불확실성·failure attribution에 검증. 2606.26790 OPID: 완료된 on-policy trajectory에서 episode-level(워크플로우·실패회피)+step-level(임계 결정) 계층 스킬 추출, critical-first routing.

• 미적용 이유: 둘 다 RL 훈련 파이프라인 특정(progress advantage·on-policy 증류) — 우리 하네스 운영 직접 actionability 낮음. 핵심 전이(완료 궤적 hindsight를 episode/step 스킬로·failure attribution)가 execution-path-crystallization·agent-skill-compounding·experience-learning-execute-distill-verify·active-investigation-fault-attribution·scored-agent-benchmarks와 의미중복 — training/skill-distillation 클러스터 보강 노트로 보존
• 5축: 해당 없음 (노트 — process reward / skill-distillation 클러스터)

Prompt Injection in Résumé Screening — LLM 랭커는 조작이 드물고 후보 품질차가 작을 때 가장 취약, 조작이 만연하면 효과 붕괴 arXiv

LLM이 지원자를 선별·랭킹하는 자동 채용에서 self-promotional prompt injection은 품질이 균질하고 소수만 주입할 때 랭킹을 안정적으로 올리지만, 주입이 만연하면 효과 붕괴. 후보 품질이 이질적이면 평균 효과는 작으나 저품질이 고품질을 앞서는 공정성 우려. LLM 랭킹은 조작이 드물고 품질차가 작을 때 가장 취약.

• 미적용 이유: 도메인(résumé 랭킹) 특정 + 핵심 전이("LLM-as-ranker는 드문 주입·작은 품질차에 가장 취약")가 defensive-misdirection-over-block(예측 가능 거부=신호 누출)·evaluator-committee-bias-contagion(단일 judge 편향)·agent-skill-security-scanning(injection 스캔)·in-context-demos-not-neutral과 의미중복 — security/ranking-injection 클러스터 보강 노트로 보존
• 5축: 해당 없음 (노트 — security/ranking-injection 클러스터)

GitHub 신호 — HKUDS/nanobot(경량 오픈소스 agent harness, ★44.8K)·zhayujie/CowAgent(태스크 계획+도구 실행 agent harness, ★45.6K)·santifer/career-ops(Claude Code 14 skill modes, ★56K)·hwchase17/stagehand(browser agents SDK) HKUDS

GH topic ai-agent: HKUDS/nanobot(lightweight agent for tools/chats/workflows)·zhayujie/CowAgent(plans tasks, runs tools, "Agent Harness")·santifer/career-ops(Claude Code 기반 14 skill mode job-search)·NousResearch/hermes-agent(★204K, 재등장). 구루 GH: hwchase17/stagehand(browser agents SDK)·harbor(agent eval+RL env, 137차 노트)·yoheinakajima/activegraph(★331, 122차 적용).

• 미적용 이유: nanobot/CowAgent는 minimal-bash-agent-harness·open-reference-harness-architecture·deep-agents-harness-primitives와, career-ops는 cross-cli-skill-portability·practitioner-curated-skills·scenario-based-skill-management와, stagehand는 browser-automation-crystallization·webapp-testing·computer-use-agent-infra와 의미중복 — megastar 재등장군(hermes-agent=48차 등 기적용) 보강 노트
• 5축: 해당 없음 (노트 — GitHub/구루 보강)

When are likely answers right? — 시퀀스 확률은 데이터셋 내 정답 예측엔 유효하나 디코딩 결정·동일 프롬프트 반복 응답엔 무효, verifier-free self-improvement·self-consistency 가이드 arXiv

시퀀스 확률(continuation의 조건부 확률)과 정답성의 관계를 4수준 정량화: 데이터셋 내 prompt-answer 쌍에선 높은 확률이 정답 예측에 유효하나, 디코딩 결정(하이퍼파라미터·방법 변경으로 확률↑)엔 정확도 개선 안 됨, 동일 프롬프트 반복 응답 순위에도 무효. 우리 reward-score-oversensitivity-discretization(연속 점수 신뢰 주의)·verification-horizon-proxy-coevolution(verifier=proxy)·llm-detector-calibration-not-comprehension(점수≠능력)의 verifier-free self-improvement 가이드 보강 노트.

• 미적용 이유: 핵심 전이("확률을 정답 신호로 최적화·랭킹 금지")가 reward-score-oversensitivity(연속 점수 미세차 신뢰 금지)·verification-horizon(verifier는 proxy)·llm-detector-calibration(점수≠추론)과 의미중복 — 신규 rule 대신 calibration/verifier-free 클러스터 보강 노트로 보존
• 5축: 해당 없음 (노트 — calibration/verifier-free self-improvement 클러스터)

GitHub 신호 — hwchase17/harbor(agent eval·RL 환경 프레임워크, 신규)·google-labs-code/design.md(coding agent용 visual identity 포맷 스펙, ★2.7K)·DeusData/codebase-memory-mcp(코드 지식그래프 MCP, ★8K) hwchase17

구루 GH: hwchase17/harbor(framework for agent evaluations + RL environments, 06-01 신규) — agent eval 프레임워크. GH trending: google-labs-code/design.md(coding agent에게 visual identity를 기술하는 포맷 스펙) · DeusData/codebase-memory-mcp(코드베이스를 영속 knowledge graph로 인덱싱하는 MCP) · stablyai/orca(병렬 에이전트 ADE) · BuilderIO/agent-native(agent-native 앱 프레임워크).

• 미적용 이유: harbor는 benchmark-gated-self-improvement·scored-agent-benchmarks·llm-eval-as-ci-gate와, design.md는 web-ui-design·document-native-agent-ui·anti-slop-design-taste와, codebase-memory-mcp는 bi-temporal-structural-memory·graph-rag-codebase-indexing·content-graph-precise-context와 의미중복 — 기존 규칙 보강 노트(megastar 재등장군: ECC·hermes-agent·cc-switch·claude-mem·caveman·graphify·addyosmani 전부 기적용)
• 5축: 해당 없음 (노트 — GitHub/구루 보강)

Running the Gauntlet / GauntletBench — 현재 에이전트 벤치마크는 단순 task에 saturate되어 한계를 못 짚는다, underexplored 차원(temporal·graphical·3D)에선 SOTA 19.1% vs human 80%+ arXiv

기존 벤치마크는 인기 앱의 단순 task에 치우쳐 modern agent에서 saturate되며 한계를 못 짚는다 → temporal perception·graphical understanding·3D reasoning 등 underexplored 차원 100 task로 평가 시 SOTA 19.1% vs 비전문가 human 80%+. 우리 eval-predictive-validity(집계 점수≠배포·in-sample≠OOD)·adaptive-harness-open-ended-streams(고정 harness 드리프트 실패)·eval-language-diversity-transfer(단일 벤치마크 collapse)의 경험적 backbone — eval-saturation 클러스터 보강 노트.

• 미적용 이유: 핵심 전이("saturated 벤치마크가 한계를 숨긴다 → OOD/underexplored 차원으로 평가")가 eval-predictive-validity(in-sample≠OOD)·adaptive-harness-open-ended-streams(고정 harness 실패)·eval-language-diversity-transfer(단일 벤치마크 collapse)와 의미중복 — 신규 rule 대신 eval-saturation 클러스터 경험적 보강 노트로 보존
• 5축: 해당 없음 (노트 — eval-saturation 클러스터 backbone)

Why Multi-Step Tool-Use RL Collapses — control 토큰의 확률 spike가 structured execution을 교란하나 도구 능력 자체는 온전(133차 Tool Suppression의 훈련 도메인 동형) arXiv

agentic RL이 일부 모델에서 catastrophic collapse(tool-invocation 구조 붕괴) → 분석상 특정 control 토큰의 예기치 않은 확률 spike가 structured execution을 교란하나 도구 사용 능력 자체는 온전(특정 format에 가려짐), SFT를 RL과 interleave하면 안정화. 133차 structured-output-tool-suppression(Tool Suppression/CPI — 제약 토큰이 도구호출을 unreachable로)의 훈련(RL) 도메인 동형이라 신규 rule 대신 Tool Suppression 클러스터 보강 노트. 동반 노트 GUI vs CLI(2606.24551, up5)는 CLI 병목이 모델 능력이 아니라 skill coverage(verifier-guided augmentation으로 48.2%→69.3%)임을 보여 tool-ecosystem-planning-visibility(128차)·agent-least-privilege-tool-selection(131차)와 정합이나 computer-use 도메인.

• 미적용 이유: 핵심 전이(control 토큰 spike가 도구 구조를 교란하나 능력은 온전·format에 가려짐)가 133차 structured-output-tool-suppression(스키마 grammar mask가 도구호출 토큰을 unreachable로·CPI)와 동형 — 추론(decoding) 시점 vs 훈련(RL) 시점의 같은 현상이라 신규 rule 대신 Tool Suppression 클러스터 보강 노트. GUI vs CLI도 tool/skill coverage 클러스터와 부분 중복이라 노트
• 5축: 해당 없음 (노트 — Tool Suppression 클러스터 훈련 도메인 보강)

Confidence-Aware Tool Orchestration — 비디오 추론은 모든 입력 프레임을 동등하게 신뢰한다는 가정(Blind Trust Problem) 하에 현실 교란에서 15~30%p 급락, reliability score로 입력 신뢰도 차등 arXiv

모션블러·글레어·오클루전 등 현실 교란에서 프런티어 비디오 추론 모델 15~30%p 정확도 급락 → evidence interface + reliability-relevance score + confidence-cost GRPO로 프레임별 신뢰도 차등. 우리 risk-weighted-verification-budget(위험도 비례 검증)·multi-view-lossy-tool-analysis(lossy 도구 단일 view 신뢰 금지)·probabilistic-policy-verification(실패확률 술어 sound 상한)의 입력 신뢰도 차등 일반화 — 비디오 도메인 특화+부분 중복이라 노트.

• 미적용 이유: 핵심 전이(모든 입력을 동등 신뢰 금지, 신뢰도로 차등 가중)가 risk-weighted-verification-budget(위험 비례 노력)·multi-view-lossy-tool-analysis(단일 view 신뢰 금지)·probabilistic-policy-verification과 부분 중복 — 신규 rule 대신 입력-신뢰도 클러스터 강화 노트. 동반 노트 OPID(2606.26790, dense token-level supervision으로 sparse reward의 중간 결정 안내 부재 해결)는 active-investigation-fault-attribution·experience-learning-execute-distill-verify와 정합이나 훈련 도메인
• 5축: 해당 없음 (노트 — 입력 신뢰도 차등 클러스터 경험적 보강)

Plans Don't Persist: Why Context Management Is Load Bearing for LLM Agents — 표준 에이전트는 plan을 persistent state로 carry forward하지 않고 plan이 컨텍스트에 남아있는 것에 의존(한 스텝에 4.1~12.4x 급감) arXiv

replay-pairing 진단(plan 유무 동일 trajectory 실행 후 hidden-state cosine 측정): Llama-3.1-70B plan signal 0.453 spike 후 한 action-observation 스텝에 4.1x 급감(HotpotQA 12.4x) → 에이전트는 plan을 내재화하지 않고 컨텍스트 잔존에 의존. persistent-file-based-planning(디스크·재주입)·context-as-action-management(126차)·compaction-governance-decay(122차)의 경험적 backbone + evict 전 load-bearing A/B 검증 아이디어 — 컨텍스트 관리 클러스터와 부분 중복이라 노트.

• 미적용 이유: 핵심 전이(plan은 내재화되지 않으니 visible 유지/재주입, evict 전 replay-pairing으로 load-bearing 검증)가 persistent-file-based-planning(Read-Before-Decide 재주입)·compaction-governance-decay(압축 후 제약 생존 검증)·context-as-action-management(핵심 사실 보존 fold)와 부분 중복 — 신규 rule 대신 클러스터 강화 노트로 보존
• 5축: 해당 없음 (노트 — 기존 컨텍스트 관리 규칙의 경험적 근거 보강)

소스 포화 라운드 — 신규 rule 부재, fabricate 거부(harness-benefit-not-update · anti-Goodhart)

전 5소스(GitHub trending/topic·구루 GitHub·HF 일별 논문·arXiv firehose) 재조회 결과 rule 부재·loopy-era 전이 높은 신규 후보 0건. arXiv 2606.26xxx(06-24) 배치는 130·131차가 이미 mining(2건 적용), HF 06-26 미발행, 나머지는 전부 도메인/훈련/의미중복. 변경≠이득 원칙으로 약한 후보 강제 적용 없이 0건 종료.

• 분석: 잔여 arXiv 15편 abstract 정독 평가 — DT²(2606.25923)는 eval-predictive-validity, Detect-Unlearn-Restore(2606.26036)는 experience-learning-execute-distill-verify·agent-skill-security-scanning, RevengeBench(2606.26094)는 white-box-evidence-guided-optimization, Weave of Formal Thought(2606.25987)는 typed-llm-function-parsing로 의미중복, 나머지(OCR/VLA/tabular MIA/control/RL)는 도메인. GitHub·구루도 전부 기존 rule 수렴. seen.json 14편 기검토·1편만 신규
• 미적용 이유: harness-benefit-not-update(변경≠이득)·acceptance-criteria-completion(anti-Goodhart: 자기 기준 통과용 fabricate 금지)·cross-batch-evidence-accumulation(단발 약신호로 승격 금지) — streak 유지 목적의 강제 rule 생성은 정확히 시스템이 경고하는 Goodhart 실패
• 다음: HF 06-26 발행 + arXiv 06-25 announce 배치 출현 시 재평가. 구루 GitHub·trending은 수렴 상태 지속 모니터
• 5축: 해당 없음 (0 적용 — 정직한 포화 기록)