메타프롬프팅 — 같은 일을 두 번 시키지 않는 프롬프트의 결

메타프롬프팅이란

같은 일을 두 번 시키지 않게 만드는 프롬프트의 결. 한 번 짠 프롬프트가 다음 번에
재사용될 수 있게, 그리고 그 재사용 자체가 절차 위에서 점검되도록 짜는 결이다.

핵심은 프롬프트가 도구인가 절차인가의 구분이다. 한 번의 작업을 끝낼 도구라면
짧고 분명하면 충분하다. 같은 작업이 분기마다 반복되는 절차라면 다른 결이
필요하다 — 평가셋이 같이 따라붙고, 운영 로그가 누적되고, 분기마다 회귀 검증이
돈다.

작은 실험 — 사이트 노트 톤 일관성

이 사이트의 노트는 매주 1편 발행된다. 4주차에 노트 톤이 흔들리는지를 같은
프롬프트로 검증할 수 있는가?

작은 평가셋을 만들었다. 노트 4편을 무작위 순서로 LLM에게 보여주고,
같은 사람이 쓴 글로 보이는지 5점 척도로 답하게 한다. 4편의 톤이 일관되면
4점 이상, 흩어지면 2점 이하. 같은 작업을 페르소나가 다른 4종의 LLM에게
반복해서 변동을 잡는다.

이 평가셋은 노트 발행 워크플로우에 묶여 있어서, 매주 발행 직후 자동으로 돈다.
3점 이하 결과가 두 번 연속 나오면 다음 노트 작성 시 톤 가이드를 한 줄 추가하는
PR을 자동 제안.

평가셋이 본체에 가까운 이유

프롬프트 자체보다 평가셋이 본체에 더 가깝다. 프롬프트는 매번 변해도 평가셋이
같으면 같은 자리에서 측정이 이어진다. 운영 중인 프롬프트의 진화 흔적은
모두 평가셋의 어떤 항목을 통과시키기 위한 시도였다.

이 실험은 진행 중이다. 6편 더 누적되면 패턴이 보일 것이다.

다음

• 평가셋 항목별 통과율의 분포 — 어느 항목이 가장 자주 막히는지
• 페르소나별 변동의 폭 — 같은 글에 대해 LLM별로 점수가 얼마나 다른지
• 프롬프트 진화 흔적 — 분기마다 어떤 한 줄이 추가·삭제되는지

연구소 라인은 반쪽짜리 실험도 환영하는 자리다. 출시까지 가지 않는 곁가지도 여기 노출한다.