하루에 한 번 돌리는 쿼리, 정말 믿을 수 있을까?

최근 AI 검색 가시성 업계에서 "프롬프트를 하루에 한 번만 실행하는 측정 방식은 신뢰할 수 없다"는 논쟁이 뜨겁습니다. 체인시프트는 이 질문에 시뮬레이션이나 추정이 아닌 한국 시장의 실측 데이터로 답했습니다. 동일한 프롬프트 세트를 실제로 하루 10회 실행하는 캠페인과 하루 1회 실행하는 캠페인을 같은 기간에 병행 운영해 실측값끼리 직접 비교했고, 여기에 같은 날의 10런 중 1런만 무작위로 남기는 재표집 실험을 교차 검증으로 더했습니다.

미리 분명히 해둘 것이 있습니다. 이번 분석은 개별 프롬프트의 응답이 안정적이라는 것을 보여준 것이 아닙니다. 동일한 프롬프트를 반복 실행하면 응답과 인용 출처가 달라지는 현상은 분명히 존재했습니다. 다만 약 635개 프롬프트와 5개 모델을 포트폴리오 수준으로 집계했을 때, 하루 1회와 하루 10회 측정 사이에서 가시성과 인용출처 구성비의 실무적으로 큰 차이는 관측되지 않았습니다.

포트폴리오 수준으로 집계한 '비율형 KPI'에서는 하루 1회와 하루 10회 측정이 실무적으로 유사한 결과를 보였다. 인용출처 믹스의 총변동거리는 2.3pp, 효과크기(Cramér's V)는 0.025에 그쳤고, 가시성은 실측 병행 비교에서 차이 1.1pp(주제 순위 상관 ρ=0.91), 같은 날 10런 중 1런만 남기는 재표집 실험에서는 13개 주제 모두 편차의 중앙값이 0에 가까웠으며 절대편차의 95백분위는 최대 0.7pp였다.

다만 모든 지표가 그런 것은 아닙니다. '얼마나 많은 소스를 발견하는가'를 묻는 발굴형 지표는 실행 횟수에 크게 영향을 받습니다. 하루 10회 실행은 1회 대비 고유 URL을 2.1배, 고유 호스트를 1.7배 더 포착했습니다. 따라서 이번 결과는 "모든 측정은 하루 1회면 충분하다"는 결론이 아니라, 포트폴리오 수준의 비율형 KPI와 개별 프롬프트·발굴형 지표에 서로 다른 수집 설계가 필요하다는 근거로 해석해야 합니다.

1. 발단: "하루 한 번이면 충분한가"라는 업계의 오래된 불안

ChatGPT에 같은 질문을 두 번 던지면 두 번 다 다른 답이 돌아옵니다. LLM은 확률적으로 토큰을 샘플링하는 비결정적(non-deterministic) 시스템이기 때문입니다. 이 성질은 AI 검색 가시성을 측정하는 모든 도구에 근본적인 질문을 던집니다. "프롬프트를 하루에 한 번만 실행해서 얻은 숫자를 믿어도 되는가?"

이 질문은 최근 글로벌 AEO/GEO 업계에서 정면으로 충돌하는 두 진영을 만들었습니다. 한쪽에서는 "많은 GEO 플랫폼이 충분히 샘플링하지 않아 허용 불가능한 오차범위의 데이터를 남긴다"고 비판합니다. 실제로 Evertune의 분석에 따르면 단일 프롬프트를 5회만 반복하면 브랜드 가시성 점수의 오차범위가 ±27pp에 달하고, 100회는 반복해야 ±6pp 수준으로 조밀해집니다 . 개별 프롬프트 수준에서 보면 이 지적은 통계적으로 타당합니다.

반대편에는 하루 1회 실행 방식으로 가장 널리 알려진 프로파운드(Profound)가 있습니다. 프로파운드의 Josh Blyskal은 약 100만 개의 AI 응답과 660만 건의 인용을 분석해 반박했습니다. 753개 프롬프트 포트폴리오를 7개 모델에서 14일간 하루 1회와 하루 10회로 병행 실행한 결과, citation share는 각각 10.24%와 9.99%로 차이가 단 0.25pp였다는 것입니다 . 공정하게 덧붙이면, 프로파운드도 반복이 전혀 효과가 없다고 말한 것은 아닙니다. 같은 분석에서 10회 반복은 일별 citation share 변동 폭을 약 0.36pp에서 0.21pp로, 약 40% 줄였습니다. 다만 애초의 변동 폭 자체가 작았기에 포트폴리오 수준의 절대 차이는 0.25pp에 그쳤다는 것이 핵심입니다. 그의 논지는 간명합니다. 개별 프롬프트는 불안정해 보여도, 프롬프트 포트폴리오 자체가 이미 강력한 평균화 장치라는 것입니다.

"SEO 순위 추적기는 잘못된 키워드 세트를 더 자주 새로고침한다고 해서 시장을 더 잘 대표하게 되지 않는다. 프롬프트 추적도 마찬가지다." — Josh Blyskal, Profound

그렇다면 누구 말이 맞을까요? 그리고 이 논쟁은 한국 시장, 한국어 프롬프트, 한국 브랜드에서도 같은 방식으로 성립할까요? 체인시프트는 추측이나 시뮬레이션 대신, 실제로 두 방식을 모두 돌려서 얻은 실측 데이터로 확인하기로 했습니다.

2. 실험 설계: 실측 병행 운영, 그리고 우연이 끼어들 틈을 막는 교차 검증

이번 분석의 출발점은 시뮬레이션이 아닙니다. 체인시프트는 동일한 프롬프트 세트를 실제로 하루 10회 실행하는 캠페인과 하루 1회 실행하는 캠페인을 같은 기간에 병행 운영했습니다. "10회 돌렸다면 어땠을까"를 수학적으로 추정한 것이 아니라, 둘 다 실제로 돌려서 나온 실측값끼리 비교한 것입니다.

다만 이런 류의 실측 비교에도 함정은 있습니다. 측정 기간이 어긋나면 시장 자체의 변화(기간 효과)가 빈도 효과처럼 보이고, 프롬프트 세트가 다르면 애초에 비교가 성립하지 않습니다. 그래서 실측 병행 비교를 중심에 두되, 이를 보강하는 교차 검증까지 두 겹의 체계를 설계했습니다.

표본 규모에 대해서도 투명하게 밝혀 둡니다. 두 캠페인이 수집한 인용 데이터는 통제 조건(공통 기간·공통 프롬프트 635개·동일 5개 모델) 적용 후 각각 253.5만 행과 54.9만 행, 합계 약 308만 행이었으며, 여기에 유효 라벨 조건까지 적용한 최종 분석 표본은 281만 행입니다. 가시성 분석에는 별도 측정본 81.2만 런을 사용했습니다.

여기서 통계 처리에 대해 한 가지 짚고 넘어갈 점이 있습니다. 표본이 수백만 건으로 커지면 실무적으로 거의 의미가 없는 미세한 차이도 매우 작은 p값을 만들 수 있습니다. 따라서 대규모 데이터에서는 단순히 "차이가 존재하는가"보다 "그 차이가 실제로 얼마나 큰가"를 함께 확인해야 합니다. 이번 분석에서는 p값만으로 결론을 내리지 않고 효과크기(Cramér's V, Cliff's δ)와 신뢰구간을 중심으로 해석했습니다. 또한 인용 행들은 같은 프롬프트에서 나온 것끼리 서로 닮는 군집상관이 있으므로, 프롬프트 단위 클러스터 부트스트랩 2,000회로 차이의 신뢰구간을 계산했고, 14개 출처 유형에 대한 다중 검정의 p값에는 Benjamini-Hochberg 방식으로 FDR 5% 보정을 적용해 다중 비교로 인한 거짓 발견을 통제했습니다. 등가성 판정에는 사전 정의한 실무적 허용 마진(±1pp, 보조 ±2pp)을 두고 편차의 95% 구간이 마진 안에 들어오는지 확인하는 TOST 논리를 사용했습니다.

3. 결과 1: 질의를 10배 늘려도 인용출처 믹스는 실질적으로 유사했다

AI 답변이 어떤 유형의 소스를 인용하는지(SNS, 블로그, 포털, 마켓플레이스, 공식 사이트 등 14개 유형)의 구성비를, 실제로 병행 운영한 하루 10회 캠페인과 하루 1회 캠페인의 실측 데이터에서 비교했습니다. 정확히 말하면 이 비교는 전체 수집 인용 행을 기준으로 집계한 출처 유형 구성비에 대한 것입니다.

카이제곱 동질성 검정 결과는 χ²=1,755, p<0.001로 "통계적으로 유의한 차이"가 검출됩니다. 하지만 이것이 바로 위에서 말한 대형 표본의 함정입니다. 효과크기로 보면 Cramér's V = 0.025로, 일반적으로 사용되는 경험적 기준(0.10 미만을 무시 가능 수준으로 보는 관례)과 비교해도 실질적 연관성이 매우 제한적인 수준입니다. 두 분포를 일치시키기 위해 옮겨야 하는 점유율 총량(총변동거리, TVD)은 2.3pp로, 사전 정의한 허용 마진 안에 들어왔고, Jensen-Shannon 거리(distance)는 0.028에 불과합니다.

유형별로 뜯어봐도 그림은 같습니다. 부트스트랩 신뢰구간 기준으로 BLOG(+0.75pp), PORTAL(−0.42pp), IN_HOUSE(−0.48pp), COMMUNITY(+0.67pp) 등 일부 유형에서 유의한 차이가 확인되지만, 절대 크기는 모두 1pp 안팎입니다. 하루 10회씩, 19일간, 프롬프트 635개를 5개 모델에 돌려 수백만 행의 인용을 모아도, 하루 1회 캠페인이 그린 믹스 구조와 실질적으로 유사한 그림이 나온다는 뜻입니다.

한 가지 정직하게 덧붙이면, 이 비교(A)는 두 캠페인이 질의 빈도 외의 수집 설정에서도 다를 수 있는 관찰 비교입니다. 따라서 우리는 관측된 2.3pp를 순수한 빈도 효과로 인과 해석하지 않습니다. 빈도만의 효과를 분리해 확인하는 작업은 다음 섹션의 재표집 실험이 담당합니다.

4. 결과 2: 포트폴리오 수준의 가시성은 실행 빈도에 크게 좌우되지 않았다

인용출처 믹스보다 더 많은 팀이 매일 확인하는 지표는 가시성(visibility), 즉 AI 답변에서 우리 브랜드가 언급되는 비율입니다. 이번 분석에서는 캠페인 간 비교의 한계까지 줄이기 위해, 한 단계 더 엄격한 검증을 수행했습니다.

먼저 분명히 할 점은, 이번 실험 역시 모두 실제 운영 데이터를 기반으로 했다는 것입니다. 체인시프트는 동일한 프롬프트 세트를 대상으로 하루 10회 실행하는 캠페인과 하루 1회 실행하는 캠페인을 실제 운영했습니다. 여기에 더해, 하루 10회 실행한 실측 데이터에서 매일·프롬프트·모델별로 10번의 실행 중 1번만 무작위로 선택해 하루 1회 측정을 가상으로 재현하는 재표집 실험을 2,000회 반복했습니다.

이렇게 실제 10회 캠페인, 실제 1회 캠페인, 실제 10회 데이터를 이용한 2,000회의 재표집 실험이라는 세 가지 관점에서 결과를 교차 검증했습니다. 특히 재표집 실험은 같은 날짜의 실측값만 사용하므로 시장 변화나 시간의 흐름 같은 기간 효과가 제거되고, 10회 평균 대신 1회를 표집할 때 발생하는 측정 오차를 분리해 평가할 수 있는 설계입니다.

결과는 매우 일관적이었습니다. 2,000회의 재표집에서 13개 제품 주제 모두 편차의 중앙값이 0에 가까웠으며, 절대편차의 95백분위는 최대 0.7pp로 모든 주제에서 1pp 미만이었습니다. 다시 말해, 하루 10번 실행했을 때의 가시성과 하루 1번 실행했을 때의 가시성은 통계적 노이즈 범위 내에서 사실상 동일한 결과를 보였습니다.

실제 운영에서는 하루 10회에서 하루 1회로 수집 빈도를 변경한 시점의 전후를 단순 비교하면 가시성이 +1.0pp 차이 나는 것으로 나타났습니다. 언뜻 보면 "수집 빈도를 줄였더니 가시성이 달라졌다"고 해석하기 쉽습니다. 하지만 비교 기간을 조금 더 넓히자 차이는 오히려 +2.2pp로 커졌습니다. 만약 원인이 수집 빈도였다면 비교 기간을 바꿔도 비슷한 수준이어야 합니다. 이는 수집 빈도가 아니라 시간의 흐름 자체가 영향을 준 것임을 보여줍니다. 실제로 전체 기간을 보면 가시성은 6월 초 82.5%에서 7월 79%까지 완만하게 하락하는 추세를 보였습니다.

반면, 동일한 날짜의 실측 데이터만 사용한 재표집 실험에서는 가시성 편차가 거의 0으로 나타났습니다. 날짜를 완전히 동일하게 맞추면 시장 변화나 계절성 같은 외부 요인이 제거되기 때문에, 표집 횟수에 따른 집계 안정성을 분리해 확인할 수 있습니다. 이 결과는 앞서 보인 +1.0pp 차이가 수집 빈도가 아니라 기간 효과에서 비롯된 것임을 뒷받침합니다.

이 지점이 실무적으로 중요한 이유: 수집 정책을 변경한 시점에 KPI가 움직였다고 해서 곧바로 정책 효과라고 결론 내리면 잘못된 의사결정으로 이어질 수 있습니다. 시계열 데이터를 해석할 때는 반드시 추세와 기간 효과를 함께 통제해야 합니다.

마지막으로, 실제 병행 운영한 두 캠페인 역시 같은 결론을 보여줬습니다. 동일한 라벨링 기준과 공통 프롬프트 635개를 기준으로 비교한 결과, 10회/일 캠페인의 가시성은 80.4%, 1회/일 캠페인은 81.5%로 차이는 1.1pp, 13개 주제의 가시성 순위 상관은 ρ=0.91에 달했습니다. 즉, 실제 운영에서도 하루 10회와 하루 1회 캠페인은 사실상 동일한 가시성을 측정하고 있었습니다.

5. 그러나 모든 지표가 같지는 않다: '발굴'은 질의량의 함수

여기까지만 읽으면 "그럼 무조건 줄이면 되겠네"라는 결론으로 달려가기 쉽습니다. 하지만 데이터는 정반대 방향의 경고도 함께 보여줍니다.

다양성·발굴형 지표는 실행 횟수에 크게 영향을 받습니다. 하루 10회 캠페인은 1회 캠페인 대비 (일·프롬프트·모델)당 고유 호스트를 1.7배(10.1개 vs 6.1개), 고유 URL을 2.1배(19.3개 vs 9.1개) 더 포착했습니다. Mann-Whitney 검정의 효과크기 Cliff's δ는 0.43~0.46으로, 믹스 비교와 달리 뚜렷한 중간(medium) 효과입니다.

이 차이가 생기는 이유는 직관적입니다. LLM은 매 실행마다 조금씩 다른 소스 조합을 인용하므로, 실행 횟수가 늘어날수록 "한 번이라도 인용된 적 있는 소스"의 목록은 계속 길어집니다. 비율(구성비)은 반복 실행으로 빠르게 수렴하지만, 고유 개수는 수집량의 함수로 계속 늘어나는 것입니다. 실제로 분석 기간 중 관측된 인용 호스트의 65%가 수집 첫날 이후에 새로 등장했습니다. AI 답변 생태계의 인용 소스 풀은 정적이지 않고 매일 새 얼굴이 유입되는 동적 시스템입니다.

이것이 의미하는 바는 명확합니다. "우리 브랜드에 대해 AI가 어떤 새로운 커뮤니티 글, 어떤 인플루언서 콘텐츠를 인용하기 시작했는가"를 빠짐없이 포착하고 싶다면, 그리고 특정일의 가시성 급락 같은 스파이크를 감지하고 싶다면 (실제로 분석 기간 중 Perplexity에서 가시성이 57%까지 떨어진 단일일 이벤트가 있었습니다), 수집량을 줄여서는 안 됩니다.

또 하나의 실무적 함의는 벤치마킹에 관한 것입니다. '답변당 인용 소스 개수' 같은 다양성 지표는 질의 설계에 따라 2배씩 달라지므로, 질의량이 다른 도구·기간 간 절대값 비교는 금물입니다. 서로 다른 툴이 보여주는 "발견된 소스 수"가 다르다면, 그것은 시장이 달라서가 아니라 그저 질의를 더 많이 던졌기 때문일 가능성이 큽니다.

6. 결론: 질문은 "몇 번 돌리느냐"가 아니라 "무엇을 측정하는가"

이번 분석의 결론을 한 문장으로 압축하면 이렇습니다. 쿼리 빈도 논쟁의 정답은 지표의 종류에 따라 다르다.

단, "하루 1회로도 유사하다"는 결론에는 분명한 적용 범위가 있습니다. 이번 결과가 지지하는 것은 약 635개 규모의 프롬프트 포트폴리오를 5개 모델에 걸쳐 집계하는 정기 KPI라는 조건입니다. 프롬프트가 수십 개뿐인 캠페인, 단일 모델 측정, 개별 프롬프트 단위의 진단, 당일 급변 탐지, 그리고 산업·언어가 다른 환경까지 이 결론을 그대로 일반화할 수는 없습니다. 개별 프롬프트 수준의 불안정성은 실재하며, 포트폴리오라는 평균화 장치가 그것을 흡수해 주는 것이기 때문입니다.

[체인시프트는 최근 마케터들이 체인시프트 대시보드가 없어도 가시성을 측정할 수 있는 MCP, API 서비스를 준비하고 있습니다. 위와 같이 다양한 목적으로 GEO를 측정하고 싶으신 분들은 문의주시면 빠르게 안내해드리겠습니다. :)]

이번 결과는 프로파운드가 발표한 "하루 1회와 10회의 차이는 0.25pp에 불과하다"는 분석과도 같은 방향을 가리킵니다 . 서로 다른 시장(한국), 다른 프롬프트 세트, 독립적인 데이터셋에서 얻은 결과가 같은 결론으로 수렴한 것입니다. 물론 Evertune이 지적한 개별 프롬프트 수준의 불안정성 역시 실제로 존재합니다 . 저가시성 주제(가시성 60~75% 구간)에서는 편차가 상대적으로 크게 나타났습니다. 다만 그 해법이 반드시 같은 프롬프트를 수십~수백 번 반복 실행하는 것은 아닙니다. 프롬프트 포트폴리오 수준의 집계와 충분한 관측 기간, 그리고 목적에 맞는 허용 오차를 함께 설계하면 대부분의 문제는 해결할 수 있습니다. 두 진영의 주장은 사실 충돌하지 않습니다. Evertune은 개별 프롬프트의 비율 추정 오차를 말하고, 이번 분석은 대규모 포트폴리오 집계의 안정성을 말하기 때문입니다.

결국 측정 도구를 평가할 때 "하루에 몇 번 실행하나요?"라는 질문은 중요하지만, 그것이 가장 중요한 질문은 아닙니다. 더 중요한 질문은 다음 두 가지입니다.

1.이 지표는 비율형인가, 발굴형인가? 그리고 그 목적에 맞는 수집 설계를 갖추고 있는가.

2.이 프롬프트 세트는 실제 고객이 AI에게 묻는 질문을 얼마나 잘 대표하는가.

두 번째 질문이 가장 중요합니다. 아무리 많은 데이터를 수집하고 정교한 통계를 적용하더라도, 현실을 대표하지 못하는 프롬프트를 측정한다면 결과 역시 현실을 대표할 수 없습니다. 정밀한 분석은 좋은 데이터를 더 정확하게 보여줄 뿐, 잘못된 질문을 올바른 질문으로 바꿔주지는 못하기 때문입니다.

체인시프트는 앞으로도 AI 검색 측정의 방법론을 단순한 주장이나 직관이 아니라, 한국 시장의 실제 데이터를 통해 검증하고 공유해 나가겠습니다.

참고 자료

[1] Evertune, "How many repetitions of a single prompt does it take to understand your AI visibility?", 2026-07-16.

[2] Josh Blyskal (Profound ), "Is running the same AI prompt once a day actually enough?", LinkedIn, 2026-07.

Chris Chainshift

© 2026 ChainShift. All rights reserved. Unauthorized reproduction and redistribution prohibited.