LLM을 위한 토큰 압축: 라우팅 전에 컨텍스트 비용 절감

LLM을 위한 토큰 압축 모델에 도달하기 전에 프롬프트, 검색된 컨텍스트, 도구 출력, 채팅 기록 및 로그를 축소하는 작업입니다. 이는 라우팅, 평가 또는 장애 조치를 대체하지 않습니다. 이러한 시스템이 더 깨끗한 입력으로 작동하도록 만듭니다.

이는 대부분의 AI 비용 및 지연 문제가 애플리케이션에서 요청이 떠나기 전에 시작되기 때문에 중요합니다. 지원 봇은 세 가지 사실만 중요한 경우에도 전체 티켓 스레드를 보낼 수 있습니다. 에이전트는 상태, 금액 및 다음 작업만 필요할 때 전체 도구 응답을 붙여넣을 수 있습니다. RAG 워크플로는 하나의 간결한 답변으로 충분할 때 다섯 개의 청크를 검색할 수 있습니다.

OpenAI는 설명합니다 API 사용량은 토큰으로 측정되며, 이러한 토큰은 입력 및 출력 텍스트에서 생성됩니다. 긴 컨텍스트는 무료 컨텍스트가 아닙니다. 목표는 모델을 굶주리게 하는 것이 아닙니다. 목표는 모델이 필요로 하는 결정, 증거 및 제약 조건을 보존하면서 가장 작은 컨텍스트를 보내는 것입니다.

라우팅 전에 토큰 압축이 중요한 이유

많은 팀이 비용 최적화를 모델 선택 문제로 생각합니다: 쉬운 작업은 저렴한 모델로 보내고, 더 어려운 작업은 고급 모델로 예약하며, 공급자 경로가 저하될 때 장애 조치를 사용합니다. 이는 유용하지만 기본적인 점을 놓칩니다: 라우터는 제공된 요청만 봅니다.

요청이 부풀려지면 모든 다운스트림 결정이 더 어려워집니다. 저렴한 모델은 너무 많은 노이즈를 받기 때문에 실패할 수 있습니다. 프롬프트가 혼란스러워서 최첨단 모델이 필요해 보일 수 있습니다. 관측 가능성은 높은 비용을 보여줄 수 있지만 이를 유발한 불필요한 컨텍스트는 보여주지 않을 수 있습니다.

압축은 모델 접근 전에 단계를 추가합니다: 페이로드를 줄이고 의도를 보존한 다음 라우팅합니다. ShareAI의 모델 마켓플레이스, 그런 다음 더 깨끗한 요청은 모델 선택, 가격, 지연 시간, 가용성 및 하나의 API를 통한 라우팅 요구 사항에 대해 평가될 수 있습니다.

무엇을 압축해야 할까요?

모든 토큰이 동일한 처리를 받을 필요는 없습니다. 일부 텍스트는 지시사항에 중요합니다. 일부 텍스트는 증거입니다. 일부 텍스트는 이전 단계에서 남은 잔여물일 뿐입니다.

입력 영역	압축 접근법	무엇을 보존할 것인가
채팅 기록	이전 대화를 상태, 결정, 제약 조건 및 열린 질문으로 요약합니다.	사용자 의도, 약속, 이름, 선호도 및 미해결 작업.
RAG 청크	좁게 검색하고, 중복을 제거하며, 현재 질문에 답하는 구절을 추출합니다.	인용, 정확한 사실, 상충되는 증거 및 최신 신호.
도구 출력	장황한 응답을 간결한 구조화된 필드로 변환합니다.	상태, ID, 금액, 오류, 타임스탬프 및 다음 작업.
로그 및 추적	반복된 이벤트를 클러스터링하고 이상, 개수 및 관련 샘플만 유지합니다.	오류 패턴, 빈도, 영향을 받은 서비스 및 타임라인.
시스템 지침	중복된 정책 텍스트를 제거하고 안정적인 지침을 작업별 컨텍스트와 분리합니다.	안전 규칙, 출력 계약, 역할 제약 및 도구 권한.

다섯 가지 실용적인 압축 방법

1. 상태를 요약하고, 산문은 피하기

약한 요약은 긴 대화를 짧은 단락으로 다시 쓰는 것입니다. 유용한 요약은 운영 상태를 유지합니다: 사용자가 원하는 것, 이미 시도한 것, 실패한 것, 남아 있는 제약 조건, 그리고 다음 결정이 무엇인지.

에이전트의 경우, 상태 요약은 알려진 경계에서 새로 고쳐야 합니다: 도구 호출 후, 사용자 결정 후, 워크플로 단계 후, 또는 모델 전환 전에. ID, 요구 사항 또는 부정적 제약 조건을 압축하지 마십시오.

2. 도구 출력에서 필드 추출

많은 도구 호출은 다음 모델 단계에 필요한 것보다 훨씬 더 많은 텍스트를 반환합니다. 전체 응답을 전달하는 대신 중요한 필드를 추출하십시오. 결제 조회는 고객 ID, 송장 상태, 잔액, 납기일, 위험 플래그로 변환될 수 있습니다. 검색 결과는 제목, 정식 URL, 날짜, 그리고 주장을 뒷받침하는 한 문장이 될 수 있습니다.

3. 생성 전에 검색 필터링

RAG 시스템은 유사한 청크, 오래된 청크, 또는 의도가 아닌 키워드와 일치하는 청크를 보내면서 토큰을 낭비하는 경우가 많습니다. 압축 레이어는 중복된 중첩 구절을 제거하고, 오래된 컨텍스트를 제거하며, 현재 쿼리에 답하는 증거만 유지할 수 있습니다.

최종 답변에 인용이 필요할 때 특히 중요합니다. 컨텍스트를 압축하되, 나중에 답변을 검증할 수 있도록 충분한 소스 세부 정보를 보존하십시오.

4. 구조화된 중간 출력 사용

자유 형식의 중간 텍스트는 빠르게 증가합니다. 구조화된 출력은 더 작고 감사하기 쉽습니다. 하나의 모델에게 모든 후보 행동을 설명하도록 요청하는 대신, 행동, 신뢰도, 이유, 차단 문제, 필요한 입력과 같은 필드가 포함된 간결한 옵션 목록을 반환하도록 요청하십시오.

5. 프롬프트 캐싱을 별도의 레버로 취급

프롬프트 캐싱은 지원되는 시스템에서 반복된 접두사의 비용이나 대기 시간을 줄일 수 있지만, 이는 토큰 압축과 동일하지 않습니다. 캐시된 텍스트는 여전히 컨텍스트 창 공간을 소비할 수 있으며, 요청을 검사하기 어렵게 만들 수 있습니다. Anthropic의 컨텍스트-윈도우 그리고 프롬프트-캐싱 문서는 캐싱과 컨텍스트 설계가 관련 있지만 다른 문제를 해결한다는 것을 상기시키는 데 유용합니다.

ShareAI 워크플로우에서 압축이 어디에 적합한지

ShareAI는 AI 마켓플레이스 및 API로, 애플리케이션 자체를 구축하는 곳이 아닙니다. 애플리케이션은 사용자 경험, 워크플로우 로직, 컨텍스트 선택 및 압축 단계를 담당합니다. ShareAI는 모델 액세스 측면을 지원합니다: 150개 이상의 모델에 대한 하나의 API, 마켓플레이스 가시성, 라우팅, 장애 조치 및 사용 추적.

1. 원시 사용자 요청과 애플리케이션 컨텍스트를 수집합니다.
2. 중복, 오래된 컨텍스트 및 관련 없는 검색 결과를 제거합니다.
3. 이전 대화 상태와 장황한 도구 출력을 압축합니다.
4. 정리된 요청을 통해 전송합니다. ShareAI API.
5. 모델 적합성, 가격, 지연 시간, 가용성 및 대체 필요성에 따라 라우팅합니다.
6. 응답 후 품질, 비용 및 실패 패턴을 측정합니다.

빌더의 경우, 압축은 수익화를 더 간단하게 만들 수 있습니다. 기존 애플리케이션이 ShareAI를 통해 AI 추론 트래픽을 라우팅하는 경우, 빌더는 추가 요금 또는 마진을 설정하고 생성된 사용량에 따라 월별 지급을 받을 수 있습니다. 더 깨끗한 컨텍스트는 라우팅된 사용량을 고객에게 설명하기 쉽게 만들어줍니다. 이는 무거운 사용자가 실제로 생성한 AI 트래픽에 대해 비용을 지불하기 때문입니다.

압축이 작동하는지 측정하는 방법

품질이 유지되는 경우에만 압축이 유용합니다. 이를 생산 변경처럼 추적하고, 단순한 프롬프트 트릭으로 간주하지 마십시오.

• 요청당 입력 토큰: 타겟 워크플로우의 경우 감소해야 합니다.
• 출력 품질: 대표적인 작업에서 안정적으로 유지되어야 합니다.
• 폴백 비율: 더 저렴한 경로가 약한 컨텍스트를 받기 때문에 상승해서는 안 됩니다.
• 지연 시간: 개선되어야 하며, 최소한 모든 전처리 단계를 정당화해야 합니다.
• 에스컬레이션 비율: 압축된 컨텍스트가 사용자나 에이전트로 하여금 다시 질문하게 만드는 경우를 드러내야 합니다.
• 성공적인 작업당 비용: 요청당 비용만이 아니라 감소해야 합니다.

좋은 테스트 세트에는 짧은 프롬프트, 긴 프롬프트, 도구 중심의 에이전트 작업, RAG 질문, 그리고 컨텍스트가 부족할 경우 잘못된 답변을 초래할 수 있는 엣지 케이스가 포함됩니다. 압축 실행과 비압축 실행을 비교한 후 압축을 기본값으로 설정하십시오.

공격적으로 압축하지 말아야 할 때

압축에는 트레이드오프가 있습니다. 이는 뉘앙스를 제거하거나, 불확실성을 숨기거나, 모델이 필요로 하는 증거를 평탄화할 수 있습니다. 정확한 표현이 중요한 경우, 모델이 계약서나 정책을 추론해야 하는 경우, 인용이 보존되어야 하는 경우, 또는 사용자가 명시적으로 철저한 소스 자료를 요청하는 경우에는 더 가벼운 압축을 사용하십시오.

가장 안전한 패턴은 점진적 압축입니다. 애플리케이션에서 고품질의 소스 자료를 유지하고, 모델에 간결한 컨텍스트를 전달하며, 작업이 검증을 요구할 때 원래의 증거를 다시 검색하십시오.

FAQ: LLM을 위한 토큰 압축

LLM을 위한 토큰 압축이란 무엇인가요?

LLM을 위한 토큰 압축은 모델 호출 전에 불필요한 입력 텍스트를 줄이면서도 좋은 응답에 필요한 사실, 지침, 제약 조건을 보존하는 것을 의미합니다.

토큰 압축이 더 작은 모델을 사용하는 것과 동일한가요?

아니요. 압축은 요청을 줄여줍니다. 모델 선택은 그 요청이 어디로 갈지를 결정합니다. 가장 강력한 설정은 종종 둘 다 수행합니다: 먼저 컨텍스트를 압축한 후 올바른 모델로 라우팅합니다.

ShareAI가 프롬프트를 자동으로 압축하나요?

압축은 일반적으로 애플리케이션 측의 설계 선택입니다. ShareAI는 AI 마켓플레이스와 API 계층을 제공하여 모델 액세스, 라우팅, 장애 조치 및 사용 가시성을 지원하며, 이는 앱이 요청을 준비한 후에 이루어집니다.

압축이 LLM 비용 절감에 어떻게 도움이 되나요?

대부분의 AI API는 입력 및 출력 토큰을 기준으로 사용 비용을 책정합니다. 입력 토큰을 안전하게 줄이면서 품질을 안정적으로 유지하면 성공적인 작업당 비용이 감소할 수 있습니다.

토큰 압축이 응답 품질에 영향을 줄 수 있나요?

네. 과도한 압축은 증거, 뉘앙스 또는 제약을 제거할 수 있습니다. 압축된 프롬프트를 실제 작업에 대해 테스트하고 응답 품질, 장애율 및 사용자 수정 사항을 모니터링하세요.

빌더들이 압축에 대해 알아야 할 것은 무엇인가요?

기존 앱에서 ShareAI를 통해 AI 사용을 라우팅하는 빌더들은 압축을 사용하여 라우팅된 트래픽을 더 깨끗하게 유지할 수 있습니다. 여전히 추가 요금이나 마진을 설정하고 생성된 사용량으로부터 월별 지급을 받을 수 있습니다.

토큰 압축이 RAG에 유용한가요?

네. RAG 시스템은 종종 중복되거나 약간 관련된 청크를 보냅니다. 압축은 중복 제거, 필터링 및 현재 질문에 답하는 구절을 추출할 수 있습니다.

프롬프트 캐싱이 압축을 대체할 수 있나요?

아니요. 프롬프트 캐싱은 지원되는 시스템에서 반복되는 접두어에 도움이 될 수 있지만, 컨텍스트가 혼란스럽거나 오래되었거나 중복되었거나 작업에 비해 너무 클 때는 여전히 압축이 중요합니다.

어떤 팀이 토큰 압축으로 가장 큰 혜택을 받나요?

긴 채팅 기록, 도구 중심 에이전트, 문서 워크플로우, 지원 자동화, 연구 보조 및 RAG 시스템을 사용하는 팀은 일반적으로 압축의 필요성을 가장 명확히 느낍니다.

압축 테스트를 어떻게 시작해야 하나요?

비용이 많이 드는 워크플로를 선택하고, 대표적인 요청을 캡처한 후 압축된 버전을 생성하여 토큰 사용, 답변 품질, 지연 시간, 성공적인 작업당 비용을 비교하세요.

압축은 AI 라우팅과 어떻게 작동하나요?

압축은 더 깨끗한 요청을 준비합니다. 라우팅은 가격, 지연 시간, 가용성, 신뢰성, 품질 요구 사항에 따라 해당 요청에 가장 적합한 모델 또는 제공자 경로를 결정합니다.

다음 단계

컨텍스트 팽창이 눈에 띄는 하나의 워크플로부터 시작하세요. 소음이 많은 부분을 압축하고 중요한 증거를 유지한 다음 ShareAI를 사용하여 하나의 API를 통해 모델 경로를 비교하세요. 실질적인 목표는 간단합니다: 낭비되는 토큰을 줄이고, 피할 수 있는 에스컬레이션을 줄이며, 더 명확한 사용 데이터를 얻는 것입니다.