Pi Agent와 연동하여 사용시 Rate Limit에 걸리는 문제
안녕하세요! Pi Agent에 Solar Pro 4를 연동하여 사용을 하고 있습니다.
행사때 받은 $10의 크레딧이 있지만, Tier 0 이어서 그런지 기존 문서를 분석하고 새로운 word 문서를 작성하는 task 명령 하나만 내려도 바로 Rate Limit 에러가 발생해버려서, 사실상 Pi Agent에서는 사용하기 힘든 상황입니다.
혹시나 Credit Card를 걸어놓으면 나아질까 하여 Credit Card를 등록을 하였습니다만,
Tier 0 상태인건 여전하고, Pi Agent를 통해서 task를 하나 실행하기도 힘든건 여전한 상황입니다.
개인이 사용하는거라 큰 금액을 미리 결제하기엔 부담스럽고,
한 달에 $10 이내로 사용을 희망하고 있고, 그래도 한도 내에서는 Pi Agent 로 사용시 에러없이 사용하고 싶습니다. 현재 구조적으로 이러한 Rate 의 조정이 힘든걸까요?
아무래도 금액이 작다보니 안될것 같기도 하고… 궁금하여 문의 드립니다!
감사합니다.
Log in to comment and vote
Comments2
(민형주)
Sep 21
안녕하세요,
1. 429가 발생한 원인
호출 이력을 확인한 결과, 분당 토큰 한도(TPM)를 초과해 발생한 429입니다. Tier 0에는 Solar Pro 4 기준 분당 100회 요청, 분당 250,000 토큰이 적용되는데, 요청 횟수는 한도에 미치지 않았고 분당 토큰이 한도를 넘었습니다.
이 계정의 호출은 요청 하나에 담기는 입력이 5만 토큰 안팎이었습니다. 이처럼 입력이 큰 요청은 1분에 다섯 번 정도만 보내도 분당 토큰 한도에 닿습니다.
2. 지금 해 보실 수 있는 것
- 한 번의 요청에 넣는 문서 분량을 줄이거나, 필요한 부분만 잘라서 보내기
- 1분 안에 보내는 요청 수를 줄이기. 한도는 분 단위로 초기화됩니다
- 429 응답의 X-Upstage-RateLimit-Retry-After-Tokens 헤더로 다시 요청 가능한 시점 확인
3. 티어와 결제
한도는 크레딧 선불 충전 금액에 따라 자동으로 배정됩니다. 카드를 등록하셔도 충전이 없으면 Tier 0이 유지됩니다. 티어별 수치와 429 응답 헤더를 읽는 방법은 아래 문서에 정리되어 있습니다.
https://console.upstage.ai/ko/docs/guides/rate-limits
감사합니다.
prudentcircle
Sep 21
확인 감사합니다!
Solar Pro 4 는 Agent의 사용보다는 다른 용도로 사용하는 방안을 더 중점적으로 모색해보도록 하겠습니다. 답변 감사드립니다.