Skip to main content

The API service is still in beta testing.

Upstage Console

I'm using the Chat Completion API to request structured output, but the response is often truncated without any warning ("finish_reason":"stop").

JSON escaping often fails.

Also, whether it’s because I just created the API key or because I’ve hit the rate limit, requests that initially returned a response within 10 seconds now often take over 100 or 200 seconds under the same conditions.

I’ve also registered a payment method, but it doesn’t seem to make a difference.

I gave up while running benchmarks to debug the "structured output" error.

The model’s performance doesn’t seem bad, but the service quality makes it difficult to put it to immediate use.

For reference, all service statuses are showing green.

I started with `gemini-2.5-flash` to try out a Korean model or one served domestically, but switched to `solar-pro4`—it’s been quite a struggle.

The sorrow of a citizen of a developing country ㅠ

Posted by 노영선 ·
2 comments

Log in to comment and vote

Comments2

  • (민형주)

    Team•

    Aug 16

    안녕하세요, 피드백 남겨주셔서 감사합니다. 확인한 내용을 안내드립니다.

    1) Structured output 응답이 경고 없이 잘리는 현상

    저희 서비스의 repetition detection에 걸린 문제일 가능성이 높아 보입니다. 이 문제를 근본적으로 해결하기까지는 다소 시간이 필요할 것으로 예상됩니다. 번거로우시겠지만, 응답이 정상적으로 출력되지 않았던 예시 프롬프트를 공유해 주시면 원인 분석에 큰 도움이 될 것 같습니다.

    2) 응답 지연(100~200초) 현상

    8월 14일 새벽 1시부터 오후 2시 30분(KST)까지 트래픽이 집중되면서 서비스 장애가 있었고, 이로 인해 응답 지연과 타임아웃이 다수 발생했습니다. 겪으신 지연도 이 영향으로 보이며, API 키 생성 시점과는 무관합니다. 해당 장애 상황이 API 상태 페이지에 제때 반영되지 않아 확인이 어려우셨던 점 또한 죄송합니다. 상태 페이지 반영과 재발 방지를 위해 노력하겠습니다.

    불편을 드려 죄송하며, Solar Pro 4에 관심 가져주셔서 감사합니다.

  • 노영선

    •

    Aug 14

    제가 사용한 프롬프트가 복잡해서 그런지, 작업량이 많아서 그런지 gpt 5.6 luna 로 돌려봐도 1% 정도 오류가 발생하는군요.

    대신 gpt는 5~10초 수준으로 안정적인 성능으로 처리가 되고 크레딧만 채우면 바로 usage tier 올려줘서 편하구요.

    Upstage도 어서 빨리 안정적인 API 서비스가 제공되길 기대합니다.