Getting an infinite loop of Hindi characters

Gemini API
, ,
1

My system + prompts that haven’t changed have now been failing with this output for the last 2-3 days:
`` Error parsing json. LLM response: दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट दट द`
Has anything changed?

2 Likes
2

Hi @Sambhav_Anand,

Is it with Gemini -flash 2.0 and can you also provide any snippet example to replicate the same from my side and if still persists I can file an issue.

Thanks!

3

Here’s what I’m seeing:

private static async callGeminiPro({
    content,
    contextualInstructions,
    config,
    retryConfig,
    modelOptions,
    images,
  }: GeminiProCallParams): Promise<LLMResponse> {
    if (!process.env.GOOGLE_GEMINI_API_KEY) {
      throw new Error("Env variable: GOOGLE_GEMINI_API_KEY not initialized");
    }

    const wrappedClient = createWrappedGeminiClient(
      process.env.GOOGLE_GEMINI_API_KEY
    );

    return withExponentialBackoff(async () => {
      const generationConfig = {
        temperature: 0,
        maxOutputTokens: 8192,
        topK: 1,
        topP: 1,
        responseMimeType: "application/json",
        ...modelOptions,
      };
      const tokensToAvoid = [
        "दट दट",
        "दट",
        "ट",
        "द",
        "दट ",
        " दट"
      ];

      const baseInstructions = `
        <STRICT_SYSTEM_INSTRUCTIONS>
         Before we dive into the task, there are some core rules that you must follow:
         1. All the information you output must be from the provided document part only.
         2. Your final output should be a valid JSON object.
         3. Do not include any other language other than English in your output.
         4. You should strictly avoid hallucinating any information, or any of the tokens that are not present in the document. Especially NEVER EVER use the tokens below:
         ${tokensToAvoid.join(", ")}
        </STRICT_SYSTEM_INSTRUCTIONS>
      `;

      contextualInstructions = baseInstructions + contextualInstructions;
      // Prepare parts array with text and images
      const parts = [];

      // Add text content
      parts.push({ text: content });

      // Add images if provided
      if (images && images.length > 0) {
        const allImagesUndefined = images.every((imageBuffer) => !imageBuffer);
        if (allImagesUndefined) {
          return {
            response: '',
            usage: {
              input_tokens: 0,
              output_tokens: 0,
            },
          };
        }

        images.forEach((imageBuffer) => {
          if (imageBuffer) {
            parts.push({
              inlineData: {
                data: imageBuffer.toString("base64"),
                mimeType: "image/png", // Assuming PNG format, could be made configurable
              },
            });
          }
        });
      }

      const result = await wrappedClient.invokeGemini(
        contextualInstructions || "",
        parts,
        {
          model: config.modelName,
          generationConfig,
        }
      );

      const llmOutput = result.completion
        .replace(/\n/g, " ")
        .replace(/\[ID:[^\]]+\]/g, "");

      return {
        response: llmOutput,
        usage: {
          input_tokens: result.metrics.prompt_tokens,
          output_tokens: result.metrics.completion_tokens,
        },
      };
    }, retryConfig);
  }```
1 Like
4

I actually just ran into this. I was working on a couple of new functions in an assistant interface we’re building, and at one point it just started looping the same characters the original poster saw, just with random words inserted.

I kinda brushed it off as an odd glitch, and had come over to the forums to research a different thing I’m running into when I saw this post.

I can’t consistently reproduce it, and I hadn’t seen it until today, but I have triggered it a couple of times tonight. Happened specifically after attempting to respond after calling a function and sending results back (at least for me).

1 Like
5

I’ve also started seeing this response in the past 2-3 days as well. My pipeline runs about 50 parallel queries to gemini-2.0-flash-001 each time and about 1 to 4 of them return gibberish with random words interspersed. This gibberish uses up about 10k output tokens each time

Example:
“concise दट दट दटinidad दट दट दट毕竟 दट दट दटforces दट दट दट சம்ப दट दट दट પરંતુ दट दट दट تل दट दट दट ENV दट दट दट खेती दट दट दटತು दट दट दटLocated दट दट दट replen दट दट दट Funny दट दट दटאל दट दट दटמן दट दट दटತು दट दट दट අව दट दट दटامت दट दट दट shouting दट दट दटfired दट दट दट contractual दट दट दटfired दट दट दट replen दट दट दटoverview दट दट दटのア दट दट दट কখনও दट दट दटเงิน दट दट दट Funny दट दट दटದಿ दट दट दट दट दट दट दटค่า दट दट दट*: दट दट दट毕竟 दट दट दट毕竟 दट दट दट monochrome दट दट दट keluarga दट दट दटאל दट दट दटleb दट दट दट પરંતુ …”

Unfortunately I haven’t been able to reproduce the output in the playground by just running a single query repeatedly.

7

We are also noticing it (same output) happening approx 50 times a day (we make approx 50,000 API calls per day)

Others are seeing it too Coding assistant poisoned responses · Issue #245193 · microsoft/vscode · GitHub

Started on 31st Mar 2025

8

I’ve also seen the random repeating of Hindi characters in Gemini API responses recently for no apparent reason for English prompts.