dify-docs/jp/guides/extension/api_based_extension/moderation.md

敏感内容審査

このモジュールは、アプリケーションにおける端末ユーザーの入力内容とLLM（大規模言語モデル）の出力内容を審査するために使用され、2つの拡張点タイプに分かれています。

拡張点

• app.moderation.input 端末ユーザー入力内容の審査拡張点
  • 端末ユーザーが送信した変数の内容や対話型アプリケーションにおける対話の入力内容を審査するために使用されます。
• app.moderation.output LLM出力内容の審査拡張点
  • LLMの出力内容を審査するために使用されます。
  • LLMの出力がストリーミング形式の場合、出力内容は100文字ごとに分割され、APIにリクエストされます。これにより、出力内容が長い場合でも審査が遅れないようにします。

app.moderation.input 拡張点

リクエストボディ

{
    "point": "app.moderation.input", // 拡張点タイプ。ここでは固定で app.moderation.input
    "params": {
        "app_id": string,  // アプリケーションID
        "inputs": {  // 端末ユーザーが送信した変数の値。key は変数名、value は変数の値
            "var_1": "value_1",
            "var_2": "value_2",
            ...
        },
        "query": string | null  // 端末ユーザーの現在の対話入力内容。対話型アプリケーションの固定パラメータ。
    }
}

• 例

  • {
        "point": "app.moderation.input",
        "params": {
            "app_id": "61248ab4-1125-45be-ae32-0ce91334d021",
            "inputs": {
                "var_1": "I will kill you.",
                "var_2": "I will fuck you."
            },
            "query": "Happy everydays."
        }
    }
    

APIレスポンス

{
    "flagged": bool,  // 検証ルールに違反しているかどうか
    "action": string, // アクション。direct_output 予設回答の直接出力; overrided 送信された変数値の上書き
    "preset_response": string,  // 予設回答（actionがdirect_outputの場合のみ返される）
    "inputs": {  // 端末ユーザーが送信した変数の値。key は変数名、value は変数の値（actionがoverridedの場合のみ返される）
        "var_1": "value_1",
        "var_2": "value_2",
        ...
    },
    "query": string | null  // 上書きされた端末ユーザーの現在の対話入力内容。対話型アプリケーションの固定パラメータ。（actionがoverridedの場合のみ返される）
}

• 例
  • action=direct_output

    • {
          "flagged": true,
          "action": "direct_output",
          "preset_response": "Your content violates our usage policy."
      }
      

  • action=overrided

    • {
          "flagged": true,
          "action": "overrided",
          "inputs": {
              "var_1": "I will *** you.",
              "var_2": "I will *** you."
          },
          "query": "Happy everydays."
      }
      

app.moderation.output 拡張点

リクエストボディ

{
    "point": "app.moderation.output", // 拡張点タイプ。ここでは固定で app.moderation.output
    "params": {
        "app_id": string,  // アプリケーションID
        "text": string  // LLMの回答内容。LLMの出力がストリーミング形式の場合、ここには100文字ごとの分割された内容が入ります。
    }
}

• 例

  • {
        "point": "app.moderation.output",
        "params": {
            "app_id": "61248ab4-1125-45be-ae32-0ce91334d021",
            "text": "I will kill you."
        }
    }
    

APIレスポンス

{
    "flagged": bool,  // 検証ルールに違反しているかどうか
    "action": string, // アクション。direct_output 予設回答の直接出力; overrided 送信された変数値の上書き
    "preset_response": string,  // 予設回答（actionがdirect_outputの場合のみ返される）
    "text": string  // 上書きされたLLMの回答内容。（actionがoverridedの場合のみ返される）
}

• 例
  • action=direct_output

    • {
          "flagged": true,
          "action": "direct_output",
          "preset_response": "Your content violates our usage policy."
      }
      

  • action=overrided

    • {
          "flagged": true,
          "action": "overrided",
          "text": "I will *** you."
      }