test_cases = [
    {
        "input": "帮我查一下北京今天的天气",
        "expected_tools": ["get_weather"],
        "expected_answer_keywords": ["北京", "天气", "温度"],
        "category": "工具调用-天气查询"
    },
    {
        "input": "1+1 等于多少",
        "expected_tools": [],  # 这个问题不应该调用工具
        "expected_answer_keywords": ["2"],
        "category": "直接回答-数学"
    },
    {
        "input": "帮我分析一下苹果公司最近的股价走势",
        "expected_tools": ["get_stock_price", "search_news"],
        "expected_answer_keywords": ["苹果", "股价"],
        "category": "多工具调用-金融分析"
    },
]

from openai import OpenAI
import json

client = OpenAI()

def llm_judge(question: str, reference_answer: str, model_answer: str) -> dict:
    """
    用 LLM 评估 Agent 的回答质量。
    返回三个维度的评分（1-5 分）和评估理由。
    """
    judge_prompt = f"""你是一个严格的 AI 评估员。请评估下面的 AI 回答质量。

【用户问题】
{question}

【参考答案】
{reference_answer}

【待评估回答】
{model_answer}

请从以下三个维度打分（1-5 分，5 分最高）：
1. 正确性：回答在事实上是否准确，有没有错误信息
2. 完整性：是否回答了问题的所有关键点，有没有遗漏
3. 相关性：回答是否紧扣问题，有没有跑题或冗余

请以 JSON 格式返回结果：
{{
  "correctness": <1-5 的整数>,
  "completeness": <1-5 的整数>,
  "relevance": <1-5 的整数>,
  "reason": "<简短的评估理由>"
}}"""

    response = client.chat.completions.create(
        model="gpt-4o",
        messages=[{"role": "user", "content": judge_prompt}],
        response_format={"type": "json_object"},
        temperature=0,  # 评估要稳定，temperature 设为 0
    )

    return json.loads(response.choices[0].message.content)


# 示例使用
result = llm_judge(
    question="北京今天天气怎么样？",
    reference_answer="北京今天晴天，气温 22°C，东南风 3 级，适合户外活动。",
    model_answer="北京今天天气不错，气温大约 22 度，阳光明媚。"
)
print(result)
# {"correctness": 4, "completeness": 3, "relevance": 5, "reason": "回答准确，但缺少风力信息"}

def compare_responses(question: str, response_a: str, response_b: str) -> str:
    """
    让 LLM 比较两个回答，返回 'A'、'B' 或 'tie'。
    A/B 顺序会随机交换以避免位置偏差。
    """
    import random

    # 随机交换顺序，避免 LLM 偏向第一个答案
    swap = random.random() > 0.5
    if swap:
        response_a, response_b = response_b, response_a

    compare_prompt = f"""请比较以下两个 AI 回答，选出更好的那个。

【用户问题】
{question}

【回答 A】
{response_a}

【回答 B】
{response_b}

请只回复 'A'、'B' 或 'tie'（表示两者质量相当）。不要解释原因。"""

    response = client.chat.completions.create(
        model="gpt-4o",
        messages=[{"role": "user", "content": compare_prompt}],
        temperature=0,
    )

    winner = response.choices[0].message.content.strip()

    # 如果交换过，把结果换回来
    if swap:
        if winner == "A":
            winner = "B"
        elif winner == "B":
            winner = "A"

    return winner


def calculate_win_rate(questions: list, agent_v1, agent_v2) -> dict:
    """计算 v2 相对于 v1 的胜率"""
    wins, losses, ties = 0, 0, 0

    for q in questions:
        resp_v1 = agent_v1(q)
        resp_v2 = agent_v2(q)
        result = compare_responses(q, resp_v1, resp_v2)

        if result == "B":    # B 是 v2
            wins += 1
        elif result == "A":  # A 是 v1
            losses += 1
        else:
            ties += 1

    total = len(questions)
    return {
        "win_rate": wins / total,
        "loss_rate": losses / total,
        "tie_rate": ties / total,
        "conclusion": "v2 更好" if wins / total > 0.55 else "没有明显提升"
    }

def evaluate_tool_calls(
    actual_tools: list[str],
    expected_tools: list[str]
) -> dict:
    """评估工具调用的准确性"""
    actual_set = set(actual_tools)
    expected_set = set(expected_tools)

    # 该调的都调了
    recall = len(actual_set & expected_set) / len(expected_set) if expected_set else 1.0

    # 调的都是该调的（没有乱调）
    precision = len(actual_set & expected_set) / len(actual_set) if actual_set else 1.0

    # 综合指标
    f1 = 2 * precision * recall / (precision + recall) if (precision + recall) > 0 else 0.0

    return {"precision": precision, "recall": recall, "f1": f1}