# MMLU 题目示例
mmlu_example = {
    "question": "Which of the following is NOT a characteristic of common law?",
    "choices": [
        "A. It is based on judicial decisions",
        "B. It relies heavily on precedent",
        "C. It is codified in comprehensive statutes",  # 正确答案
        "D. It develops through court interpretations"
    ],
    "answer": "C",
    "subject": "professional_law"
}

# 评估方式：zero-shot 或 few-shot，选择概率最高的选项
# 分数 = 正确题数 / 总题数（随机基线 = 25%）

# GSM8K 题目示例
gsm8k_example = {
    "question": "Janet 每天早上收集 16 个鸡蛋，自己吃掉 3 个，用 4 个做蛋糕。"
                "剩余的鸡蛋她每个卖 2 美元。她每天能赚多少钱？",
    "answer": "18",
    "solution": "每天收集 16 个 → 吃掉 3 个 → 剩 13 个 → 做蛋糕用 4 个 → 剩 9 个 → "
                "9 × 2 = 18 美元"
}

# 评估方式：pass@1（生成一次答案，提取最终数值与答案对比）
# 推理模型 vs 普通 LLM 在此基准上差距最小（小学题普通 LLM 已接近饱和）

# MATH 难度分级（Level 1-5）
math_example_hard = {
    "problem": "对所有正整数 n，证明 ∑_{k=1}^{n} k³ = (∑_{k=1}^{n} k)²",
    "level": "Level 4",
    "type": "Number Theory",
    "solution": "用数学归纳法：基础步骤 n=1，1=1 成立；..."
}

# 参考分数：
# GPT-4（2023）：42.5%（Level 5 题目约 25%）
# o1（2024）：~83%
# DeepSeek-R1：~97.3%（AIME 2024 接近人类竞赛选手）

# HumanEval 题目示例（problem_id=1）
humaneval_example = {
    "task_id": "HumanEval/1",
    "prompt": '''def separate_paren_groups(paren_string: str) -> List[str]:
    """ 输入一个包含多组括号的字符串（括号组之间用空格分隔），
    返回一个列表，其中每个元素是一组独立的括号组（保持原始顺序）。
    >>> separate_paren_groups('( ) (( )) (( )( ))')
    ['()', '(())', '(()())']
    """
''',
    "test": "assert separate_paren_groups('( ) (( )) (( )( ))') == ['()', '(())', '(()())']",
    "entry_point": "separate_paren_groups"
}

# 用 lm-evaluation-harness 或 evalplus 评估
# evalplus 是 HumanEval 的增强版（HumanEval+），测试用例更多，防止"投机取巧"

# SWE-bench 评估流程
# 1. 模型读取仓库代码 + Issue 描述
# 2. 模型输出 git patch（代码修改）
# 3. 自动化环境执行修改后的测试套件
# 4. 通过率 = 通过测试的 Issue 数 / 总 Issue 数

# SWE-bench Verified（500题子集，人工验证确实可解）参考分数：
# GPT-4 Turbo（2024 初）：~3%
# Claude 3.5 Sonnet（2024 年 6 月）：~49%
# Claude 3.7 Sonnet（2025 年 2 月）：~62%
# Claude Opus 4.6（2025 年）：~80.9%
# MiniMax M2.5（2026 年 2 月）：~80.2%
# 顶级系统（截至 2026 年 3 月）：80%+

# MT-Bench 第一轮和第二轮的关联性示例
mt_bench_example = {
    "turn_1": "写一首关于四季变换的诗，用 AABB 押韵方式",
    "turn_2": "现在将这首诗改写成散文，保留原有意象但去掉押韵",
    # 评估重点：模型是否真正理解并延续了第一轮的上下文
}

# MT-Bench 的局限：
# - 80 题样本量小，方差大
# - GPT-4 评分存在偏向（倾向于更长、更正式的回答）
# - 随着模型快速迭代，题目难度已不足以区分顶级模型

ELO 评分系统（来自国际象棋）：
- 如果低分模型赢了高分模型，低分模型获得更多分数
- 如果高分模型赢了低分模型，高分模型获得较少分数
- 经过足够多的对战后，排名收敛为稳定的能力排序

# 污染检测的常用方法：n-gram 重叠度检测
from collections import Counter

def ngram_overlap_check(training_data: str, benchmark_question: str, n=8):
    """
    检测 benchmark 题目是否出现在训练数据中。
    n=8 意味着连续 8 个词的序列匹配即可能是污染。
    """
    def get_ngrams(text, n):
        tokens = text.lower().split()
        return Counter([' '.join(tokens[i:i+n]) for i in range(len(tokens)-n+1)])

    train_ngrams = get_ngrams(training_data, n)
    bench_ngrams = get_ngrams(benchmark_question, n)

    overlap = sum((train_ngrams & bench_ngrams).values())
    total = sum(bench_ngrams.values())

    contamination_ratio = overlap / total if total > 0 else 0
    return contamination_ratio

# 一般认为 contamination_ratio > 0.1 就存在显著污染风险

# 根据任务类型选择参考基准的实践指南
task_benchmark_mapping = {
    # 任务类型: [首选基准, 次选基准]
    "中文对话助手": ["C-Eval", "MT-Bench（中文）", "Chatbot Arena"],
    "代码补全/生成": ["HumanEval+", "MBPP", "SWE-bench"],
    "数学/科学辅导": ["MATH", "MMLU（STEM）", "GSM8K"],
    "法律/医疗文档": ["MMLU（专业法律/医学）", "MedQA"],
    "长文档分析": ["SCROLLS", "LongBench", "NarrativeQA"],
    "多模态任务": ["MMMU", "MMBench"],
    "指令遵循": ["IFEval", "AlpacaEval 2.0"],
    "安全性评估": ["ToxiGen", "BBQ", "WinoBias"],
}

# 正确的选模型流程：
# 1. 确定你的核心任务类型
# 2. 找到最接近该任务的基准
# 3. 只看该基准上的分数
# 4. 在该基准 top-3 的模型上做小规模真实数据测试
# 5. 最终决策

# 安装 lm-evaluation-harness（Eleuther AI 开源评估框架）
pip install lm-eval

# 在本地模型上运行 GSM8K 评估（8-shot CoT）
lm_eval --model hf \
    --model_args pretrained=Qwen/Qwen2.5-7B-Instruct \
    --tasks gsm8k \
    --num_fewshot 8 \
    --batch_size 4 \
    --output_path ./results/

# 运行 MMLU 评估（5-shot）
lm_eval --model hf \
    --model_args pretrained=Qwen/Qwen2.5-7B-Instruct \
    --tasks mmlu \
    --num_fewshot 5 \
    --batch_size 2 \
    --output_path ./results/

# 运行多个基准并输出对比报告
lm_eval --model hf \
    --model_args pretrained=Qwen/Qwen2.5-7B-Instruct \
    --tasks mmlu,gsm8k,hellaswag,arc_challenge \
    --num_fewshot 0 \
    --batch_size auto \
    --output_path ./results/ \
    --log_samples  # 保存每道题的详细输出，用于后续分析

# 解析评估结果
import json
import os

def parse_eval_results(results_dir: str):
    """读取 lm-evaluation-harness 的 JSON 结果并格式化输出。"""
    result_files = [f for f in os.listdir(results_dir) if f.endswith('.json')]

    for file in result_files:
        with open(os.path.join(results_dir, file)) as f:
            data = json.load(f)

        model_name = data['config']['model_args']
        results = data['results']

        print(f"\n模型: {model_name}")
        print("-" * 50)
        for task, metrics in results.items():
            # 不同任务的主要指标名称不同
            acc = metrics.get('acc,none') or metrics.get('acc_norm,none') or metrics.get('exact_match,none')
            if acc is not None:
                print(f"  {task}: {acc:.4f} ({acc*100:.1f}%)")

# 调用
parse_eval_results("./results/")

import json
from typing import List, Dict

def create_domain_benchmark(examples: List[Dict]) -> Dict:
    """
    创建业务场景评估集的最小结构。
    每道题包含：问题、标准答案（或评分维度）、评分方式。
    """
    benchmark = {
        "name": "domain_specific_eval_v1",
        "description": "针对特定业务场景的评估集",
        "metrics": ["accuracy", "format_compliance", "safety"],
        "examples": []
    }

    for ex in examples:
        benchmark["examples"].append({
            "id": ex["id"],
            "input": ex["question"],
            "reference": ex["answer"],
            # 对于开放式问题，可以定义评分维度而非精确答案
            "rubric": ex.get("rubric", {
                "correctness": "答案是否事实正确",
                "completeness": "是否覆盖关键点",
                "format": "是否符合预期格式"
            }),
            # 指定评估方式：exact_match / llm_judge / regex
            "eval_method": ex.get("eval_method", "llm_judge")
        })

    return benchmark

# 实践建议：
# - 最少 50 道题才有统计意义
# - 人工标注 golden answer，不要用模型输出作为标准
# - 定期更新（模型更新后测试数据可能被污染）
# - 同时包含"模型应该能做到"和"模型不应该做到"的测试用例（安全测试）