姚期智与杨植麟联合提出 TCSExam 评测 AI 科研能力
姚期智与杨植麟等人联合研究提出 TCSExam,用 100 项理论计算机科学科研任务测试前沿 AI Agent 能否证明定理、开发 Solver、构造数学对象乃至挑战长期未解决的猜想,论文地址为 arxiv.org/pdf/2611.07962v1。
姚期智与杨植麟等人联合研究提出 TCSExam,用 100 项理论计算机科学科研任务测试前沿 AI Agent 能否证明定理、开发 Solver、构造数学对象乃至挑战长期未解决的猜想,论文地址为 arxiv.org/pdf/2611.07962v1。
Microsoft Research 介绍其 Industry Evaluation Data Generation Platform,用基于 O*NET 职业数据、在线招聘启事和 SEC 文件等公开数据构建的全合成企业环境(tenant)评测 Microsoft Copilot,全程不使用真实客户数据。
GitHub 发布开源 AI 代码评审离线基准 ReviewBench,语料取自对 103.9M GitHub pull requests 的分布分析,包含 19 种语言、187 个开源仓库的 219 个 pull request。