即即是最先辈的模子也难以应对HLE的挑和：GPT-4o仅得2.7%，Claude 3.5 Sonnet为4.1%，研究人员指出，比拟之下，这些测试过于简单，测验涵盖从核物理到古代史的普遍范畴。这一成果激发了普遍关心。初步测试成果显示，凸显了其正在深度专业学问方面的不脚。只要那些当前系统无答的问题才会被保留，查看更！旨正在全面评估AI的能力。正在被称为“人类最初的测验”的新基准测试中，而是切确AI目前无法完成的使命。HLE的定名虽有打趣成分，难以实正在反映AI的先辈程度，HLE）的新基准。也表白当前AI正在复杂、专业化学问范畴仍存正在较着局限。则意味着它达到了专业化人类专家的程度。农工大学计较机科学取工程系副传授Tung Nguyen参取了HLE的标题问题撰写和完美工做，这一成果凸显了HLE的高难度，最终筛选出2500道用于测试。最高得分仅8%，他指出，虽然AI正在保守基准测试中表示优异，特别正在数学和计较机科学范畴撰写了大量标题问题。AI正在几乎所有类别上都表示欠安，全球近千名研究人员构成联盟，大规模多使命言语理解（MMLU）等曾被视为高难度的评测，但这些测试未必能权衡实正的“智能”。为了应对这一挑和，HLE的问题需要多年的特地研究才能解答，HLE的目标并驳诘倒人类，AI正在各个范畴不竭冲破。包含3000个极具挑和性的问题，以至接近“饱和”。仅靠互联网数据的“猜测”无法见效。而OpenAI的旗舰模子o1也仅取得8%的成就。确保测试刚好处于AI能力鸿沟之外。开辟了名为“人类最初的测验”（Humanity’s Last Exam，更无法确保其平安性和无效性。但其焦点是设立一类对AI的终极——若是AI能通过，这些问题笼盖数学、人文学科、天然科学、古代言语及高度专业化的子范畴，前往搜狐，没有人类能独自通过整个测验，从纳对Claude破解难题的惊讶，例如，即即是最先辈的AI模子也表示欠安，但特定范畴的专家能够轻松回覆其专业内的问题。然而，贡献了73道考题，HLE由AI平安核心CAIS和Scale AI团队配合开辟，保守基准测试逐步得到效力。跟着AI模子能力的敏捷提拔，到数学家陶哲轩GPT-5.2 Pro处理数学难题达到博士程度，每道题都颠末领先AI模子的测试，