论文翻译

论文翻译

RoBERTa：一种稳健优化的BERT预训练方法

https://arxiv.org/pdf/1907.11692 RoBERTa：一种稳健优化的BERT预训练方法 摘要 语言模型预训练已经带来了显著的性能提升，但对不同方法进行仔细比较具有挑战性。训练在计算上成本高昂，通常在不同大小的私有数据集上进行，并且，正如我们将展示的，超参数选择对最终结果有重大影响。我们提出了一项BERT预训练（Devlin等人，2019）的复制研究，该研究仔细测量了许多关键超参数和训练数据大小的影响。我们发现BERT的训练明显不足，并且可以匹配或超过其后发布的每个模型的性能。我们的最佳模型在GLUE、RACE和SQuAD上取得了最先进的结果。这些结果强调了先前被忽视的设计选择的重要性，并对最近报告的改进来源提出了质疑。我们发布了我们的模型和代码。 1 引言 ELMo（Peters等人，2018）、GPT（Radford等人，2018）、BERT（Devlin等人，2019）、XLM（Lample和Conneau，2019）和XLNet（Yang等人，2019）等自训练方法带来了显著的性能提升，但确定这些方法中哪些方面贡献最大可能具有挑

论文翻译

ReAct：在语言模型中协同推理与行动

发表于 ICLR 2023 会议论文 作者： Shunyu Yao*¹, Jeffrey Zhao², Dian Yu², Nan Du², Izhak Shafran², Karthik Narasimhan¹, Yuan Cao² ¹ 普林斯顿大学计算机科学系 · ² Google Research, Brain 团队 项目主页： https://react-lm.github.io/ 摘要 尽管大型语言模型（LLM）在语言理解和交互式决策任务中展现出了令人印象深刻的能力，但其推理（如链式思维提示）和行动（如动作计划生成）能力主要被作为独立课题研究。在本文中，我们探索使用 LLM 以交替方式同时生成推理轨迹和任务特定动作，从而在两者之间实现更大的协同效应：推理轨迹帮助模型归纳、追踪和更新行动计划并处理异常情况，而行动则允许模型与知识库或环境等外部来源交互以获取额外信息。 我们将该方法命名为 ReAct，并将其应用于多种语言和决策任务，证明了其相较于最先进基线的有效性，

论文翻译

GEO: 生成式引擎优化

GEO: 生成式引擎优化 摘要 大型语言模型(LLM)的出现开创了一种新的搜索引擎范式,这种搜索引擎使用生成模型来收集和总结信息以回答用户查询。我们将这项新兴技术在生成引擎(GE)的统一框架下进行形式化,它能够生成准确且个性化的响应,正在迅速取代像Google和Bing这样的传统搜索引擎。生成引擎通常通过综合来自多个来源的信息并使用LLM对其进行总结来满足查询需求。虽然这一转变显著提高了用户效用和生成搜索引擎的流量,但它给第三方利益相关者——网站和内容创作者——带来了巨大挑战。鉴于生成引擎的黑盒性质和快速发展特性,内容创作者几乎无法控制其内容何时以及如何被展示。随着生成引擎的持续存在,我们必须确保创作者经济不会处于不利地位。为了解决这个问题,我们引入了生成引擎优化(GEO),这是第一个帮助内容创作者通过灵活的黑盒优化框架来提高其内容在生成引擎响应中可见性的新颖范式,用于优化和定义可见性指标。我们通过引入GEO-bench来促进系统化评估,这是一个大规模的基准测试,包含跨多个领域的多样化用户查询,以及回答这些查询的相关网络来源。通过严格的评估,我们证明GEO可以将生成引擎响应中

论文翻译

COSMO：亚马逊的大规模电子商务常识知识生成与服务系统

COSMO: A Large-Scale E-commerce Common Sense Knowledge Generation and Serving System at Amazon 摘要 大规模知识图谱在电子商务平台中的应用可以改善客户的购物体验。虽然现有的电子商务知识图谱(KG)整合了大量概念或产品属性,但它们未能发现用户意图,留下了与人们思考、行为和与周围世界互动方式之间的差距。在这项工作中,我们提出了COSMO,这是一个可扩展的系统,用于从大规模行为中挖掘以用户为中心的常识知识,并构建行业规模的知识图谱以赋能多样化的在线服务。 具体而言,我们描述了一个用于收集高质量种子知识断言的流程,这些断言从大型语言模型(LLM)中提取,并通过在人工参与标注数据上训练的评判分类器进一步精炼。由于这些生成的内容可能并不总是符合人类偏好且包含噪声,我们接着描述了如何采用指令调优来微调一个高效的语言模型(COSMO-LM),以实现大规模的忠实电子商务常识知识生成。COSMO-LM有效地将我们的知识图谱扩展到亚马逊的18个主要类别,仅使用30k个标注指令就生成了数百万条高质量知

论文翻译

HNSW：使用分层可导航小世界图进行高效且稳健的近似最近邻搜索

Efficient and robust approximate nearest neighbor search using Hierarchical Navigable Small World graphs https://arxiv.org/pdf/1603.09320 摘要 — 我们提出了一种基于可控层次导航小世界图(分层NSW，HNSW)的近似K-近邻搜索新方法。所提出的解决方案完全基于图，无需在粗搜索阶段使用额外的搜索结构，而这些结构通常用于大多数邻近图技术中。分层NSW增量地构建了一个多层结构，由存储元素嵌套子集的层次邻近图(层)组成。元素出现的最大层是随机选择的，具有指数衰减的概率分布。这使得生成的图类似于之前研究的导航小世界(NSW)结构，同时还能按特征距离尺度分离链接。从上层开始搜索，并利用尺度分离，与NSW相比可以提高性能，并实现对数复杂度扩展。额外使用选择邻近图邻居的启发式方法，显著提高了高召回率和高度聚类数据情况下的性能。性能评估表明，所提出的通用度量空间搜索索引能够大大超越之前开源的最先进的仅向量方法。该算法与跳跃列表结构的相似性允许直接平

论文翻译

BERT: 用于语言理解的深度双向 Transformer 的预训练

https://arxiv.org/pdf/1810.04805 https://github.com/google-research/bert BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 摘要 我们引入了一个新的语言表示模型，称为BERT，即Bidirectional Encoder Representations from Transformers（来自Transformers的双向编码器表示）。与最近的语言表示模型（Peters等人，2018a；Radford等人，2018）不同，BERT旨在通过在所有层中同时基于左右上下文来从未标记文本中预训练深度双向表示。因此，预训练的BERT模型只需添加一个额外的输出层就可以微调，从而为广泛的任务创建最先进的模型，如问答和语言推理，而无需进行大量特定于任务的架构修改。 BERT在概念上简单且在实证上强大。它在十一项自然语言处理任务上获得了新的最先进结果，包括将GLUE分数提高到80.5%（绝对提高

论文翻译

东亚中新石器时代粟稻农业人群的基因组历史

[https://www.sciencedirect.com/science/article/pii/S2666979X25002320](https://www.sciencedirect.com/science/article/pii/S2666979X25002320) **The genomic history of East Asian Middle Neolithic millet- and rice-agricultural populations** **东亚中新石器时代粟稻农业人群的基因组历史** [1-s2.0-S2666979X25002320-mmc2.xlsx](%E

论文翻译

商周转型：内在性、权力与微政治相遇

***论文摘要*** **商周转型：** **内在性、权力与微政治相遇** **作者** **Andrew Elijah MacIver** **人类学博士** **加利福尼亚大学洛杉矶分校，2023年** **指导教授：李旻教授** 在公元前第二个千年末期，晚商国家（约公元前1250-1046年）是古代世界最强大的政体之一，从其都城安阳（殷墟）对整个早期中国施加了重要影响。通过从晚商到西周的转型，政治格局在公元前第一个千年之交经历了深刻的断裂和重大的重组。从安阳的商国到以关中和洛阳盆地为中心的周朝（约公元前1046-221年）的这一重大转变，对早期中国社会变革的轨迹具有深远影响。然而，在人类

论文翻译

随笔

**第一阶段：**在早期，我们和DSKC人群 (鹿石-赫列克舒尔文化) 一起共存 DSKC是主体是“80%-70%西部草原牧民 (WSH)”血统+20-30%的蒙古本地“古代东北亚人 (ANA)”血统,很明显，他们是一支从西部迁徙而来，并在蒙古当地与原住民融合后形成的新人群，主体被认为是R1a-z93， 这次测出的样本均为Q1b1a3a~（Q-BZ181）,可以解释为DSKC作为一个文化和政治的联合体，吸纳了本地的Q1b 人群,因为这批Q1b血统 草原的成分并不多，依然很东北亚，母系可看出两者之间有联姻。 而我们 的Y系祖先 MKT004这一例，在于DSKC共存期间，保持了自身的独特葬俗（被

论文翻译

跨越时代寻找蒙古青铜时代仪式景观的模式

**Searching for patterns through the ages in ritual landscapes of Bronze Age Mongolia** **摘要：**直至今日，蒙古的文化景观仍然以青铜时代和铁器时代的大型墓地为主，其地面上可见的巨石构造十分显著。尽管进行了多次选择性的挖掘，但在许多方面这些墓地仍未被充分理解。因此，本研究对蒙古中部的四个墓地进行了整体性研究，检视了它们的内部组织，对不同的墓葬进行了分类，并借助大量的碳-14测年数据，得出了将其分为三个阶段的可靠年代划分。最早的纪念碑可追溯至公元前15/14世纪，最晚的则建于公元前6世纪。零星的后续使用一直

论文翻译

早更新世苏拉威西岛上的原始人类

古人类向东南亚大陆(巽他陆架)以外地区的扩散[1](https://www.nature.com/articles/s41586-025-09348-6#ref-CR1)代表了人类跨越海洋屏障到达孤立陆地的最早证据[2](https://www.nature.com/articles/s41586-025-09348-6#ref-CR2),[3](https://www.nature.com/articles/s41586-025-09348-6#ref-CR3),[4](https://www.nature.com/articles/s41586-025-09348-6#ref-CR4)。此

论文翻译

南岛人的起源、混合和迁徙的遗传学见解

**Genetic insights into the origin, admixture, and migration of the early Austronesian peoples** [https://www.nature.pubapi.xyz/articles/s10038-025-01380-8#Bib1](https://www.nature.pubapi.xyz/articles/s10038-025-01380-8#Bib1) **摘要** 我们了解到，南岛语族的祖先约6千年前出现在台湾，之后扩展到台湾以外的地区，但他们的早期起源和与台湾以外人群的关系仍不确定。通过重建线粒