AI.x社区

在商业环境中，决策过程通常涉及数据分析，以选择最合适的方案来实现特定目标。例如，制药公司Pfizer可能需要决定哪些工厂应该运营或停止，以及每个工厂应该雇佣多少员工，以最小化生产成本并保持准时交付。这一过程通常分为三个步骤：制定分析计划、检索必要数据、基于数据做出决策。其中最困难的部分就是，人类需要制定分析决策planRAG的目标是用LLM替代人类角色，实现整个决策过程的自动化。PlanRAG决策问答（DecisionQA）任...

QueryOptmization查询优化(QueryOptmization)旨在提高LLMs理解和回答查询的效率和质量，尤其是在涉及复杂查询的检索增强生成（RetrievalAugmentedGeneration,RAG）场景中。RAG通过动态检索和利用最新相关信息来弥补LLMs的局限性，从而提供一种成本效益高的解决方案，以应对LLMs可能产生看似合理但不准确回答的挑战。四种主要的查询优化方法介绍扩展（Expansion）通过内部扩展和外部扩展两种方式，增加查询的覆盖范围和上下文信...

当前RAG的检索、召回模块，受到了传统BERT模型只支持512长度的极大限制。导致文档切分后的chunksize，极大影响RAG的性能。本文介绍的ModernBERT，在BERT的基础上进行了重大改进，以提高下游任务的性能和效率，尤其是在更长序列长度上的表现。ModernBERT在2万亿个token上进行训练，原生支持8192序列长度，展现了在多样化分类任务和单向、多向检索任务上的卓越性能。ModernBERT解决的问题问题1：传统Bert序列长度512的限制ModernB...

一、摘要SigLIP【全称：SigmoidLossforLanguageImagePreTraining】，SigLIP是在batch内，利用sigmod对文图对做二分类；CLIP是在batch内，利用softmax对文图对做多分类。SigLIP不需要对两两相似进行全局归一化，这样的做法允许扩大batch的大小，同时在较小的batch下也能表现的好。如下图所示：SigLIP利用sigmod对文图对做二分类，是在指导模型朝着文字Tokens和图像Tokens的两个序列的对角线上值越来越大，非对角线上的值越来越小...