为了提高视觉领域的可伸缩性和多样性，研究团队采用了一种策略，通过训练单一集成的Transformer编码器-解码器，实现了大规模多模态遮蔽建模目标。
4M框架通过使用模态特定的分词器，能够将各种格式的输入，包括文本、边界框、图片或神经网络特征等，转换成离散标记的集合或序列，从而实现了单一Transformer对各种模态的训练，提高了兼容性、可伸缩性和参数共享。
站长之家（12月18日 消息:瑞士联邦理工学院（EPFL）与苹果的研究人员合作开发的4M框架在人工智能领域引起了广泛关注。该框架的核心目标是训练多模态基础模型，能够跨足多个模态和任务，以提高视觉处理的可伸缩性和多样性。在自然语言处理领域，大型语言模型(LLMs)的训练已经变得流行，但在视觉领域，仍然需要创建同样灵活和可扩展的模型。为了克服这些障碍，研究团队提出了一种训练单一Transformer编码器-解码器的策略，该策略使用了一种名为“Massively Multimodal Masked Modeling”(4M)的方法。
该方法通过结合遮蔽建模和多模态学习的优点，实现了强大的跨模态预测编码能力和共享场景表示。4M通过使用模态特定的分词器，能够将不同格式的输入转换成集合或序列的标记，从而使单一Transformer可以用于文本、边界框、图片或神经网络特征等各种模态的训练。这种标记化的方法不仅提高了模型的兼容性和可伸缩性，还避免了使用任务特定的编码器和头部，使得Transformer能够在任何模态下保持完全参数共享。
值得注意的是，4M框架在训练效率方面也取得了成功。它通过利用输入和目标遮蔽，即从所有模态中随机选择少量标记作为模型输入和另一组作为目标，实现了对大量模态的高效训练目标。这种策略在防止计算成本随模态数量增加而急剧增加的同时，还允许在不同和大规模数据集上进行训练，而无需多模态/多任务注释。
总的来说，4M框架通过使用多模态遮蔽建模目标，实现了可控生成模型的训练，这使得模型能够根据任何模态进行条件化。这为用户意图的多样表达和各种多模态编辑任务提供了可能。通过对4M框架性能的深入分析，研究团队展示了其在许多视觉任务和未来发展中的巨大潜力。这一研究不仅对于提高视觉处理模型的灵活性和性能至关重要，也为人工智能领域的未来发展提供了有益的启示。
11.11云上盛惠！海量产品 · 轻松上云！云服务器首年1.8折起，买1年送3个月！超值优惠，性能稳定，让您的云端之旅更加畅享。快来腾讯云选购吧！
瑞士洛桑联邦理工学院与苹果联手推出了一项名为MassivelyMultimodalMaskedModeling的人工智能框架，旨在解决训练跨多模态视觉基础模型的挑战。尽管在自然语言处理领域，训练大型语言模型已经取得了显著成功，但在视觉领域，仍需要构建能够灵活处理多种输入模态和输出任务的模型。通过对4M性能影响的深入消融分析，结合该方法的简便性和通用性，研究人员认为4M在许多视觉任务和未来发展中具有巨大的潜力。
苹果公司在人工智能领域的保守态度一直受到人们的关注。在最近的举动中，苹果悄悄发布了两个旨在在其芯片上运行的人工智能框架和模型库。生成式人工智能应用程序具有巨大的潜力，苹果可能希望在这一领域占据领先地位。
在与歌手DuaLipa在《AtYourService》播客中的一次采访中，苹果公司首席执行官TimCook对人工智能的未来表达了乐观态度，称其具有变革生活的潜力和无限可能性，但同时强调该技术需要规范和保护措施以防止滥用。Cook表示，AI已经存在于所有苹果产品中，尽管公司没有将其标记为AI。Cook表示：「我确实认为在未来12到18个月内将会有一些AI规定出台，所以我对此相当有信心。
LG集团的人工智能智库LGAIResearch宣布与联合国教科文组织签署了一项合作意向书，旨在共同推动人工智能伦理的知识和认识。LG强调这是联合国教科文组织首次与韩国公司合作，共同推动人工智能技术的道德发展和使用。”联合国教科文组织亚太地区局局长金秀贤表示:“我们的共同努力将推动包容性的、多利益相关方的合作，分享不同的经验和最佳实践，发挥人工智能的力量造福人类。
埃森哲正与联合利华——这家日常消费品跨国公司旗下拥有400多个品牌，每天有34亿人使用其产品——联手，作为战略举措的一部分，利用联合利华的人工智能研究和技术实施来提高生产力、推动效率，并在全球范围内加速推广具有颠覆性和AI驱动的创新。此项工作将从联合利华在多伦多新开设的全球AI实验室「Horizon3Labs」开始。作为这些努力的一部分，埃森哲将把联合利华与其顶级数据和AI专家联系起来，并帮助其利用埃森哲的生态系统合作伙伴关系、风险投资和战略投资，这些都包括在其先进AI中心内，该中心拥有埃森哲AI解决方案和超过300个生成式AI项目学习经验中的1450多项待处理和已授权专利。
站长之家12月12日消息：微软公司和美国劳工联合会于当地时间周一宣布，他们达成了一项协议，这家美国软件巨头将在工会鼓励工人成为成员的努力中保持中立。双方还将共同研究人工智能的未来，这是商业和劳工界在应对该技术影响时，首次就AI和劳动力的未来建立的合作伙伴关系。Shuler表示，工人希望在AI部署中有发言权，「如果我的工作确实被降级，我是否有未来的发展路径。
上周，AxelSpringer签署了一项价值数千万欧元的「多年许可协议」。图片来自AxelSpringer据该公司表示，该协议将「通过添加最新和权威内容的摘要，丰富用户与ChatGPT的互动体验。但这项交易也提出了另一个问题：如果网络将被只给予垃圾邮件回报的公司收割像AxelSpringer这样的公司注定要成为自动化新闻聚合器的通讯社——如果OpenAI希望像之前的社交平台「合作伙伴」一样，抓住
咨询公司德勤正在采用人工智能技术，以帮助现有员工转移到更有前景的岗位，以防止大规模裁员。该举措旨在应对人工智能迅猛发展所带来的对劳动力市场的重大冲击。在艰难的商业环境中，新的大学毕业生们的入职日期也被推迟了数月。
特斯拉首席执行官埃隆马斯克称，我们应该对人工智能实施某种监管。马斯克说道：在我看来，人工智能比核弹更危险。2023年，马斯克创立X.AI，力求在竞争中保障人工智能的安全。
美国芯片制造商英伟达首席执行官周一表示，该公司将扩大与越南顶级科技公司的合作伙伴关系，并支持该国在培养人工智能和数字基础设施人才方面。据白宫9月份公布的文件显示，华盛顿升级与越南的外交关系时，英伟达已经在越南投资了2.5亿美元，并已经与领先的科技公司合作，计划在云、汽车和医疗保健行业部署人工智能。”他还表示，英伟达将加强与越南的合作关系，寻求与越南电信、FPT、Vingroup、VNG等公司扩大合作伙伴关系。
GrowEasy是一款AI驱动的一体化潜在客户生成应用。用户可以在Facebook和Instagram上创建潜在客户广告活动，仅需5分钟即可完成。该应用能够生成美观实用的广告设计，撰写能够吸引人的内容，并通过智能分析优化广告。用户只需简单描述产品和目标客户，AI即可为其生成创意、内容和受众，并在Facebook和Instagram上启动广告活动。通过GrowEasy，用户可以解决营销问题，开始生成潜在客户。
9AI是一个融合了AI生成、对话界面和社区交流的网站创建与管理平台。用户可以通过和AI英语对话的方式快速搭建网站,无需编程和设计经验。并内置论坛、博客、图库等多种社区工具。主要优势是简单易用、智能生成、社区内涵丰富,适合个人、企业快速建站。9AI目前以调研用户体验和算法优化为主,未来会推出商业版本。
Kode AI旨在赋予企业所有者和产品团队易于使用的数据助手。我们的平台加速了先进AI解决方案的采用，简化了您的流程并保护了您的数据。它是一个理想的工具，可以迅速将智能、数据驱动的决策能力整合到您的业务运营中。
PortraitGPT是一个个性化AI肖像生成平台，利用先进的人工智能技术根据用户的独特特征打造令人惊叹的肖像。用户只需上传自己的照片，AI即可根据用户选择的风格，性别和种族特征，以及用户提供的创意提示，快速生成独一无二的肖像。平台提供多种风格选择，编辑工具等，让用户轻松打造个性化的肖像作品。
Streamlit是一个开源Python库,让数据科学家和机器学习工程师可以快速地在Web浏览器中创建Beautiful,自定义的机器学习应用程序和数据应用程序。无需学习前端Web开发,Streamlit应用可以在几分钟内从简单的脚本构建。Streamlit提供了简单的API来创建各种交互式小部件,如文本、图像、表格、图表、视频等,从而使数据探索和展示变得轻松。它具有内置支持的数据框架,如Pandas、Numpy、Matplotlib等。它兼容大多数Python机器学习库,如Scikit-learn、TensorFlow等。
ResumeReady是一项个性化高效的简历建立服务，使用微软Word和ChatGPT，帮助求职者创建符合职位要求的求职简历，从而在求职过程中脱颖而出。服务包括灵活的兼职简历建立、专业简历建立以及简历捆绑优惠。用户可通过Zoom会议与Atmiya进行45分钟或2小时的简历建立会话，获得个性化建议，并可获得可下载的Word模板及多次修改机会。服务备受学生欢迎，已制作40份以上简历。用户可在网站上查看满意客户的反馈。如果有任何疑问，请通过电子邮件联系。
THERAi是一个随着每次交互变得更加个性化和智能的个人AI助手。它采用最先进的AI技术不断学习,以提供更加相关和有见地的回复。您对自己的数据拥有完全控制权,设置透明以管理用于学习和个性化的信息。
OptiGenius.ai专注于连接新兴人工智能企业与顶尖人工智能专业人才。他们的人才网络包括来自领先科技巨头的专业人才。除了人才，OptiGenius.ai也提供全球人工智能专家网络，为人工智能初创企业提供战略合作伙伴。他们的定制人才解决方案确保您有效而高效地利用人工智能，与您的创业目标保持一致。此外，他们还提供成本效益的人工智能人才，让您在不过度拉伸创业预算的情况下获得顶尖人工智能人才。
Roast My Web是一个利用AI智能分析网页设计与用户体验的在线工具。它可以全面检测网页的设计效果、用户体验等多个维度,指出网页中的问题和不足,并提出改进建议,帮助网站所有者改进网页,提高转化率。
BobbyChat是一款AI助手，通过CBT灵感的技术引导您应对职场压力。就像在WhatsApp上与支持性教练交谈一样。
FormuTodo 是您在学校的重要盟友，现在有了人工智能。该应用程序有一个明确的目标：为您提供广泛的公式库，涵盖数学、物理和化学等各个学科。FormuTodo 还为您提供了一套强大的工具，旨在简化您的计算并提高您的学习成绩。从基础水平到大学，所有公式都在您的手掌中，无需互联网连接。数学、物理和化学的基本公式和概念一览无余。FormuTodo 的智能工具将为您提供所需的支持，简化繁重的计算，验证您的结果，并获得对您的学习的信心。从新手到有抱负的专业人士，FormuTodo 旨在成为您每一步值得信赖的资源。使用 FormuTodo 发现解决学术挑战的新视角。数学、物理和化学领域的各种功能一应俱全。
BookmarkGPT是一款用于ChatGPT提示书签的插件，可轻松保存和管理您喜欢的提示，提供个性化的ChatGPT体验。您可以创建自定义分组，轻松组织和查找提示，通过直观友好的界面进行管理。BookmarkGPT Pro尊重您的隐私，仅在本地保存提示。
MLC Chat允许用户在iPad和iPhone上本地与开源语言模型进行聊天。在将模型下载到应用程序后，一切都在本地运行，无需服务器支持，而且无需互联网连接，不记录任何信息。由于模型在本地运行，它仅适用于具有足够VRAM的设备，具体取决于所使用的模型。MLC Chat是开源项目MLC LLM的一部分，允许在各种硬件后端和本机应用程序上本地部署任何语言模型。MLC Chat是在您的手机上运行不同开源模型架构的运行时。该应用旨在非商业目的。它允许您运行从互联网上下载的开源语言模型。每个模型可能受其各自的许可证约束。
Aitida Test Suite是一个简单高效的工具，用于自动化测试网站的功能和外观。它可以模拟用户在网站上的操作，检查页面的正确性和响应性，并提供详细的测试报告。通过 AI 技术，可以提高测试效率并减少人工测试的工作量。Aitida Test Suite还提供了丰富的功能点列表，包括页面布局、链接、表单提交、登录等常见功能的测试。使用场景包括网站开发、网站更新、网站维护等。
Haiper AI 是构建下一代内容创作的最佳感知基础模型的使命。它提供以下主要功能：文本转视频，图片动画，视频重绘，导演视角。Haiper AI 可以将文字内容和静态图片无缝转化为动态视频，只需拖放图像即可使其栩栩如生。使用 Haiper AI 的重绘工具，您可以轻松修改视频的颜色、纹理和元素，以提升视觉内容的品质。通过高级控制工具，您可以像导演一样调整镜头角度、灯光效果、角色姿势和物体运动。Haiper AI 适用于各种场景，如内容创作、设计、营销等。定价请参考官方网站。
GLEE 是一个针对图片和视频的通用对象基础模型，通过统一的框架实现了定位和识别图像和视频中的对象，并能应用于各种对象感知任务。GLEE 通过联合训练来自不同监督水平的各种数据源，形成通用的对象表示，在保持最先进性能的同时，能够有效地进行零样本迁移和泛化。它还具备良好的可扩展性和鲁棒性。
Turbo.Art 是一款利用人工智能的绘画工具，提供了各种风格的画作生成功能。用户可以通过绘制或上传图片来生成新的艺术作品。Turbo.Art 使用 Stability 的 SDXL Turbo 技术来进行图像生成。它具有简单易用的界面和强大的算法，使用户能够轻松创作出独特的艺术作品。
ComfyUI Web是一款基于Stable Diffusion的AI图像生成器，能够从文本描述中生成逼真的图像和艺术作品。ComfyUI是一个基于网络的Stable Diffusion界面，经过工作流程定制的优化。尽情享受创作的自由，我们的AI图像生成器完全免费！Stable Diffusion XL模型能够生成令人惊叹的高分辨率图像，看起来逼真而专业。使用我们的图像生成器，您可以随心所欲地创作，而无需支付任何费用。我们相信创意工具应该对每个人都是可访问的。我们永远不会存储或分享您创建的任何图像或个人信息。您的隐私将受到尊重。利用我们先进的技术和基础设施，您可以在几秒钟内获得由AI生成的图像。无论您输入什么内容，都不会受到任何限制。我们的网站和图像提示工具旨在使AI图像生成即使对于非专业用户也易于理解和使用。
Backender是一个无代码平台，可以快速构建和管理后端应用。它提供了自动生成数据库、文件存储、API端点、函数编辑器等功能，支持第三方集成和自动生成文档。Backender的定价简单明了，根据使用量计费。它适用于各种应用场景，如Web应用、移动应用等。
FoodAI.app是一个使用AI生成菜谱的网站应用。它使用了一个在150万个菜谱数据集上训练的GPT-3模型。该应用可以根据您选择的食材生成菜谱，并提供了一些过滤和定制选项。用户可以使用该应用来寻找不同地区、不同类型的菜谱，并根据自己的口味和食材偏好来筛选菜谱。该应用提供了30天免费试用，之后每月0.99美元的订阅费用。
