生成 AI 的下一步发展是多模型吗？

原文作者：Shritama Saha，由 DeFi 之道编译。

图片来源：由 Maze AI 生成

生成式 AI 的出现就像您身边多了一位个人创意天才。 凭借其分析模式和基于模式开发新内容的卓越能力，生成式 AI 可以创造一切，从令人惊叹的数字艺术到原创音乐作品、人类文本等等。

然而，生成式 AI 的炫酷之处也带来了 AI 艺术中复杂的盗版和版权侵权问题。 尽管如此，在过去两年中，该细分市场出现了惊人的增长。

在一次独家采访中，OpenCV 首席执行官 Satya Mallick 博士告诉 Analytics India Magazine，他认为生成式 AI 的最大突破是大语言模型或基础模型的发展，并指出 Transformer 模型，例如那些在视觉转换中使用的模型是该领域的一项重大创新。

根据 Mallick 的说法，生成 AI 的下一步是多输入和多媒体输出。 换句话说，多模型方法。

微软最近推出了一种名为 Kosmos-1 的多模型大语言模型 (MLLM)。 人工智能研究工作室 Alethea.AI 推出了 CharacterGPT，它可以从文本中生成字符。 两年前，Google AI 还发布了 MURAL：Multimodal, Multitask Representations Across Languages 模型，用于图文匹配。 它部署了应用于图像-文本对的多任务学习，并结合了涵盖 100 多种语言的翻译对。

然而，马利克说，“它有两个基本的限制，包括可以获得多少数据——是否有办法避免需要注释数据和缺乏计算能力——尽管预计未来会增加 ”。

Mallick 是 IIT-Kharagpur 校友，也是加州计算机视觉公司 Big Vision 的创始人。 早在 2006 年，当没有人真正了解 AI 或其巨大潜力时，Mallick 与他人共同创立了 TAAZ——一家为美容和时尚行业创建视觉和学习解决方案的计算机视觉公司。

OpenCV 是一个开源计算机视觉和机器学习软件库，由英特尔于 1999 年创立。英特尔前计算机视觉工程师 Gray Bradsky 与主要来自俄罗斯的工程师团队开发了它。 他在英特尔工作期间开发了 OpenCV 的第一代迭代。 2002 年，他们发布了该软件的 0.9 版开源版本。

该公司最近推出了两门新课程，作为其“Kickstarter 活动”的一部分，内容涉及如何使用 AI 高效地创作艺术。 第一门课程《人人都能 AI 艺术生成（AI Art Generation for Everyone）》不需要任何 AI 或编程背景，而第二门课程《高级 AI 艺术生成（Advanced AI Art Generation》则需要基本的编程知识。

版权和知识产权问题

AI 生成的艺术有能力彻底改变艺术世界并发掘未开发的可能性。 然而，它也带来了盗版和版权侵权的复杂挑战，引发了人们对所有权和知识产权的担忧。

最近，像 Midjourney 和 Stability AI 这样的图像生成平台因使用艺术家的作品来训练他们的生成 AI 算法而被起诉，激怒了艺术家社区。 与此同时，Shutterstock 通过引入自己的 AI 工具采取了更负责任的立场，与 Getty Images 形成鲜明对比的是，Getty Images 禁止在生成 AI 艺术作品中使用其照片。

Mallick 博士将 YouTube 早年与版权威胁的现状相提并论。 他说，与 YouTube 类似的解决方案，由像谷歌这样的大公司参与进来，谈判交易并向版权所有者付款，可以在这里发挥作用。

ChatGPT 与 DALL.E

OpenAI 广受欢迎的聊天机器人 ChatGPT 在不到三个月的时间里获得了超过 1 亿用户，使其成为家喻户晓的名字。 截至 2023 年 2 月，ChatGPT 的每日访问量超过 2500 万次。 但与 ChatGPT 相比，文本-图像模型（如 OpenAI 的 DALL-E 或 StabilityAI 的Stable Diffusion）的采用率存在明显差距。

Mallick 解释说，ChatGPT 拥有如此高采用率的主要原因之一是因为写作能力是每项工作所需的主要技能，无论你是程序员、作家还是社交媒体经理。 在 OpenAI 和贝恩公司的帮助下，甚至可口可乐也在使用生成式 AI 进行营销。

“小学学习教授的三项主要技能是——阅读、写作和算术，而不是艺术或摄影，因为这些是高级技能。 此外，在文本上训练 NLP 模型更容易，因为它的计算强度低于图像数据。”

此外，随着研究人员结合不同的技术和方法，生成式 AI 正在巩固并变得更加复杂。 通过利用 NLP 和计算机视觉的优势，Stable Diffusion 模型代表了生成式 AI 向前迈出的重要一步。

传统的生成模型，如生成式对抗网络 (GAN)，由于缺乏语言概念，因此理解世界的能力有限。 虽然 GAN 可以创建逼真的图像，但它们需要使用特定的数据集进行训练，例如人脸或猫的图像。

相比之下，Stable Diffusion 模型利用从文本数据中获得的知识来理解单词如何聚集在一起并与世界相关。 这使他们能够在不依赖特定数据集的情况下生成更复杂和多变的图像。

他说，“Stable Diffusion 模型是生成式 AI 的重大进步，正是因为它们不依赖监督学习。 通过利用从无监督学习中获得的知识，这些模型可以生成复杂多样的图像，而无需手动标记数据，从而使其更加灵活。”