OpenAI CPO 谈做AI产品的几个理念,深受启发! 精华

发布于 2024-12-19 11:45
浏览
0收藏

前言

在微博看到有i陆三金大佬发了OpenAI、Anthropic 两家公司的首席产品官的同台访谈,看俩人讨论如何在生成式 AI 的不确定性下做产品。 

提取了一下要点,有兴趣可以去看原视频: 

  • 在模型被训练出来之前,每个人都不知道模型会怎么样,会涌现哪些能力,研究团队也不知道,它的性能是 60%、90% 还是 99% ,而基于每一种情况去构建产品又很不一样。
  • OpenAI CPO:很多事情在 60% 的情况下已经可以做,只是你要针对性的做产品。
  • Anthropic CPO :与客户进行试点项目时,同一天会收到两家公司的反馈,一家公司会说,这完全解决了我们的问题,我们已经被困扰三个月了;另一家公司会说,完全没作用,比其他模型还糟糕。
  • 两人都提到了现在的模型不是智能受到了限制,而是评估受到了限制。Claude 实际上比较擅长评估,Anthropic 在面试产品的时候,会要求写一段提示词,来去做评估。写评估正在成为产品经理的核心技能。
  • Anthropic CPO :AI 产品功能目前取决于你在评估和提示方面的表现。

OpenAI 建立了一个训练营,让每个产品经理学习如何撰写评估,以及好的评估与坏的评估之间的区别。 

  • 除了评估,产品经理还应该掌握哪些技能:Anthropic CPO 认为产品经理应该要会做原型;OpenAI CPO 则认为 PM 应该去了解技术。
  • OpenAI CPO:过去 25 年,我们在一种高度确定性下做软件产品,固定输入会出现固定的输出,但现在这一点不复存在了。
  • OpenAI CPO 提到了人们有多快适应新技术,他举了自己乘坐 Waymo 的例子,前 5 分钟,替自动驾驶担心,能不能开好;5-10 分钟,哇,我生活在未来;10 分钟之后,开始觉得无聊。他说 ChatGPT 才 2 年,但是我们回头再看的时候,会觉得以前的东西都是垃圾。
  • 展望未来,Anthropic CPO 认为趋势是模型会越来越主动,提前帮用户准备资料、日程之类的;更加异步,就像是 o1 会花更长时间去做一些更复杂的任务,而不是实时回答。OpenAI CPO 则补充了多模态交互,而不仅仅是文本交互。

前几天接到一个任务,需要把近5年湖北省国民经济和社会发展统计公报中涉及的指标名称、指标数值、指标单位提取出来形成一张表格,供指标监测和数据分析用。 

OpenAI CPO 谈做AI产品的几个理念,深受启发!-AI.x社区

首先看下统计公报的内容结构,分综合、农业和工业等板块分别阐述统计指标情况。 

OpenAI CPO 谈做AI产品的几个理念,深受启发!-AI.x社区

以前我们遇到这种工作任务,一般两种方案,一是找人手动一个个找到并录入到表格中,二是尝试写代码来提取,但因为每个指标的的位置、指标单位不固定,不好实现,效果还不一定好。两种方案处理起来都费时费力。 

直接在线使用通用大模型

首先把页面打印成pdf格式的文件。 

然后编写提示词,参考前一篇文章提到的结构化提示词。 

需要下面这个提示词的可以在公众号后台输入提示词关键词。 


# Role:国民经济和社会发展统计公报提取助手
## Background : 我是一个数据分析工程师,需要你帮我提取政府统计公告中的指标数据到表格中,以便供我进一步分析。
## Profile:
- author: cc
- version: 0.1
- language: 中文
- description: 我是一位国民经济和社会发展统计公报提取助手, 专注于提取指标信息.
## Goals:
- 你需要根据用户提供给你的文本,提取其中的指标名称、数值、指标单位。
- 输出的提取信息必须准确、清晰。
## Constrains:
1. 不能偷懒,要全部提取完;不能偷懒,要全部提取完;不能偷懒,要全部提取完
2. 对于不在用户输入的文件中的指标信息, 不要捏造
3. 要严格区分指标名称、指标数值、指标单位,分成三列分别展示,不要把三者放一列进行展示,如果指标不存在单位,请用"-"表示
## Skills:
1. 熟悉政府统计公报中的内容
2. 能分清政府统计公报文本中哪些是指标名称、指标数值和指标单位
## Examples :
输入文本:""" 初步核算,2023年全省生产总值为55803.63亿元;年末全省常住⼈⼝5838万⼈,其中,城镇3822万⼈,乡村2016万⼈。城镇化率达到65.47%。。"""
提取输出:
指标名称    指标数值     指标单位
生产总值    55803.63    亿元
常住⼈⼝    5838        万人
城镇人口    3822        万人
乡村人口    2016        万人
城镇化率    65.47       %
## Workflows:
1.读取文件所有内容,理解哪些是指标
2.让我们一步一步思考,结合上下文,准确提取指标名称、指标数值、指标单位
3.以表格的形式进行输出,表头为序号、指标名称、指标数值、指标单位

把文件和提示词一起输入 

OpenAI CPO 谈做AI产品的几个理念,深受启发!-AI.x社区

得到结果如下,我检查了下开头和结尾,结果是比较准确的。但是中间有遗漏,大模型偷懒了,也可能是一次性读不了这么多内容。 

OpenAI CPO 谈做AI产品的几个理念,深受启发!-AI.x社区

随后尝试了下kimi,发现一次提取不全,得继续追问,才能提取完整。 

OpenAI CPO 谈做AI产品的几个理念,深受启发!-AI.x社区

复制到Excel,检查一下,就搞定了~,重复以上动作5次,五年的数据就提取好了。总共大概用了不到30分钟。 

OpenAI CPO 谈做AI产品的几个理念,深受启发!-AI.x社区

官方要是有一个导出成表格的插件就更好了,复制到excel的操作也免了。 

OpenAI CPO 谈做AI产品的几个理念,深受启发!-AI.x社区

用扣子工作流来实现上述需求

既然官方没有,那么就折腾一下,借助扣子搭建一个工作流,实现直接到飞书表格的效果。大概可以分成以下步骤: 

  • 解析上传的PDF文件的文本信息
  • 调用大模型提取文本中的指标信息
  • 将指标数据录入到飞书表格中

下图是我使用扣子构建的工作流 

OpenAI CPO 谈做AI产品的几个理念,深受启发!-AI.x社区

从图中可以看出,在上传一个pdf文件后,首先使用官方文件读取插件将文件内容解析出来。 

OpenAI CPO 谈做AI产品的几个理念,深受启发!-AI.x社区

第二步是通过分段策略将文本分成多个段落,这样做是为了工作流的健壮性,如果文本太长,会超过大模型上下文长度导致数据提取不全。 

OpenAI CPO 谈做AI产品的几个理念,深受启发!-AI.x社区

第三步是调用飞书excel插件进行表格和工作簿的创建以及表头的插入。 

OpenAI CPO 谈做AI产品的几个理念,深受启发!-AI.x社区

第四步是基于段落来进行指标提取以及录入工作。该步骤通过遍历段落列表 

OpenAI CPO 谈做AI产品的几个理念,深受启发!-AI.x社区

在第四步中,主要针对每个段落进行指标提取操作,将结果通过对话的方式反馈给我们。同时,将指标提取结果结构化,然后调用飞书插件将数据插入到工作簿中。 

第五步等到所有的段落都提取完成,将飞书表格的链接地址嵌入到回答中反馈给我们。至此,指标提取工作完成。 

OpenAI CPO 谈做AI产品的几个理念,深受启发!-AI.x社区

OpenAI CPO 谈做AI产品的几个理念,深受启发!-AI.x社区

大家可以去扣子上使用试试,虽然还不太完善 


访问地址:​​https://www.coze.cn/store/agent/7436388189331472394?bid=6ecqv4o600g1k​

大模型做图片内容提取

早上,老婆丢给我一张图,说一个表格文件找不到了,只有一张截图。 

OpenAI CPO 谈做AI产品的几个理念,深受启发!-AI.x社区

直接给到大模型,请提取图片中的内容,输出成表格形式 

OpenAI CPO 谈做AI产品的几个理念,深受启发!-AI.x社区

复制到wps,搞定~ 

OpenAI CPO 谈做AI产品的几个理念,深受启发!-AI.x社区

AI改变生活,AI节省时间~ 

OpenAI CPO 谈做AI产品的几个理念,深受启发!-AI.x社区

生成logo

起因是公众号改了名字,改成了AI思与行,所以想换个新头像。 

前几天看到一个国外文生图网站生成的图像还不错,于是拿来试试 

地址:https://ideogram.ai/t/explore 

提示词先想好,然后用大模型翻译成英文 

第一次生成的提示词:I want to create a logo for my AI self-media, with a style that is simple, abstract, and has a touch of technology and futurism. 

OpenAI CPO 谈做AI产品的几个理念,深受启发!-AI.x社区

第二次生成的提示词:I want to create a logo for my AI self-media, with a style that is simple, abstract, and has a touch of technology and futurism. AI self-media topic. 

OpenAI CPO 谈做AI产品的几个理念,深受启发!-AI.x社区

第三次生成的提示词:I want to create a logo for my AI self-media, with a style that is simple, abstract, and has a touch of technology and futurism. The slogan for the AI self-media is "Thought and Action," reflecting this theme. 

OpenAI CPO 谈做AI产品的几个理念,深受启发!-AI.x社区

第四次生成的提示词:I want to create a logo , with a style that is simple, abstract, and has a touch of technology futurism、Cyberpunk. The slogan is "Thought and Action," reflecting this theme. 

OpenAI CPO 谈做AI产品的几个理念,深受启发!-AI.x社区

最后选了第三次生成的第3张和第四次生成的第3张。试了下效果,选这张作为全平台的头像。

OpenAI CPO 谈做AI产品的几个理念,深受启发!-AI.x社区

和同事讨论了下,以一般设计师的水平,应该要设计蛮久,效果还不一定好 

大模型不会撂挑子,任劳任怨,不好看再生成一版就好了,要是换成公司设计师,你试试 

感受

过去 25 年,我们在一种高度确定性下做软件产品,固定输入会出现固定的输出,但现在这一点不复存在了。对这句话深表认同,以前做传统产品,每个功能都被提前设计好,用户点哪个功能,会出现什么结果,都是有预期和可确定的。现在围绕大模型做产品,是不确定大模型的输出的。 

就像现在智能驾驶上大模型一样,以往智能驾驶基于人工编写的规则进行自主驾驶,呈现出不灵活、不类人的缺点,武汉老百姓给百度萝卜快跑取名苕(傻)萝卜,就是这个原因。 

上面提取公报中指标信息的例子,在大模型出来以前要实现类似功能会非常困难,要么编写复杂的规则代码做提取,要么训练一个专门处理这种任务的小模型,现在有了大模型,可以解决之前很难用传统技术解决的问题。 

找到大模型擅长做的事情,知道大模型的特点和能力边界 

比如一方面要利用它的生成能力,比如上面说的文生图的例子,可能大模型越有创意、越发散越好。 

但是对于一些to b应用场景,在追求准确性和严肃性的背景下,要对模型的能力做相应的收敛和限制。

最后产品经理在设计AI产品时,应该自己尝试,只有真正动手,才能有深刻感受。 

参考资料:

​https://weibo.com/1706699904/5098051490812296 ​

​https://www.youtube.com/watch?v=IxkvVZua28k ​

本文转载自 AI 思与行​,作者: cd

收藏
回复
举报
回复
相关推荐