OpenAI CPO 谈做AI产品的几个理念,深受启发! 精华
前言
在微博看到有i陆三金大佬发了OpenAI、Anthropic 两家公司的首席产品官的同台访谈,看俩人讨论如何在生成式 AI 的不确定性下做产品。
提取了一下要点,有兴趣可以去看原视频:
- 在模型被训练出来之前,每个人都不知道模型会怎么样,会涌现哪些能力,研究团队也不知道,它的性能是 60%、90% 还是 99% ,而基于每一种情况去构建产品又很不一样。
- OpenAI CPO:很多事情在 60% 的情况下已经可以做,只是你要针对性的做产品。
- Anthropic CPO :与客户进行试点项目时,同一天会收到两家公司的反馈,一家公司会说,这完全解决了我们的问题,我们已经被困扰三个月了;另一家公司会说,完全没作用,比其他模型还糟糕。
- 两人都提到了现在的模型不是智能受到了限制,而是评估受到了限制。Claude 实际上比较擅长评估,Anthropic 在面试产品的时候,会要求写一段提示词,来去做评估。写评估正在成为产品经理的核心技能。
- Anthropic CPO :AI 产品功能目前取决于你在评估和提示方面的表现。
OpenAI 建立了一个训练营,让每个产品经理学习如何撰写评估,以及好的评估与坏的评估之间的区别。
- 除了评估,产品经理还应该掌握哪些技能:Anthropic CPO 认为产品经理应该要会做原型;OpenAI CPO 则认为 PM 应该去了解技术。
- OpenAI CPO:过去 25 年,我们在一种高度确定性下做软件产品,固定输入会出现固定的输出,但现在这一点不复存在了。
- OpenAI CPO 提到了人们有多快适应新技术,他举了自己乘坐 Waymo 的例子,前 5 分钟,替自动驾驶担心,能不能开好;5-10 分钟,哇,我生活在未来;10 分钟之后,开始觉得无聊。他说 ChatGPT 才 2 年,但是我们回头再看的时候,会觉得以前的东西都是垃圾。
- 展望未来,Anthropic CPO 认为趋势是模型会越来越主动,提前帮用户准备资料、日程之类的;更加异步,就像是 o1 会花更长时间去做一些更复杂的任务,而不是实时回答。OpenAI CPO 则补充了多模态交互,而不仅仅是文本交互。
前几天接到一个任务,需要把近5年湖北省国民经济和社会发展统计公报中涉及的指标名称、指标数值、指标单位提取出来形成一张表格,供指标监测和数据分析用。
首先看下统计公报的内容结构,分综合、农业和工业等板块分别阐述统计指标情况。
以前我们遇到这种工作任务,一般两种方案,一是找人手动一个个找到并录入到表格中,二是尝试写代码来提取,但因为每个指标的的位置、指标单位不固定,不好实现,效果还不一定好。两种方案处理起来都费时费力。
直接在线使用通用大模型
首先把页面打印成pdf格式的文件。
然后编写提示词,参考前一篇文章提到的结构化提示词。
需要下面这个提示词的可以在公众号后台输入提示词关键词。
# Role:国民经济和社会发展统计公报提取助手
## Background : 我是一个数据分析工程师,需要你帮我提取政府统计公告中的指标数据到表格中,以便供我进一步分析。
## Profile:
- author: cc
- version: 0.1
- language: 中文
- description: 我是一位国民经济和社会发展统计公报提取助手, 专注于提取指标信息.
## Goals:
- 你需要根据用户提供给你的文本,提取其中的指标名称、数值、指标单位。
- 输出的提取信息必须准确、清晰。
## Constrains:
1. 不能偷懒,要全部提取完;不能偷懒,要全部提取完;不能偷懒,要全部提取完
2. 对于不在用户输入的文件中的指标信息, 不要捏造
3. 要严格区分指标名称、指标数值、指标单位,分成三列分别展示,不要把三者放一列进行展示,如果指标不存在单位,请用"-"表示
## Skills:
1. 熟悉政府统计公报中的内容
2. 能分清政府统计公报文本中哪些是指标名称、指标数值和指标单位
## Examples :
输入文本:""" 初步核算,2023年全省生产总值为55803.63亿元;年末全省常住⼈⼝5838万⼈,其中,城镇3822万⼈,乡村2016万⼈。城镇化率达到65.47%。。"""
提取输出:
指标名称 指标数值 指标单位
生产总值 55803.63 亿元
常住⼈⼝ 5838 万人
城镇人口 3822 万人
乡村人口 2016 万人
城镇化率 65.47 %
## Workflows:
1.读取文件所有内容,理解哪些是指标
2.让我们一步一步思考,结合上下文,准确提取指标名称、指标数值、指标单位
3.以表格的形式进行输出,表头为序号、指标名称、指标数值、指标单位
把文件和提示词一起输入
得到结果如下,我检查了下开头和结尾,结果是比较准确的。但是中间有遗漏,大模型偷懒了,也可能是一次性读不了这么多内容。
随后尝试了下kimi,发现一次提取不全,得继续追问,才能提取完整。
复制到Excel,检查一下,就搞定了~,重复以上动作5次,五年的数据就提取好了。总共大概用了不到30分钟。
官方要是有一个导出成表格的插件就更好了,复制到excel的操作也免了。
用扣子工作流来实现上述需求
既然官方没有,那么就折腾一下,借助扣子搭建一个工作流,实现直接到飞书表格的效果。大概可以分成以下步骤:
- 解析上传的PDF文件的文本信息
- 调用大模型提取文本中的指标信息
- 将指标数据录入到飞书表格中
下图是我使用扣子构建的工作流
从图中可以看出,在上传一个pdf文件后,首先使用官方文件读取插件将文件内容解析出来。
第二步是通过分段策略将文本分成多个段落,这样做是为了工作流的健壮性,如果文本太长,会超过大模型上下文长度导致数据提取不全。
第三步是调用飞书excel插件进行表格和工作簿的创建以及表头的插入。
第四步是基于段落来进行指标提取以及录入工作。该步骤通过遍历段落列表
在第四步中,主要针对每个段落进行指标提取操作,将结果通过对话的方式反馈给我们。同时,将指标提取结果结构化,然后调用飞书插件将数据插入到工作簿中。
第五步等到所有的段落都提取完成,将飞书表格的链接地址嵌入到回答中反馈给我们。至此,指标提取工作完成。
大家可以去扣子上使用试试,虽然还不太完善
访问地址:https://www.coze.cn/store/agent/7436388189331472394?bid=6ecqv4o600g1k
大模型做图片内容提取
早上,老婆丢给我一张图,说一个表格文件找不到了,只有一张截图。
直接给到大模型,请提取图片中的内容,输出成表格形式
复制到wps,搞定~
AI改变生活,AI节省时间~
生成logo
起因是公众号改了名字,改成了AI思与行,所以想换个新头像。
前几天看到一个国外文生图网站生成的图像还不错,于是拿来试试
地址:https://ideogram.ai/t/explore
提示词先想好,然后用大模型翻译成英文
第一次生成的提示词:I want to create a logo for my AI self-media, with a style that is simple, abstract, and has a touch of technology and futurism.
第二次生成的提示词:I want to create a logo for my AI self-media, with a style that is simple, abstract, and has a touch of technology and futurism. AI self-media topic.
第三次生成的提示词:I want to create a logo for my AI self-media, with a style that is simple, abstract, and has a touch of technology and futurism. The slogan for the AI self-media is "Thought and Action," reflecting this theme.
第四次生成的提示词:I want to create a logo , with a style that is simple, abstract, and has a touch of technology futurism、Cyberpunk. The slogan is "Thought and Action," reflecting this theme.
最后选了第三次生成的第3张和第四次生成的第3张。试了下效果,选这张作为全平台的头像。
和同事讨论了下,以一般设计师的水平,应该要设计蛮久,效果还不一定好
大模型不会撂挑子,任劳任怨,不好看再生成一版就好了,要是换成公司设计师,你试试
感受
过去 25 年,我们在一种高度确定性下做软件产品,固定输入会出现固定的输出,但现在这一点不复存在了。对这句话深表认同,以前做传统产品,每个功能都被提前设计好,用户点哪个功能,会出现什么结果,都是有预期和可确定的。现在围绕大模型做产品,是不确定大模型的输出的。
就像现在智能驾驶上大模型一样,以往智能驾驶基于人工编写的规则进行自主驾驶,呈现出不灵活、不类人的缺点,武汉老百姓给百度萝卜快跑取名苕(傻)萝卜,就是这个原因。
上面提取公报中指标信息的例子,在大模型出来以前要实现类似功能会非常困难,要么编写复杂的规则代码做提取,要么训练一个专门处理这种任务的小模型,现在有了大模型,可以解决之前很难用传统技术解决的问题。
找到大模型擅长做的事情,知道大模型的特点和能力边界
比如一方面要利用它的生成能力,比如上面说的文生图的例子,可能大模型越有创意、越发散越好。
但是对于一些to b应用场景,在追求准确性和严肃性的背景下,要对模型的能力做相应的收敛和限制。
最后产品经理在设计AI产品时,应该自己尝试,只有真正动手,才能有深刻感受。
参考资料:
https://weibo.com/1706699904/5098051490812296
https://www.youtube.com/watch?v=IxkvVZua28k
本文转载自 AI 思与行,作者: cd