Categories
中文

一位LLM创业者的故事

过去的一年是大语言模型爆发的一年。随着ChatGPT的爆红,大语言模型迅速为普罗大众所知。我希望通过分享我自己的故事,帮助大家管中窥豹,了解大语言模型创业的波澜壮阔。

我叫王晶,Storytell.ai的联合创始人和CTO。2022年10月我和两位合伙人共同创立了Storytell.ai,致力于用大语言模型(LLM)蒸馏知识,帮助知识工作者提能增效。我们之所以取名为Storytell,正是在于故事是人类历史上最古老的知识蒸馏工具。在远古时代,人们围坐在明亮的篝火旁讲故事,使得人类的经验和智慧得以口口相传。

过去的一年是大语言模型爆发的一年。随着ChatGPT的爆红,大语言模型迅速为普罗大众所知。我希望通过分享我自己的故事,帮助大家管中窥豹,了解大语言模型创业的波澜壮阔。

出走谷歌

九层之台,起于累土。虽然ChatGPT来自于OpenAI,但是大语言模型的发源地是在在谷歌大脑 (Google Brain) — 这是一个由Jeff Dean,吴恩达等人创立的深度学习的实验室 。我和大语言模型结缘正是我在谷歌大脑工作的期间。 我在谷歌工作五年,前三年在广告商业化部门,后两年则是转到谷歌大脑。我进入谷歌大脑不久,就发现周围的同事一个接一个转移到大语言模型方面的研究,那段时间(2017-2019年)正是大语言模型的萌发期,大量的新技术在谷歌实验室里出现。身处其中,使得我对于大模型的能力有了深刻的理解。尤其是几个经历让我意识到语言模型即将出现真正的技术革命:

  1. 一个是关于BERT的小经历:2017年有一天我去食堂食堂吃饭,突然之间食堂里面传来了雷鸣般的掌声。原来是附近有一个组在讨论实验的结果。谷歌为员工提供免费的午饭。午饭时间大家经常会聚在一起聊工作的事情。我周围的同事和我说:你知道BERT么?我当时只知道BERT是美国动画芝麻街(Sesame Street)里面的,但是我也没有看过这个动画。同事和我说:BERT在内部实验中将谷歌搜索的营收增加了了1%。当时谷歌的营收已经每年一千多亿美金,这个意味着每年数十亿美金的营收。这对我是相当震撼的。
  2. 一个是关于Duplex的经历:Sunder Pichai在2018年Google IO发布了一个人工智能打电话的demo。引起了业界的震撼。这个项目内部叫做Duplex,当时我们组在负责Duplex相关的模型工作。Demo展示的只是其中的一个小片段,内部还有很多类似的AI电话的数据。我们经常需要review duplex模型的结果。结果令我震惊,我基本上无法分辨AI或者人的对话。

另一个收获是关于商业模式的思考。虽然我在谷歌商业化团队做过很久,我个人做的模型也为谷歌每年带来超过两亿美元的营收,但是我意识到广告为主的商业模式将成为大语言模型的桎梏。广告的商业模式最大的问题就是将用户的注意力(时间 )作为一个待售的商品。对于用户来说,看起来是免费使用了产品,但是实际上是将自己的注意力赠予了平台。而平台没有动机去增加用户效率,而是获取更多的注意力,以极低的价格出售。有价值的用户最终会离开平台,导致平台本身愈发不值钱。

我在谷歌大脑做的其中一个AI落地业务就是YouTube首页的视频流推荐。整个Google和YouTube的商业模式就是广告,更长的用户时长就意味着更多的广告搜入。 所以YouTube这类应用最重要的是增加在App上的总使用时长。当时TikTok还没有起来,YouTube在美国的视频领域一骑绝尘。在YouTube的模型评审会上,我们经常要讨论的如何减少人的吃饭睡觉的时间。 虽然我当时希望通过改进算法来改善用户体验。但是无论怎么调整,最终的目标还是脱离不了增加用户使用时间,以期增加广告营收。

在我思考的过程中,我逐渐接触到Software as a Service (SaaS)的商业模式,觉得这才是大模型的正确商业模式。在SaaS里面,只有切实的为用户提供持续的价值,用户才会付费订阅。SaaS讲究的是客户驱动,而谷歌的文化过分强调工程师文化,忽略了客户价值。这使得在谷歌内部探索这个道路非常困难。最终我坚定了离开谷歌,决定做一个自己SaaS的创业公司。我在2019年底加入了一家SaaS初创公司成为Founding Member,了解了SaaS公司从0到1的构建过程。在这个过程中也同时寻找合适的商业合伙人。终于在2022年我和两个合伙人创立了Storytell.ai。

产品迭代

创业初期最重要的是寻找产品市场契合(PMF)。传统SaaS软件讲究专业化细分化,基本上每一个赛道只有少数的公司在进行迭代,产品稳定可能需要数年的时间。今年ChatGPT带来了的市场天翻地覆的变化。ChatGPT爆红对于SaaS软件创业者来说是一把双刃剑。一方面降低了教育市场的成本,另一方面整个赛道变得更卷,大量的创业者涌入分流了客户资源,ChatGPT带来的很多无效流量,最终不能有效内化为产品。

很多人认为大模型应用创业的护城河是技术,或者是数据。我们认为这些都不是。真正的护城河是用好这把双刃剑的剑术。好的剑术能将剑的双刃都转化为破局之力:

  • 一方面对于传统SaaS,利用ChatGPT势能,最大化对于传统SaaS的冲击。让客户感受到跟上大时代的紧迫性。做AI Native的feature,使得incumbent难以跟进。
  • 另一方面利用竞争带来的生态繁荣,并且在产品迭代上有章法,有定力,最终缩短产品迭代周期,实现最大动能。

在产品迭代上,我们遵循这两个原则:

1)数据指引: 在迭代的过程中,我们通过北极星指标来指引我们的大致方向。我们的北极星指标(North Star Metric)是:

每日使用量 X 信噪比

每日使用量是我们平台每天的摘要和用户询问问题的数量。信噪比是一个0到1的数字,表示有多少我们生成的内容获得了用户的正反馈。

2)用户驱动。利用用户的深度交流驱动产品功能调整。我们还形成了一个传统,我们每个季度

在收集用户反馈上,我们采取了线上线下结合的方式。线上通过用户行为分析用具确定有意思的用户行为,跟进进行用户访谈收集具体反馈。线下采取了组织很多的活动将用户聚拢到一起,进行头脑风暴。

在这样的思路下,我们的产品进行了多轮的迭代。

V0: Slack插件

2022年6月份开始我们就开始进行了很多的用户访谈(Customer Discovery Call)。我们在和用户访谈的过程中经常需要把客户的访谈录下来。我们主要用的是Zoom,但是Zoom自己不提供摘要的工具。我利用GPT3的API做了一个自动生成摘要的Slack的插件,每当我们有Zoom会议时。就会自动给一个特定的Slack Channel发送会议的视频链接。之后我们的插件会回复一个自动生成的摘要。用户也可以回复一些followup的问题。

当时市面上没有什么自动生成摘要的工具,每一个和我们访谈的用户都对这个工具非常的惊叹。这个使得我们逐渐开始把注意力都放在这个自动摘要的方向上。Slack插件让我们收集到了很多的用户反馈。到了2022年12月底,我们意识到了Slack插件的局限性。

  1. 首先:Slack是一个friction非常高的系统。只有系统管理员可以安装插件,普通员工是无法自己安装插件的。
  2. 我们Slack的周末几乎没有使用量。用户在个人工作流中使用Slack的可能性很低。
  3. Slack本身的界面给我们的用户带来了很大的混淆。

V1: Chrome Extension

我们在2022年12月份开始开发Chrome插件。我们考虑这个主要解决上面这些问题。Chrome插件虽然也有Friction,但是用户可以选择个人安装。Chrome插件也可以自动summarize用户访问过的页面(实现AI as a companion的效果)。另外Chrome 插件比较容易形成个人和工作的协同。在Chrome Extension的迭代过程中,我们意识到Chat是一种最为重要的交互手段。用户通过提问(或者提示词prompt)可以将准确的表达他们的需求。我们虽然在Slack阶段也允许用户提问,但是主要的重心还是放在提供一系列的按钮。在Chrome Extension的迭代过程中,我们发现了聊天的的界面具有很大的灵活性,并且可以快速的发现没有预先定义好的客户需求。

1月17号我们发布了我们的Chrome 插件。但是2月7号微软发布了Bing Chat(后来的Copilot),集成到了Microsoft Edge里面。到了三月份间,Chrome商店大量出现了Copilot的Copy Cat。我们很快意识到Copilot方向将很快成为红海。另外我们在Chrome插件开发的过程中也意识到一些瓶颈。Chrome插件开发的Friction是很高的。Google的Web Store的审核需要一个星期左右的时间。这在传统软件开发里面是没有问题的。但是对于大模型的开发是非常不利的。今年大模型本身的迭代速度基本上是日更。如果每周更新一次,很容易会落后。

V2: VirtualMe™ (数字分身)

在2023年3月份我们开始开发自己的网页端应用。用户可以上传自己的文档或者音频视频,然后我们会生成摘要,并且用户询问相应的问题。我们开发的初衷是就是构建自己可控的用户交互的平台。网页端的开发速度比Chrome Extension高出了一个数量级。我们可以做到每天四五次发布。不再需要等待Google的批准。而且Chrome插件基本上我们只有浏览器右边的一小部分可以使用。在交互上面还有很多的限制,网页端我们对于用户交互具有完全的控制力,使得我们可以做更加复杂的用户产品交互。

在这个过程中我们学到工具类应用是非常难以做用户存留。用户基本上用完即走,没有忠诚度。成本居高不下。而且随着大量的AI工具类出海应用,这个赛道逐渐变得拥挤。

 我们开始从我们的用户中刻意筛选企业用户进行访谈,了解他们的反馈。到了2023年6月份间,我们意识到,增加用户粘性的最好方式是企业工作流进行紧密的结合。企业工作流本身会自然出现数据的沉淀,并且成为企业工作流程的一部分是增强了产品的护城河。

我们开始思考我们产品和企业工作流的结合。我们想到做拟人化的代理Agent。绝大多数时候我们在工作中碰到问题,其实是首先去问同事。拟人化的Agent可以很好的和这个工作流程结合。我们很快开发出了原型,并且邀请了一些用户内测。

我们起初设想的用户场景是每一个人可以创建自己的数字分身。用户可以上传自己的数据到自己的数字分身。这样当用户不在线的时候,可以替代他回答同事的问题。当我们推出产品之后,我们发现最常用的使用场景不是创建自己的数字分身,而是创建别人的分身。比如说我们这个过程中发现产品经理对我们的使用量很大。他们主要是创建自己客户的数字分身,然后询问,看看客户会怎么回答。

在VirtualMe™阶段,是我们第一次开始细化企业端的用户画像。我们identify了几个用户画像。主要是1.产品经理。2营销经理。3客户成功经理。他们的特点都是需要更好的了解其他,并且创建相应

我们七月底的时候组织了一个线下活动,邀请了很多用户过来一起测试我们的VirtualMe产品。他们对我们的产品反馈是非常好用,但是他们对于你拟人化的Agent有很大的顾虑。对于我们的用户群来说,个人品牌是很重要的。他们担心虚拟分身所说的话会对自己的个人品牌有影响。尤其是大模型普遍还是存在“幻觉”(Hallucination)的可能性。

也是在这个活动中,用户提到他们对于我们产品觉得最好用的部分就是子自定义Data Container,并且可以快速的生成一个ChatBot 。这个在当时市面上尚无任何其他产品可以做到。

V3: SmartChat™ 

八月份开始,我们依据这个思路深入挖掘数据管理功能。推出了SmartChat™.  在SmartChat™里面用户上传数据之后,我们会自动提取内容中的标签。并且用户也可以自定义标签,进行数据管理。用户可以点击标签,ChatBot就会依据标签里面的内容进行对话。同时我们也上线了自动化系统,自动化的帮用户run prompt,将结果通过Slack或者邮件推送给合适的受众。

下图是我们到今年12月1日的北极星指标。在年初Slack插件阶段,我们的NSM(北极星指标)只有平均不到1左右。在Chrome Extension阶段,我们的NSM达到了数百。VirtualMe™将我们的NSM推高到5000。

到了12月初,我们的NSM接近两万。之前我们全部都是靠自然增长。到了这个时期我们觉得可以稍微开始做一些增长。12月份的时候我们开始了一些Influence marketing的活动,我们在12月NSM增长了30倍,达到了550K!

从年初不到1的NSM到年末550K。2023年我们把Storytell从一个demo,做到了有忠实用户基础的产品。我为我们的团队感到自豪,也非常感激我们的早期用户和设计伙伴(Design Partners)。

构建企业愿景和文化

我们在创立之初第一件事情就是厘清公司的愿景和文化。企业的愿景和文化真正定义了一个企业的基因,愿景是帮助我们知道该向何处去,文化保证我们有效的合作。Storytell的愿景是希望能够成为(Clarity Layer),利用AI来帮助人从纷繁的信息里面抽丝剥茧(https://go.storytell.ai/vision)。我们有了六个企业文化价值:1)杠杆思维 Apply High-Leverage Thinking。2)同舟共济 Everyone is Crew。 3)市场驱动 Market Signal is our North Star。 4)默认透明。We Default to Transparency。 5)坦诚沟通 We Prioritize Courageous Candor in our Interactions。 感兴趣的朋友可以看这里 https://go.Storytell.ai/values。我们在公司创建的过程中也特别注重团队文化建设。我们从开始希望的是work hard but also play harder。每一个季度我们都会有offsite。整个团队都非常喜欢户外和Camping,所以我们经常举行各种户外活动(我们有一个共享相册,有我们成立第一天开始的照片)。我们称自己为Storytell Crew。就是希望我们能够向一个宇航员机组一样,一起跨越星辰大海。

结语

从小我尤其喜欢读创业史的书籍,吴晓波的《激荡三十年》,和林军的《沸腾十五年》都让我心潮澎湃而心向往之。初闻不知曲中意,再闻已是曲中人。2023年已是一个新时代的开端。我知前路维艰,但有幸亲身经历这个过程。无论结果如何,我都会和所有的Storytell Crew一起砥砺前行。无惧无悔。期待2024 Storytell能够乘风破浪!

另外也打一个小广告,Storytell.ai正在招聘前端和全栈工程师:https://go.storytell.ai/fse-role 如果有兴趣的朋友可以联系我,我的邮箱是 jingconan@storytell.ai

Leave a comment