4類GPT產品模式、4個GPT小項目、4個商業(yè)化風險-AI產品經理視角

4類GPT產品模式、4個GPT小項目、4個商業(yè)化風險——AI產品經理視角本文作者從AI產品經理的視角，對最近2個月學習使用ChatGPT的經驗進行了總結，包括4類GPT產品模式、4個自己做的小項目、4個商業(yè)化風險。感興趣的小伙伴們一起來看一下吧！以下是從AI產品經理的視角，對最近2個月學習使用ChatGPT的總結，包含4類GPT產品模式、4個我做的小項目、4個商業(yè)化風險。4類GPT產品模式是：Prompt類、Embedding類、Fine-Tune類、LLM類4個GPT小項目是：內容生成、做個小程序、Embedding類項目、嘗試Fine-Tune自己的GPT4個商業(yè)化風險是：GPT迭代速度太快了、數(shù)據(jù)安全問題、內容審核、OpenAI政策問題一、4類GPT產品模式結合這段時間的項目經驗，我把目前chatGPT類的產品化模式分為四類，由簡單到復雜介紹一下。1.Prompt類僅使用chatGPT，這一類是最常見，也是商業(yè)化做得最多的。核心是利用Prompt引導去生成內容，比如日報生成器、小紅書標題生成器、英語學習等，上面這個圖片是我發(fā)現(xiàn)整理比較好的，另外也推薦下【外語易學堂】小程序，可以學習52種外語2.Embedding類向量數(shù)據(jù)庫+搜索+chatGPT。強烈推薦大家重點看這個方向！無論是私人助理，還是智能客服，只要是結合自有知識生成回答的項目，都繞不開這個方案，產品化空間很大，我自己也是花了最多時間在這個方向。截圖是鼎鼎大名的chatPDF項目，技術方案大致如下：文本切割:將自有的文檔或知識，切割成一小塊一小塊的，每一塊都向量化（可以用OpenAI的Embedding接口），返回這段文本的embedding的向量數(shù)據(jù)。存儲這些數(shù)據(jù)，并且保存好對應關系。用戶提問:將用戶提的問題也向量化，拿到問題的向量數(shù)據(jù)。搜索向量:計算相似度。用問題的向量，在之前切割的所有向量數(shù)據(jù)里，計算和問題向量相似度最高的幾個文本，可以直接使用余弦定理。調用ChatGPT:將搜索到的知識和用戶提問拼在一起，加上一段準備特殊的prompt（例如：使用以上內容回答以下問題），去調用ChatGPT接口，生成回復。技術方案看起來簡單明了，但在實現(xiàn)過程中也有非常非常多的細節(jié)，后面會結合我自己實際操作講一下注意事項。3.Fine-Tune類不斷微調，去訓練一個專屬自己的GPT模型。比如你想做一個銷售機器人，和客戶聊天的語氣盡可能模擬金牌銷售的樣子，這個機器又能掌握公司所有產品的知識，那你就最好自己Fine-Tune一個自己的專屬模型，因為現(xiàn)有的chatGPT不能做到如此的擬合你的語氣。但這里有很大的成本問題，GPT-3的Davinci訓練100M數(shù)據(jù)大概需要5萬塊人民幣（記不太清楚了），部署也要另外收費，成本很高，此外GPT3.5是不支持Fine-Tune的。不過Fine-Tune時候也不一定非要用Davinci，根據(jù)和Azure的溝通，他們在某些項目上使用Ada做分類模型的效果也很好。我們也嘗試過Fine-Tune，過程感人，后面再說。4.LLM類自己從頭做一個GPT類的完全屬于自己的預訓練大模型。這個是大公司專屬，參考百度文心一言、王慧文大佬的創(chuàng)業(yè)項目。不過其實考慮到Meta已經將LLaMA開源了，小團隊做一些非商業(yè)化的項目還是可以的（參考斯坦福發(fā)布的Alpaca），但是難度依然很大，不建議大家直接沖，另外就是要注意版權問題，因為我也沒做過，不詳細展開了。二、4個我做的小項目1.內容生成最簡單最容易上手的，當然是直接生產內容啦。為了驗證GPT的生成能力，設計了一個小實驗：利用GPT生成文案，再用剪映一鍵成片，從而實現(xiàn)批量生成視頻內容。經過2天的熟悉后，很快可以15分鐘內穩(wěn)定輸出40s視頻。一周時間我制作了40條視頻，收獲xx點贊，x個粉絲，后面就懶得搞了，囧。2.自己做了一個學外語的小程序瘋狂使用GPT嘗試不同的應用場景后，我發(fā)現(xiàn)教育是非常適合GPT特性的，也特別適合個人開發(fā)者。因為開發(fā)比較簡單，我就自己順手做了一個學習52種外語的小程序——外語易學堂，能糾正語法錯誤，可以模擬一個私人教練一樣和你展開溝通，特別適合社恐星人，再也不用去英語角了。3.Embedding類的項目這個是我們參考chatPDF做的一個嘗試，在在實際使用時候，效果也確實很好，怎么提問都能生成合適的回答。步驟簡介在上面說過了，下面我結合業(yè)務實際使用情況，分享下當前存在的問題，包括且不限于：富文本處理：這個是最大的問題，目前公開的GPT3.5是不支持富文本識別的，比如客戶上傳一個圖片詢問如何處理，這種答案就無法回答，15日公開的GPT4暫時也沒開放圖片輸入的能力，等OpenAI發(fā)布新版本后我們會再次修改產品。多輪對話：這個是第二大的問題，GPT3.5支持的最大token數(shù)是4096，實際應用中4輪左右的對話就會觸及上限了，繼續(xù)提問就會出現(xiàn)“遺漏記憶”的情況。這部分我們也和Azure的同學專題溝通過，他們也沒有什么特別好的辦法，不過好消息是GPT4的token長度增大了不少，但是價格也太貴了，用不起用不起。其他：知識的時效性、知識權重、內容過濾、Embedding的工程化問題等，細節(jié)其實很多，大家想看下次單獨起一個文章。4.嘗試訓練自己的GPT因為GPT3沒開源（我們也微調不起），就想著是不是可以利用GPT2+RLHF試著做一個特定小領域的chatGPT，經過近20余人連續(xù)1周幾千次的標記，結論是xxxx（回頭再說吧，都是辛酸淚，單標注平臺的設計就很麻煩了）三、4個商業(yè)化問題回頭看這2個月以來的產品化路徑，心情是跌宕起伏的。最開始激動不已，感覺AGI終于要到來了，但當從商業(yè)化、產品化角度去考驗GPT時候，又發(fā)現(xiàn)一堆的問題，有些沮喪，再到后來OpenAI不斷釋放最新的接口，商業(yè)化似乎又可以期待了，類似情況循環(huán)往返，現(xiàn)在終于到了比較平靜的狀態(tài)，總而言之吧，前途是光明的。這里列舉一下我碰到的商業(yè)化問題。1.GPT迭代速度太快了這看起來是一個好事，但其實也是一個頭疼又幸福的煩惱。經常是你一個商業(yè)模式剛開始做，GPT就出了新版本了，以前的東西就要重新思考。比如一開始沒有發(fā)布GPT-3.5-Turbo模型，做產品時候要用session的方案去模擬請求，后來發(fā)布了GPT3.5的API后，產品又要重新開發(fā)。又比如多模態(tài)問題，這個GPT4發(fā)布后看起來解決了一部分（要測試一下才知道），但注定又要重新設計產品?？焖俚哪Ｐ褪呛檬拢辽佻F(xiàn)階段來看，是不利于發(fā)展成熟的商業(yè)模式的，大家不太敢大規(guī)模投入，可以參考jasperAI和Grammarly的情況。2.數(shù)據(jù)安全問題經過和微軟Azure的反復確認，目前OpenAI是沒有在國內部署服務器的，也就是說你所有的請求內容都要出國，送到美國的服務器處理。這個大公司尤其敏感，也就注定了百度文心一言會有市場，如果你在大公司，就要仔細考慮下了。3.內容審核如果要做商業(yè)化，對輸出內容的zz審核及敏感內容過濾是一定要注意的，建議GPT生成的內容再過一遍審核服務，避免別人爆破你的服務，輸出一些不安全的內容。4.OpenAI政策問題3月初開始，OpenAI的API地址就被墻了，需要自己想辦法。另外上周開始，OpenAI封禁了一批“非法請求”的賬號，從國內/香港等OpenAI不支持地區(qū)的訪問，將會被封禁賬號，具體自己看OpenAI的政策。我當時收到的郵件如下：四、有趣產品分享下面是幾個非常有趣的產品推薦，他山之石可以攻玉，朋友們看一下：五、參考資料1.如何體驗chatGPT最小白的問題其實也很重要，如果你已經會使用GPT了，直接跳過。國內直接用：推薦【阿旺機器人】小程序，這個是BaixingAI公眾號開發(fā)的，使用最簡單，國內就能用。OpenAI官方：直接點這里，用起來比較麻煩。API訪問：注冊賬號，拿到APIkey，使用https://chatx.me、OpenCat等訪問，注冊方法自己搜索吧。2.GPT原理學習有點基礎的可以直接看以下內容，再次說明，這個是產品經理視角的，算法工程師們請直接看論文：先看這個：大規(guī)模預訓練語言模型總結：ELMo、GPT、BERT、XLNet再看這個：【RLHF】訓練ChatGPT3.幾個好的開源項目/論文ChatGPT中文調教指南：大量的中文調教prompt，很實用。HYPERLIN