除了ABtest，還有更好用的測試方法_渠道_數據_結果

某互聯網金融公司準備通過投放獲取投資客戶。

最近聽說私域流量很火，但是從來沒在公眾號渠道試驗過，現計劃在公眾號渠道進行投放，請數據分析部門利用大數據人工智能精準預測投放效果，到底做一次投放能賺多少錢。

假設你是這個公司的數據分析師……

編者按

轉自 | 接地氣的陳老師

作者 | 接地氣的陳老師

題圖 |源自unsplash.com

01 別忘了你還有這個武器

正確回答：預測個屁！

業務部門是不懂數據原理的，有想不明白的事搬出“大數據人工智能”就好了。

但做數據的人腦子得格外清醒。按題中的場景，業務上連一次都沒做過，連數據都沒有，這還預測個毛線。

這時候應該做測試，先收集一些數據，有了相當的數據積累以後再談預測的事。

測試從來都是數據分析解決問題的手段。

俗話說：是騾子是馬，拉出來遛遛。測試就是遛馬的過程，結果好壞一眼即明。特別針對：新渠道、新產品、新團隊這種創新情況。

舊的數據不能完全推演創新，就更得上測試了。

只不過，這些年熱炒的都是基於自有App的ABtest，所以很多新人忽視了更普遍的測試設計方法，今天我們系統講解下。

02 設計測試的基本要求

很多新人會想當然地認為：

測試不就是讓業務先搞幾次，那讓他們搞，我們等著收數據不就好了。

這種偷懶的想法，會在事後給自己添加無窮無盡的麻煩。

首先，測試是有業務代價的。

比如本場景中，投放是為了拉新用戶和新投資，花了錢要見效果，不然肯定被老板diss。

那麽相關的問題就來了：

• 花多少錢？

• 要做多少效果？

• 測幾輪見效果？

• 測幾輪的損失能不能承擔？

這些都得事先有個清晰界定，才能避免糾結。

其次，測試是有內容設計的。

比如本場景中，用戶會不會被吸引來，和投放號類型、投放時機、文案、轉化路徑、產品選擇、CTA動作，都有關係。

如果一開始不做認真設計，只是簡單的丟一個，那很多其他可能無法對比測試，就不能推導出有效結論。

再次，測試是受投入影響的。

比如本場景中，有可能優質的渠道需要花很多錢，有可能用戶補貼力度得比其他渠道大一點，導致的結果就是可能第一輪不見效，但第二輪增加力度就見效了！

所以要不要做追加投入，也得事先考慮清楚。

由於以上三點，使得測試需要分四個階段，做好充分的準備再上路（如下圖）。

03 部署階段

部署階段要解決的是戰略問題：

• 到底要測試多久

• 為測試可以投放多少資源

• 測試出什麽結果才滿意

在本場景中，作為新投放渠道測試，則首先得搞清楚渠道的定位。

常見的有：

• 主力渠道：承擔50%+的流量來源，主要投資方向

• 助攻渠道：承擔20%+的流量來源，次要投資方向

• 邊緣渠道：單渠道流量不超過5%，選擇性投放

• 零散渠道：有牠沒牠關係不大，聊勝於無

可以根據當期的整體渠道投放目標，反推需要的流量；之後根據業務上策略（下決心建立新渠道，還是跟風玩玩），把任務分配清楚，之後定義好本次測試新渠道的定位。

有了清晰的定位，自然很容易得出：投多少錢，做多少次。

有了財力、人力、時間的界定，後續設計方案就簡單了。

04 準備階段

準備階段要解決的是戰術問題：

• 到底要測試哪些渠道

• 到底測哪些版本

• 到底測哪些產品

在本場景中，由於是完全沒有經驗，因此需要第三方/同業的案例、數據做支持。雖然不能拿到100%準確的數據，但至少能照貓畫虎，比如：

• 同業投放哪些賬號

• 可觀察的文章曝光量是多少

• 小道消息打聽來的轉化率是多少

• 同業用的什麽形式

經過梳理，至少有一個大概方向，比閉著眼睛瞎胡做強的多。

注意，站在用戶角度，影響用戶行為的因素是綜合性的。比如公眾號渠道投放，標題、長度、投放時間、內容寫法、CTA、轉化路徑、產品價格、產品屬性等等等都會有影響。

用數據進行測試，很難在一次測試把以上因素全部拆解清楚，因此需要提前準備多個測試版本，且測試版本之間差異不能太大，有一定延續性，這樣才能為後期分析做好準備。

以上全部是標紅加粗，是因為在實際工作中，業務方經常喜歡糾結細節，結果搞出來的各個版本一個天上一個地下，完全沒有可比性。

除了看整體轉化結果外，細節完全無法對標，因此很難做深入分析。

可以說事後分析的艱難，有80%是因為事先沒有做好計劃導致的，切記切記。

05 測試與復盤階段

準備好以後，可以上線測試和復盤。

本場景是渠道投放，且目標就是獲取新投資用戶，因此考核結果指標相對簡單清晰，看轉化來的用戶數，用戶投資率，用戶投資金額幾個指標即可。

只要測試結果能達成部署階段的目標，就算渠道合格，完成任務。

如果不行，可以根據事先制定的叠代方案，進行叠代優化，進一步觀察效果。

這裡要強調的是一些細節問題：

1、結果判斷和原因分析要分開。先判斷結果是否可接受，再分析哪個環節有問題。

2、叠代有順序進行，產品、價格、內容要分開。最好一次換一個，最差也不要仨一起換。

3、優先換產品、價格，內容不一條條換。內容涉及細節太多，全部測出來成本太高，因此優先考慮產品和價格。

這樣看數據的時候，可以按以下順序展開：

06 小結

為啥開頭要問如何人工智能大數據精準預測？

是因為很多同學真的以為能預測！

不但業務部門迷信預測，連很多數據分析師自己都信了，還真以為隨便搞幾個數字就是大數據了，真以為隨便懟個模型調個參就是人工智能了，還真為人工智能就是全知全能的上帝一道金光從天而降代碼就能變成鈔票，隨著鍵盤的敲動從屏幕裡噴薄而出……

• 數據分析，有數據才能分析

• 沒有數據，先採集數據

• 業務沒做過，先做做試試

• 不要瞎胡試，認真做計劃，一步步試

這些看似毫無技術含量的傳統流程，才是用數據保障業務增長的秘籍。由於本場景是外部渠道，因此不是用ABtest分流量做對比的思路

高級數據分析師必備的八大能力 | 遠不止Excel、SQL或Python

聚類，預測建模和機器學習，新一代客戶細分工具的“好”與“壞”| 勺海譯文