正如蝴蝶效應(yīng)理論所描述的那樣，即使是微小的變化也可能在系統(tǒng)中引發(fā)巨大的連鎖反應(yīng)，而我們作為設(shè)計(jì)師，往往需要在復(fù)雜的產(chǎn)品生態(tài)中，探尋那些微小變化與最終顯著成果之間的關(guān)聯(lián)。

本文旨在探討在眾多可能的改進(jìn)中，哪些是可能有效提升核心業(yè)績(jī)指標(biāo)的？如何洞察并定位那些能夠?qū)嵸|(zhì)性提升關(guān)鍵指標(biāo)的產(chǎn)品痛點(diǎn)和機(jī)會(huì)點(diǎn)并進(jìn)行長(zhǎng)期有效監(jiān)測(cè)？從而使設(shè)計(jì)師們更好地理解設(shè)計(jì)決策與業(yè)務(wù)結(jié)果之間的復(fù)雜聯(lián)系。

一、工具和方法的探索

1. 工具/方法的分析與選取

探索業(yè)務(wù)的改進(jìn)措施與核心指標(biāo)變化之間的關(guān)系，可以考慮以下幾種數(shù)據(jù)分析方法

1. 實(shí)驗(yàn)設(shè)計(jì)（A/B 測(cè)試）：A/B 測(cè)試是評(píng)估產(chǎn)品變更效果的經(jīng)典方法。通過(guò)將用戶(hù)隨機(jī)分配到控制組和實(shí)驗(yàn)組，可以比較不同設(shè)計(jì)或策略變化對(duì)核心業(yè)務(wù)指標(biāo)（如轉(zhuǎn)化率、用戶(hù)留存率等）的影響。這種方法可以直接觀察到特定變更對(duì)業(yè)務(wù)指標(biāo)的影響，有助于做出基于數(shù)據(jù)的決策。
2. 回歸分析：如果數(shù)據(jù)中包含多個(gè)變量可能影響業(yè)務(wù)指標(biāo)，回歸分析可以幫助識(shí)別和量化這些變量對(duì)目標(biāo)變量（如 NPS）的影響。線(xiàn)性回歸、邏輯回歸或多元回歸等技術(shù)可以用于此目的。
3. 時(shí)間序列分析：如果業(yè)務(wù)指標(biāo)隨時(shí)間變化，時(shí)間序列分析可以幫助識(shí)別趨勢(shì)、季節(jié)性模式或周期變化。這對(duì)于理解長(zhǎng)期策略如何影響業(yè)務(wù)指標(biāo)特別有用。
4. 用戶(hù)反饋和定性分析：除了定量分析，收集和分析用戶(hù)反饋，對(duì)于理解設(shè)計(jì)改變?nèi)绾斡绊懹脩?hù)滿(mǎn)意度和 NPS 也很重要。可以通過(guò)用戶(hù)訪(fǎng)談、焦點(diǎn)小組或調(diào)查來(lái)收集這些數(shù)據(jù)。

但是實(shí)施 A/B 測(cè)試需要一定的技術(shù)支持和資源，且當(dāng)時(shí)研究并不關(guān)注數(shù)據(jù)隨時(shí)間變化而產(chǎn)生的影響，因此選擇回歸分析，去利用已有的數(shù)據(jù)分析并量化多個(gè)變量之間的關(guān)系就較為適合。

2. 相關(guān)分析的定義

那什么是回歸分析呢？回歸分析的主要作用是用來(lái)評(píng)估變量間的關(guān)系，同時(shí)建立一個(gè)用于預(yù)測(cè)或解釋變量之間關(guān)系的模型。例如，線(xiàn)性回歸分析可以用來(lái)預(yù)測(cè)一個(gè)變量（因變量）如何隨另一個(gè)變量（自變量）的變化而變化。

而回歸分析是相關(guān)分析的一種，是相關(guān)分析的變形。其中相關(guān)分析是統(tǒng)計(jì)學(xué)中用于評(píng)估兩個(gè)或多個(gè)變量之間關(guān)系強(qiáng)度和方向的方法。它不僅可以檢測(cè)變量間的關(guān)系是否存在，還可以評(píng)估這種關(guān)系的強(qiáng)度。最常用的相關(guān)分析方法是皮爾遜相關(guān)系數(shù)，它測(cè)量的是兩個(gè)變量之間的線(xiàn)性相關(guān)性。

3. 相關(guān)分析應(yīng)用場(chǎng)景

在互聯(lián)網(wǎng)產(chǎn)品和服務(wù)領(lǐng)域，相關(guān)分析和回歸分析被廣泛用于理解用戶(hù)行為、優(yōu)化產(chǎn)品功能、提高用戶(hù)體驗(yàn)和驅(qū)動(dòng)業(yè)務(wù)增長(zhǎng)。如對(duì)用戶(hù)參與度與留存率分析，可以分析用戶(hù)參與度（如頁(yè)面瀏覽次數(shù)、app 內(nèi)活動(dòng)頻率）與用戶(hù)留存率之間的關(guān)系。這有助于識(shí)別哪些特定的用戶(hù)行為與高用戶(hù)忠誠(chéng)度相關(guān)聯(lián)。對(duì) APP 設(shè)計(jì)與轉(zhuǎn)化率分析，探討網(wǎng)站設(shè)計(jì)元素（如布局、顏色方案、導(dǎo)航簡(jiǎn)易性）與用戶(hù)轉(zhuǎn)化率（如注冊(cè)、購(gòu)買(mǎi)）之間的關(guān)系，分析網(wǎng)站各個(gè)設(shè)計(jì)元素如何共同影響轉(zhuǎn)化率，以指導(dǎo)網(wǎng)站優(yōu)化。 在市場(chǎng)營(yíng)銷(xiāo)領(lǐng)域，可以分析廣告投放效果，通過(guò)研究廣告曝光次數(shù)與點(diǎn)擊率或轉(zhuǎn)化率之間的關(guān)聯(lián)性，幫助評(píng)估廣告投放的有效性，也可以預(yù)測(cè)在不同用戶(hù)群體、不同平臺(tái)上的廣告投放效果，以?xún)?yōu)化廣告策略和預(yù)算分配等等。然而，需要注意的是，數(shù)據(jù)的質(zhì)量和分析方法的正確應(yīng)用對(duì)于得到有價(jià)值的洞見(jiàn)至關(guān)重要。

二、分析方法的應(yīng)用與實(shí)踐

相關(guān)分析和回歸分析方法在數(shù)據(jù)分析中應(yīng)用比較普遍，但如何將分析方法和產(chǎn)品行為數(shù)據(jù)相關(guān)聯(lián)應(yīng)用較少。所以一方面需要探索適用線(xiàn)上產(chǎn)品分析的思路與方法，另一方面也需要驗(yàn)證這樣的思路和方法的可靠性。

于是我們先嘗試把它應(yīng)用到解決某業(yè)務(wù)上的問(wèn)題，一是看方法是否能跑得通，也就是能不能通過(guò)方法本身的校驗(yàn)，二是看通過(guò)分析結(jié)果能不能洞察到合理的結(jié)論，三是看得到的結(jié)論實(shí)際應(yīng)用到設(shè)計(jì)中，是否能帶來(lái)如預(yù)期一樣的效果。

本部分的分享重點(diǎn)是通過(guò)案例說(shuō)明回歸分析和相關(guān)分析方法的應(yīng)用過(guò)程及結(jié)果。因?yàn)闃I(yè)務(wù)信息不方便詳細(xì)介紹，以下部分指標(biāo)、數(shù)據(jù)等已處理過(guò)，非真實(shí)情況。

1. 觀點(diǎn)預(yù)設(shè)

首先我們需要明確目標(biāo)，這些可能來(lái)自業(yè)務(wù)目標(biāo)或者遇到的困難、設(shè)計(jì)目標(biāo)或者遇到的困難等等。

比如我們做的某業(yè)務(wù)的核心目標(biāo)是提升 NPS、留存、連接轉(zhuǎn)化率等指標(biāo)。為了提升 NPS，上線(xiàn)了提升信息真實(shí)性的功能，設(shè)計(jì)的目標(biāo)是提升用戶(hù)對(duì)信息真實(shí)性的感知。但是問(wèn)題是，導(dǎo)致 NPS 波動(dòng)的原因非常多，且很復(fù)雜，無(wú)論提升了信息真實(shí)性，還是提升了用戶(hù)對(duì)信息真實(shí)性的感知，都不能說(shuō)明 NPS 是否提升，也不能說(shuō)明 NPS 提升和這些有關(guān)。

再如，為了提升連接轉(zhuǎn)化率，我們?cè)诤诵穆窂酱箢?lèi)-列表-詳情做了非常多的努力，這里面哪些是切實(shí)有效能夠提升連接轉(zhuǎn)化率的，我們一般通過(guò) A/B 測(cè)來(lái)評(píng)定。但是有很多設(shè)計(jì)點(diǎn)的改動(dòng)較為細(xì)微，且不是所有的功能或者設(shè)計(jì)都有機(jī)會(huì)通過(guò)嚴(yán)格控制變量來(lái)獲得驗(yàn)證結(jié)果，并且功能和界面都是比較主觀的，沒(méi)有最好的，總會(huì)有更好的方案。所以一方面有很多設(shè)計(jì)點(diǎn)可能是有提升空間的，但是沒(méi)有辦法發(fā)現(xiàn)，另外一方面總會(huì)出現(xiàn)一些爭(zhēng)議，比如為了提升連接轉(zhuǎn)化率，要不要把看起來(lái)沒(méi)什么用處的圖片放到描述后面。

2. 分析方案策劃

確定了目標(biāo)，我們需要研究和預(yù)測(cè)不同變量之間的關(guān)系,為后續(xù)產(chǎn)品優(yōu)化提供支持？所以選定了相關(guān)分析、一元線(xiàn)性回歸、多元線(xiàn)性回歸，三個(gè)方法都能達(dá)到我們想要的效果。通過(guò)線(xiàn)性回歸能了解變量間量化的關(guān)系，預(yù)測(cè)未來(lái)的變化趨勢(shì)，即自變量提升 1%能導(dǎo)致因變量多大的變化。這個(gè)也可以應(yīng)用在產(chǎn)品營(yíng)銷(xiāo)策略、定價(jià)策略等場(chǎng)景。相關(guān)分析能獲得的信息相對(duì)少一些，但是也能定性的了解到兩個(gè)變量之間是否顯著正相關(guān)。

我們?cè)囼?yàn)了相關(guān)分析、一元線(xiàn)性回歸、多元線(xiàn)性回歸三個(gè)不同的分析方法，因?yàn)榫€(xiàn)上產(chǎn)品變量之間耦合比較嚴(yán)重，且在進(jìn)行分析過(guò)程中發(fā)現(xiàn)部分自變量之間共線(xiàn)性嚴(yán)重且殘差存在自相關(guān)，不符合線(xiàn)性回歸的數(shù)據(jù)要求。所以最后采用了相關(guān)分析，這個(gè)結(jié)果和一元線(xiàn)性回歸的結(jié)果是一樣的，能普遍適用到所有場(chǎng)景，能得到的結(jié)論也比較多。

3. 數(shù)據(jù)采集

和用戶(hù)調(diào)研能收集到單一用戶(hù)所有維度的信息，所以采用用戶(hù)維度的信息進(jìn)行分析不同，線(xiàn)上產(chǎn)品很難收集到單個(gè)用戶(hù)所有的行為數(shù)據(jù)，所以我們采用了聚合數(shù)據(jù)，采用同一段時(shí)間內(nèi)不同天的核心數(shù)據(jù)和預(yù)設(shè)相關(guān)的用戶(hù)行為數(shù)據(jù)。比如近 30 天每天的 NPS 和為了提升真實(shí)性的模塊的展現(xiàn)率、點(diǎn)擊率，近 30 天每天的連接率和連接相關(guān)模塊的展現(xiàn)率、點(diǎn)擊率。（但這有一個(gè)風(fēng)險(xiǎn)點(diǎn)在于，這中數(shù)據(jù)處理方式的前提是我們假設(shè)時(shí)間對(duì)變量是沒(méi)有任何影響的）

4. 數(shù)據(jù)分析

在試算后選取了相關(guān)分析的方法，然后就用 SPSS 交叉分析各用戶(hù)行為和核心數(shù)據(jù)的相關(guān)性。這里我們分析了用戶(hù)行為和所有核心指標(biāo)的相關(guān)性，因?yàn)槟硞€(gè)用戶(hù)行為可能和 A 指標(biāo)顯著正相關(guān)，但是和 B 指標(biāo)顯著負(fù)相關(guān)，這里如果只看其中某個(gè)方面，就會(huì)獲得錯(cuò)誤的結(jié)論，之后所做的事情也都會(huì)白費(fèi)。

5. 洞察

分析相關(guān)得到的結(jié)果是否符合預(yù)期，針對(duì)不符合預(yù)期的部分，分析原因、列出優(yōu)化 todo，符合預(yù)期的看能否有應(yīng)用場(chǎng)景。比如前面提到為了提升 NPS 做的相關(guān)功能模塊，有一個(gè)模塊的點(diǎn)擊率和 NPS 顯著負(fù)相關(guān)，這不符合我們?cè)O(shè)計(jì)的初衷，于是我們發(fā)現(xiàn)這個(gè)模塊確實(shí)有設(shè)計(jì)不合理的部分，造成用戶(hù)對(duì)要傳達(dá)的信息有誤解，所以在修正錯(cuò)誤的信息傳達(dá)方式后，我們發(fā)現(xiàn)這個(gè)模塊的點(diǎn)擊率變成了和 NPS 不相關(guān)了，雖然距離我們希望的和 NPS 正相關(guān)的結(jié)果還有距離，還需要繼續(xù)改進(jìn)，但是我們改進(jìn)了對(duì) NPS 有負(fù)向影響的因素，近期 NPS 的提升就是由很多個(gè)類(lèi)似這樣的改動(dòng)，積累起來(lái)的。

6. 上線(xiàn)驗(yàn)證

應(yīng)用相關(guān)分析/回歸分析結(jié)論，設(shè)計(jì)優(yōu)化方案，推動(dòng)上線(xiàn)，驗(yàn)證猜測(cè)，同時(shí)驗(yàn)證相關(guān)分析方法有效性。

還是以某業(yè)務(wù)的應(yīng)用為例，列舉幾個(gè)應(yīng)用場(chǎng)景。

①驗(yàn)證設(shè)計(jì)方案對(duì)核心指標(biāo)提升的作用，改善副作用部分：比如發(fā)現(xiàn)某模塊和 NPS 顯著負(fù)相關(guān)，走查發(fā)現(xiàn)該模塊確實(shí)有表意問(wèn)題，在改進(jìn)后該模塊和 NPS 變?yōu)椴幌嚓P(guān)，減少一個(gè) NPS 的負(fù)向影響因子。

也可以制定體驗(yàn)優(yōu)化優(yōu)先級(jí)，優(yōu)先優(yōu)化使用量較高且對(duì)核心指標(biāo)呈副作用的模塊：比如 A 模塊使用率較高，和 NPS 顯著正相關(guān)，但是和收入指標(biāo)顯著負(fù)相關(guān)，B 模塊使用率較低，和 NPS 顯著負(fù)相關(guān)，我們綜合以上信息，給體驗(yàn)優(yōu)化的優(yōu)先級(jí)排序就是優(yōu)先 A 模塊，其次是 B 模塊。

②驗(yàn)證點(diǎn)擊率較高的功能，對(duì)核心指標(biāo)的作用，放大其正向作用：比如發(fā)現(xiàn)圖片展現(xiàn)率、點(diǎn)擊率和連接轉(zhuǎn)化率顯著正相關(guān)，對(duì)圖片模塊進(jìn)行走查發(fā)現(xiàn)可以提高圖片展示效果，在改進(jìn)后連接轉(zhuǎn)化率明顯提升。

③驗(yàn)證設(shè)定的幾個(gè)滿(mǎn)意度指標(biāo)，和 NPS 是否正相關(guān)，是否值得持續(xù)監(jiān)控：比如在這之前的幾個(gè)滿(mǎn)意度指標(biāo)是根據(jù)用戶(hù)調(diào)研、產(chǎn)品經(jīng)驗(yàn)等主觀信息總結(jié)歸納出來(lái)的，在回歸分析后發(fā)現(xiàn)各個(gè)滿(mǎn)意度指標(biāo)和 NPS 都是顯著正相關(guān)的，也驗(yàn)證了觀測(cè)滿(mǎn)意度變化趨勢(shì)能解釋部分情況下 NPS 的變化。

④確定因變量的影響因子，預(yù)測(cè)為了達(dá)成因變量的目標(biāo)值，需要自變量增長(zhǎng)多少：比如為了提升業(yè)務(wù)的 NPS，通過(guò)回歸分析得到多個(gè) NPS 影響因子（用戶(hù)行為）和 NPS 的公式，從而得知，為了提升 NPS10%，需要提升 NPS 影響因子，也就是引導(dǎo) 10%k1 用戶(hù)多做出某個(gè)或某些行為。

7. 注意事項(xiàng)

①在策劃環(huán)節(jié)，根據(jù)目標(biāo)和業(yè)務(wù)、產(chǎn)品的實(shí)際情況，需要選擇合適的分析方法。

②數(shù)據(jù)采集需要注意：

• 數(shù)據(jù)質(zhì)量：相關(guān)分析和回歸分析的結(jié)果受到數(shù)據(jù)質(zhì)量的影響?；ヂ?lián)網(wǎng)數(shù)據(jù)通常是大規(guī)模、高維度的，但其中可能存在缺失值、異常值、重復(fù)值等問(wèn)題。這些問(wèn)題會(huì)影響相關(guān)性和回歸模型的準(zhǔn)確性和可靠性。eg.因單個(gè)用戶(hù)行為不全，采用每天的用戶(hù)行為數(shù)據(jù)
• 數(shù)據(jù)量：樣本數(shù)據(jù)需大于等于 30 組；實(shí)操因時(shí)間太長(zhǎng)可能會(huì)因業(yè)務(wù)改版波動(dòng)較大
• 偏差問(wèn)題：在互聯(lián)網(wǎng)中，數(shù)據(jù)收集和采樣的方式可能存在偏差。例如，用戶(hù)行為數(shù)據(jù)可能受到用戶(hù)自身行為偏好和行為模式的影響，導(dǎo)致相關(guān)性和回歸模型的結(jié)果存在偏差。因此，在分析和解釋結(jié)果時(shí)，需要考慮潛在的偏差問(wèn)題。

③數(shù)據(jù)分析環(huán)節(jié)：在回歸分析中，多個(gè)自變量之間可能存在高度相關(guān)性，即多重共線(xiàn)性。這會(huì)導(dǎo)致回歸系數(shù)估計(jì)不準(zhǔn)確，難以解釋自變量對(duì)因變量的獨(dú)立貢獻(xiàn)。

④洞察環(huán)節(jié)：

因果關(guān)系：相關(guān)分析只能描述變量之間的關(guān)系，不能確定因果關(guān)系。在互聯(lián)網(wǎng)中，變量之間的相關(guān)性可能是由于其他未觀察到的因素所引起的。因此，在進(jìn)行相關(guān)分析時(shí)，需要謹(jǐn)慎解釋結(jié)果，避免將相關(guān)性誤解為因果關(guān)系。

洞察與解釋?zhuān)何覀冊(cè)诙床斓臅r(shí)候需要結(jié)合常識(shí)、經(jīng)驗(yàn)去理解、解釋分析的結(jié)果和上線(xiàn)驗(yàn)證的結(jié)果；同時(shí)也需要考慮互聯(lián)網(wǎng)產(chǎn)品的特殊性，如頁(yè)面層級(jí)結(jié)構(gòu)關(guān)系等，可能會(huì)影響對(duì)結(jié)論的理解。

⑤所有數(shù)據(jù)分析僅是作為一種參考，不能迷信，最后確定的產(chǎn)品優(yōu)化仍需結(jié)合實(shí)際情況綜合看待。

三、未來(lái)展望

當(dāng)然現(xiàn)有采用的研究方法還有很多不足，在數(shù)據(jù)層面上，我們可以結(jié)合用戶(hù)反饋、訪(fǎng)談或案例研究，去提供定性的洞見(jiàn)，幫助理解數(shù)據(jù)背后的用戶(hù)行為和偏好，同時(shí)收集更多元化的數(shù)據(jù)，包括不同用戶(hù)群體、不同市場(chǎng)環(huán)境的數(shù)據(jù)，可以幫助驗(yàn)證研究結(jié)果的普適性；在機(jī)制層面，建立動(dòng)態(tài)跟蹤機(jī)制，持續(xù)監(jiān)測(cè)改進(jìn)措施對(duì)核心指標(biāo)的影響，以便及時(shí)調(diào)整策略。

希望未來(lái)通過(guò)這些方法的應(yīng)用和結(jié)合，可以更全面、深入地理解業(yè)務(wù)改進(jìn)措施與核心指標(biāo)之間的關(guān)系，從而為制定有效的業(yè)務(wù)策略提供更強(qiáng)的數(shù)據(jù)支持。

作者：58UXD