如果您曾經(jīng)進(jìn)行過高度可信賴且正面的A / B測試，則很有可能杭州vi設(shè)計(jì)公司會(huì)懷念它，并希望以后再嘗試一次-理所當(dāng)然。測試很辛苦，許多實(shí)驗(yàn)失敗或以微不足道的結(jié)果結(jié)束。嘗試和利用任何現(xiàn)有知識(shí)以獲得更多成功和更少失敗似乎是最佳選擇。在我們自己的實(shí)踐中，我們開始這樣做。

2017年，我們系統(tǒng)地開始將相似的測試結(jié)果分類為模式，以幫助我們更好地預(yù)測更多獲勝的測試。在2017年，杭州vi設(shè)計(jì)公司進(jìn)行了51次a / b測試，這些測試純粹是模式驅(qū)動(dòng)的，其中71％的測試在停止時(shí)為陽性?，F(xiàn)在，對(duì)我們而言，模式變得更強(qiáng)大，是預(yù)測測試結(jié)果的強(qiáng)大工具，我希望與您分享我們的方法。這是我們用來識(shí)別和使用模式以提高勝率的過程。

隨機(jī)性

首先，如果我們要提高a / b測試結(jié)果的預(yù)測率，那么杭州vi設(shè)計(jì)公司就需要為成功的預(yù)測的真正意義建立一個(gè)量尺。最簡單的答案是二進(jìn)制答案–即測試應(yīng)該是肯定的還是否定的，最終如預(yù)期的那樣是肯定的還是否定的。

換句話說，我們只是試圖做得比隨機(jī)性要好。假設(shè)我們進(jìn)行了完全隨機(jī)的實(shí)驗(yàn)，我們可能會(huì)期望大約一半的結(jié)果最終為陽性，而另一半則為陰性。從這個(gè)角度來看，我們的起始目標(biāo)是謙虛的：要顯示出預(yù)測力，我們的模式需要幫助我們克服隨機(jī)性，并獲得優(yōu)于50/50的贏/輸率。

模式：預(yù)測的核心要素

我將轉(zhuǎn)換模式定義為易于重復(fù)的UI更改，使杭州vi設(shè)計(jì)公司能夠快速預(yù)測和重復(fù)效果。給定一種模式，我們可以在戰(zhàn)術(shù)上發(fā)現(xiàn)機(jī)會(huì)（標(biāo)題虛弱，表單域太多，照片不真實(shí)，下拉菜單中隱藏的選項(xiàng)可見性差等），并迅速采取行動(dòng)以利用其可能的效果。這種模式的預(yù)測強(qiáng)度來自一個(gè)簡單的假設(shè)：給定的更改執(zhí)行的效果越相似，將來在相似的效果下再次執(zhí)行的效果就越多。因此，模式最終會(huì)從多個(gè)測試結(jié)果中獲得其預(yù)測強(qiáng)度-越好。使這些預(yù)測成為可能的模式元素包括：

• 變更–一組屬性（一個(gè)或多個(gè)），這些屬性定義模式并足夠抽象以使它們可重復(fù)。通常，更改可能涉及刪除，替換UI或?yàn)槠涮砑有聝?nèi)容。通常在兩個(gè)屏幕快照的幫助下描述更改：A（之前或控件）和B（之后或版本）。

• 測試結(jié)果–每個(gè)模式從測試結(jié)果中獲得其預(yù)測強(qiáng)度（越多越好）。反過來，測試為我們提供了兩個(gè)關(guān)鍵指標(biāo)：可重復(fù)性和中位數(shù)效果。

  
  

• 重復(fù)性程度–這是對(duì)一個(gè)模式以獲勝（陽性）結(jié)果進(jìn)行測試的頻率（減去任何陰性測試結(jié)果的數(shù)量）的度量。此分?jǐn)?shù)越高（正數(shù)或負(fù)數(shù)），該模式在以后的實(shí)驗(yàn)中反復(fù)獲勝或失敗的可能性就越大。對(duì)于沒有任何測試數(shù)據(jù)的模式，其重復(fù)性得分為中性0。中值效應(yīng)–中值效應(yīng)告訴我們?cè)趯淼臏y試中，類似變化可能會(huì)帶來什么效果。它是根據(jù)與模式相關(guān)的每個(gè)測試的最深影響來計(jì)算的（例如：最有意義的度量標(biāo)準(zhǔn)，例如注冊(cè)，銷售線索或銷售）。對(duì)于給定的模式，我們進(jìn)行的測試越多，中值效果應(yīng)該越準(zhǔn)確。

• 這是一個(gè)示例“無優(yōu)惠券字段”模式，以及如何將所有這些元素聯(lián)系在一起：技術(shù)說明：為了以不同的置信度補(bǔ)償測試結(jié)果，對(duì)于高度重要的測試結(jié)果（p值<0.03），我們將其全為1個(gè)可重復(fù)性點(diǎn)；對(duì)于任何建議性結(jié)果（p值<0.25），將其為全0.5。對(duì)于任何不重要的結(jié)果（p值> 0.25）或沒有完整樣本量數(shù)據(jù)的測試結(jié)果，為0.25分。

更好的模式

當(dāng)模式積累測試結(jié)果時(shí)，杭州vi設(shè)計(jì)公司很快就會(huì)偏離無害的中立性。那些表現(xiàn)得比以前更好的模式會(huì)提高其重復(fù)性程度（更有可能再次獲勝）。其他模式也可能類似地輸贏，保持接近0并暗示成功的可能性較低。最后，那些往往會(huì)經(jīng)常丟失的模式將具有負(fù)面的可重復(fù)性，表明它們畢竟不是一個(gè)好主意。因此，較好的模式可以通過兩個(gè)標(biāo)準(zhǔn)來定義：它們包含高度的可重復(fù)性和較高的中值效果。

產(chǎn)生新模式

模式創(chuàng)意可以來自任何地方。但是，模式思想的來源并不重要，因?yàn)樗行履Ｊ蕉际窍嗤模ㄖ行钥芍貜?fù)性為0）。取而代之的是，測試結(jié)果為模式提供了預(yù)測能力，使之產(chǎn)生負(fù)面或正面影響?？紤]到上述情況，以下是我們生成新模式的一些方法：

想象力

杭州vi設(shè)計(jì)公司的經(jīng)驗(yàn)和創(chuàng)作過程可以成為有趣的圖案創(chuàng)意的寶貴來源。有時(shí)，我們只是拿一張紙草繪我們的想法。我們不必?fù)?dān)心強(qiáng)迫自己提出完美的想法。我們知道，無論這些模式有多探索性，它們的潛力最終都會(huì)在經(jīng)過測試時(shí)發(fā)揮出來。

自己的A / B測試–完成A / b測試后，這是捕獲變更（或變更集）為模式的絕佳機(jī)會(huì)。無論結(jié)果是什么，也沒有信心，每個(gè)a / b測試都包含有價(jià)值的數(shù)據(jù)，這些數(shù)據(jù)將來可能會(huì)重復(fù)出現(xiàn)。在這種情況下，您可以設(shè)計(jì)一個(gè)新的模式，并且已經(jīng)擁有支持或針對(duì)您的模式的初始數(shù)據(jù)-為您的模式提供了優(yōu)勢。

其他人的A / B測試-公司公開共享A / B測試，這些可以成為模式的另一個(gè)有價(jià)值的起點(diǎn)?？梢钥隙ǖ氖牵捎诖嬖诔霭嫫姡▓?bào)告積極因素多于消極因素的傾向），要信任他人的結(jié)果更加困難。在其他時(shí)候，發(fā)布的結(jié)果也缺少詳細(xì)的樣本量或轉(zhuǎn)化數(shù)據(jù)，這使得評(píng)估其質(zhì)量更加困難。在這種情況下，我們認(rèn)為可重復(fù)性得分較低（僅為0.25）以彌補(bǔ)缺少完整數(shù)據(jù)的不足。

客戶研究–任何真實(shí)客戶或用戶表達(dá)其需求的定性研究都可以成為新模式創(chuàng)意的寶貴靈感來源。這包括任何方法，例如調(diào)查，可用性研究，訪談，屏幕錄像等。復(fù)制可以優(yōu)化的網(wǎng)站–最后，始終值得關(guān)注的是杭州vi設(shè)計(jì)公司正在運(yùn)行實(shí)驗(yàn)并正在積極優(yōu)化的網(wǎng)站。他們實(shí)施的任何更改都有可能經(jīng)過某種試驗(yàn)，因此將來獲得成功的機(jī)會(huì)可能會(huì)稍高一些。