前言
本文為 AAPD 創辦人 Simon 的 Podcast 節目《No Shortcuts — 沒有快捷鍵》的訪談重點摘要。
在上一季的節目中，《No Shortcuts — 沒有快捷鍵》採訪了許多業界資深的設計師，與大家一同窺探設計工作的真實面貌；而在全新一季的節目中， 主軸將會聚焦在「設計師在職場中的真實情境與挑戰」上。我們希望透過邀請不同背景或經驗的來賓們，與我們進行一場深度的交流與對話，並一起探索產品設計職涯的可能性！
這一次，我們邀請到有著多年產品開發經驗的產品經理 Tim、Doppler 來跟我們聊聊驗證設計的重要性，以及設計與市場之間複雜又有趣的關係，包括「使用者研究的重要性與執行方法」、「 如何開始進行 A/B 測試？」，以及「 A/B 測試的觀察指標」。
如果你正在苦惱不確定你的產品是否符合市場需求、是否為使用者帶來真正的價值，千萬別錯過了這集！相信透過這次的分享，能夠帶給你許多意想不到的收穫。
本集 Podcast 連結
本篇文章為重點摘要，想知道更多細節歡迎前往 Podcast 聽完整版：《No Shortcuts — 沒有快捷鍵》S2EP2 — 如何驗證並推動你的設計？聊聊設計研究與 A/B Testing
收聽並訂閱我們的 Podcast 節目：《No Shortcuts — 沒有快捷鍵》
來賓的背景來歷
首先，我們先來介紹這次邀請到的兩位來賓 —— Tim、Doppler。
Tim 有著八年以上的產品開發經歷，目前的他在一間大型金融集團擔任產品經理，主要負責協助將「實體金融」轉型為「數位金融」；這些年來，他都致力於透過設計，創造出更符合消費者需求的產品與服務，並於「數位轉型」與「數位產品經營」的領域中持續耕耘。
Doppler 則是擁有多元、豐富的產品開發經驗，他擔任過許多不同的角色，包括 UI/UX Designer、Frontend Engineer 以及 Product Manager；此外，在產品數據分析方面，Doppler 也有規劃並落地執行的經驗，現在的他在共享車位媒合平台 USPACE 擔任 Product Manager 一職，持續追求、實現心中的設計理念與價值。
使用者研究是什麼？過程又必須經過哪些流程呢？
近年來，國內有越來越多的企業開始重視使用者體驗，希望可以打造出真正符合需求的產品，而在這樣的趨勢之下，「使用者至上」的觀念也逐漸成為許多產品開發團隊所追求的理想與目標。相信只要是對產品開發有點熟悉的人都對「使用者研究」不陌生，網路上也有非常多的文章在談論；但是，到底什麼是使用者研究？為什麼它如此重要？以及它涵蓋的流程又有哪些呢？
使用者研究就像「民主化的過程」，它可以讓公司更了解使用者的聲音。— Tim
Tim 認為，使用者研究是一個把外部的聲音帶到公司內部的絕佳方式，因為透過蒐集意見的過程，可以讓公司更了解使用者的聲音，避免公司依照自己的想像開發產品。另外，它也是協助組織建構使用者知識的資料庫，並協助引導出更深、更有價值的假設的絕佳方法；整體而言，使用者研究是打造出好產品的過程中，不可或缺的一環！
不過，要跑完一個完整的研究流程其實並不容易，過程中細節多而繁瑣，說到這裡，Tim 認為研究流程大致可以分為五個階段，包括「定義研究目標」、「定義受眾」、「規劃訪談內容」、「制定研究方法」以及「整理、分析研究結果」；而且在著手進行研究之前，需要特別注意前面的兩個步驟：「定義研究目標」以及「定義受眾」，因為只有先定義好研究目標與對象之後，後續的流程才可能進行得順利。
另外，相信只要是曾經有做過使用者研究的人，都深刻體會過其中的繁瑣細節，Tim 也分享到幾個過去時常遇到的困難，像是「主管偏愛『量化研究』的方式，很難在公司內部推動質化研究」、或是「花了很多時間精力做完研究，卻在最後階段中發現最終得出的 Insight 缺乏商業價值」。
那麼，當數據結果和預想的差異過大時，可以從何處著手解決呢？
但是，Tim 提到其實使用者研究的核心概念就在於：「驗證假設是否正確」，說到這裡，Tim 分享了一個小撇步是，在做研究之前，除了做好假設之外，也可以提前規劃、先行預測研究結果，像是可以把自己認為可能的 Insight 概念放到假設裡頭，整個研究的比重可能變成：「透過 80% 來驗證假設、20% 保有彈性」，透過提前的規劃，除了能夠幫助自己更清楚目標之外，也能夠縮減「預期結果」與「最終的研究結果」之間的差距，避免落入永無止盡的研究當中。
為什麼要做 A/B 測試？如何啟動一個 A/B 測試？
在產品開發過程中，很多時候我們很難清楚知道，每一次的設計決策所造成的影響層面有哪些，因為造成結果背後的原因可能來自很多不同的層面，像是市場趨勢、行銷策略或是網站流程設計⋯⋯等都可能會影響最終結果。然而，正因為 A/B 測試能夠幫助團隊直接面對使用者、驗證當初的假設是否成立，因此，這也是為什麼很多公司會在正式推出新功能或產品時，願意花時間、精力去做 A/B 測試。
定義好指標、選定好你要實驗的群體、大膽假設並開始執行。—— Doppler
Doppler 將 A/B 測試分成四個階段：
定義好「指標」是什麼
定義實驗的群體
大膽提出有力的假設
在市場上執行測試
首先，一定要定義好「指標」是什麼，若是測試時間拉得比較長的話，就可以試著將指標區分為「主要指標」與「次要指標」。舉例來說，如果你今天想要「提升使用者的留存率」，這個目標可能會需要花費好幾個月的時間來觀察、測試，但是如果你同時也設定了「一個月使用三次」作為「次要指標」，那麼整個測試就會變得更加明確、清晰。
接下來，第二步是：「定義實驗的群體」，也就是測試的對象類型，像是舊用戶、新用戶、標準用戶或是專業用戶，不同的測試內容，適合找的使用者類型不同；因此，只有當指標定義清楚了之後，在實驗群體的定義階段才可能更加準確。
再來，第三個步驟是：「提出有力的假設」，根據對使用者情境的了解，然後提出大膽的假設。說到這裡，Doppler 分享了一個真實例子，USPACE 團隊曾經發現到有些使用者只使用過一次產品，而在他們深入了解這些人之後，發現到他們只把產品當作是一個停車繳費工具，而非日常停車工具，後來，因為這個發現，他們才開始針對各種可能性進行大膽的假設，針對痛點提出產品的改善目標。
最後，第四個步驟是：「執行」，在明確定義好「指標」、「實驗群體」並做好「假設」之後，就可以將預計要測試的功能放到市場上進行測試了；在測試的過程中，需要持續觀察「對照組」與「實驗組」的指標變化，以及觀察兩者之間是否存有顯著的差異；另外，需要特別要注意的是，在執行階段，務必做到分流，確保有依照不同的實驗群體，提供不同的介面設計。
「A/B 測試觀察指標」三步驟 Doppler 接續補充在 A/B 測試上常用的「觀察指標」三步驟：
檢查數據來源
第一步，一定要先檢查數據來源是否正確，這個動作的主要用意在於：「排除工程上的疏漏」，避免當走到最後一部分析階段時，才發現手中的數據根本是不正確的又得重來一遍。Doppler 就曾經遇過不少次，在做完 A/B 測試之後，團隊才發現到實驗組的某一個流程出現 Bug、又或是因為做了實驗而產生抓不到數據的狀況發生，所以無論如何，一定要時不時確認數據來源是否正確，確保測試方向沒有如團隊預期！
區分用戶類型
接下來，將使用者根據不同的類型進行分類，例如有些產品可以分類出「一般用戶」或「專業用戶」，並細看兩者之間的數據結果；這個動作，往往可以發現一些過去從未發現到的事情。
分析結果
最後一步就是，要來驗證實驗是否有效，通常只有當結果擁有顯著性的差異，才是一個相對成功的實驗；Doppler 推薦大家可以使用 Google A/B Testing Calculator 的工具，它能夠在你輸入兩個實驗組的數據之後，自動計算結果。
給研究初學者的建議
熱愛使用者的人，不怕做不好使用者研究！— Tim
對 Tim 而言，唯一能夠精進研究技巧的方式就是練習，所以即便是研究新手也不用因為自己能力不足，就不敢嘗試；從使用者訪談、市場測試、輸出結果到簡報研究過程，相信只要持續練習、就能漸漸掌握研究流程及方法，並從中獲得成長的機會。
Tim 特別提到，雖然研究本身是一個嚴謹的過程，但是研究形式不需要太過嚴肅，像是很多公司的使用者研究也會直接找使用者到咖啡廳聊聊；對於使用者研究，Tim 始終相信著：「熱愛使用者的人，不怕做不好使用者研究！」
每一次的改版都是一個學習。— Doppler
Doppler 認為，在產品開發的過程中，A/B 測試是一個很有幫助的方法，不過並不需要為了做而做，Doppler 在節目中分享到了幾個思考角度，幫助研究新手們評估現階段是否為適合做測試的時機點，例如：「在推行新功能時，可以降低大改動帶來的風險」、「透過持續性的測試，讓你真的更加認識你的使用者」、「讓你嘗試設計的時候能夠更大膽」、「讓數據說話，而非團隊成員」。
除此之外，Doppler 還提到了一個有趣的附加價值，除了大家時常提及的：「A/B 測試可以幫助我們對目標使用者有更深入的了解」之外，其實還有對於個人成長有一點很重要的是：「量化我們的專業能力」，如果測試的結果是好的，能夠為我們自身帶來很大的成就感。
另外，因為專業能力在經過數據支持之下，對個人的履歷上也會更加有信服力，如果你是團隊領導人，有了這些依據，日後在公司爭取資源也會更加順利。最後一個好處是，未來你在做設計的時候會變得更加大膽，因為你曾經嘗試，並且獲得好的結果，而這樣的信心會再推動著你做下一次的測試；如此一來，產品就能夠持續迭代、創造出好的循環。
如果有快捷鍵可以讓你快速達到某個目標，那會是什麼？
我想要「一鍵退休鍵』」，那麼我就可以去做其他我想做的事情了！—— Tim
Tim 表示：「我想要一鍵退休鍵，我希望按下去之後，我就可以在 40 歲時順利退休，那麼我就可以去做其他我想做的事情了！」
我想要「一鍵認識自身情緒鍵」，我就能不被情緒所控制，做出更好的決定！—— Doppler
Doppler 表示：「因為我覺得自己時常在工作或是個人成長上受到情緒的影響，所以如果有一個按鈕是能夠讓我知道我當前的情緒狀態，那我可能就比較不會被我的情緒所控制，那我就能夠做出更好的決定！」
結語
今天兩位來賓 Tim 以及 Doppler 跟我們分享了許多關於「研究與測試」的觀念、挑戰與方法，我們也注意到若想要打造出使用者喜愛的產品，在產品開發的過程中導入使用者研究，以及市場測試的流程是必經過程；除了可以更了解不同類型的使用者之外，也能幫助團隊再度釐清產品價值、未來的開發方向，以及協助安排功能開發上的優先級。
研究與測試或許是一趟漫長旅程，但就如同 Tim 於節目中提到的：「熱愛使用者的人，不怕做不好使用者研究！」相信身為設計師的你，只要擁有一顆願意了解使用者的心，都能夠在有限的資源與限制下找到相應的方法來驗證設計、提高解決方案精準度，並真正為使用者帶來價值。
祝福所有為使用者而努力的你，都能夠在產品設計的道路上打造出好產品！
延伸閱讀 (跟這個主題相關的 AAPD 的文章)
其他：
本集來賓的個人資料（想推廣/分享的網站或連結）
來賓相關資料
來賓提到的資料
Tim 與妻子的國外生活分享 林小姐與提姆的日常
租車體驗特斯拉 USPACE
客群分流工具 Cloud AutoML
