請 AI 檢查問卷,同一份跑三次,抓出的題目都不一樣:用 AI 審問卷與訪談大綱前該知道的事

目錄7 節
  1. 發現一:AI 檢查自己寫的題目,會放水
  2. 發現二:同一份問卷跑三次,抓出的題目不一樣
  3. 發現三:連它提的修改建議,都要再檢查一次
  4. 一句話的提示詞,怎麼長成一整段
  5. 發出問卷前的五步人工核對
  6. 其餘 29 條與 19 則已知限制,收在手冊裡
  7. 寫在最後

插畫:陽光灑進木質研究室,穿綠色毛衣的研究生拿著問卷皺眉細讀,戴眼鏡的指導者手持紅筆,在桌上的問卷題目畫出兩個相連的圓圈;桌面散落多份問卷與貼著問號的便利貼,左側螢幕是 AI 對話與標出黃色重點的題目 ▲ AI 抓得到一部分問題,剩下的要靠你自己逐題看過

論文寫到第三章,問卷題目或訪談大綱擬好了,很多人會在送給指導教授過目之前,先貼給 AI 看一遍。

嗯,這個習慣很好。研究工具是整個研究裡最難回頭修的一段:文獻回顧寫不好可以重寫,分析跑錯可以重跑,但問卷一旦發出去、訪談一旦做完,題目裡的問題就跟著資料一起留下來了。口試時委員翻到附錄,指著某一題說「這題一次問了兩件事」,你能做的只剩下在研究限制裡多寫一段。

問題是,AI 的這一遍檢查到底可不可靠?

我在整理《AI 學術研究 Prompt 手冊》時,用 7 篇已發表的期刊論文當素材,把 30 條研究提示詞跑了四輪、共 120 次實測,每一輪都交給沒參與撰寫的評審逐句對照原文檢查。完整的測試方法我在〈AI 為什麼會捏造文獻、把「探討」改成「證實」?〉寫過了,這篇只談其中兩條:設計訪談大綱,以及檢查問卷措辭。

這兩條都是實測後大幅改寫過的條目,定稿各連續跑了 3 次,最後仍有幾個問題修不掉,寫進了書末的已知限制。

發現一:AI 檢查自己寫的題目,會放水

老實說,訪談大綱最怕兩種題目:一次問兩件事,以及預設受訪者一定有某種經驗。後者在方法教科書裡叫誘導式問題,受訪者一旦被題目框住,回答就會順著你的預設走。

所以我請 AI 設計訪談大綱時,會特別加了一句「請避免誘導式問題與一次問兩件事的問題,並檢查每一題是否有這兩種狀況」。

AI 很認真地逐題檢查,每一題都寫了「無誘導」「無雙重問題」。但評審對照之後發現,被它判定沒問題的題目裡,仍有少數帶著輕微預設:

AI 寫的追問夾帶的預設
你當時是怎麼決定這樣做的?對方做過一個決定
在讀書不順的時候,你通常怎麼處理?對方有過讀書不順的經驗

這兩題單獨看都很自然,甚至是好問題。可是如果受訪者其實沒有做過任何決定,只是順著情勢走,第一題會逼他事後替自己編一個決策過程出來,而這段編出來的過程,接著就會出現在你的編碼裡。

這類預設之所以難抓,是因為它常常不在題目的主幹,而是藏在時間副詞、追問或名詞片語裡。例如「你選擇的方法」,主幹看起來是開放式提問,但「選擇」兩個字已經假設對方選過了。AI 逐題自我檢查時,很容易只看主幹就放行。

這也是手冊第 17 條的查核提醒第一句:AI 檢查自己寫的題目時容易放水,請務必自己再讀一遍。

發現二:同一份問卷跑三次,抓出的題目不一樣

檢查問卷措辭的那一條,我讓 AI 逐題檢查五件事:雙重問題、誘導性措辭、看不懂的術語、否定句或雙重否定,以及選項是否涵蓋所有可能的答案。

修到最後一版時,我把同一份問卷連續跑了 3 次。結果 3 次標出的問題題目都不完全一樣。

當然,這不代表 AI 胡亂判斷。被標出來的題目,多半真的有可以討論的地方;只是哪些會被注意到,每一次都有些出入。生成式 AI 每次產出本來就會有變化,平常寫文案時這是優點,用在逐題檢查上,就會變成漏網之魚。

所以,手冊裡的建議看起來很務實:請至少跑兩次,把兩次標出的題目取聯集,再由你自己逐題判斷。跑一次就放心的話,你看到的只是其中一個版本的檢查結果。

發現三:連它提的修改建議,都要再檢查一次

第三個發現最容易被忽略,因為問題不在 AI 漏抓,而在它給的解法。

實測中有一題含「不道德」這個否定詞,AI 建議改成「違背道德」來消除否定句。讀起來句型確實變成肯定句了,但意思仍然是負面的,受試者作答時的認知負擔並沒有減輕,只是換了一個說法。

另一個例子更值得留意。AI 在某一題標了【構念變動】,提醒我這樣改會改變這一題要測的東西;但在另一題,它把「水、電燈」拆成兩題,卻沒有標。同一種修改方式,一題有提醒、一題沒有。

請注意,構念變動是問卷修改最需要小心的地方。題目改了一個詞,測到的可能就不是同一件事了;如果你用的是他人編製的量表,改完之後原本的信效度證據也不一定還站得住。AI 的建議讀起來通常很合理,正因為合理,才容易被直接照抄。

手冊第 18 條的提示詞後來加了一整段規則,明訂哪些改動一律算構念變動:換掉行為動詞、增刪程度詞或條件詞、改變句子方向、擴大或縮小情境範圍、加入舉例,並要求 AI 把自己的修改建議也用同樣五項再檢查一次。即使如此,最後這一關還是得由你來把守。凡是拆題、換詞、換對象的建議,都請自己對照原題,判斷是否改變了要測的東西。

一句話的提示詞,怎麼長成一整段

回頭看第 17 條的修改過程,很能說明為什麼「請避免誘導式問題」這一句不敷使用。

最初的版本只有一句要求:避免誘導式問題與一次問兩件事的問題,並檢查每一題。實測後發現這一句太寬鬆,AI 對這兩個概念各有自己的解讀,於是我在之後幾輪把判斷標準一條一條補上去:什麼叫一次問兩件事、什麼叫誘導、追問也要適用、名詞片語不能夾帶預設、承接前一題的追問要用「如果有」開頭。

提示詞的長度,從初版到定稿差不多翻了一倍。下面是最後的定稿,可以直接複製使用,【】括起來的地方換成你自己的內容。

研究問題:【貼上研究問題】
受訪者:【描述受訪對象,例如身分、經驗】
預計訪談長度:【分鐘】

請幫我設計半結構式訪談大綱:
1. 開場暖身題 2 題
2. 核心問題 5 到 7 題,每題對應研究問題的哪個面向
3. 每個核心問題附 1 到 2 個追問
4. 結尾題 1 題

請避免誘導式問題與一次問兩件事的問題。判斷方式:題目用「以及、和、並、還有」連接兩個需要分別回答的內容,就算一次問兩件事;預設受訪者一定有某種經驗、感受或做法,就算誘導。這個判斷方式同樣適用於每一個追問。逐題寫出判斷理由;只要理由中寫出任何疑慮,就必須改題,不能保留。「你的感受是什麼」這類預設對方一定有某種經驗的問法,改成「有沒有」開頭。題目中的名詞片語也不能夾帶預設(例如「你選擇的」);承接前一題的追問,一律以「如果有」或「有沒有」開頭。每一題核心問題都要寫出對應的研究問題面向。

對了,這條提示詞有兩個設計值得一提。

第一,要求 AI 逐題寫出判斷理由。只寫「無誘導」三個字,你無從判斷它有沒有真的想過;寫出理由,你才看得出它在哪一題想得不夠。

第二,「只要理由中寫出任何疑慮,就必須改題」。自我檢查最怕的是發現了疑慮、卻判定影響不大而放行,這一句把放行的空間收掉,有疑慮就一定要改。

即使如此,前面那兩個漏網的追問,仍被我記進了這一條的已知限制。所以這條提示詞能幫你把大部分的問題擋在門外,但不能保證題目零誘導。

發出問卷前的五步人工核對

不管你用的是哪一條提示詞,送出問卷、開始訪談之前,請花一點時間做完這五步:

  1. 自己逐題讀一次追問。專門找藏在追問和名詞片語裡的預設,例如「當時」「你選擇的」「不順的時候」,問自己:如果受訪者沒有這個經驗,這題他要怎麼回答?
  2. 問卷檢查至少跑兩次。把兩次標出的題目取聯集,再逐題判斷要不要改。
  3. 每一個修改建議都對照原題。拆題、換詞、換對象、加舉例,都可能改變構念;如果你用的是既有量表,改之前先確認授權,翻譯量表則依學界慣用的翻譯與回譯程序處理。
  4. 大聲念出來。AI 寫的訪談題常常太文謅謅,用口語問出來會很生硬。念一次,不順口的地方就改成你平常說話的樣子。
  5. 找一到兩位非正式受訪者試訪或試填。這一步沒有任何工具可以取代,聽不懂、太抽象、選項不夠用的題目,通常在這裡才會現形。

還有一件事要提醒:請不要把受訪者的個資或未發表的研究資料,貼進你無法確認資料用途的 AI 工具。需要處理時請先去識別化,或改用學校授權的版本。

其餘 29 條與 19 則已知限制,收在手冊裡

這篇談到的訪談大綱與問卷檢查,是《AI 學術研究 Prompt 手冊》第四章「研究設計與方法」的其中兩條。同一章還有檢查研究設計能否回答研究問題、為質性資料建立初步編碼、選擇合適的統計方法三條提示詞。

手冊依研究流程分成六章,共 30 條提示詞:題目與研究問題、文獻搜尋與閱讀、文獻回顧寫作、研究設計與方法、修訂潤稿與投稿,以及審稿回覆、口試與研究倫理。每一條都有三個部分:什麼時候用、提示詞本身,以及查核提醒。查核提醒寫的是 AI 在這個環節實際出過什麼錯、你要怎麼核對。

這篇提到的三個發現,在手冊裡都寫成了書末的已知限制,共 19 則,每一則都寫明對應哪一條、AI 可能怎麼出錯、你該怎麼核對。我把沒修好的地方也寫出來,因為知道工具在哪裡會失手,比相信它不會失手安全得多。

也要老實說兩件事。第一,所有實測都在 Claude 上完成,提示詞貼到 ChatGPT 或 Gemini 一樣能用,但輸出品質可能略有不同。第二,第 17、18 條的定稿各連續跑了 3 次,手冊裡有些條目只跑 1 次,附錄都有逐條交代。

適合誰

  • 正在設計問卷或訪談大綱、想用 AI 先檢查一遍的研究生
  • 要指導學生做研究方法、想給學生一份安全用法的大學教師
  • 需要寫研究報告或計畫書的研究人員

不適合誰

想讓 AI 直接代寫論文的人,這本手冊幫不上忙。每一條提示詞都是為了讓 AI 當副駕駛而設計的。

手冊是 PDF 電子書,付款後立即取得下載連結,一年內有更新會免費寄給你新版。原價 699 元,現在創始價 499 元,僅限前 50 位購買者。

寫在最後

用 AI 檢查問卷和訪談大綱,最大的風險不是它抓不到問題,而是它抓到一部分之後,給你一種「已經檢查過了」的安心感。

下次把題目貼給 AI 之前,先想好三件事:我會跑幾次?它的修改建議,我打算怎麼一題一題對照原題?試訪的人,我找好了嗎?

常見問題

可以請 AI 幫我檢查問卷題目嗎?

可以,而且它很擅長找出雙重問題、誘導性措辭和看不懂的術語。但實測中同一份問卷跑 3 次,AI 每次標出的問題題目都不完全一樣,所以建議至少跑兩次、取聯集,再由你自己逐題判斷。AI 的檢查只能當第一輪篩選,不能取代試測與指導教授的意見。

AI 建議的問卷修改,可以直接採用嗎?

不建議直接採用。實測中 AI 曾把一題拆成兩題卻沒有提醒這會改變要測的東西,也曾提出看似消除否定、其實仍帶負面意思的改法,例如把「不道德」改成「違背道德」。凡是拆題、換詞、換對象的建議,都要自己對照原題,判斷是否改變了構念。使用他人編製的量表時,修改措辭還要注意授權與信效度。

AI 設計的訪談大綱,最常出現什麼問題?

最常見的是題目夾帶預設。實測中 AI 逐題自我檢查、判定沒有預設的題目,仍有少數帶著輕微預設,例如「你當時是怎麼決定這樣做的」預設對方做過決定,「在讀書不順的時候」預設對方讀書不順過。正式訪談前請自己把每個追問讀一次,並找一到兩位非正式受訪者試訪。

訪談逐字稿或問卷資料可以直接貼給 AI 嗎?

不建議。受訪者的個資與未發表的研究資料,不應貼進你無法確認資料用途的 AI 工具。需要處理時請先去識別化,或改用學校授權、有明確資料保護條款的版本,並依所屬學校或期刊的規定揭露 AI 工具的使用情形。

繼續讀

相關主題的文章。