חמש מאות משתתפים ואינספור הטיות: המדריך לקריאת סקרים בין השורות

הפער שבין אמת צרופה לשקר מוחלט יכול להיות כחוט השערה, ואין כמו תחום הסקרים והסטטיסטיקה כדי להמחיש זאת. בנימין דיזראלי, כך לפי מארק טוויין, ניסח זאת באופן משעשע במיוחד: ״יש שלושה סוגי שקרים: שקרים רגילים, שקרים מתועבים – וסטטיסטיקה״. כבר עסקנו בעבר בנושא של טעויות בניתוח דאטה, אך הפעם נעסוק בדאטה עצמו, בכלי האיסוף והמחקר החביב כל כך על ישראלים: סקר דעת קהל. כדי להציץ אל מאחורי הקלעים של תעשיית הסקרים, שוחחנו עם ד״ר חגי אלקיים שלם. 

הסקר הוא עירום

ד"ר חגי אלקיים שלם הוא מהדמויות המעניינות ביותר בתחום הסקרים והמחקר החברתי בישראל. את דרכו המקצועית החל כסטודנט לפסיכולוגיה שהתלבט בין המסלול הקליני לחברתי, וברגע האחרון בחר במסלול החברתי. במהלך לימודי התואר השני שלו בפסיכולוגיה חברתית הוא נחשף לעולם המדידה והסקרים, תחום שמשך אותו במיוחד בשל המורכבות המתודולוגית שלו והפוטנציאל לשימוש לרעה בכלים המחקריים.  

ב-2019 יזם את פרויקט "הסקר השקוף", מיזם ייחודי שנועד לחשוף בפני הציבור את המנגנונים שעומדים מאחורי סקרי דעת קהל ואת האופן שבו ניסוח שאלות יכול להטות את התוצאות. אפשר לומר שהוא היה הילד שזעק שהסקר הוא עירום, גם אם לא כולם רצו להקשיב.  

כיום, מלבד עבודתו כסוקר עצמאי, הוא מוכר כמומחה מוביל בתחום, השם דגש על המורכבות שבעריכת סקרים ופירושם. זו בדיוק הסיבה שבגינה בחרנו בחגי להיות מי שמלווה את מחלקת המחקר של המתכנה בתחום עריכת הסקרים.  

אין סקר מוטה: יש סקר שהטו אותו

כשמתחילים לעבוד עם חגי כמלווה לעריכת סקר דעת קהל, מגלים עד מהרה שהוא נודניק. תמיד יש לו הערות על קוצו של כל יוד בניסוחי השאלות, סדרן והנימה שלהן, ודקדוקים מדקדוקים שונים בשלב עריכת האיזון הסטטיסטי.   

חגי, איזו טראומת ילדות הפכה אותך לסוקר הכי דקדקן בישראל? 

לא בדיוק טראומה, אבל כשנחשפתי במהלך התואר השני לקורסים בתחום הפסיכומטריקה, גיליתי שזה לא רק תחום סופר מעניין, אלא גם כזה שמאוד קל לעשות בו טעויות מטופשות, ולעיתים מרושעות. בשנת 2019, אחרי כמה שנים של כתיבה, ניתוח, ניסוי וטעייה בעולם הסקרים, עשינו פרויקט שנקרא "הסקר השקוף" שהמטרה שלו הייתה לחשוף לציבור איך נראה המטבח שבו מכינים את הנקניקייה הזאת שנקראת "סקרי בחירות". כלומר, איך אפשר להנדס תשובות בעזרת שאלות מגמתיות.  

אתה יכול לתת דוגמה? 

למשל, הנושא של הסדר שתי מדינות, נושא רגיש שנוהגים לסקור אותו לא מעט ומקבלים בכל פעם תוצאה אחרת. הנדסתי שאלה שמוכיחה, שאפשר באמצעות הניסוחים עצמם להנדס רוב בעד שתי מדינות או רוב בעד המצב הקיים. סקר הוא כלי חזק, שקל לעשות בו שימוש לרעה, ולי חשוב שזה לא יקרה, ושהציבור יבין מהו סקר ואיך כל זה עובד. 

אז בוא נחזור לבייסיקס, מונחי יסוד, למשל "פאנל". מה זה אומר? 

פעם סקרים עבדו בפורמט של "יש לך את ספר הטלפונים ואתה מתקשר רנדומלית לאנשים". יש עדיין מערכות בארה"ב, שעובדות בשיטת Random calling. כלומר, המערכת מגרילה מספרים ומתקשרת לגמרי באקראי. הרבה דברים השתנו מאז, טכנולוגית וחברתית, וכיום השיטה הזו הרבה פחות ישימה או שהיא מאוד יקרה לביצוע. לפני כ-15 שנה התחילו הפאנלים האינטרנטיים שבהם מגייסים קבוצה גדולה של אנשים קבועים, שמקבלים תשלום או הטבה על ההשתתפות שלהם, וכך אני גם מבטיח מענה מהיר, וגם מנטרל את השאלה של למה הם עונים לסקר. הם עונים כי משלמים להם ולא כי יש להם איזה רצון להטות את הסקר או זיקה מיוחדת לנושא של הסקר. 

אבל התשלום מעורר בעיות חדשות – אנשים שמשיבים בלי לקרוא את השאלה רק כדי לקבל שובר. 

אתה צודק. התשלום על ביצוע הסקר פותר את שאלת המוטיבציה לענות לסקר, אך מציב בפני הסוקר אתגרים חדשים להתמודד איתם. למשל, יש שיטות למנוע את ההטיה שאתה מדבר עליה, של מענה לצורך תשלום ובלי להתכוון לתשובות. למשל, מערכת שעושה בדיקות ערנות, וגם מערכות כאלה יש להחליף כל הזמן כי הציבור מפתח בפניהן עמידות. חשוב להבין שבסקרים אין שיטה מושלמת.  

על אילו סדרי גודל של קהל אנחנו מדברים בפאנלים האלה? 

זה נושא קריטי, כיוון שהערך של הפאנל נובע מהגודל שלו. למשל: אם יש לי פאנל של 10,000 אנשים, ואני צריך 500 משיבים לסקר, הפאנל לא גדול מספיק, כיוון שעם הזמן יקרה מצב שמכונה double-dipping. כלומר, אתה חוזר לאנשים האלה שוב ושוב ושוב, הם מפתחים סוג של מומחיות בלענות על סקרים, ואז אתה מתחיל להעלות סימני שאלה עד כמה הדבר הזה מייצג. לכן, כדי להחזיק פאנל כזה צריך להגיע ל-100 אלף איש, 200 אלף איש, אלה סדרי הגודל. היה פעם מחקר שהראה שבתקופה מסוימת רוב הסקרים בארה"ב נעשו על קבוצה של אותם 40 אלף איש. זו המשמעות של סקרי הפאנל, שיש להם פוטנציאל הטיה אם לא מנהלים את הפאנל נכון. 

אוקיי. אז אילו עוד אופציות יש חוץ מפאנל? 

יש טלפונים, יש סמסים, יש רשתות חברתיות, והעניין הוא שלכל שיטה יש את ההטיה שלה. מה שכן, יש הרבה חורים שהם משותפים לרוב השיטות. בגדול, יש שלוש אוכלוסיות בארץ שהן קשות במיוחד: דוברי רוסית מבוגרים, ערבים מסורתיים-דתיים, בעיקר בדואים מהדרום, וגם האוכלוסייה המסורתית של מצביעי ש"ס. ואז, במיוחד אם רוצים לרדת לרזולוציות של פילוח עמוק, כדאי לעשות השלמות. לערביי ישראל אתה צריך לעשות ראיונות פנים אל פנים, או דרך חברות מתמחות. לדוברי רוסית ברור שהשאלון צריך להיות ברוסית, אבל הרבה פעמים אתה צריך לשאול שאלות אחרת בגלל חוסר הנכונות לשתף פעולה עם סוקרים. לגבי מצביעי ש"ס, זה פשוט עניין של לאתר אותם ולדעת לזהות אותם כדי להגדיל את המשקל שלהם בתוך הדגימה. 

אם לכל שיטה יש הטיה אחרת, אז סקר שמקורות המידע שלו מגוונים משפר את הדיוק? 

כשאתה עם מקור איסוף יחיד, באמת יש סיכון שאתה תהיה פגיע להטיות מסוימות. כשאתה מגוון את המקורות, אז כל אחד יטעה בצורה קצת אחרת ואז יש סיכוי טוב להגיע לתוצאה עוד יותר מבוססת. לצורך העניין, אם אתה אוסף חצי מהמדגם אינטרנטית, והשאר טלפונית ובראיונות פנים אל פנים, וגם מוסיף חברות מתמחות באוכלוסיות ספציפיות, ואז מחבר הכול יחד, זה סקר ברמת דיוק מאוד גבוהה. מובן שהמחיר יהיה בהתאם, ויכול להגיע לפי שמונה ממחירו של סקר רגיל. לכן, זה לא פתרון שמתאים לכל השוק, וגם לא חייבים אותו לכל צורך. בפועל, רוב הסקרים שנעשים כיום הם אינטרנטיים. 

ובסקרים כאלה כדאי לגוון את מקורות ההגעה הדיגיטליים? 

נכון. גם בסקר שכולו אינטרנטי כדאי להביא גולשים מכמה מקורות הגעה, כמו רשתות חברתיות שונות, מערכות גילוי תוכן, וכדומה. אני אתן דוגמה קלה: טוויטר. אם יש שיעור מענה מאוד מאוד גבוה מטוויטר, אז זה פחות טוב, כי זאת אוכלוסייה חריגה שהסיכוי שהיא תענה באופן מסוים על שאלות גבוה יותר. אבל אם אתה משלב היטב בין אינסטגרם, פייסבוק, טוויטר, אאוטבריין, טאבולה, טלגרם, ווטסאפ וכדומה, אתה מתאזן. בפייסבוק אתה תופס את המבוגרים יותר, באינסטגרם את הצעירים יותר, בטוויטר את המתעניינים יותר, באאוטבריין את הממוצע ובווטסאפ קהלים אחרים. 

עוד טענה שאני שומע הרבה היא: "סקר לעולם אינו מייצג כי עונים עליו רק אנשים שעונים לסקרים". 

נכון. בזמנו דיברנו על הטענה שלפיה עריכת הסקר "בקרב האוכלוסייה הבוגרת המשתמשת באינטרנט" גורם לסקר להיות מוטה כשלעצמו. יש לזה שתי תשובות שונות. הראשונה היא ש-90% מהישראלים מחוברים לאינטרנט. נכון, יש שוני בקרב אוכלוסיות שונות כמו חרדים או ערבים, אבל לצורך הפרופורציות אנחנו מבינים שיש כאן רוב ברור מאוד. התשובה השנייה היא, שתלוי מהו נושא הסקר. אם מדובר בסקר שבוחן דעות לגבי האינטרנט, יש מקום לטענה שלפיה מי שלא מחובר לאינטרנט יחשוב דברים אחרים על האינטרנט בהשוואה למי שכן מחובר. אבל כאשר אנחנו בודקים עמדות עקרוניות בסוגיות שונות, צריכים להביא ביסוס משמעותי לטענה שעצם השאלה אם יש חיבור לאינטרנט או לא ישפיע על העמדות. כך גם לגבי "אנשים שעונים על סקרים" – צריכים להביא ביסוס למה העניין של אם אלה אנשים שעונים לסקרים או לא ישפיע על העמדות שלהם בנושא הסקר.  

״אנשים בישראל לא מאמינים לסקרים ובו בזמן מאוד מאמינים בהם״ 

כשמוציאים הודעה לעיתונות על תוצאות סקר, יש טקסטים קבועים שנזכרים בצידן ושאף אחד לא קורא, ממש כמו תנאי שימוש של אפליקציה שכולנו מאשרים כלאחר יד. כמה משיבים השתתפו, מהו טווח הטעות הסטטיסטית ומיהי האוכלוסייה שנדגמה. החלטנו לנסות לפזר מעט את הערפל הסטטיסטי. 

עכשיו בוא נדבר על ייצוגיות. בדרך כלל יש מגדר, גיל, זיהוי אידיאולוגי ודתי, אבל לא תמיד השכלה והכנסה. למה? 

קודם כול, כי אלה נתונים חד משמעיים וברורים. כשאתה שואל גיל ומגדר, המשיב יודע בדיוק מה זה. הכנסה, למשל, זה יותר מורכב. גם כי לא בטוח שהאדם יאמר את האמת, יש לנו תכונה כזו של לשקר לעצמנו בשאלות כאלה, אבל גם כי קשה למשיבים לאפיין מה זה "מעל הממוצע" או "מתחת לממוצע". לכן, למשקל לפי הכנסה זה דבר שעושים בו שימוש מאוד זהיר, אם בכלל. 

ומה לגבי גיאוגרפיה? זה הרי גם נתון פשוט, לכאורה. 

כל תיקון סטטיסטי מעוות את הנתונים. זה אומר שאנחנו ננסה לא להתערב יותר מדי בנתונים, בוודאי אם הם קרובים להתפלגות האמת, ואנחנו נעשה את זה בעיקר בדברים שהם מאפיינים יותר מרכזיים ויותר רלוונטיים לשאלת המחקר. יכול להיות שאם היינו עושים סקר אם להקים שדה תעופה בעמק יזרעאל, לא הייתי מסתפק בייצוגיות הרגילה ורוצה לאזן גם גיאוגרפית, אבל לגבי נושאים אחרים זה בדרך כלל פחות רלוונטי. האם אני מניח שהדתיים-לאומיים של גבעת שמואל שונים מהדתיים-לאומיים של ירושלים או של אשקלון? התשובה היא כן, אבל לא מאוד, וזה תלוי בנושא. אפשר למשקל על אלף משתנים, אבל צריכים לזה סיבה טובה, אחרת זה לא ייגמר לעולם, ושוב – מצליחים להגיע לדיוק סטטיסטי טוב גם בלי זה. 

עכשיו, מאיפה נולד המספר 500? מי החליט? 

טעות הדגימה יורדת בצורה לוגריתמית. לצורך העניין בוא נאמר שבסקר מסוים על 100 איש, טעות הדגימה היא 9.8 אחוז. על 200 איש היא תרד ל-6.9 אחוז, כלומר ירדנו 3 אחוז על מאה איש שהוספנו למדגם. 300 איש – 5.66 אחוז. ירדנו עוד כאחוז וחצי, על עוד מאה איש. 400 איש – אנחנו ב-4.9 אחוז. 500 איש – אתה מגיע ל-4.38 אחוז. ירדת חצי אחוז בלבד. ומכאן והלאה הירידות הולכות וקטנות ומאבדות משמעות. כלומר, המאמץ שלך להוסיף עוד משיבים לא יבוא לידי ביטוי משמעותי בדיוק. כיוון שבמדעי החברה נקבע הסף של רווח סמך, על 95 אחוז, הגיעו למספר של 500 עם טעות הדגימה שלו. 

למה באמת מציינים בסוף תמיד "לפי הסתברות של 95%"? 

זה מגיע ממדעי החברה. איך נחליט שתוצאה היא אמיתית, שאפשר לסמוך עליה, שהבדל בין שתי קבוצות הוא הבדל אמיתי? החליטו שאם יש סיכוי של רק 5 אחוז לטעות, התוצאה היא מובהקת. למה? ככה. המספר הזה תפס. הוא פשוט נשאר. לגמרי היינו יכולים לנחות גם ב-400, או לנחות ב-600, אבל כנראה אף אחד לא היה עושה 700, כי הערך של עוד מאה אנשים ממש קטן מבחינת הוודאות שלך. אבל ברור שלא היית נשאר על 200, שהטעות היא מאוד מאוד גדולה. זה פשוט האיזון המקובל. 

 אז למה יש סקרים שמשתמשים במספרים גדולים יותר, לפעמים למעלה מאלף נדגמים? 

קודם כול לסקר יש, מה שנקרא, תוקף נראה. כלומר – כמה אנשים מאמינים לו. אנשים בישראל מאוד מפורסמים בכמה שהם לא מאמינים לסקרים, אבל גם מאוד מאמינים לסקרים בו-זמנית. סקר גדול נתפס כמהימן יותר, גם אם סטטיסטית ההבדל אינו משמעותי. אבל הסיבה האמיתית לביצוע מדגם גדול יותר היא מצב שבו אתה מנסה לעשות פילוחים, כלומר לבנות תאים סטטיסטיים של אוכלוסיות שונות ולדייק בהם מאוד, ולכן אתה לא רוצה שיהיה בתא כזה מספר קטן מדי של משיבים. בגדול, את גודל הסקר בונים לפי מידת וסוג הפילוח שתרצה להגיע אליה.  

בין השורות הסטטיסטיות: איך לקרוא סקר? 

עכשיו, שאלה על ביקורתיות. מנהל שיווק שמקבל סקר, מהן נקודות התורפה שכדאי שיבדוק? 

הוא צריך לשאול את עצמו כמה שאלות. קודם כול, אם יש אוכלוסיות שלא נדגמו או שנמצאות בתת ייצוג, ואם זה המצב, אם אלה אוכלוסיות קריטיות לנושא הסקר. הדבר השני זה הניסוח של השאלות עצמן. לשים לב לדקויות. כשאתה מנהל שיווק המטרה שלך היא לקבל תשובה אמיתית, ולא תשובה שמחמיאה לך. הרבה מנהלי שיווק מתנהגים בצורה שלא תואמת את זה. עבדתי עם חברה גדולה בארץ, כל כך גדולה שיש לה מחלקת מחקר עצמאית, ומחלקת המחקר סיפרה על המצוקה שלה בהגשת התוצאות, כאשר מי שהזמין את הסקר בתוך החברה פשוט לא רוצה לשמוע את האמת. הם מתנהגים לסוקר באופן שמשדר לו "יותר חשוב לי שתיתן לי את מה שאני רוצה מאשר לשמוע את האמת". 

וזה משפיע על האופן שבו מנוסח הסקר מלכתחילה? 

כן, וזו בעיה, כי נורא קל לעשות את הדבר הזה. לצורך העניין, בפרויקט הסקר השקוף שעשינו, הדגמנו איך ניסוחים שונים של אותה שאלה מביאים תוצאות הפוכות. וזה לא שכל הסוקרים יושבים במחשכים ומתכננים איך להטות סקר. לפעמים ההטיה היא לא מודעת, ונובעת מאופן צר שבו אני רואה את המציאות. 

ואיך כסוקר אפשר להתגבר על ההטיה הלא מודעת? 

אני הרבה פעמים מעביר את זה לבן-אדם שלא מסכים איתי, או מתייעץ עם בן-אדם שחושב הפוך ממני, כדי לוודא שלא הכנסתי לתוך השאלה את ההטיות שלי באופן לא מודע. מעבר לכך, יש רשימה ארוכה של הטיות מוכרות שפשוט צריכים להיות מודעים אליהן ולהריץ אותן בבדיקת כל שאלה באופן מסודר. לדוגמה, Double-barreling, כלומר כששאלה שואלת שתי שאלות בתוך שאלה אחת, או מציגה מצב לא מאוזן בשאלה עצמה. למשל, סקר שנערך לפני כמה שנים לאוכלוסייה הערבית ונכללה בו השאלה "האם אתה חושב שהמפלגות הערביות צריכות לקדם את ענייניהם של אזרחי ישראל הערבים או לעשות הכול כדי להפיל את בנימין נתניהו?" – זו דיכוטומיה כוזבת, שני הצדדים של השאלה לא זהים. אתה צריך לנסח בצורה מאוד ניטרלית ולפעמים זה סיוט. 

ספר לי על זה עוד, חגי. אלה יכולים להיות סבבי ניסוח בלתי נגמרים מולך. 

תתנחם בזה שלא מדובר רק בכם. אם, למשל, נחזור ל-2020, נעשו אז הרבה סקרי סיפוח. כל סקר סיפוח הראה תוצאה אחרת כי אף שני סקרים לא שאלו את אותו הדבר, וזה יצר מצב בלתי אפשרי לסוקר. סיפוח זה נושא מורכב, שכולל בתוכו הרבה הגדרות משנה: מה אתה מספח, מתי אתה מספח, אם אתה מחכה לאמריקנים וכדומה. כשאני עובד עם לקוח שצריך לקבל דעה אמיתית על הדבר הזה, אני אשאל זאת בעזרת סדרה של חמש שאלות שיאפשרו לבחון את הדקויות. גם הנושא של הרפורמה המשפטית דומה – לשאול שאלה אחת זה לא מועיל. כאילו, זה מועיל כשאתה מחפש מחנות, ולא מחפש הבנה של דעות ודקויות. בפועל, כשנעשה סקר שרוצים להנגיש לציבור או להביא אותו לתקשורת, זה צריך להגיע בשאלה אחת דיכוטומית. אתה לא יכול לתת לתקשורת עץ החלטות שלם. אז אתה שואל באופן כוללני, והתוצאות בהתאם.  

ויש גם שאלות עם סוגסטיה, שנפוצות גם בעולם החקירות הנגדיות. 

נכון. אלה שאלות שבעצם כבר טוענות את הטענה. אם אתה שותל לבן-אדם רעיון בראש, אז אתה לא יכול לבדוק את הדעה שלו לגבי הרעיון. ההטיה יכולה להיות רגשית, על ידי שימוש במילים כמו "כמה מהחרדים שונאים", או הטיה קלאסית בסגנון "עד כמה שמעת על תוכניתו של ראש העיר לקדם את הפרויקט?" – נו, מה שבטוח זה שעכשיו בהחלט שמעתי על זה, והתשובה תהיה מוטית. זה גם נכנס לתחום של מודעות נעזרת מול מודעות לא נעזרת. 

בינה מלאכותית ונוירו-מרקטינג 

אחת הבעיות של סקרי התנהגות צרכנית היא הפער שיש בין ההחלטה המודעת להחלטה הלא מודעת. מחקרים מראים שאדם מגיע להחלטה לא מודעת לרכוש מוצר לפני שהדבר עולה בתודעתו, וכאשר היא עולה בתודעה, המוח יעבור לתהליך של הצדקת ההחלטה. המשמעות היא, בין השאר, שאם נשאל אותו לאחר מכן מה גרם לו להחליט לרכוש את המוצר, נקבל את ההצדקה להחלטה ולא את המניע בזמן אמת. 

האם יש דרכים להתגבר על הפער בין המודע הצרכני ללא מודע שלו? 

זה קשה מאוד, ולכן בהרבה מקרים מה שנכון לעשות זה לא סקר אלא ניסוי שבו בוחנים התנהגות בזמן אמת ולא שאלות על ההתנהגות בדיעבד. אבל יש דרכים להפחית את הפער. גם אנחנו לפעמים עושים את זה בסקרים שאנחנו עושים יחד, למשל – לא שואלים באופן כללי ה=אם נושא יעניין אותך, אלא מציעים לך רשימת כותרות של כתבות שמהן תבחר את מה שהיית קורא בפועל, מה שמציב אותך בסוג של זמן אמת באופן לא מודע. לפעמים צריך לקחת את זה עוד צעד קדימה: לפנות למשיב, ולומר לו שכחלק מהמחקר, אנחנו מבקשים ממך לקרוא כתבה, ואתה בוחר איזו אחת משלוש כתבות אתה קורא. מה שנבחן הוא לא השאלות שלאחר הכתבה, אלא איזו כתבה הוא בחר בפועל. 

מהו העתיד של התחום עכשיו כשיש בינה מלאכותית ונוירומרקטינג?  

שמע, יש הרבה דברים מדהימים שנעשים עם AI והיכולות כיום. אבל הדברים האלה, אתה יודע, זה חוסך לך את הסבב הראשון של עיבוד המחקר האיכותני. כאילו, עשיתי עכשיו שמונה קבוצות מיקוד. פעם היו שלושה סבבים: סבב ראשון שבו אני עושה מעבר ומסכם נקודות עיקריות, סבב שני שבו אני ממפה את התמות הגדולות שעלו ומזהה את התובנות המרכזיות, וסבב שלישי שבו אני מוציא ציטוטים, ועושה את הכתיבה הסופית. היום אתה חוסך לפחות את אחד הסבבים האלה באמצעות זה שאתה מזין את הדבר הזה ל-GPT4 והוא מסוגל לזהות את התובנות השטחיות, מי אמר מה וכמה. גם בזה הוא טועה ומפספס וצריך לבדוק אותו, אבל הרבה פעמים הוא חוסך לי חלק מהעבודה שפעם הייתי משלם למתמחה שיעשה. בינתיים, לפחות בגרסאות הנוכחיות, היכולת של הצ'אטים למיניהם לתת תובנות עומק מאוד מוגבלת, והם נעדרים כל הקשר תרבותי, חברתי או פוליטי שמאפשר העמקה אמיתית, אז כרגע זה כלי מסייע ולא כלי שמחליף את החלקים החשובים של העבודה. 

האם באיזשהו שלב בינה מלאכותית תתחיל גם לענות לסקרים במקומנו? 

תתפלא, אבל יש כבר כל מיני מיזמים חדשים בתחום, למשל כל מה שנקרא דאטה סינתטי או משתמשים סינתטיים. בתחומים מסוימים אפשר לייצר משתמשים מבוססי AI  שישיבו על הסקר כתגבור או כתוספת למשתמשים אמיתיים. כרגע התחום מאוד בחיתוליו, קשה לדעת אם זה טירוף מוחלט או שיש תחומים שבהם משתמשים סינתטיים כאלה יכולים לדייק לא פחות ממשתמשים אמיתיים. ייתכן מאוד שבתוך זמן קצר יהיו שינויים דרמטיים בתחום. אני אישית נוטה להעדיף את הידיעה הוודאית שבקצה השני של שאלה שלי, בוודאי של קבוצת מיקוד שלי, היה אדם שנתן לי תשובות מהסוג שרק אדם יכול לתת.