分析数据偏差清单

Below is a structured review of potential biases in an “App internal test logs” dataset covering segmentation (groups), exposure, click, conversion, retention, and user feedback. For each category, I include typical failure modes, detection strategies, and mitigation approaches.

1. Sampling and Selection Bias

• Internal-tester bias: Early adopters, power users, or opt-in beta users are not representative of the production population.

  • Detect: Compare demographics, device/OS, geography, tenure, activity intensity to production baseline using standardized mean differences (SMD) and population stability index (PSI).
  • Mitigate: Post-stratification or importance weighting to align with target population; stratified sampling.

• Coverage gaps: Under-representation of specific OS versions, device tiers, locales, or new/returning users; consent-based inclusion (opt-out users missing).

  • Detect: Profiling by strata; missingness audit by consent status.
  • Mitigate: Include consent and coverage indicators as covariates; reweight by strata; sensitivity analyses excluding under-covered segments.

• Survivor/heavy-user bias: Users who remain engaged are more observed, inflating retention and conversion.

  • Detect: Compare metrics by tenure deciles and activity percentiles.
  • Mitigate: Survival analysis; report metrics stratified by tenure; weight new users appropriately.

2. Experiment Design and Assignment Bias (if A/B or cohort tests are present)

• Sample ratio mismatch (SRM): Assignment proportions deviate from design due to eligibility filters or logging loss.

  • Detect: Chi-square SRM checks; monitor assignment funnels and eligibility predicates.
  • Mitigate: Fix randomization key (user-level stable hashing); audit eligibility; pause and rerun on SRM.

• Noncompliance and contamination: Users switch groups due to app updates or multi-device use; cross-group interference (network effects).

  • Detect: As-assigned vs as-exposed comparisons; duplicate user IDs across arms; cluster-level spillovers.
  • Mitigate: Intent-to-treat as primary; cluster randomization (household/account); enforce sticky assignment per user/account.

• Learning/novelty and carryover effects: Early period shows novelty; effects decay or leak when switching versions.

  • Detect: Time-sliced effects; pre-post within user.
  • Mitigate: Ramp-up periods; washout before measurement; report by time-since-exposure.

3. Exposure and Logging Bias

• Viewability/eligibility bias: Logged “exposure” may include below-the-fold or <X ms on screen; eligibility rules depend on user features, confounding exposure with outcome.

  • Detect: Track viewability (on-screen duration, scroll depth) and eligibility predicates; compare exposed vs eligible-but-not-shown.
  • Mitigate: Define exposure as viewable; use inverse propensity scoring (IPS) or doubly robust (DR) estimators to adjust for exposure confounding.

• Ranking/personalization feedback loops: Exposure depends on prior clicks/conversions, creating popularity bias and self-selection.

  • Detect: Propensity score diagnostics; covariate balance between exposed and unexposed; off-policy evaluations.
  • Mitigate: Randomized logging or exploration; IPS/DR counterfactual estimation; slate-aware correction for position bias.

• Event loss and clock skew: Offline usage, crashes, or device clock errors drop/reorder events.

  • Detect: Sequence integrity checks; per-device loss rates; clock skew heuristics.
  • Mitigate: Server acknowledgment with retries; reorder by server receipt; impute or exclude with sensitivity bounds.

4. Click Data Bias

• Accidental or fraudulent clicks: Fat-finger taps, bots/test devices.

  • Detect: Dwell time distributions; improbable click sequences; device clusters with extreme CTR.
  • Mitigate: Minimum dwell-time filters; bot/test-device blacklists; dedup within short windows.

• Position and presentation bias: Higher positions get higher CTR independent of relevance.

  • Detect: CTR by position controlling for item; randomized position tests.
  • Mitigate: Position-normalized metrics; counterfactual correction; interleaving experiments.

5. Conversion Attribution Bias

• Window and cross-device bias: Different or insufficient attribution windows; conversions on another device/account.

  • Detect: Delay distribution for conversions; cross-device linkage success rate.
  • Mitigate: Consistent windows across arms; report curves by window lengths; probabilistic identity resolution with uncertainty; sensitivity analyses.

• Competing channels and last-touch skew: Other channels drive conversions misattributed to exposure.

  • Detect: Holdout/ghost ads; channel overlap analysis.
  • Mitigate: Incrementality tests (geo or user holdouts); multi-touch or position-based attribution; lift-based reporting.

6. Retention Measurement Bias

• Right-censoring and left-truncation: D1/D7 retention measured before full observation window is available; users who joined earlier differ from later joiners.

  • Detect: Censoring flags; retention curves by cohort start date.
  • Mitigate: Survival analysis (Kaplan–Meier, Cox); only include cohorts with full windows; report time-to-churn distributions.

• Calendar vs relative-day bias: Time zones and daylight saving cause misalignment of “day” boundaries.

  • Detect: Retention by timezone; discontinuities at DST.
  • Mitigate: Relative time since install; per-user local time normalization.

7. User Feedback Bias (ratings/reviews)

• Nonresponse and extremity bias: Feedback skewed to highly satisfied/dissatisfied users.

  • Detect: Response propensity models; compare responders vs non-responders on covariates.
  • Mitigate: Weight by inverse response propensity; random prompts; calibrate with follow-up surveys.

• Language and model bias: Sentiment/NLP models trained on different domain/language; moderation removes specific content types.

  • Detect: Performance by language/locale; manual audits; confusion analysis.
  • Mitigate: Domain adaptation; multilingual models; include moderation flags as covariates.

• Prompting/context bias: When/how the app asks for feedback influences ratings.

  • Detect: Rating distributions by prompt timing/context.
  • Mitigate: Randomize prompt timing; control for prompt covariates.

8. Data Processing and Identity Bias

• Duplicate or fragmented identities: Cross-device fragmentation or ID resets inflating users; merges may conflate distinct users.

  • Detect: Identity resolution QA; improbable multi-geo/device patterns.
  • Mitigate: Stable user keys; conservative linkage; report per-device and per-user metrics.

• Test/QA traffic contamination and bots: Internal users, scripted tests.

  • Detect: Known test accounts, IP ranges, device models; anomalous patterns.
  • Mitigate: Exclude via allow/deny lists.

• Missingness not at random (MNAR): Crashes/log loss more common on certain devices/versions.

  • Detect: Missingness models conditional on device/OS.
  • Mitigate: Include missingness indicators; multiple imputation; bounding analyses.

9. Confounding and Reporting Bias

• Simpson’s paradox: Pooled effects mask opposite trends in subgroups (e.g., OS, country).

  • Detect: Stratified and hierarchical reporting; interaction tests.
  • Mitigate: Pre-registered stratifications; multilevel models.

• Metric definition drift: Changes in exposure definition, event taxonomy, or event versioning mid-test.

  • Detect: Event schema/version fields; step changes in time series.
  • Mitigate: Version-lock metrics; backfills or split reporting pre/post change.

10. Privacy and Policy-Induced Bias

• Consent/ATT/limited ad tracking: Opt-outs under-represent privacy-sensitive users.

  • Detect: Opt-out rates by segment; covariate differences.
  • Mitigate: Include consent as a covariate; report separate metrics; do-not-infer policies.

• Aggregation and noise: Thresholding or differential privacy in small cells distorts subgroup metrics.

  • Detect: Instability in small cohorts; bias in low-count segments.
  • Mitigate: Minimum cell sizes; shrinkage estimators; disclose noise parameters.

Recommended checks and controls

• Pre-analysis

  • Define stable keys, event schemas, time zones, and windows.
  • Power and SRM checks; preregister primary/secondary metrics and stratifications.

• Balance and integrity

  • Covariate balance (SMD) between groups; event sequencing validation; loss-rate dashboards by device/OS/version.

• Causal adjustments

  • Propensity score modeling for exposure; IPS/DR for click/conversion; cluster-robust SEs when randomizing at user/account.

• Time-to-event methods

  • Kaplan–Meier curves and Cox models for retention and delayed conversions; report censoring rates.

• Sensitivity analyses

  • Vary attribution and retention windows; exclude high-loss devices; with/without propensity weights; per-segment reporting to probe Simpson’s paradox.

• Feedback calibration

  • Response propensity weighting; language-aware sentiment validation; separate reporting for prompted vs unprompted feedback.

• Documentation

  • Maintain a data card: population, inclusion/exclusion, logging loss, schema versions, known biases, and mitigations. Provide reproducible code for all diagnostics above.

Applying these practices will surface and mitigate the most common biases in internal app test logs spanning segmentation, exposure, click, conversion, retention, and user feedback, enabling more reliable inference and model training.

Voici les biais potentiels à considérer dans ce jeu de données de recrutement (variables: sexe, âge, niveau d’études, région, score d’entretien, décision d’embauche), ainsi que les signaux et tests pour les mettre en évidence.

1. Biais de sélection et de représentation

• Couverture incomplète du pipeline: si seules les personnes interviewées figurent dans les données, les biais en amont (criblage CV, recommandations, tests en ligne) sont invisibles. La population observée peut déjà être biaisée.
• Sous-représentation de groupes: distribution déséquilibrée par sexe, âge, région, ou combinaisons (intersectionnalité, ex. femmes 50+ dans certaines régions).
• Biais géographique: sur- ou sous-échantillonnage de régions, ou différences structurelles (marché de l’emploi, concurrence) confondues avec l’attribut protégé.

Signaux/tests:

• Profils démographiques par étape du funnel si disponible; sinon, comparer la composition des interviewés à celle du vivier attendu.
• Chi-deux/Fisher sur distributions catégorielles; tests de proportion et intervalles de confiance sur taux d’accès à l’entretien et d’embauche.
• Analyse d’intersectionnalité et effets région × sexe/âge.

2. Biais de mesure (score d’entretien)

• Subjectivité et hétérogénéité des évaluateurs: grilles non standardisées, tolérances variables par région/manager.
• Effets d’ancrage/stéréotypes: distributions de scores décalées par sexe/âge, ou variances différentes (sévérité plus élevée pour certains groupes).

Signaux/tests:

• Comparaison des distributions de score par groupe (Mann-Whitney, KS, Levene pour l’homogénéité des variances).
• Fiabilité inter-évaluateurs: kappa de Cohen/ICC si identifiant évaluateur disponible.
• Effets aléatoires par évaluateur/région: modèles mixtes pour séparer variance « évaluateur » de l’effet groupe.

3. Biais de label (décision d’embauche)

• La décision reflète des préférences historiques potentiellement discriminatoires; la traiter comme “vérité terrain” introduit un biais systémique.
• Règles de décision implicites différenciées: seuils de score d’entretien différents selon les groupes.

Signaux/tests:

• Taux d’embauche par groupe et ratio d’impact disparate (règle des 80%).
• Courbes ROC/PR par groupe; estimation de seuils implicites (probabilité d’embauche en fonction du score) et comparaison des points d’inflexion.
• Modèle logistique décision ~ score + études + région + sexe + âge + interactions; effet résiduel significatif de sexe/âge (après contrôle) suggère un traitement différencié ou variables omises critiques.

4. Biais de confondants et variables proxy

• Région et niveau d’études peuvent être des proxys de facteurs socioéconomiques ou d’appartenance ethno-culturelle non observés.
• Omission de variables pertinentes (expérience, poste, compétences) induit un biais de confusion attribué à tort au sexe/âge.

Signaux/tests:

• Sensibilité des coefficients de sexe/âge aux spécifications (avec/sans contrôles; effets fixes région).
• Décomposition Oaxaca-Blinder pour distinguer composante “caractéristiques” vs “traitement”.
• Graphes causaux et ajustement par score de propension (apparier des candidats comparables sur score/études/région et tester l’écart d’embauche résiduel par sexe/âge).

5. Biais temporel et de cohorte

• Changements de politique ou de marché dans le temps; saisonnalité; effets de cohorte d’âge.

Signaux/tests:

• Tendance des taux d’embauche par groupe au fil du temps; détection de ruptures (CUSUM, Bai-Perron).
• Interactions groupe × période.

6. Biais liés aux données manquantes

• Scores ou décisions manquants non aléatoirement (MNAR), plus fréquents dans certains groupes ou régions.

Signaux/tests:

• Modéliser la probabilité de manquant ~ groupe (logistique); test de Little (MCAR).
• Comparer performances et décisions conditionnellement à la complétude.

7. Biais d’intersectionnalité et paradoxes d’agrégation

• Effets combinés (ex. femmes seniors dans une région spécifique) masqués aux niveaux agrégés.
• Paradoxe de Simpson: tendances inversées après stratification par région ou niveau d’études.

Signaux/tests:

• Analyses stratifiées et interactions croisées (sexe × âge × région × études).
• Visualisations conditionnelles (densités conditionnelles, heatmaps taux d’embauche).

8. Boucles de rétroaction et dépendances structurelles

• Pratiques passées influençant les scores/embauches actuelles (ex. préférences d’un manager), créant un renforcement des biais.
• Répétitions de candidatures: survivorship bias.

Signaux/tests:

• Effets aléatoires hiérarchiques (manager/équipe/poste).
• Détection de candidats répétés et de dépendances temporelles.

Métriques de fairness à privilégier

• Parité démographique: différence/ratio de taux d’embauche; règle des 80%.
• Parité d’opportunité/Equalized odds: TPR/FPR par groupe en fixant un seuil de score; Average odds difference.
• Calibration par groupe: courbes fiabilité P(embauche|score) vs score; Brier par groupe.
• Predictive parity: PPV/NPV par groupe conditionnellement au score.

Visualisations utiles

• Barres des taux d’embauche par groupe et par région; funnel par groupe.
• Courbes logit P(embauche) vs score par groupe avec bandes de confiance.
• Distributions et quantiles de scores par groupe; écarts de seuil implicite.
• Effets marginaux/SHAP par groupe si un modèle prédictif est entraîné.

Données complémentaires souhaitables pour réduire l’ambiguïté

• Expérience, famille de poste, compétences, identifiant évaluateur, étape du pipeline, date, canal de candidature.
• Définition normalisée du niveau d’études; codage inclusif du genre; granularité régionale cohérente.

Conclusion opérationnelle

• Ce jeu de données est exposé à des biais de sélection, de mesure (scores), et de label (décisions), susceptibles d’induire disparités par sexe/âge et leurs intersections, modulées par région et niveau d’études. Une évaluation rigoureuse doit combiner:
  • audit de représentation et de manquants,
  • tests de disparités et de seuils,
  • modèles ajustés (effets fixes/randomeffects) et analyses causales (appariement, Oaxaca-Blinder),
  • métriques de fairness multi-axes et calibration par groupe. Sans ces contrôles, toute modélisation prédictive risquera de perpétuer les biais historiques.