Custom AI Company Filter Mis‑validated: Zero False Positives Due to Flawed Test Logic

Описание и применение

Фильтр по ключевым словам объявил нулевое число ложных срабатываний, но тестовая логика была самопровоцирующей: отрицательные примеры определялись как компании с нулевыми положительными ключевыми словами, что несовместимо с правилом фильтра. Пересмотрев отрицательные примеры как независимый список, автор обнаружил реальные ложные срабатывания и смог настроить фильтр.

Задача

A keyword‑based filter claimed zero false positives, but the validation logic was self‑contradictory, allowing non‑AI companies to pass.

Результат

The author realized that the test logic was inherently flawed because the definition of negative examples conflicted with the filter’s selection rule, leading to an impossible zero‑false‑positive result. After redefining negative examples independently, the filter’s performance was accurately assessed and could be tuned.

Рабочий процесс

• Define positive and negative keyword lists
• Score each company for keyword hits
• Set filter rule: select if positive_hits ≥ 2
• Create test set of positive (AI) and negative (non‑AI) examples
• Define negative examples as companies with 0 positive hits and ≥2 negative hits
• Count false positives by checking if a negative example is selected
• Discover that the test logic can never flag a false positive
• Redefine negative examples as an independent fixed list
• Re‑run test and observe realistic false‑positive counts
• Use results to tune filter threshold

Доказательства

The test was too tightly coupled to the logic it was supposed to validate, preemptively deciding the outcome.

Источник

I changed the definition of negative examples to be independent of keyword hit counts.

Источник