Dev.to AI 🤖 Ai 👁 0 📖 9 min read

Don't Trust AI-Written Code, Generate Counterexamples: Property-Based and Differential Testing with Hypothesis and fast-check

Tuần này HN đang bàn rất nhiều về Frostbite, một kiến trúc CPU được AI thiết kế và verify. Mình thấy chữ quan trọng nhất trong tiêu đề đó là verified. Dân làm chip không tin vào vài test case viết tay. Họ dùng constraine

Tuần này HN đang bàn rất nhiều về Frostbite, một kiến trúc CPU được AI thiết kế và verify. Mình thấy chữ quan trọng nhất trong tiêu đề đó là verified. Dân làm chip không tin vào vài test case viết tay. Họ dùng constrained random stimulus, đối chiếu với golden reference model và chạy hàng triệu input. Còn bên software thì sao? Copilot hoặc Claude sinh ra một function, cùng con AI đó viết luôn 5 unit test, test xanh hết, thế là merge. Vấn đề là code và test sinh ra từ cùng một bộ giả định, nên chỗ nào code sai thì test thường cũng mù đúng chỗ đó. Bài này chia sẻ cách mình đưa tư duy verification của dân hardware vào code thường ngày, dùng property-based testing và differential testing với Hypothesis (Python) và fast-check (JS/TS).

Vì sao unit test do AI viết không đủ

Unit test kiểu example-based kiểm tra đúng những input mà người viết nghĩ ra. Khi người viết là AI, nó thường chọn happy path cùng vài edge case quen thuộc như list rỗng hay số âm. Những case thực sự gây bug trên production lại khó đoán hơn nhiều: hai interval chạm nhau đúng một điểm, chuỗi Unicode ở dạng NFD lấy từ filename trên macOS, số nguyên tràn ở biên.

Property-based testing (PBT) đảo ngược cách tiếp cận. Bạn không viết input cụ thể mà mô tả tính chất luôn phải đúng (property). Framework tự sinh hàng trăm đến hàng nghìn input ngẫu nhiên. Khi tìm ra một input làm property sai, nó shrink input đó về counterexample nhỏ nhất có thể, nên bạn debug rất nhanh.

flowchart LR
    A[Strategy sinh input] --> B[Chạy function]
    B --> C{Property đúng?}
    C -- Đúng --> A
    C -- Sai --> D[Shrink input]
    D --> E[Counterexample tối giản]
    E --> F[Lưu vào example database]

Property đầu tiên với Hypothesis

Cài đặt: pip install 'hypothesis>=6.100' pytest. Giả sử AI viết hàm merge_intervals như bên dưới. Nhìn qua thì thấy hợp lý, và test kiểu [(1,3),(2,5)] -> [(1,5)] cũng pass.

from hypothesis import given, strategies as st

def merge_intervals(intervals):
    # Code do AI sinh ra
    if not intervals:
        return []
    intervals = sorted(intervals)
    merged = [list(intervals[0])]
    for start, end in intervals[1:]:
        if start < merged[-1][1]:          # bug nằm ở đây
            merged[-1][1] = max(merged[-1][1], end)
        else:
            merged.append([start, end])
    return [tuple(x) for x in merged]

# Strategy: interval hợp lệ, luôn có start <= end
interval = st.tuples(
    st.integers(-1000, 1000), st.integers(0, 50)
).map(lambda t: (t[0], t[0] + t[1]))
intervals = st.lists(interval, max_size=30)

@given(intervals)
def test_khong_chong_lap(xs):
    out = merge_intervals(xs)
    for (a1, b1), (a2, b2) in zip(out, out[1:]):
        assert b1 < a2, f'{(a1, b1)} và {(a2, b2)} vẫn chạm nhau'

@given(intervals)
def test_idempotent(xs):
    once = merge_intervals(xs)
    assert merge_intervals(once) == once

@given(intervals)
def test_bao_toan_diem(xs):
    out = merge_intervals(xs)
    for x in range(-1000, 1051):
        assert any(a <= x <= b for a, b in xs) == any(a <= x <= b for a, b in out)

Chạy pytest -q, chưa tới một giây Hypothesis đã báo lỗi kèm Falsifying example: test_khong_chong_lap(xs=[(0, 0), (0, 0)]). Hai interval trùng nhau hoặc chạm nhau tại một điểm không được gộp, vì điều kiện phải là <= chứ không phải <.

Điểm hay nhất ở đây không phải là tìm ra bug. Viết property buộc bạn phải chốt spec: interval chạm nhau có gộp hay không? AI không trả lời câu hỏi này giúp bạn được. Đúng tinh thần bài HN đang hot: nếu không giải thích được bằng một câu đơn giản thì bạn chưa thực sự hiểu, và property chính là câu giải thích đó dưới dạng code.

Một số pattern property mình hay dùng:

  • Round-trip: decode(encode(x)) == x, rất hợp với serializer, parser, URL builder.
  • Invariant: output đã sort, không trùng lặp, tổng tiền không đổi sau khi chia hóa đơn.
  • Idempotent: chạy hai lần cho ra kết quả như chạy một lần, rất hợp với normalize hoặc migration.
  • Metamorphic: đảo thứ tự input thì output không đổi.
  • Oracle: so với một bản cài đặt khác mà bạn tin là đúng (phần tiếp theo).

Differential testing: học cách dân làm chip dùng reference model

Trong hardware verification, RTL luôn được so với một golden model viết bằng C hoặc Python, chậm nhưng dễ đọc. Software cũng áp dụng được y hệt. Khi nhờ AI tối ưu một function, giữ lại bản cũ chậm nhưng đúng làm oracle rồi cho hai bản chạy song song trên input ngẫu nhiên.

Ví dụ rất quen với dev Việt là hàm bỏ dấu tiếng Việt để làm slug. Bản gốc dùng normalize('NFD'), sau đó AI đề xuất dùng lookup table cho nhanh:

// npm i -D fast-check@^3 vitest
import fc from 'fast-check';
import { test } from 'vitest';

// Reference: chậm nhưng dễ tin
function removeTonesRef(s) {
  return s.normalize('NFD')
    .replace(/[\u0300-\u036f]/g, '')
    .replace(/đ/g, 'd').replace(/Đ/g, 'D');
}

// Bản AI tối ưu bằng lookup table
const MAP = { 'á': 'a', 'à': 'a', 'ả': 'a', 'ã': 'a', 'ạ': 'a',
  'ă': 'a', 'â': 'a', 'đ': 'd', 'é': 'e', 'ê': 'e' /* ... */ };
function removeTonesFast(s) {
  let out = '';
  for (const ch of s) out += MAP[ch] ?? ch;
  return out;
}

// Sinh chuỗi tiếng Việt, gồm cả dạng tổ hợp (NFD)
const viChar = fc.constantFrom(
  ...'aăâeêoôơuưiyđAĂÂĐ', 'á', 'ặ', 'Ế', 'ữ', 'a\u0301', ' ', '-'
);
const viString = fc.array(viChar, { maxLength: 20 }).map((a) => a.join(''));

test('fast khớp với reference', () => {
  fc.assert(
    fc.property(viString, (s) => removeTonesFast(s) === removeTonesRef(s)),
    { numRuns: 2000 }
  );
});

fast-check sẽ trả về một counterexample chỉ một ký tự, chẳng hạn ô, vì bảng MAP còn thiếu. Nếu bạn bổ sung đủ 134 ký tự thì test vẫn fail với a\u0301, tức chữ á ở dạng NFD mà bạn hay gặp khi user upload file từ macOS. Thường thì phải lên production mới gặp bug kiểu này, còn ở đây nó lộ ra ngay trong CI.

flowchart TD
    G[Generator input] --> R[Reference model]
    G --> I[Bản AI tối ưu]
    R --> C{Kết quả giống nhau?}
    I --> C
    C -- Giống --> G
    C -- Khác --> S[Shrink và report seed]

Khi fast-check báo lỗi, nó in ra seed và path. Dán hai giá trị đó vào option { seed, path } là replay lại đúng counterexample, rất tiện khi fix bug.

Đưa vào workflow AI-coding và CI

Mình chia việc như sau: người viết property, AI viết implementation. Property ngắn, dễ review, đóng vai trò spec. Implementation thì dài và dễ sai, nên để máy kiểm. Trên CI mình cấu hình hai profile: local chạy nhanh, nightly chạy sâu.

# tests/conftest.py
import os
from hypothesis import settings, HealthCheck

settings.register_profile('dev', max_examples=100)
settings.register_profile(
    'ci', max_examples=2000, deadline=None,
    suppress_health_check=[HealthCheck.too_slow],
)
settings.load_profile(os.getenv('HYPOTHESIS_PROFILE', 'dev'))
# Local: vài giây
pytest -q tests/property

# Nightly CI: chạy sâu và in thống kê
HYPOTHESIS_PROFILE=ci pytest -q --hypothesis-show-statistics tests/property

# Cache example database giữa các lần chạy CI để không mất counterexample cũ
# (cache thư mục .hypothesis/ bằng actions/cache hoặc tương đương)

Vài lưu ý thực tế:

  • Khi Hypothesis tìm ra bug, hãy pin nó lại bằng decorator @example([(0, 0), (0, 0)]) để biến nó thành regression test cố định, không phụ thuộc vào random.
  • Đừng để AI tự viết property cho chính code của nó mà không review. Nó rất hay viết property chỉ là phiên bản copy của implementation, kiểu assert f(x) == f(x).
  • Strategy quan trọng ngang property. Nếu strategy không sinh được dạng NFD hay giá trị biên thì có chạy một triệu lần cũng không tìm ra bug.

Kết luận

AI có thể thiết kế được cả CPU, nhưng thứ làm nên giá trị của Frostbite là khâu verification chứ không phải bản thiết kế. Code do AI sinh ra cũng vậy. Những việc bạn làm được ngay tuần này:

  1. Chọn 2-3 function core (tính tiền, parse, normalize dữ liệu) rồi viết property cho chúng bằng Hypothesis 6.x hoặc fast-check 3.x.
  2. Mỗi lần nhờ AI refactor hoặc tối ưu, giữ bản cũ làm reference model và thêm một differential test.
  3. Ưu tiên các pattern round-trip, idempotent và invariant vì chúng dễ viết mà bắt được nhiều bug.
  4. Cấu hình profile dev/ci, cache .hypothesis/ trên CI và pin mọi counterexample bằng @example.
  5. Coi property là spec: nếu không viết được property cho một function thì bạn chưa hiểu function đó đủ rõ để merge.
📰 Read the original article on Dev.to AI

Originally published by Dev.to AI. Aggregated on AIWithGhost for educational purposes — full credit and traffic to the original publisher.