Stop Wasting LLM Tokens! I Built a Rust CLI to Prune JS/TS Codebases by 80% 🦀🚀

Описание и применение

<div class="highlight js-code-highlight"> <pre class="highlight plaintext"><code>┌─────────────────────────────────────────────────────────────────────────────┐ │ THE "INFINITE CONTEXT" TRAP │ ├──────────────────────────────┬──────────────────────────────────────────────┤ │ 1. Attention Degradation │ Lost-in-the-Middle: critical interfaces get │ │ │ buried under repetitive DOM noise and loops. │ ├──────────────────────────────┼──────────────────────────────────────────────┤ │ 2. KV-Cache Prefill Lag │ Time-to-First-Token (TTFT) scales with prompt│ │ │ size; 150k+ raw tokens stall your agent. │

Задача

<div class="highlight js-code-highlight"> <pre class="highlight plaintext"><code>┌─────────────────────────────────────────────────────────────────────────────┐ │ THE "INFINITE CONTEXT" TRAP │ ├──────────────────────────────┬──────────────────────────────────────────────┤ │ 1. Attention Degradation │ Lost-in-the-Middle: critical interfaces get │ │ │ buried under repetitive DOM noise and loops. │ ├──────────────────────────────┼──────────────────────────────────────────────┤ │ 2. KV-Cache Prefill Lag │ Time-to-First-Token (TTFT) scales with prompt│ │ │ size; 150k+ raw tokens stall your agent. │

Результат

<div class="highlight js-code-highlight"> <pre class="highlight plaintext"><code>┌─────────────────────────────────────────────────────────────────────────────┐ │ THE "INFINITE CONTEXT" TRAP │ ├──────────────────────────────┬──────────────────────────────────────────────┤ │ 1. Attention Degradation │ Lost-in-the-Middle: critical interfaces get │ │ │ buried under repetitive DOM noise and loops. │ ├──────────────────────────────┼──────────────────────────────────────────────┤ │ 2. KV-Cache Prefill Lag │ Time-to-First-Token (TTFT) scales with prompt│ │ │ size; 150k+ raw tokens stall your agent. │

Доказательства

Stop Wasting LLM Tokens! I Built a Rust CLI to Prune JS/TS Codebases by 80% 🦀🚀

Источник