وقت پڑھنا : 18 minutes

LLMs کا جنگ بھی ڈویلپر کے ٹرمینل میں ہوتی ہے۔ بیکچمارک ایکادمیک اسٹیریک پر نہیں۔ حقیقی زندگی میں: ۳۰,۰۰۰ ٹوکن کا پرامپٹ، AsciiDoc میں ایجنٹ گورنمنس، Gradle Kotlin DSL پلاگنز ڈیبگ کرنے کے لئے اور تین ہفتوں تک منسلک سیشنز۔ میں نے آپ کے لیے DeepSeek-V4-Pro، Kimi K2.6 اور GLM-5.1 کو آزمایا۔ فیصلہ یہ ہے، ٹیکنیکی دلائل کے ساتھ۔

منصوبہ : ایک ٹیسٹ بنچ نہیں، ایک عمارتی سایت

Teen hafton pehle, main kaam kar raha tha`codebase-gradle`, میری میٹا-بیلڈ سسٹم جو چار منصوبوں کی YAML تنظیمات کو مرکزی بناتی ہے: ایک PlantUML README جنریٹر، ایک AsciiDoc سلیڈ بنانے والا، ایک سٹیٹک JBake سائٹ اور ایک LLM چيٹ بوٹ۔ آپین ایجنٹ Opencode، جو میری AsciiDoc میں ایجنٹ فائلز کے approach کے تحت حکمرانی کرتا ہے، ہر سیشن کے شروع میں تقریباً 30K ٹوکنز کے EAGER کنٹیکس کو لواتا تھا — مطلق قواعد، بیکلاگ، پچھلے 10 سیشنوں کا تاریخچہ۔

یہ وہ میدان ہے جہاں میں تین ماڈلز کا مقابلہ کر چکا ہوں:

  • Kimi K2.6(Moonshot AI, 1T پارامٹرز / 32B فعال، 256K حداکثر سیاق, MLA) - GLM-5.1(Zhipu AI/Tsinghua, 744B params / DSA, 200K حداقصى سیاق) - DeepSeek-V4-Pro(DeepSeek, 1.6T پیرامیٹرز / 49B فعال, 1M حداکثر سیاق, CSA+HCA)

تمامی خدمات Ollama کے ذریعے کلاؤڈ سرور پر فراہم کی جاتی ہیں، تمام Thinking mode (سوچ کی مرحلہ فعال)۔چلنچ: درست کوڈ تیار کرنا، لمبی سیشنز میں ہم آہنگی برقرار رکھنا، اور جب سیاق و سباق 80K ٹوکن سے زیادہ ہو تو ہلوسینیشن نہ کریں۔

میرا ٹیسٹ کا ماحول

@startuml
skinparam backgroundColor #FEFEFE
skinparam defaultTextAlignment center
skinparam wrapWidth 220

title Environnement de Test — Sessions Opencode × 3 LLMs

left to right direction

package "🖥️ Terminal Développeur" #E8F5E9 {
  rectangle "AGENT.adoc\n(règles, backlog)" as AG
  rectangle "PROMPT_REPRISE\n(mission)" as PR
  rectangle "INDEX.adoc\n(roadmap)" as IDX
}

package "☁️ Ollama Cloud" #BBDEFB {
  rectangle "DeepSeek-V4-Pro\n1.6T / CSA+HCA" as DV4
  rectangle "Kimi K2.6\n1T / MLA" as KIMI
  rectangle "GLM-5.1\n744B / MLA+DSA" as GLMG
}

package "⚙️ Codebase Gradle" #FFF9C4 {
  folder "buildSrc/" {
    file "codebase.kt"
    file "readme.kt"
    file "site.kt"
    file "slider.kt"
    file "snapshot.kt"
  }
  file "build.gradle.kts\n(947 lignes)"
  file "embeds.yml"
}

AG --> DV4 : Sessions 1-8 ✅
AG --> KIMI : Sessions 9-10 ⚠️
AG --> GLMG : Sessions 11-13 ⚠️

DV4 --> "Codebase" : "TDD, refactoring,\nsnapshot"
KIMI --> "Codebase" : "Dégradation\ndès 60K tokens"

note bottom of GLMG
  Meilleur que Kimi
  mais latence +
  DSA moins robuste
  que CSA+HCA
end note

@enduml

ہر سیشن شروع ہوتی تھی تقریباً 30K ٹوکنز کے EAGER کوانٹیکسٹ کے ساتھ :`AGENT.adoc`(287 líneas),PROMPT_REPRISE.adoc(51 سطروں),.agents/INDEX.adoc(218 خطیں)LAZY_EAGER_ESSENTIALS.adoc(50 خطوط). سیاق و سباق (Context) بڑھ رہا تھا — ایک معیاری سیشن جس میں 10 پیغام تھے، 15‑20K ٹوکنز پرامپٹ کے مجموعے میں شامل کر دیتا تھا.

قیمیت کی گرید

میں نے سافٹ ویئر کی مدد سے تیّار ہونے والی ترقی کے چار اہم پہلوؤں پر ہر ماڈل کا جائزہ لیا:

محور معیار حقیقی

طوِیل سیاق و سباق کی یکسانیت

کیا ایجنٹ فیصلہ شدہ معاہدات یاد رکھتا ہے 40 پیغامات پہلے؟

پیدا شدہ کوڈ کی کیفیت

کیا کوڈ پہلی بار کامپائل ہوتا ہے؟ کیا یہ موجودہ پیٹرنز کی احترام کرتا ہے؟

معماری استدلال

کیا ایجن_MODULES کے درمیان تعلقات کو سمجھتا ہے، مجھے انہیں دوبارہ وضاحت کرنے کی ضرورت نہیں ہے؟

ہلوسینیشنز کے خلاف مزاحمت

ایجنت کتنے ٹوکن سے غیر موجود API یا کلاسوں کا اختراع شروع کرتا ہے؟

او ایک گھریلو مصنوعی میٹرک: یہواپسی کا ضarb(میں کتنا وقت ایجنٹ کو درست کرنے میں گزار رہا ہوں، اس کے ساتھ کوڈ کرنے کے بجائے).

Round 1 : Kimi K2.6 — غلط شروع

Kimi K2.6 mera pehla pasandida tha. Us ke benchmark SWE-Bench Verified (80.2) aur Terminal-Bench 2.0 (66.7) ashtareen hain. Us ki MLA architecture lambi siqrfon par achhi aikdari ka wada karti hai.

جلستہ 9 : بہتری

Kimi کے ساتھ پہلی سیشن. کام: طریقہ کو پیمانے پر لانا`resolveActiveKey()میں`codebase.kt— API کلی رزولوشن فنکشن CLI فالبیک کے ساتھ. سیاق و سباق 30K ٹوکنز ہے، Kimi تیزی سے سببیت کرتا ہے، صاف کوڈ پیدا کرتا ہے جس میں کلی کی امیدواری کا انتظام ہے۔

fun resolveActiveKey(
    cfg: CodebaseConfiguration,
    logger: Logger,
    cliProvider: String? = null,
    cliAccount: String? = null,
    cliKey: String? = null
): NamedApiKey? {
    // Résolution provider → compte → clé avec CLI override
    // Kimi a parfaitement compris la chaîne de priorité
}

کُود کمپائل ہوتا ہے۔ 7 ٹیسٹ کے سے پاس ہو جاتے ہیں۔ میں امیدوار ہوں۔

جلسہ 10 : خاموش گیرقانی

دوسری سیشن۔ سیاق تقریباً 90K ٹوکنز تک پہنچ جاتا ہے تبادلوں کے ساتھ۔ میں kimi سے یہ کہتی ہوں کہ وہ اسکی ڈاک سنیپٹ کے لیے ایک مěkânزم شامل کرے جو لکھنے سے پہلے رازوں کو بے‑نام کرے۔

یہی وہ جگہ ہے جہاں چیزیں پھسل جاتی ہیں۔ Kimi موجود نہیں ہونے والی کلاسوں کا اختراع کرنا شروع کر دیتا ہے۔ وہ مجھے پیشکش کرتا ہے۔AnonymizedObjectMapper— ایکخیالی کلاس. وہغلطسمجھタ ہے`ReadmeYmlAnonymizer` et CodebaseYmlAnonymizer۔ وہ مجھے داخلہ کرنے کی تجویز دیتا ہے`com.fasterxml.jackson.anonymize.*`— ایک پیکیج جو کبھی موجود نہیں تھا.

بتر: اس کے تنقیدی مرحلے میں، میں دیکھتا ہوں کہ وہ غلط مقدمات پردلال بن رہا ہے۔ وہ "se souvient" que`GitConfig`ایک میدان ہے`anonymizedToken`— نہیں، یہ`resolvedToken(). وہ پر الزام دیتا ہے`SiteYmlAnonymizer`طريقة`maskSupabaseCredentials()— جو موجود نہیں ہے۔

__ یہ بگ نہیں تھا۔ یہ ہم آہنگی کا التدریجی خاتمہ تھا۔ جیسے ہر ٹیکن جو کontekst میں شامل ہوتا ہے، وہ 30 000 پہلے کی حافظے کو مزید مزید مخفف کر دیتا۔ ( empty )

میں دو سیشن کے بعد Kimi کو رک دیتا ہوں۔ تشخیص واضح ہے: MLA KV кеش کو اچھی سے کمپریس کرتا ہے، لیکن fine-grained سلیکشن میکانیزم کے بغیر، توجہ مشینی طور پر 60K ٹوکنز سے بعد کمزور ہو جاتی ہے۔ ہر ٹوکن "دیکھتا" دور کے contexte ko kamtar samajhna shuru karta hai — اور شور سے خلاں بھرنا شروع کر دیتا ہے۔

راؤنڈ 2 : GLM-5.1 — محترم جنگجو

GLM-5.1 مختلف معماریت کے ساتھ آتا ہے: بنیادی ماڈل کے لیے MLA، پھر DSA (DeepSeek Sparse Attention) کے ساتھ continued pre-training — ایک ہلکا فُلاک انڈیکسر جو پوری تاریخ سے متعلق ٹاپ-2048 ٹوکنز کو دинаمیک طور پر منتخب کرتا ہے۔

معمارہ : DSA اگینسٹ خالص MLA

فرق بنیادی ہے۔ جہاں Kimi تاریخ کو ایک ہی latent space میں squeezed کرتا ہے (اور متعلقہ معلومات کی تشخیص کی قابلیت gradualmente ختم ہوتی ہے)، GLM post‑training indexer لگاتا ہے جو explicit sparse selection کرتا ہے۔

@startuml
skinparam backgroundColor #FEFEFE
skinparam defaultTextAlignment center

title Attention کے アーکیٹیکچرز — MLA بمقابلہ MLA+DSA
left to right direction

rectangle "**Kimi K2.6 — MLA pur**" as MLA #FFCDD2 {
  rectangle "KV Cache\nمکمل" as KV1
  rectangle "Latent\nکمپریشن" as CL1
  rectangle "لیٹنٹ اسپیس پر\nڈی کوڈنگ" as DL1
  KV1 --> CL1
  CL1 --> DL1
  note bottom of DL1
⚠️ 60K ٹوکنز سے زیادہ:
امتیازی صلاحیت کا نقصان
  end note
}

rectangle "**GLM-5.1 — MLA + DSA**" as DSA #C8E6C9 {
  rectangle "KV Cache\nمکمل" as KV2
  rectangle "Latent\nکمپریشن (MLA)" as CL2
  rectangle "لائٹ انڈیکسر\n(DSA, top-k=2048)" as IL
  rectangle "منتخب شدہ ٹوکنز پر\nڈی کوڈنگ" as DL2
  KV2 --> CL2
  CL2 --> IL
  IL --> DL2
  note bottom of DL2
    ✅ "ساخت کے لحاظ سے Lossless"
    Sélection explicite
    des tokens pertinents
  end note
}

MLA --> DSA : "فائدہ: اسپارس سلیکشن\nجو ڈائلوشن (dilution) سے بچاتا ہے"

@enduml

تقنی رپورٹ صریح طور پر بتاتا ہے: DSA "lossless by construction" — SWA (pattern search)، Gated DeltaNet یا SimpleGDN Jesay alternatives کیونکہ وہ RULER@128K پر 5.69 نقطے کھوتے ہیں۔

Sessions 11-13 : مضبوط لیکن خِزّی

GLM-5.1 distance ko achi tarah say barqarar rakhta hai. Session 11 (~60K tokens) ke daurán, woh mootabiq rehta hai. Wo aik`SnapshotManager`چار گुमنام کرنے والا آلے کی صحیحنگرانی کے ساتھ مُعَمَّل

لیٹنسی ایک مسئلہ ہے۔ DSA کی تفکر کے مراحل MLA کے صاف سے زیادہ بھاری ہیں — انڈیکسر کو ہر قدم پر تاریخچہ دوبارہ اسکن کرنا پڑتا ہے۔ ایک جواب جو کیمی کے ساتھ 8 سیکنڈ میں مل جاتا تھا، GLM کے ساتھ 15 سیکنڈ لے سکتا ہے۔ 30 پیغامات کی سیشن میں، محسوس ہوتا ہے۔

اور اس کے بعد، خفیف غلطیاں ہیں۔ GLM Kimi کی طرح دلہس نہیں کرتا — لیکن اس کا nommage میں غلطی ہوتی ہے۔ وہ بلاتا ہے`toAnonymizedYaml()جس طریقے کا نام ہونا چاہیے`anonymize(). وھ معکوس کرتا ہے`loadReadmeConfiguration()` et loadCodebaseConfiguration()`کے اندر`renderFileSection()۔ یہ ہلووسیnez نہیں ہیں، یہ سطحی confusion ہیں — لیکن پرڈکشن میں، surface confusion aik build ko toot sakti ہے۔

میں نے GLM کے ساتھ تین سیشنوں کا انتظام کیا۔ وہ Kimi سے بہتر ہے، بلا شک۔ لیکن نامیادی تفصیلات پر انسانی اصلاح کے تین سیشن، تھکا دیتے ہیں۔

Round 3 : DeepSeek-V4-Pro — جنگ کی مشین

DeepSeek-V4-Pro آتی ہے سب سے بڑھواں معماریت کے ساتھ: ایک ہائبرڈ سسٹم جو دو مكمل توجہ ميكانزموں کو شامل کرتا ہے۔

معماريت : CSA + HCA، دوگنی تار

@startuml
skinparam backgroundColor #FEFEFE
skinparam defaultTextAlignment center
skinparam wrapWidth 180

title DeepSeek-V4-Pro — Architecture Hybride CSA + HCA

left to right direction

rectangle "KV Cache\n1M tokens" as KV #E3F2FD

rectangle "CSA\nCompressed Sparse Attention" as CSA #C8E6C9 {
  rectangle "Compression\nm tokens → 1" as CC
  rectangle "Sparse Attention\n(DSA, top-k)" as SA
  CC --> SA

  note bottom of SA
    Attention locale fine
    + sélection sparse
  end note
}

rectangle "HCA\nHeavily Compressed Attention" as HCA #BBDEFB {
  rectangle "Compression extrême\nm' >> m → 1" as ECC
  rectangle "Attention dense\nrésiduelle" as EDA
  ECC --> EDA

  note bottom of EDA
    Contexte global
    + connexions longue distance
  end note
}

rectangle "Fusion\nhybride" as FUSION #FFF9C4
rectangle "Décodage\ncohérent" as DEC #FFE0B2

KV --> CSA : Précision locale
KV --> HCA : Vision globale

CSA --> FUSION
HCA --> FUSION
FUSION --> DEC

@enduml

دو سطح کمپریسیشن، دو ذراتی سطح توجہ:

  • CSAKV کے کیش کو تمام کے لیے کمپریس کرتا ہے`m`ٹوکنز، پھر ایک سپرسی ایٹنشن (DeepSeek Sparse Attention) لاگو کرتا ہے — صرف سیکرٹ شدہ اندراجات کا سب سے اعلی top‑k دیکھا جاتا ہے۔ درست، مقامی، مؤثر۔ - ایچ سی اے: حد سے زیادہ کمپریشن (عامل`m'`بہت زیادہ بڑا`m`), لیکن توجہ گھنا پر باقی مکثف — رکھیں ان عالمی جڑاوٴ بے فجار تربيعی.

نتیجہ: 1 ملین ٹوکن پر، DeepSeek-V4-Pro صرف27% انفرنس FLOPs et KV cache کے سائز کا 10%DeepSeek-V3.2 کے مقابلے میں۔ قبلی ماڈل۔

اور بالخصوص، تکنیکی رپورٹ (فیگر 9) ilmoت کرتی ہے: "دریافت کی کارکردگی 128K سیاق و سباق کی window میں بہت مضبوط طور پر مستحکم رہتی ہے."

جلسات 1-8 : اراحت

میں نے DeepSeek-V4-Pro کے ساتھ آٹھ سیشن گزاریں پر`codebase-gradle`. آٹھ سیشنز بغير کسی ہلوسینیشن کے، بغير کسی مخترع کلاس کے، بغير کسی نام کی بخلط کے۔

سیشن 1 : تنفيذ کا`CodebaseYmlConfig` et CodebaseYmlAnonymizer. 350 لائنوں Kotlin، ان لائن ٹیسٹس، سب کچھ کامپائل ہوتا ہے۔ سیشن 4 : اضافہ`SnapshotManager`tree view, فائلوں کی جمع، AsciiDoc کا ہر فائل پر رندر. 279 لائن، صفر خطا. سشن 7: ڈبیگ du`renderFileSection()`جسے چار مختلف قسم کے anonymiseurs کو بina ambiguity کے manage کرنا پڑتا تھا۔ حل تین پیغامات میں کر دیا گیا۔

Kimi سے ڈیرائی زیادہ ہے — تقریباً 10-12 سیکنڈ ہر جواب کے لیے thinking mode میں۔ ليکن درستگی کی نسبت تقریباً صفر ہے۔ مین اپنا وقت agents کی غلطیوں کی مرمت کرنے میں نہیں گزارتا۔ مین avec کے ساتھ کڈ کرتا ہوں۔

مہتم ٹیسٹ : 100K ٹوکنز پر رِفاکٹرنگ

سیشن 8 پر، مجموعی کنٹیکسٹ 100K ٹوکن سے زیادہ ہو جاتا ہے۔ میں ایک بھاری ریفакториنگ کی طلب کرتا ہوں: ان‑لائن ویریفائی کے چار کاموں کو نکالنا۔build.gradle.kts`JUnit5 کے ٹیسٹ فائلوں کی طرف میں`buildSrc/src/test/.

ایجنٹ تین مرحلوں کا ایک پلن پیش کرتا ہے :

  1. موجودہ кейسز کی میگریشن کے ساتھ ٹیسٹ کلاسز بنائیں

  2. جونیٹ5 اور کوتسٹ کے انحصارات شامل کریں`buildSrc/build.gradle.kts`

  3. ان لائن کوڈ کو حذف کریں`build.gradle.kts`

پلان درست ہے۔ عملان صاف ہے۔ یہ بھی ایک edge case نشان دہی کرتا ہے جو میں چھوڑ دیتا تھا: Jackson کی duplicate dependencies کے درمیان`buildscript {}` et `buildSrc/build.gradle.kts`جِنہیں migration کے دوران یکساں کرنا ضروری ہے۔

100K ٹوکنزِ سیاق، اور ایجنت یاد رکھتا ہے کہ`CodebaseYmlAnonymizer.TOKEN_MASK`ہے`"*"`, کہ`GitConfig.resolvedToken()یہ ایک ایسٹینشن فنکشن ہے جس میں تعریف کی گئی ہے`readme.kt, اور کہ`SnapshotManager.PRUNED_DIRS`خارج کرتا ہے`build`, .gradle et .git.

یہی فرق ہے۔

چہرے‑ سے‑چہرے : مقایسی میٹرکس

معیار Kimi K2.6 GLM-5.1 DeepSeek-V4-Pro

حداکثر سیاق

256K

200K

1M

توجہ کا میکانیزم

MLA خالص

MLA + DSA

CSA + HCA ہائبرڈ

کل پارامیٹرز

1T

744B

1.6T

فعال شدہ پارامیٹرز

32B

منتشر نہیں

49B

مشاہدہ شدہ خرابی کی حد

تقریباً 60K ٹوکن

~120K tokens

~128K tokens

سلوک کے باہر

ماسيو ہالووسینیشن

سطحی غلط فہمیاں

تحلل تدريجي بطيء

استقرار NIAH

منتشر نہیں

100% @128K (DSA)

128K تک مستقر (شکل 9)

MRCR @128K

غیر شائع

منتشر نہیں

Gemini 3.1 Pro سے بہتر

chhodne se pehle munazzam jalsaat

2

3

8 (جاری رکھیں)

ترمیم کا وقت / کوڈ کا وقت

60%

30%

<5%

اوسط lateنسی (سوچنے کا موڈ)

8 s

15 s

11 s

اعتماد کا ضریب*

2/10

6/10

9/10

*اعتماد کا ضریب = اپنی قابلیت کا ذاتی معیار ہے جس سے میں ایجنٹ کے کوڈ اور کمیٹ کو لائن‑با‑لائن جائزہ کیے بغیر لے سکتا ہوں۔

@startuml
skinparam backgroundColor #FEFEFE
skinparam defaultTextAlignment center

title Radar Comparatif — 3 LLMs en Développement Logiciel Assisté

legend right
  |= Couleur |= Modèle |
  | <#FF5252> | Kimi K2.6 |
  | <#FFC107> | GLM-5.1 |
  | <#4CAF50> | DeepSeek-V4-Pro |
endlegend

rectangle " " as space #FFFFFF

rectangle "Cohérence\n80K+ tokens" as coh #F5F5F5
rectangle "Qualité\ncode" as qual #F5F5F5
rectangle "Raisonnement\narchitectural" as arch #F5F5F5
rectangle "Résistance\nhallucinations" as hall #F5F5F5
rectangle "Vitesse\n(dev expérience)" as speed #F5F5F5
rectangle "Connaissance\nGradle/Kotlin" as kg #F5F5F5
rectangle "Taux de\ncorrection" as corr #F5F5F5

coh --> qual
qual --> arch
arch --> hall
hall --> speed
speed --> kg
kg --> corr

note top of coh
  Kimi      ████░░░░░░ 4/10
  GLM       ██████░░░░ 6/10
  DeepSeek  █████████░ 9/10
end note

note top of qual
  Kimi      ███████░░░ 7/10 (sous 60K)
  GLM       ████████░░ 8/10
  DeepSeek  █████████░ 9/10
end note

note top of arch
  Kimi      █████░░░░░ 5/10
  GLM       ███████░░░ 7/10
  DeepSeek  █████████░ 9/10
end note

note top of hall
  Kimi      ██████░░░░ 6/10 → ██░░░░░░░░ 2/10 (> 60K)
  GLM       ███████░░░ 7/10
  DeepSeek  █████████░ 9/10
end note

note top of speed
  Kimi      █████████░ 9/10
  GLM       ██████░░░░ 6/10
  DeepSeek  █████░░░░░ 5/10
end note

note top of kg
  Kimi      ███████░░░ 7/10
  GLM       ███████░░░ 7/10
  DeepSeek  █████████░ 9/10
end note

note top of corr
  Kimi      ██░░░░░░░░ 2/10 (beaucoup de corrections)
  GLM       █████░░░░░ 5/10
  DeepSeek  ██████████ 10/10 (presque rien à corriger)
end note

@enduml

کیوں DeepSeek-V4-Pro سافٹ ویئر ڈویلپمنٹ میں کامیاب ہوتا ہے؟

DeepSeek-V4-Pro کی برتری ایک factor کی وجہ سے نہیں — یہ ایک ملازمت ہے :

CSA+HCA معماری کوڈ کے لیے تیار کی گئی ہے.

مدد یافتہ سافٹ ویئر ڈویلپمنٹ ایک extrême استعمال کا кейس طویل سیاق و سباق کی توجہ کے لیے۔ آپ کو ضرورت ہے : - مقامی دقت (یہ کلاس کس سے يرث ہے؟ یہ طريقة کہاں تعریف کی گئی ہے؟) →CSA - عالمی بصیرت (یہ ماڈیول کیوں موجود ہے؟ چار خفیہ ساز کیسے تعامل کرتے ہیں؟)HCA

Kimi MLA کے ساتھ صرفمقامی دقت کو منظم کرتی ہے، لیکن 60K سے آگے عالمی نظر کو گواں کر دیتی ہے۔ GLM DSA کے ساتھ عالمی نظر کو بہتر بناتا ہے لیکن ایک سطحی رہتا ہے۔ DeepSeek دونوں کو صراحت سے شامل کرتا ہے۔

2. ایجر سہولہ کا ماحول اس کی آرام کی علاقہ ہے

میرے گورننس سسٹم سٹارٹ‑اپ پر تقریباً 30K ٹوکنز کے قوانین اور بیک لاگ لوڈ کرتا ہے۔ 128K takMustahiq window ke saath, DeepSeek ke pas تقریباً 100K ٹوکنز کی حاشیہ سیشن کے تبادلات کے لیے موجود ہے۔ یہ Kimi کے بغیر أي خرابی کے Manage کرنے کی قابلیت سے 3 سے 4 گنا زیادہ ہے۔

_ 128K کی مکمل استحکام کی کھڑکی میرے ضروریات کے ساتھ بالکل مطابقت رکھتی ہے: 30K کا EAGER + 70K کے تبادلے = 20‑30 پیغامات کی مفید سیشن، کبھی سبز حلقے سے باہر نہیں نکلتا آپ ایک پیشہ ور ترجمان ہیں۔ تمام backtick code spans (…​) کو exactly as-is محفوظ رکھیں — کبھی بھی backtick کی materiaal، spacing یا position کو modify نہ کریں۔ یہ متن ایک بڑی جملے کا ٹکڑا ہو سکتا ہے — اضافی contexte مانگے بغیر ٹکڑے کی ترجمہ کریں۔ صرف ترجمہ شدہ متن فقطخراج کریں — کوئی وضاحت، کوئی تبصرہ، کوئی تعارف، کوئی alternatives یا کوئی options نہیں۔_

3. معیار اور latency کا نسبت فلو کے لیے بہترین ہے

ہاں، DeepSeek-V4-Pro Kimi سے زیادہ سست ہے (11s vs 8s). لیکن کسی کام کا total وقت بہت کم ہے کیونکہ میں ایجنٹ کے ہلوسینیشنز کو صحیح کرنے میں 20 منٹ نہیں ضائع کرتا۔

ڈویلپر جوابات کی لاطینسی نہیں نپتا۔ وہ وقت نپleta ہے "میں سوال کرتا ہوں" اور "کوڈ میرا ریپو میں ہے اور یہ کام کرتا ہے" کے درمیان۔ اس معیار پر، DeepSeek-V4-Pro تینوں میں سب سے تیز ہے۔

سیخے گئے سیک : اس LLM کو کس طرح انتخاب کریں Vibe Coding کے لیے

زمان کے مخصوص درجے کے باہر، یہ تجربہ مجھے سیکھا کہ LLM کا امتحان، اسسٹینڈ سافٹ ویئر ڈویلپمنٹ کے لیے، ان معیارات پر کرنا جسے کوئی بینچمارک شامل نہیں کرتا:

  1. معماریت دیکھیں، اعلام کردہ سیاق و سباق کا سائز نہیں— ایک ماڈل جو 256K سیاق و سبقت کا اعلان کرتا ہے لیکن صرف ایک MLA رکھتا ہے kimi کی طرح ختم ہوگا: تھیوری سے قابِل، عملی طور پر 60K سے زیادہ استعمال ناہموار.

  2. اپنی سیاق و سباق پر ٹیسٹ کریں، generic benchmark پر نہیں— میرا ابتدائی 30K ٹوکنز کا AsciiDoc پر مبنی پرومپٹ مطلق قواعد اور بیک لاگ کے ساتھ HLE یا AIME کے سوالات سے کوئی تعلق نہیں رکھتا۔

  3. لایٹنسی دشمن نہیں ہے اگر معیار برقرار رہے— ایک سستا ماڈل جو صحیح کد پیدا کرتا ہے، ایک تیز ماڈل سے زیادہ تیزی سے چلتا ہے جو غلط کد پیدا کرتا ہے۔

  4. خود پر احتیاط رکھو بے ٹیکنیکل رپورٹ کے مودلز سے— اگر ٹیم اپنی توجہ معمارہ (attention architecture) دستاویزاتی نہیں کرتا، اس سے معلوم ہوتا ہے کہ اس کی لمبے سیاق و سباق میں کارکردگی پر اعتماد نہیں ہے۔

@startuml
skinparam backgroundColor #FEFEFE
skinparam defaultTextAlignment center
skinparam wrapWidth 260

title Arbre de Decision — Choisir son LLM pour le Dev Assisté

start

:Contexte initial\n> 20K tokens ?;

if (Oui) then
  :Architecture d'attention\nhybride ou multi-niveau ?;

  if (CSA+HCA) then
    :DeepSeek-V4-Pro
    Fenetre stable 128K
    Ideal pour gouvernance EAGER;
    stop
  elseif (MLA + DSA) then
    :GLM-5.1
    Correct jusqu'a ~120K
    Latence elevee;
    stop
  else (MLA seul)
    :Kimi K2.6 (sessions courtes)
    ou eviter pour long contexte
    Chercher un modele avec
    sparse attention;
    stop
  endif
else (Contexte < 20K)
  :N'importe lequel fonctionne.
  Privilegier la latence.;
  stop
endif

@enduml

اور گورننس ایجن اس میں کیا ہے؟

یہ تجربہ ایک نقطہ تصدیق کرتا ہے جو میں اپنا مضمون 'Eager/Lazy governance' کے بعد سے الدفاع کرتا ہوں :LLM کی خصلت اور حکمرانی کی خصلت ضربی ہوتی ہیں، جمع نہیں.

Kimi K2.6 کے ساتھ، میری حکمت عملی بے عیب تھی — لیکن مودل informations کو مخفف کر رہا تھا۔ نتیجہ: بہترین حکمت عملی × ہلوسینیشن = صفر۔

DeepSeek-V4-Pro کے ساتھ حکمرانی EAGER (30K ٹوکن کے قوانین) + LAZY (سیشنز کے محفوظ记录، ٹیکنیکی رفرنس) + Hot/Warm/Cold (دورنے والا backup) ایک ایکوسسٹم بناتی ہے جہاں ہر слой دوسری کو بڑھاتی ہے۔ ایجنٹ کے سامنے قوانین موجود ہیں (EAGER)، وہ تاریخچے کو دیکھ سکتا ہے (LAZY)، اور Context کبھی بھریا نہیں ہوتا (دورنے والا backup)

</think> ایک اچھا LLM بغیر گورننس کے، ایک فيراری کا انجن بنے ہاتھے کے بغیر۔ ایک اچھی گورننس بغیر اچھی LLM کے، ہتھیلا بنے انجن کے بغیر۔ DeepSeek-V4-Pro + میرا گورننس ایجنٹ = پہلی بار جب مجھے محسوس ہوا کہ میں گاڑی चला رہا ہوں۔ __

rome-tay backup ma’kanizm (10 سیشنز کی روٹیشن یا 500 سے زیادہ EAGER líneas) apna poora ma’na iktisal karta hai ek modal ke saath jo 128K context rakhta hai: 10 فعال سیشنز کی sliding window context ko taazeh rakhti hai, har waqt tabahi ka alaqa ko nahin par karti.

تقنی وسائل

میں نے اپنا امپیریکل تجربہ سرکاری ٹیکنیکی رپورٹس کے ساتھ ملایا تاکہ اپنی مشاہدات کی تصدیق کر سکے :

  1. DeepSeek-V4 Technical Report — PDF حاصل کیا گیا سےhttps://huggingface.co/deepseek-ai/DeepSeek-V4-Flash[HuggingFace]. شکل 9 : "Retrieval performance remains highly stable within a 128K context window. While a performance degradation becomes visible beyond the 128K mark, the model’s retrieval capabilities at 1M tokens remain remarkably strong." CSA+HCA کی موثق شدہ معماری، سیکشن 2.3

  2. GLM-5 تکنیکی رپورٹ —https://arxiv.org/abs/2602.15763[arXiv:2602.15763]. DSA continuous pre-training ke zariye pesh kiya jata hai, "lossless by construction". Maksimum maqala (context) 202,752 token. Tables 3/5/6 SWA, Gated DeltaNet, SimpleGDN ke mutabiq lamba-maqala (long-context) performance ki dawamti document karti hain.

  3. Kimi K2.6 مودل کارڈ —https://huggingface.co/moonshotai/Kimi-K2.6[HuggingFace]. MLA, 256K حد سے زیادہ کنتکس. حد سے بعد discard-all کی حکمت عملی ایجنٹ کاروں پر (implicit طور پر MLA کی لمبی کنتکس میں عملی حد کی تصدیق).

  4. Kimi K2 Technical Report —https://arxiv.org/abs/2507.20534[arXiv:2507.20534]. آرکیتیکچر MuonClip optimizer, کردگی ایجنٹک (HLE, BrowseComp, Terminal-Bench).

سب سے ظاہر کرنے والا نقطہ: اپنی خالص اندازے میں، Moonshot ایک حکمت عملی discard-all (قدیم سیاق o نصاب کو حذف کرنے کی حکمت عملی) جب سیاق و سباق کی window گزر نہ جائے. یہ exactamente وہی ہے جسے میں نے ملاحظہ کیا: MLA اکیلا 256K کی پوری window پر ہم آہنگی قائم نہیں رکھ سکتا. معمارہ اس کے ساتھ چلتا نہیں.

نتیجہ: معلم کی انتخاب

تی ہفتوں اور تیرہ جلساتِ حقیقی ترقی کے بعد، فیصلہ معارضہ نہیں ہے :

Kimi K2.6 GLM-5.1 DeepSeek-V4-Pro

60K سے کم ممتاز

مضبوط 120K تک

ہر جگہ حاکم

اس کے بعد غیر قابل استعمال

سطحی حیرت

128K تک مستقر

2 سیشن، ترک کردہ

3 سیشن، چھوڑ دیا گیا

8 جلسات، منظور شدہ

DeepSeek-V4-Pro meri dheri se software development sessions ke liye Opencode ke saath default LLM ban gaya hai. Nahin, isliye nahi ke woh sabse naya hai. Nahin, isliye nahi ke uske pass sabse behtreen academic benchmarks hain. Balki is liye kyunki asli zindagi mein ek developer jo Gradle Kotlin DSL plugins push karta hai, jisme 30K token agent ka context hota hai, woh sirf woh hai jo mere saath context lamba hone par dhoka nahi deta.

CSA+HCA ایک معمارتی game changer ہے۔ double level + sparsification implementation detail نہیں ہے — یہ وہ بات ہے jo code assistant اور reliable teammate کے درمیان فرق لاتی ہے۔

__ میں نے DeepSeek-V4-Pro کو اس لیے منتخب کیا ہے کیونکہ یہ تین میں سے صرف وہی ہے جو میری ایجنٹ گورننس کو دِفاعی منعطف ("ایجنٹ کو بھولنے سے کیسے بچایا جائے؟") سے התקפי فائدہ ("اب ایجنٹ تمام چیزیں یادت رکھتا ہے تو ہم کیا بن سکتے ہیں؟") میں بدل دیتا ہے۔ No output. (Empty)


یہ مضمون پراجیکٹ پر 13 حقیقی ترقیاتی سیشنوں کا نتیجہ`codebase-gradle`, درج کردہ میں`.agents/sessions/`میرے ایجن گورننس کے طریقہ کار Eager/Lazy/Hot/Warm/Cold کے مطابق۔ حوالہ دی گئی تکنیکی وسائل HuggingFace اور arXiv پر عوامی طور پر دستیاب ہیں۔*

متعلقہ مضامین