انتقل إلى المحتوى
النوعمفتوحالمرحلةالإنتاجمستوى الصعوبةمعتدلالمهمةمشاركة بثّلبناة الذكاء الاصطناعيلمطورو الواجهة الخلفيةالخدماتPipeالخدماتAgentلماذا HoodyHTTP-nativeلماذا Hoodyأصلي للذكاء الاصطناعي
النوعمفتوحالمرحلةالإنتاجمستوى الصعوبةمعتدلالمهمةمشاركة بثّلبناة الذكاء الاصطناعيلمطورو الواجهة الخلفيةالخدماتPipeالخدماتAgentلماذا HoodyHTTP-nativeلماذا Hoodyأصلي للذكاء الاصطناعي
النوعمفتوحالمرحلةالإنتاجمستوى الصعوبةمعتدلالمهمةمشاركة بثّلبناة الذكاء الاصطناعيلمطورو الواجهة الخلفيةالخدماتPipeالخدماتAgentلماذا HoodyHTTP-nativeلماذا Hoodyأصلي للذكاء الاصطناعي
النوعمفتوحالمرحلةالإنتاجمستوى الصعوبةمعتدلالمهمةمشاركة بثّلبناة الذكاء الاصطناعيلمطورو الواجهة الخلفيةالخدماتPipeالخدماتAgentلماذا HoodyHTTP-nativeلماذا Hoodyأصلي للذكاء الاصطناعي
العودة إلى حالات الاستخدام
use-cases / stream-llm-tokens-to-anything / hero
PIPE · الوكيل · بثّ

ابثّ رموز نموذج اللغة إلى أي شيء يقرأ HTTP

الخطوة 3 من وكيلك تُولّد الرموز. الخطوة 4 تحتاج البدء باستهلاكها قبل انتهاء الخطوة 3. مرِّر مخرجات النموذج مباشرةً إلى مسار؛ العمليّة التالية تطلب نفس المسار بـ curl. لا أنابيب SSE، لا وسيط، لا تعامل مع callbacks — البايتات تتحرّك بسرعة الخط.

اقرأ Pipe API
use-cases / stream-llm-tokens-to-anything / mechanism

أمرا curl، مسار واحد، لا طبقة وسطى

معظم حُزم البثّ تحتاج نقطة نهاية SSE وطابوراً وحافلة pub/sub وcallback من الإطار لتحريك الرموز أربع أقدام. الأنبوب يستبدل كل ذلك: المُنتِج يكتب إلى مسار بـ PUT، المستهلِك يقرأ من نفس المسار بـ GET. البايتات تتدفّق مباشرةً بين الاثنين — لا تخزين وسيط على الخادم.

الحزمة المعتادة

خمس طبقات بين المُولِّد والقارئ

  • تجريد بثّ LangChainجحيم callbacks
  • أنابيب Server-Sent Eventsتأطير + نبضات قلب
  • Redis pub/subوسيط لتشغيله
  • WebSocket relay مُخصّصمصادقة + إعادة اتّصال
  • وسيط رسائل (Kafka/RabbitMQ)مواضيع + أقسام
  • callbacks إطار الوكيلخاصّ بالبائع
الأنبوب

أمرا curl يلامسان نفس المسار

المُنتِجcurl -T - /pipe/tokens
نفس المسار
المستهلِكcurl /pipe/tokens

تخزين على الخادم: صفر. البايتات تبثّ من المرسِل إلى المستقبِل لحظة اتّصالهما، مع ضغط عكسي لكل مستقبِل. نقطة النهاية موجودة فقط لأن أمرَي curl لمساها.

agent-step-3.sh
# Step 3 — agent generates and pipes tokens upward.
ai.generate({ model, stream: true }) \
  | jq -c '{delta: .text}' \
  | curl -T - https://pipe.hoody.com/api/v1/pipe/run-42/tokens?n=3

# Step 4 — three readers GET the same path. The pipe fans out.
curl https://pipe.hoody.com/api/v1/pipe/run-42/tokens?n=3 | tee evaluator.log
curl https://pipe.hoody.com/api/v1/pipe/run-42/tokens?n=3 | jq -c .delta
curl https://pipe.hoody.com/api/v1/pipe/run-42/tokens?n=3 | websocketd --port=8080

# All four processes block until the n=3 readers connect, then bytes flow.

PUT يدفع البايتات للأعلى، GET يسحبها للأسفل. مُعامل ?n يقول كم قارئاً ينتظر؛ الأنبوب يُحاصَر حتى يتّصل ذلك العدد، ثم يتفرّع في الوقت ذاته. لا SDK عميل، لا وسيط، لا تثبيت SDK — فقط HTTP.

use-cases / stream-llm-tokens-to-anything / listeners

نفس المسار، قرّاء كثر، لا SDK

حالما يُمرّر المُنتِج، أيّ شيء يتحدّث HTTP يستطيع الاشتراك. حتى 256 قارئاً على نفس البثّ، يتفرّعون عبر الأنبوب مع ضغط عكسي لكل مستقبِل. لا مكتبة عميل لتثبيتها، لا relay لتوفيره.

للواجهة الأماميّة

المتصفّح يقرأ نفس الرابط

قارئ EventSource أو fetch يصل إلى مسار الأنبوب فيحصل على نفس بثّ البايتات الذي يُنتجه الوكيل. لا تأطير SSE على خادمك — الأنبوب يحمل البايتات التي يبثّها النموذج، خاماً.

للمُقيِّم

وكيل ثانٍ يُصغي ويقرّر

عمليّة مُقيِّمة تشترك في نفس المسار. تستطيع مقاطعة المُنتِج لحظة انحراف المخرَج. وكيلان على نفس السلك، لا إطار تنسيق يتوسّط بينهما.

لمسار السجلّات

وزِّع البثّ إلى حاوية تراقب

مستهلِك تسجيل يقرأ ويضغط ويكتب على القرص. واجهة مُنقِّح تقرأ بالتوازي. لا أحد منهم يعرف بالآخرين — الأنبوب يُسلّم كل قارئ نفس البايتات.

سقف التفرّع256سقف المستقبِلين لكل مسار يفرضه الأنبوب — اضبط ?n لانتظار ذلك العدد قبل بدء النقل.
زمن الاستجابة الإضافي0البايتات تعبر الأنبوب لحظة وصولها. لا تخزين مؤقّت على الخادم — الضغط العكسي يُعالَج لكل مستقبِل.
بصمة SDK0 كيلوبايتالمُنتِج والمستهلِك هما curl. أي شيء يتحدّث HTTP يستطيع الاشتراك — متصفّح، حاوية، وكيل، صَدفة.
use-cases / stream-llm-tokens-to-anything / punchline

نموذج اللغة يبثّ. الأنبوب يبثّ. القارئ يبثّ. لا طبقة وسطى.

0101 · النموذج يبثّ الرموز
0202 · الأنبوب يُمرِّر البايتات
0303 · القارئ يطبّقها
لا وسيط بين الخطواتالمسار هو البروتوكول
use-cases / stream-llm-tokens-to-anything / replaces

ما يستبدله هذا

الأسلاك التي تمدّ يدك إليها حين تحتاج عمليّة لبثّ رموز إلى أخرى في الزمن الحقيقي. كلّ واحدة تُشحن بتأطيرها وSDK خاصّ بها وسطح عمليّاتها. الأنبوب هو السلك.

  • تجريدات بثّ LangChainسلاسل callback، ربط بإطار
  • أنابيب Server-sent eventsتأطير + نبضات + منطق إعادة اتّصال
  • Redis pub/subوسيط لتثبيته وتشغيله ودفع ثمنه
  • WebSocket relays مُخصّصةمصادقة، إعادة اتّصال، ضغط عكسي كلّها يدويّ
  • وسطاء رسائل (Kafka، RabbitMQ)مواضيع، أقسام، مجموعات مستهلِكين لبثّ واحد
  • callbacks إطار الوكيلخاصّ بالبائع، يُقرأ فقط من نفس SDK
use-cases / stream-llm-tokens-to-anything / cta

توقّف عن وصل بنية بثّ بين عمليّتَين تتحدّثان HTTP أصلاً. افتح مساراً. مرِّر إليه. اقرأ منه.

اقرأ Pipe API
use-cases / stream-llm-tokens-to-anything / related

اقرأ الآخرين

مقبرة المشاريع الجانبية التي يمكنك إبقاؤها حيّة

أحد عشر مشروعاً جانبياً نصف مكتمل على Heroku يساوي أحد عشر dyno بسعر 5–7 دولارات لكلٍّ منها. على Hoody هي إحدى عشرة حاوية على صندوق معدن عارٍ واحد بـ 29 دولاراً. التعطّل يكلّف صفراً، الرابط يوقظ الحاوية في أجزاء من الثانية، ومحرّك الشطرنج الذي لا يستخدمه أحد ما زال يعمل.

الحاويات

صناديق رمل لكل عميل على مستوى أسطول

ثمانمئة عميل معزول على ثلاثة خوادم فعلية — فاتورة شهرية بسعر ثابت، بدون مقياس لكل مستأجر. كل مستأجر يحصل على حاوية حقيقية بنطاق نواة خاص ونظام ملفات وعنوان URL مستقل. الحاويات الخاملة لا تكلّف شيئًا فوق الخادم الذي تستأجره أصلًا.

الحاويات·اللقطات·Exec