ما يحتويه الملف.
يضم ملف vectors/vectors.parquet في مجموعة البيانات taktekhq/lebanese-legislation على Hugging Face صفاً لكل مقطع من قانون أو مادة أو حكم: معرّفاً، والوثيقة التي أُخذ منها، ونموذج التضمين (gemini-embedding-001)، وبصمة للنص و768 رقماً. يبلغ حجمه 2.7 غيغابايت. يمكنك الاستعلام عنه مباشرة باستخدام DuckDB أو تحميله في أي قاعدة بيانات للمتجهات.
لماذا نقلنا المتجهات.
كانت المتجهات وفهرسها تشغل نحو 7 غيغابايت من قاعدة بياناتنا البالغ حجمها 10 غيغابايت. وأدّى نقلها إلى Cloudflare Vectorize إلى تقليص قاعدة بيانات البحث بما يكفي لتوزيعها داخل صورة حاوية واحدة، ويجيب Vectorize عن استعلام لأقرب مقطع في جزء من الثانية.
تحديثات متزامنة.
يصدّر مسار عمل على GitHub المتجهات وينشر ملف Parquet ويحدّث Vectorize. وفي التشغيلات اللاحقة، لا يرسل إلا المقاطع التي تغيّرت، ليبقى الملف المفتوح والبحث المباشر مستندَين دائماً إلى التصدير نفسه.
طريقة الاستخدام
يستطيع DuckDB قراءة الملف مباشرة من Hugging Face من دون تنزيله أولاً: استخدموا read_parquet مع عنوان الملف، وصفّوا النتائج بحسب المستند أو النموذج. وللبحث بالمعنى، حوّلوا سؤالكم إلى متجه بالنموذج gemini-embedding-001 بـ768 بُعداً، وقارنوه بعمود values بقياس تشابه جيب التمام. يمكن إعادة استخدام الملف مجاناً، وتحتفظ النصوص الأصلية بحقوقها ونسبتها.