NVIDIA CorporationHivelocity is deploying NVIDIA L4 Tensor Core GPUs across its bare metal bundles, a concrete product adoption of NVIDIA's GPUs.

Hivelocity ประกาศว่าขณะนี้มีการเร่งความเร็วด้วย GPU ให้บริการในแพ็กเกจ Bare Metal ระดับ Tier 3 หลายรายการของบริษัท ทำให้ลูกค้ามีพื้นที่เฉพาะสำหรับรันโมเดลภาษาขนาดเล็กและเครื่องมือ AI ภายในองค์กรในสภาพแวดล้อมการใช้งานจริง การเร่งความเร็วดังกล่าวมาจาก GPU NVIDIA L4 Tensor Core ซึ่งเป็นการ์ดแบบสล็อตเดียว กำลังไฟ 72 วัตต์ พร้อมหน่วยความจำ GPU 24 GB โดย Hivelocity ระบุว่าการ์ดนี้รองรับโมเดลภาษาขนาดเล็กแบบควอนไทซ์ได้อย่างสบายในกรณีส่วนใหญ่ และช่วยให้สามารถประมวลผลด้วย GPU ได้ในหลายรูปแบบการตั้งค่าและหลายตำแหน่งที่ตั้งมากกว่าที่การ์ดกำลังไฟสูงกว่าจะทำได้ บริษัทกล่าวว่าการเคลื่อนไหวครั้งนี้ตอบสนองต่อลูกค้าที่กำลังเปลี่ยนจากบริการ AI แบบใช้ร่วมกันที่คิดค่าบริการตามโทเคน มาเป็นโมเดลขนาดเล็กที่ปรับแต่งเองซึ่งพวกเขารันเอง โดยโมเดลภาษาขนาดเล็กในช่วง 3B ถึง 13B กำลังรองรับงานในสภาพแวดล้อมการใช้งานจริงเป็นสัดส่วนมาก เช่น การสรุปความ การจำแนกประเภท การสกัดข้อมูล การค้นหาแบบเสริมด้วยการดึงข้อมูล และระบบเบื้องหลังของเอเจนต์และแชต เนื่องจากเซิร์ฟเวอร์เป็นแบบผู้เช่ารายเดียว ลูกค้าจึงได้ความหน่วงในการประมวลผลที่สม่ำเสมอโดยไม่ต้องแย่งชิงเวลาประมวลผล GPU และพรอมป์ต์ เอ็มเบดดิง ข้อมูลการปรับแต่งละเอียด และน้ำหนักโมเดลยังคงอยู่บนฮาร์ดแวร์ที่พวกเขาควบคุมได้ตั้งแต่ต้นจนจบ ซึ่ง Hivelocity ระบุว่าสำคัญสำหรับทีมที่อยู่ภายใต้ข้อกำหนดด้านถิ่นที่อยู่ของข้อมูล กฎหมาย HIPAA หรือข้อจำกัดตามสัญญาเกี่ยวกับสถานที่ที่การประมวลผลเกิดขึ้น Ned Pope ประธานเจ้าหน้าที่ฝ่ายผลิตภัณฑ์กล่าวว่าลูกค้ากำลังนำโมเดลขนาดเล็กที่มุ่งเน้นเฉพาะทางไปใช้ในสภาพแวดล้อมการใช้งานจริงบนฮาร์ดแวร์ที่พวกเขาควบคุมด้วยต้นทุนที่คาดเดาได้ และ Hivelocity ตั้งข้อสังเกตว่าปริมาณเริ่มต้นในแต่ละตำแหน่งที่ตั้งมีจำกัดและจัดสรรตามลำดับก่อนหลัง
NVIDIA CorporationHivelocity is deploying NVIDIA L4 Tensor Core GPUs across its bare metal bundles, a concrete product adoption of NVIDIA's GPUs.
Semiconductor Manufacturing Intl CoHivelocity adds NVIDIA L4 GPU acceleration to its bare metal bundles in response to customer demand for running small language models in production.