หมวดหมู่: Simon Willison’s Weblog

การรันงานการฝึกอบรมข้ามโหนดหลาย ๆ ตัวจะปรับขนาดได้ดีมาก สมมติฐานทั่วไปคือขนาดย่อมหมายถึงการชะลอตัว: GPU จำนวนมากขึ้นหมายถึงโอเวอร์เฮดในการซิงโครไนซ์ที่มากขึ้น โดยเฉพาะอย่างยิ่งกับหลายโหนดที่สื่อสารกันในเครือข่าย แต่เราสังเกตว่าบทลงโทษด้านประสิทธิภาพไม่รุนแรงเท่าที่คุณคิด แต่เราพบว่าการปรับขนาดที่เกือบเป็นเส้นตรง: การแก้ไขขนาดแบทช์ทั่วโลกและการฝึกอบรมเกี่ยวกับ GPU ที่มากขึ้นทำให้ปริมาณงานการฝึกอบรมเพิ่มขึ้นตามสัดส่วน ในโมเดลพารามิเตอร์ 1.3B 4 โหนดหมายถึงการเพิ่มขึ้น 3.9 เท่าในหนึ่งโหนด บน 16 โหนด เท่ากับ 14.4x ส่วนใหญ่ต้องขอบคุณการเชื่อมต่อระหว่างกันที่เร็วมากที่ผู้ให้บริการคลาวด์รายใหญ่สร้างขึ้น: @awscloud EC2 P4d อินสแตนซ์ให้แบนด์วิดท์เครือข่าย 400 Gbps @Azure ให้ 1600 Gbps และ @OraclePaaS ให้ 800 Gbps

— ลินเดนหลี่

ขอแนะนำ LiteFS

LiteFS เป็นโซลูชันการจำลองแบบ SQLite ใหม่จาก Fly ซึ่งพร้อมสำหรับการทดสอบเบต้าแล้ว มาจากผู้เขียนคนเดียวกับ Litestream แต่มีสถาปัตยกรรมที่แตกต่างกันมาก LiteFS ทำงานโดยใช้ระบบไฟล์ FUSE แบบกำหนดเองซึ่งสอดแนมธุรกรรม SQLite ที่เขียนไปยังไฟล์เจอร์นัลและส่งต่อไปยังโหนดอื่นในคลัสเตอร์ โดยให้การอ่านซ้ำแบบสมบูรณ์ คุณสมบัติ Litestream อันเป็นเอกลักษณ์ของการสตรีมข้อมูลสำรองไปยัง S3 น่าจะมาภายในไม่กี่เดือนข้างหน้านี้

ผ่าน Hacker News

Fastly [email protected] JS Runtime

รันไทม์ JavaScript ของ Fastly ซึ่งออกแบบมาเพื่อทำงานที่ขอบของ CDN ใช้กลไก JavaScript SpiderMonkey JavaScript ที่คอมไพล์ไปยัง WebAssembly

ผ่าน phickey บน Hacker News

Wasmtime ถึง 1.0: รวดเร็ว ปลอดภัย และพร้อมสำหรับการผลิต!

Bytecode Alliance กำลังให้คำมั่นสัญญาบางอย่างในโพสต์นี้เกี่ยวกับประสิทธิภาพและความเสถียรของรันไทม์ Wasmtime WebAssembly พวกเขายังเน้นกรณีการใช้งานที่น่าตื่นเต้นสำหรับ WebAssembly บนเซิร์ฟเวอร์ รวมถึงการเรียกใช้ปลั๊กอินของบุคคลที่สามที่ปลอดภัยและฟังก์ชันที่กำหนดโดยผู้ใช้ที่ทำงานภายในฐานข้อมูล

ฉันฟื้นคืนชีพ “Ugly Sonic” ด้วยการผกผันข้อความที่เสถียร

“ฉันฝึกแนวคิดออบเจ็กต์ Ugly Sonic เกี่ยวกับการครอบตัดรูปภาพ 5 ภาพจากตัวอย่างภาพยนตร์ด้วย 6,000 ขั้นตอน […] (บน GPU T4 ใช้เวลาประมาณ 1.5 ชั่วโมงและมีค่าใช้จ่ายประมาณ 0.21 ดอลลาร์สำหรับอินสแตนซ์ GCP Spot)”

ผ่าน @minimaxir

PEP 554 – ล่ามหลายตัวใน Stdlib: ข้อมูลที่ใช้ร่วมกัน

Python 3.12 หวังที่จะแนะนำล่ามหลายตัวซึ่งเป็นส่วนหนึ่งของไลบรารีมาตรฐาน Python ดังนั้นโค้ด Python จะสามารถเปิดใช้ subinterpeters แต่ละตัวมี GIL อิสระของตัวเอง วิธีนี้จะช่วยให้โค้ด Python ทำงานบนคอร์ CPU หลายคอร์พร้อมกันได้ ในขณะเดียวกันก็ทำให้มั่นใจว่าโค้ดที่มีอยู่ (และโมดูล C) ที่ใช้ GIL จะยังคงทำงานต่อไป

คำถามที่ชัดเจนที่นี่คือวิธีการแบ่งปันข้อมูลระหว่างล่ามเหล่านั้น PEP นี้เสนอกลไกแชนเนลซึ่งแชนเนลสามารถใช้เพื่อส่งเฉพาะประเภท Python พื้นฐานระหว่าง interpeters: None, byte, str, int และช่องสัญญาณเอง (ฉันสงสัยว่าทำไมไม่ลอย?)

ผ่าน theandrewbailey บน Hacker News

ฉันเป็นโปรแกรมเมอร์ที่มีประสิทธิผลด้วยความทรงจำของแมลงวันผลไม้ได้อย่างไร

Hynek Schlawack อธิบายถึงคุณค่าที่เขาได้รับจากเอกสารสำหรับนักพัฒนาออฟไลน์ที่ค้นหาได้ และสนับสนุนรูปแบบชุดเอกสารซึ่งรวมเอกสาร ข้อมูลเมตา และดัชนีการค้นหา SQLite คำสั่ง doc2dash ของ Hynek สามารถแปลงเอกสารที่สร้างโดยเครื่องมือต่างๆ เช่น Sphinx เป็น docset ที่เข้ากันได้กับแอปพลิเคชันเบราว์เซอร์เอกสารออฟไลน์หลายตัว

ผ่าน @hynek

การปรับใช้เว็บแอป Python เป็นฟังก์ชัน AWS Lambda

หลังจากล้มเหลวด้วยความพยายามครึ่งๆ กลางๆ เป็นเวลาหลายปี ในที่สุดฉันก็สามารถปรับใช้เว็บแอปพลิเคชัน ASGI Python (ชุดข้อมูล) กับฟังก์ชัน AWS Lambda! นี่คือบันทึกย่อที่กว้างขวางของฉัน

ในบรรดาพารามิเตอร์ทั้งหมดใน SD พารามิเตอร์ seed เป็นจุดยึดที่สำคัญที่สุดในการรักษาการสร้างภาพให้เหมือนเดิม ใน SD-space มีเพียง 4.3 พันล้านเมล็ดที่เป็นไปได้ คุณสามารถพิจารณาเมล็ดพันธุ์แต่ละแห่งในจักรวาลที่แตกต่างกัน โดยถูกนับตามจักรวาลของ Marvel (โดยที่ไทม์ไลน์หลักคือ #616 และ #616 ดร. สเตรนจ์ เยี่ยมชม #838 และจักรวาลอื่นๆ อีกโหล) จักรวาล #42 เป็นแบบสำรวจที่ดีที่สุด เพราะมีคนตัดสินใจกำหนดให้เป็นค่าเริ่มต้นสำหรับ text2img.py (อาจเป็นข้อมูลอ้างอิงของ Hitchhiker’s Guide) แต่คุณสามารถเปลี่ยนเมล็ดพันธุ์ และได้ผลลัพธ์ที่แตกต่างอย่างสิ้นเชิงจากสิ่งที่มีประสิทธิภาพในจักรวาลที่แตกต่างกัน

— swyx

อย่างไรก็ตาม ตัวเลขหกหลักเป็นพื้นที่ขนาดเล็กมากในการค้นหาเมื่อคุณเป็นคอมพิวเตอร์ ปัญหาที่ใหญ่ที่สุดคือการได้รับโชคดี มันเป็นช็อตหนึ่งในล้านอย่างแท้จริง กลายเป็นว่าคุณสามารถบังคับรหัส TOTP แบบดุร้ายได้ในเวลาประมาณ 2 ชั่วโมงหากคุณระมัดระวังและบริการระยะไกลไม่มีการควบคุมปริมาณหรืออัตราการจำกัดการพยายามตรวจสอบสิทธิ์

— การตรวจสอบสิทธิ์แบบสองปัจจัยแจ้งเตือนแบบพุชถือว่าเป็นอันตราย