ก่อนวันคริสต์มาส คำมั่นสัญญาที่จะเปิดตัว Pwned Passwords แบบโอเพ่นซอร์สอย่างเต็มรูปแบบซึ่งได้รับข้อมูลสดใหม่จาก FBI และ NCA ในที่สุดก็เป็นจริง เราผลักโค้ดออกไป เผยแพร่บล็อกโพสต์ ปัดฝุ่นตัวเอง และนั่นก็เท่านั้น ชนิด – เหลือเพียงสิ่งเดียวเท่านั้น …
k-anonymity API นั้น น่ารัก และนั่นไม่ใช่แค่ฉันที่พูดแบบนั้น นั่นคือคนที่โหวตด้วยเท้าของพวกเขา:
นั่นคือ 58% โดยปริมาณจากโพสต์บล็อกของฉันในเดือนธันวาคม เมื่อ 5 เดือนที่แล้วจนถึงวันนี้ นอกจากนี้ยังเป็นเพียงข้อผิดพลาดในการปัดเศษของอัตราส่วนการเข้าชมแคช 100% 😎 แต่สิ่งที่ยังคงอยู่คือคำสัญญาที่ฉันทำไว้ในโพสต์บล็อกที่แล้ว:
สุดท้ายนี้ ณ ตอนนี้ โค้ดสำหรับรับไพพ์ไลน์การส่งผ่านข้อมูลและถ่ายโอนรหัสผ่านทั้งหมดไปยังคลังข้อมูลที่สามารถดาวน์โหลดได้ยังไม่ได้ถูกเขียนขึ้น เราต้องการทำสิ่งนี้ – เรามีความตั้งใจทุกประการที่จะทำเช่นนี้ – แต่ด้วยระยะเวลาระหว่างการเผยแพร่แต่ละครั้ง เราไม่รู้สึกว่าจำเป็นต้องเร่งรีบ
แนวคิดในการนำช่วงแฮช 16^5 มารวมเข้าด้วยกันเป็นไฟล์เก็บถาวรแบบเสาหินเดียว จากนั้นทำให้การดาวน์โหลดทั้งหมดดูเหมือนเป็นงานที่ไม่สำคัญ นอกจากนี้ ฉันยังคงเลียบาดแผลจาก ค่าใช้จ่าย มหาศาล ที่ฉันได้รับหลังจากปล่อยไฟล์เก็บถาวรล่าสุด และเกินขีดจำกัดที่แคชได้ในขณะนั้นบนขอบของ Cloudflare และนั่นคือตอนที่มันกระทบใจฉัน ทำไมเราไม่เขียนสคริปต์เพื่อดาวน์โหลดแฮชทั้งหมดจาก k-anonymity API เดียวกันที่องค์กรจำนวนมากใช้อยู่แล้ว มันเป็นเพียงคำขอ 16^5 แยกกันและคำตอบสามารถทิ้งลงในไฟล์ข้อความขนาดใหญ่ มันจะยากแค่ไหน? เกือบทั้งหมดจะถูกแคชและมีการบีบอัด brotli ที่มีประสิทธิภาพสูงสุดระหว่างไคลเอนต์และขอบ Cloudflare ดังนั้นมันควรจะเร็วเช่นกัน ดังนั้น… ทำไมไม่
ฉันส่งต่อความคิดนี้ไปที่ Stefán และด้วยวิธีที่เท่แบบไอซ์แลนด์โดยทั่วไปของเขา เขาไม่เพียงแต่สร้างคุณลักษณะนี้เท่านั้น แต่ยังทำได้ดีกว่าที่ฉันคิดไว้มากในตอนแรก นี่คือวิธีการทำงานในรูปแบบจุด:
- มีพื้นที่เก็บข้อมูลสาธารณะสำหรับ Pwned Passwords Downloader บน Github ซึ่งคุณสามารถรับรหัส ส่ง PR หรือแจ้งปัญหาได้
- นอกจากนี้ยังมี แพ็คเกจ NuGet ดังนั้นหากคุณไม่ต้องการดาวน์โหลดและคอมไพล์โค้ดด้วยตัวเอง คุณสามารถดึงไฟล์สั่งการได้โดยตรงผ่านบรรทัดคำสั่ง
และนั่นแหล่ะ เรียกใช้และดูเหมือนว่านี้:
สวิตช์ -p กำหนดระดับของการขนานที่จะใช้และเมื่อเรียกใช้ใน Azure VM I ทดสอบจากนี้ จะใช้เวลา 26 นาทีในการดึงทุกอย่างลง เห็นได้ชัดว่า YMMV ขึ้นอยู่กับความเร็วในการเชื่อมต่อ แต่ด้วยอัตราส่วนการเข้าถึงแคชขนาดใหญ่ (ยังสะท้อนอยู่ในผลลัพธ์ด้านบน) อย่างน้อย คุณจะสามารถดึงช่วงแฮชเกือบทุกช่วงจากตำแหน่งที่อยู่ใกล้คุณมาก
ฉันตระหนักดีว่าช่องว่างเดียวที่เรามีคือสิ่งนี้ไม่ได้ทำให้รุ่น NTLM สามารถดาวน์โหลดได้และมีคนรออยู่ที่นั่นอย่างใจจดใจจ่อ ฉันสงสัยว่าเราจะใช้วิธีที่คล้ายกันที่นั่น ดังนั้นโปรดคอยติดตาม มันไม่ควรจะเป็นเรื่องใหญ่ตอนนี้ เราได้สร้างรูปแบบแล้ว ฉันยังตระหนักดีว่าในการทำให้เครื่องมือนี้มีประโยชน์มากขึ้น จะสะดวกที่จะรู้ว่าเมื่อใดควรเรียกใช้จริงโดยดูว่ามีการเพิ่มแฮชรหัสผ่านใหม่จำนวนเท่าใดตั้งแต่วันที่กำหนด นั่นอยู่ในรายการ เรารู้ว่าเป็นที่ต้องการ และโดยเฉพาะอย่างยิ่งเมื่อรหัสผ่านขาเข้ามีจำนวนมากขึ้น ฉันรู้ว่ามันจะมีประโยชน์มากสำหรับผู้คน
ดังนั้น ออกไปคว้าเครื่องมือ ดึงแฮชลงเมื่อใดก็ตามที่คุณรู้สึกอยากทำ และทำสิ่งดีๆ กับมัน ตอนนี้ฉันค่อนข้างอยากรู้ว่าหมายเลข API ที่เข้าชมนั้นเป็นอย่างไรเมื่อมวลชนคว้าเครื่องมือนี้และสร้างคำขอ 1M+ แต่ละรายการ😊
