เอเวอรี่ ดัฟฟ์ เกิดทางตอนใต้และเติบโตในชัททานูกา, เทนเนสซี หลังจากเข้าศึกษาที่เบย์เลอร์ สคูล ในบ้านเกิดและมหาวิทยาลัยนอร์ธ แครอไลนาที่ชาเพล ฮิล ดัฟฟ์ได้รับปริญญาทางกฎหมายจากมหาวิทยาลัยจอร์จทาวน์ สคูล ออฟ ทาวน์ เขาได้ทำงานเป็นนิติกรในชัททานูกา ที่ซึ่งเขากลายเป็นบุคคลที่อายุน้อยที่สุดที่ได้เป็นหุ้นส่วนในบริษัทกฎหมายของเขาตลอดระยะเวลากว่าร้อยปีที่ก่อตั้งมา
ดัฟฟ์ ที่เป็นแฟนผลงานภาพยนตร์คลาสสิกอย่าง All About Eve, Laura และ Double Indemnity ได้ไปเยี่ยมชมอาศรมแห่งหนึ่งในคาลาบาซัส, แคลิฟอร์เนีย จากคำท้าของเพื่อน และระหว่างที่เขากำลังอดอาหารตามความนิยมในอาศรมแห่งนั้น เขาก็รู้สึกตัวว่า เขาสนใจในพล็อต ไดอะล็อกและภาพยนตร์มากกว่ากฎหมายต่อต้านทรัสต์ การควบรวมกิจการและการซื้อกิจการ เมื่อเขากลับบ้าน เขาก็ลาออกจากงานและย้ายไปลอสแองเจลิสทันที
ดัฟฟ์จำได้ว่าสมัยเด็กในเทนเนสซี ทุก ๆ ซัมเมอร์ ครอบครัวของเขาจะรวมตัวกันในรถสเตชัน วากอนและใช้เวลาสองวันขับรถไปชายหาดในเซาธ์ แครอไลนา ที่ซึ่งพวกเขาจะพักอยู่ในบ้านริมชายหาดนานสิบวัน เมื่อถึงเวลาที่ต้องเดินทางกลับไปยังดินแดนหุบเขาของเทนเนสซีทางตะวันออก เขาก็มักจะซ่อนตัวอยู่ในทรายจนพ่อแม่หาตัวเขาเจอและบังคับให้เขากลับขึ้นรถ ระหว่างทางกลับบ้าน ขณะที่หาดทราย น้ำทะเลและทางเดินยังคงอยู่ในใจของเขา เขาก็นึกสงสัยเสมอว่า "คนแบบไหนกันนะที่ได้ใช้ชีวิตอยู่ที่ชายหาดตลอดทั้งปี" ตอนนี้ เขารู้แล้วว่าใคร ก็นักเขียนไงล่ะ ปัจจุบัน ดัฟฟ์ใช้ชีวิตอยู่ในบริเวณย่านหาดเวนิส ที่ซึ่งเขากำลังเขียนนิยายเล่มแรก Rider หลังจากพลาดทำสัญญากับสตูดิโอหลายครั้ง ซึ่งรวมถึงงานเขียนดราฟท์แรกให้กับเวอร์ชันภาพยนตร์ของ Hawaii Five-0 เรื่อง Takers ก็จะผลงานเรื่องแรกของดัฟฟ์ที่ถูกสร้างขึ้นเป็นภาพยนตร์
