В любви ему не везло, низкий рост (152 см) и внешность карлика вызывали насмешки, все его серьёзные романы заканчивались неудачно. Тулуз-Лотрек был известным ценителем алкоголя, он популяризовал коктейли. Лотреку приписывают изобретение коктейля «Землетрясение», в котором коньяк пополам смешивается с абсентом. Умер от алкоголизма и сифилиса в родовом замке на руках матери, не дожив до 37 лет.