Первой вдохновительницей Генсбура стала Брижит Бардо.  Он был настолько окрылен своей возлюбленной, что муза в буквальном смысле поселилась в его доме.  И вот в одну из творчески плодотворных ночей композитор и сочинил "Я люблю тебя... я тебя — тоже нет".  Сама идея с игрой слов пришла Генсбуру в голову благодаря Сальвадору Дали. Пикассо — испанец, я тоже. Пикассо — гений, я тоже. Пикассо — коммунист, я — тоже нет, — гласило изречение художника.

Песня целиком и полностью, без купюр, передавала любовную картину: двое занимаются жарким сексом и нашептывают друг другу откровенные фразы. Брижит удалось записать композицию с Генсбуром, и та взорвала тогдашний шоу-бизнес.  Те, кому удалось послушать запись, не могли поверить своим ушам. Они вопрошали, не было ли между любовниками физической близости в тот момент, когда создавался сингл. Уж слишком правдоподобно стонала Бардо! Стоны и вздохи в итоге смутили не только парижский свет, но и саму Брижит. Чересчур откровенная композиция, по мнению актрисы, не только вредила ее браку (да, Бардо хоть и крутила роман на стороне, но не собиралась расставаться на тот момент с мужем), но и репутации в целом.  Она потребовала, чтобы ни одна запись не была выпущена на продажу.

                                          Брижит Бардо и Серж Генсбур

Бардо бросила Генсбура вместе с песней, но тот, несмотря на мучительные страдания и переживания, не растерялся.  Вскоре он встретил Джейн Биркин, в которую и влюбился. И именно Джейн стала его новой музой, с которой он осуществил десятки своих мечт.  Одной из них была запись песни Je t'aime... moi non plus.

Реакция Джейн была вначале очень предсказуема: ей показалось странным и даже нелепым перепевать композицию. Более того, эту песню уже исполняла Брижит. Но чувство собственности все же заговорило в актрисе. Она же прекрасно понимала, что Серж в любом случае запишет этот сингл, и если не с ней, то с другой. Такое Биркин допустить не могла! Однажды Серж услыхал, как я распелась в ванной, и сказал мне: "Я хочу написать для тебя песню Jane B, а на другой стороне, может быть, ты споешь Je t'aime..., только на октаву выше, чем Бардо, чтобы звучать как маленький мальчик"...— вспоминала Джейн.

Как утверждали критики, в отличие от Бардо, Биркин, по крайней мере, пыталась петь, а не только томно вздыхала.  И пусть версия Джейн получилась, возможно, не столь вызывающей, как верси Брижит, но именно она была признана одной из самых сексуальных композиций в мире музыки. Поговаривают, что композитор даже пустил слух, что записывал сингл с Джейн во время того, как они занимались сексом у себя дома.

В общем, актриса исполнила мечту Сержа и записала с ним настоящий хит своего времени. Джейн, по мнению композитора, даже переборщила с подачей. В голосе и интонации звезды было столько секса, страсти и горячих чувств, что Генсбуру едва удалось успокоить возлюбленную. Я остановилась и даже перестала дышать в какой-то момент. На записи слышно, как внезапно наступает пауза, — рассказывала знаменитость в одном из интервью.

А вот Брижит Бардо не обрадовалась, услышав песню: Я чуть не умерла, когда услышала эту песню в исполнении Сержа и Джейн. Но все было в порядке вещей! Я не держу на них зла. Наоборот, злюсь я на себя — за свою трусость, нерешительность. После того как сингл зазвучал на многих радиостанциях, Генсбур с уверенностью заявил, что им удалось записать настоящий хит. Он оказался прав, ведь и годы спустя песня продолжает волновать людей.