Una de las mujeres en la vida de James fue Alice James, su única hermana, paralítica a causa de un accidente, depresiva y con tendencias suicidas y, según ella misma, parricidas. Alice, a parte de detestar a su padre, es autora de un diario que escribió durante años donde recogía reflexiones sobre amigos, familia y costumbres de la época con cierta indiscreción.