提到爱因斯坦，总是使人联想到一个前无古人、后无来者的科学巨匠，一个充满传奇色彩的和平主义者和人道主义者。但是提姆·查普曼在专为纪念世界物理年而出版《Physics World》--- Einstein 2005特刊上撰文指出，爱因斯坦曾被贴上剽窃者的标签，也有人说他玩弄女性，还是个不负责任的父亲。诸如此类的争议或多或少地反映了爱因斯坦作为普通人的另一面。
科学天才和文明使者一直是爱因斯坦留给大众的最深刻印象。他对物理学的杰出贡献以及他那广博的智慧和人文关怀给他带来数不清的荣誉。例如，《时代周刊》称爱因斯坦为“世纪杰出人物”；在千禧年之交，他还被《物理世界》评为有史以来最伟大的物理学家。然而，近几年也同样能看到许多关于爱因斯坦的争议和负面的评论。
有关爱因斯坦的责难不一而足，其中最引人注目是关于他的第一任妻子米列娃·玛利奇的。
米列娃比爱因斯坦年长三岁，同样学习物理专业。早在20世纪90年代初就有传言说米列娃才是这对情侣中真正的智者。2003年，这一说法通过美国公共广播电视台的一个名为“爱因斯坦的妻子”的电视纪录片而得到广泛传播。米列娃开始为人们所广泛关注是由于《爱因斯坦文集》的出版，其中收录了爱因斯坦与米列娃的情书往来。当时都还是学生的爱因斯坦和米列娃通过信件讨论他们的工作，计划一起从事研究。
这些信件还透露了在他们1903年初结婚之前，爱因斯坦寻找工作期间，是米列娃一直在资助她的这位恋人。
然而米列娃是否真的协助过爱因斯坦完成了他发表于1905年的那几篇动摇了经典物理学理论基础的论文？甚至如一些更严苛的批评所说的，狭义相对论的大部分工作其实都是由米列娃做的？波士顿大学爱因斯坦研究中心的负责人，同时也是《爱因斯坦文集》的编辑约翰·施塔赫尔并不这么认为，他认为这完全能证明在爱因斯坦的一系列物理思想和见解中，米列娃从未扮演过重要的或是具创造性的角色。
爱因斯坦或许没有窃取米列娃在物理学史上应有的地位。但要说一个好丈夫，爱因斯坦还差得很远。在两人结婚的前一年，米列娃生下了他们的第一个女儿丽莎。这个孩子之后的命运没有人知道，据说很可能是在爱因斯坦的压力之下送给别人收养了。丽莎出生的时候爱因斯坦并不在米列娃身边，之后爱因斯坦也没有见过他的这个女儿。结婚之后，米列娃又生了两个男孩，但这个家庭还是没有得以维持。
1912年在一次去柏林的旅途中，爱因斯坦开始了与他的表姐艾尔莎·洛文塔尔的恋情，并在两年之后离开了米列娃和两个孩子。1919年，爱因斯坦与米列娃最终离婚。之后，爱因斯坦很少见他的孩子。他的小儿子艾德瓦德被诊断患有精神分裂症，最终死在精神病院。
除了曾被指责剽窃了米列娃的工作，爱因斯坦还曾被指责抄袭了亨德里克·洛伦兹和亨利·庞加莱的物理想法。爱因斯坦1905年关于狭义相对论的文章的要点与1904年洛伦兹的一篇文章中的一部分及庞加莱在同一时间完成的一篇文章非常相似。面对这一指责，爱因斯坦声称他读过这两个人早些时候的文章，但在他写关于狭义相对论的第一篇文章之前并没有看过他们1904年的那两篇论文。
为什么爱因斯坦受到如此之多的批评？
施塔赫尔指出了三个最可能的原因。首先是由于反犹太主义。爱因斯坦早年生活在德国的时候，许多针对他的批评都与当时的统治者纳粹党有关，这其中也包括诺贝尔奖获得者约翰尼斯·斯塔克。当时的许多指责由于各种缘故至今仍不断地被反复提起。施塔赫尔还指出，近几十年一些女权主义批评家总是试图拿爱因斯坦的例子来说明在科学史上的女性地位的低下。第三个原因，施塔赫尔称之为简单的攻击偶像的心理。
是物理学界把爱因斯坦塑造成一个不朽的圣人，他们似乎也该对这些针对爱因斯坦的非议负一部分责任。