James Damore在备忘录中表示，技术行业男女比例悬殊的本质原因是因为男女存在生理差异。他说男性渴望地位，因此能够承受高强度的技术工作；女性的焦虑感更强、抗压能力更差，因此不适合呆在技术行业。他还说，睾酮这种雄性激素对大脑发育的影响或许就是这种差别的原因。
许多人认为，即使有少数女性可以在数学等理工科里和男性一样出色，甚至超越他们，但是一般来说女生的大脑和男生不一样，她们天生对人类以及社会互动更有兴趣，因此她们更适合教学、医疗等需要和人打交道的职业和学科，而不适合从事工程类的学科。甚至哈佛大学的一个前校长Lawrence H. Summers也曾支持男性的数学更好的观点。
男女生的数学能力真的有差异吗？
有，但在大学前差异不大，而且男生的优势正在逐渐丧失。由美国教育部发起的美国国家教育进展评估每年追踪学生的阅读、数学等成绩，结果发现从1971年开始，女孩的阅读成绩每年都比男生好，而男生的数学成绩也总是比女生好（尽管差异微小）。类似的男女差异也得到了国际学生能力评估项目的肯定。但是需要注意的是，男性在数学上的优势似乎正在慢慢消失。
比如2008年发表在《科学》上的一项研究发现，从70年代开始，美国小学二年级到高三的男女数学成绩的差异越来越小。而根据2017年美国国家科学基金会公布的数据，2014年美国数学系本硕士毕业生中有40%以上的女生，攻读数学研究生的女生比例超过1995年。
数学上男女差异的原因很可能和空间认知能力有关。犹他大学的人类学教授Elizabeth Cashdan表示，“空间能力是男女认知差异中最大的一个”。
虽然男女在智商上并无差异，但男性容易对物体进行心理旋转，他们也更容易追踪视觉目标。这可以部分解释为何女生数学弱于男生，而这种差异也是有进化根据的。Cashdan表示，从乌鸦到乌贼，雄性动物的活动范围一般比雌性动物广，它们也更倾向于探索未知的领地，因此它们对空间能力有更高的需求。对人类的研究也发现，和活动范围较小的社会相比，那些活动范围更大的社会中的成员的空间认知能力更好。
雄性激素是男女数学成绩差异的原因吗？睾酮是男性的主要雄性激素。睾酮的确与空间能力有关，但是对男女的作用恰好是相反的。科学家们曾经对睾酮和空间能力的关系进行过不少研究。先天性肾上腺皮质增生症是一种使女婴体内产生过量睾酮的基因疾病。一般来说有CAH基因缺陷的女性在出生后可以得到治疗，但是在子宫里发育的时候她们还是暴露在高浓度的睾酮中。
研究指出，这些具有CAH突变的女性的空间认知能力比她们的没患病的姐妹要好。此外，在胚胎发育时有更多雄性激素暴露的女孩的玩具偏好、攻击性、性别认同以及认知能力的确和普通女孩不同。不过，过多或过少的睾酮都不能促进空间能力。有一些研究发现，睾酮和空间认知能力之间呈倒U形的关系。在1991年的一项经典研究中，睾酮水平越高的男性的空间认知和数学能力反而越差。
在连续服用4周增加睾酮的药物后，正常男性的空间认知能力也会下降。
最重要的是，在上面提到的研究中，睾酮只和认知能力中的空间能力有关，和其他认知能力，比如语言能力并无关系。另外，人的大脑有极强的可塑性，睾酮无法解释所有的问题。一项对2010年PISA的数据分析发现，男女平等指数也越高的国家的女生数学成绩也越好。这是睾酮说无法解释的。
斯坦福大学医学中心的神经学教授Josef Parvizi认为，“大脑是由经验塑造的。从学习的神经基础来看，大脑的神经连接网络在一生中都在被经历改变。就算大脑天生带着什么结构来到世上，它的功能也在不断地被后天所改写。”如果幼年的大脑重复接受到同样的信号，比如不断听到和性别偏见有关的言论，执行相关任务的脑区之间的连接就会更加紧密，偏见就被植入了。
2016年一项对中国、美国等29个国家的10-14岁儿童的研究发现，10岁的儿童已经有牢固的性别偏见了。这项研究的作者之一、来自约翰霍普金斯大学的人口家庭健康系系主任Robert Blum表示，“我们发现这些国家的10岁儿童都有这样的偏见，他们认为男性更强、更有自信、是领导者，女性更弱更无能，应该闭嘴听话”。
Blum认为，从10岁这个年纪开始，女孩的世界就开始缩小，男孩的世界开始扩大，女孩被教育不要离家太远，男孩则被鼓励探索未知世界。要知道，性别认同在青春期结束前并不固定。你或许就能想起几个在小学或中学时是假小子，到了大学却变成了淑女的例子。
2011年，纽约大学和普林斯顿大学的研究者发现，如果在青春期不认同自己的性别，女孩不像男孩那样会承受巨大的耻辱和指责，因此在小学里大约有一半的女孩表示自己是假小子。但是到了青春期末尾，性别角色开始就按照社会规范固定，不少女孩在这个阶段为了强调个人身份而避免选择显得男性化的事物。令人遗憾的是，青春期也是孩子们开始形成职业观的时候。
2013年，瑞典隆德大学的一项研究发现，即使是那些高中时数学成绩和男生一样好的女孩也会避免选择被男性统治的职业，比如航空航天还有计算机科学。
男性的大脑的确在任何年龄都比同龄女性大12%左右，但是从身体比例上看男性的大脑和女性没有差别。可是，媒体上经常可以见到宣扬男女大脑结构差异的报道。
比如，2014年，宾夕法尼亚大学在《美国国家科学院院刊》上发表的一项脑成像研究获得了包括BBC、洛杉矶时报、福布斯、华尔街日报在内的几百家媒体的报道。这篇论文的标题是这样的：“Difference in how men and women think are hard wired”（男性和女性在思考上存在生理差异）。
根据BBC对这项研究的报道，“男性大脑前后的连接比较强，两个半球之间的连接比较弱；女性大脑的两个半球之间的连接比较强。”可是如果回顾历史，在过去的使用类似脑成像技术的12个研究中，一些研究没有发现男女之间的大脑差异，另一些研究结论则和它完全相反。现在有越来越多的研究者倾向于把大脑的个体差异看作是心理性别，而非生理性别的表现。
比如在2015年，一项发表在《美国国家科学院院刊》上的对1400个人类大脑的研究发现，仅从大脑很难判断一个人的生理性别，大多数人的一部分脑区更像女性，而另一些脑区更像男性；如果把典型的男性和女性大脑放在一条线的两边，那么大多数人的大脑性别位于两者之间。
不管你是站男女大脑有别，还是站男女大脑无差异，两派的学者各执一词，这不恰恰说明男女大脑之间的差异这个问题很复杂，并没有一刀切的结论吗？更重要的是，即使我们最终发现了男性和女性大脑之间的差异，我们也无法确定这是来自先天还是后天，因为人的大脑会被经历雕塑。而正因为这种可塑性，女孩更应该被鼓励多进行空间能力的训练，弥补她们在这点上的（来自先天或后天）的不足。