二战初期日本的陆军编制大到总军、小到分队，根据战场情势的需要，日本的总参谋部设置了总军、方面军、军、师团的指挥机构，总参谋部负责全局战略，总军是陆军最高编制，直到日本投降前共设置了5大总军，既中国派遣军、关东军、南方军、本土总军和一个航空总军，一般由大将担任，总军下辖多个方面军、军、师团、混成旅团等。
“联队”是二战日军单一兵种的最大单位，只有步兵联队才有资格被授予所谓天皇御赐的“联队旗”，上面的什么旅团师团通通没有这个待遇，足见步兵联队在日军编制中的重要地位。日军的步兵联队长基本为大佐军衔，是日本军官晋升将军的必要性资历。
在日军作战编制中，师团是比较完备的作战单位，最普遍的建制，师团长一般为中将军衔，管理着20000余人的军队。
师团下辖1个司令部、2个步兵旅团、1个工兵联队、1个骑兵联队、1个炮兵联队、1个辎重联队、1个师属通讯队、1个师属卫生队、1个师属勤务队和1个师属野战医院。
旅团下辖2个步兵联队，每个步兵联队，相当于国军团级单位，约有3870人；联队下辖3个步兵大队，相当于国军的营级单位，每个步兵大队约有1215人；大队下辖4个步兵中队,相当于国军的连级单位，1个8挺重机枪的机枪中队，每个步兵中队约250人；步兵中队下辖3个小队，相当于国军的排级单位，每个小队约70人；小队下辖1个2挺轻机枪的机枪组，1个2支掷弹筒的掷弹筒组，2个步枪组。
战时日军联队长，相当于当时国军的团长，军衔为基本上为大佐，但炮兵和骑兵却有很多中佐，相当于当时国军的上校或中校军衔。
1944年后，由于太平洋战场上的节节败退，兵源逐渐枯竭，日本师团已无四单位制师团，将师团分为了甲乙丙三种并设有常备师团和特设师团，总人数在14000至21000人之间，步兵旅团、步兵联队等编制人数也大打折扣。