この駅は「観音駅」という駅名で発足しました。
西大寺という町が、いかに「会陽の町」であったかが分かります。
その後、大正3年に西大寺鉄道は当時の鉄道院（のちの国鉄）と連帯運輸を行なうことになり、全国の院線と紛らわしい駅名は、全て改称を命ぜられました。
その時は、「西大寺町駅」と改めたのですが、昭和28年、西大寺が市に昇格したので、「西大寺市駅」となったのです。
現在、西大寺市駅跡地は、両備バスのバスセンターになっています。
西大寺鉄道当時の本社は、バスの営業所として現在も使用されており、またその隣地のバス運転者の休憩室は、財田駅舎を移設した建物です。
バスターミナルのバス誘導ラインは、西大寺鉄道のレールです。
天地を返して埋めています。
敷地内には当時活躍した気動車「キハ７」を保存展示しており、車内もご覧いただけるようになっています。この車両は、日本でも珍しい軌間、3
フィート（914mm）の鉄道で使用された車両として貴重な存在ということで、2004 年、産業考古学会の推薦産業遺産に認定されました。
当時使用していたポイント切り替え機も併設しています。
