杨椿出身名门，依靠门第入仕，初拜中散，管理皇帝的御马房，后迁内给事，与其兄杨播同侍宫中。后来出任中都曹(魏设有内、中、外三都大官)，专管刑狱事务。他处事小心谨慎，查办比较公正，受到孝文帝的赏识，转任宫舆曹少卿，加给事中。后来孝文帝将他调任豫州刺史，再迁冠军将军，改任济州刺史。平原太守控告他为官不廉，廷尉提议免官，受皇帝庇护，只降职任梁州刺史。魏宣武帝拓跋恪即位后，北方人民的生活日益贫困，而拓跋氏统治阶级更加骄奢腐化，阶级矛盾空前尖锐。景明四年(503)初，梁州武都(故治在今甘肃西和县)的氐族人首领杨会率众起义，反抗北魏。拓跋恪下诏命杨椿以冠军将军、都督西征诸军事，率领大军镇压杨会起义。当年五月，杨椿即将起义镇压下去，杀了数千氐族人。但氐族人民并不甘心屈服，他们在路途截夺了官府运输的军粮。正始二年(505)四月，仇池郡(故治在今甘肃西和县以南)氐族人民起义，朝廷命杨椿率军镇压。次年，秦州(治所在今天水市)的羌族人民聚众起义，拥护州主簿吕苟儿为帅，立年号“建明”。泾州(治所在甘肃泾川县)屠各族首领陈瞻率众起义，关陇大震。杨椿又随安西将军元丽领兵镇压。元丽用杨椿的缓师诱敌之计，乘起义军松懈，偷袭成功，杀了陈瞻，镇压了起义。回朝后，杨椿升任太仆卿，加授安东将军。永平元年(508)十月，南徐州(今江苏省宿迁县以南、成子湖以北地区)发生起义，杨椿又奉命率四万军队征剿，这次未能取胜，兵败而还。之后，他被调任朔州(故治在今内蒙古自治区和林格尔北)刺史。这时，廷尉起诉杨椿在任太仆卿时曾盗种牧田340顷，按律应处刑5年。但宣武帝拓跋恪允许赎罪，不久就调任都官尚书，监修白沟堤堰。之后，又调任定州(故治在今河北定县)刺史。他在督修黑山道(即河北平山县通山西五台县的山路)时，伐木私造佛寺，劳役士卒，受到御史劾奏，被免官为庶人。魏孝明帝拓跋诩正光五年(524)，杨椿被起用，以卫将军都督雍州和南豳州诸军事，任雍州刺史。这时，关陇地区的各族人民不堪忍受民族压迫，暴发了莫折念生、万俟丑奴等大起义。杨椿以病告假归乡，由萧宝夤代任雍州刺史。孝庄帝拓跋子攸即位后，杨椿晋升为司徒，当年又封太保加侍中。元颢(北魏宗室，自立为帝，兵败被杀)之乱，政局动荡，杨椿无心继续从政。孝庄帝返还洛阳后，他多次辞职，于永安二年(529)回乡。临离京时，他告诫子侄儿孙们说，我兄弟等所以有高官厚禄，正是对朝廷忠贞，小心谨慎，不议论他人过失，对人们不分贵贱，均以礼相待。你们当中有的人坐着待客，有的趋附权势门庭，有的好议论别人长短，这些都是立身处世之大忌。你们若能谨守礼义，不骄奢傲慢，是可以成名的。他还说，我今年75岁，不能理事，所以求退，是要让你们明白人应有满足的时候，不可苟求千载之名。永安三年(530)九月，操纵北魏政权的尔朱荣由晋阳南下入洛阳，孝庄帝与近臣杨侃等密谋杀了尔朱荣。这样尔朱氏一族便和杨家结下仇怨。杨椿回归华阴原籍的第三年，即普泰元年(531)，在关中的尔朱天光为给尔朱荣报仇，杀了杨椿及其全家。