Ainda se discute a origem das idéias alquímicas. Enquanto alguns estudiosos defendem o desenvolvimento independente da alquimia na Índia e na China, outros consideram a possibilidade da transmissão de conhecimentos de uma dessas culturas para a outra. Os Vedas, textos sagrados hindus, fazem referência a uma provável relação entre o ouro e a longevidade. Os chineses, por sua vez, um século antes de Cristo, acreditavam ser possível alcançar a imortalidade através da ingestão de uma bebida de ouro, devido à resistência desse metal à corrosão.

A alquimia européia baseou-se na astrologia (a palavra "alquimia" foi empregada pela primeira vez no tratado astrológico de Julius Maternus Firmicus, do século IV) e nas técnicas metalúrgicas dos sumérios e egípcios, que já obtinham o cobre a partir da malaquita, quatro mil anos antes da era cristã.

Uma das primeiras obras sobre alquimia de que se tem notícia é o tratado Physica et mystica, atribuído ao egípcio, naturalizado grego, Bolos de Mende, que viveu na região do delta do Nilo por volta do ano 200 a.C. Nele se encontravam receitas para converter metais em ouro e prata, numa época em que eram divulgadas as idéias platônicas sobre a composição da matéria. Apesar da confusão provocada pelas falsas atribuições de livros e tratados a este ou aquele autor, parece ter existido, nessa época, numerosos praticantes da alquimia, tais como Ostan o Mago, Sofar o Persa e os egípcios Petesis e Chiuses. O tratado Physica et mystica é parte de uma compilação de textos realizada no século VIII, e inclui obras de cerca de quarenta autores, entre os quais Zózimo, que viveu no início da era cristã e exerceu grande influência sobre os alquimistas posteriores. Em suas obras, ele descreveu toda uma série de instrumentos, cuja invenção foi atribuída a Maria a Judia, uma das mais famosas mulheres que praticaram a alquimia.

Após a conquista de Alexandria, em 642 da era cristã, os árabes incorporaram a seu saber as teorias dos alquimistas gregos e egípcios. Entretanto, alguns especialistas consideram que a alquimia árabe não teve como origem a Grécia, mas sim a escola asiática, provavelmente centrada na cidade turca de Harran. Entre os mais destacados alquimistas árabes cabe mencionar: Jabir (em latim, Geber), al-Razi, que no século X lançou os fundamentos para a descoberta dos ácidos minerais, e Avicena, responsável pela compilação, cem anos depois, dos conhecimentos dos alquimistas árabes.

No século XII cresceu na Europa o interesse pela alquimia. A partir de traduções das obras dos alquimistas árabes, foram descobertas substâncias que constituiriam a base da ciência química: os ácidos minerais, o álcool (cuja descoberta é atribuída ao alquimista catalão Arnau de Vilanova, no século XIII) e elementos químicos como o antimônio, estudado por Basílio Valentín.

Já no século XIII, o inglês Roger Bacon defendia a utilização do método científico, afirmando que "nada se pode conhecer com certeza, salvo através da experiência". No século XIV, Paracelso, para quem o objetivo da alquimia não era a obtenção de ouro, e sim de remédios, deu um importante impulso a essa disciplina, embora se jactasse de ter encontrado o elixir da vida.

Durante esse período, a alquimia oscilou entre a ciência e o misticismo. Assim, enquanto o respeitado cientista inglês Isaac Newton se dedicava, no século XVII, a investigações sobre a obtenção de ouro, o alquimista holandês Jan Baptiste van Helmont estudava o dióxido de carbono, criando a palavra "gás".

Com a publicação dos trabalhos de Lavoisier, no século XVIII, teve início a era da química, embora certos aspectos filosóficos da atividade alquímica tivessem sido preservados por seitas místicas, como a irmandade dos Rosacruzes.

Os historiadores da química tendem a distinguir entre os aspectos positivos da alquimia e aqueles que consideram nocivos. Entre os primeiros cabe citar o descobrimento de novas substâncias e a invenção de novos instrumentos de trabalho, enquanto o principal caráter negativo apontado no procedimento alquimista refere-se ao descrédito do método científico.